Это точно не из-за файла sitemap.
В данном случае надо сначала понять, в какие промежутки времени это происходило: есть разница, если это было в течение +- 3-х дней, другой разговор, если промежутки времени измеряются месяцами.
На заметку: всё что находится дальше 2-й страницы поисковой системы - получает почти нулевой трафик, т.е. посещений почти нет. Бывают редкие случаи, когда пользователь должен просмотреть множество сайтов для уточнения нужной информации, но это бывает редко...
Сайт появился в поиске, но только по низкочастотным запросам.