Как отслеживать индексирование и управлять им
В Яндекс Вебмастере можно узнать:
- когда и с каким результатом робот обошел сайт;
- какие страницы сайта участвуют в поиске, а какие и по каким причинам были исключены;
- статистику страниц в поиске по разделам сайта;
- состояние в поиске конкретной страницы;
- состояние в поиске важных страниц сайта.
Также в Яндекс Вебмастере можно управлять скоростью обхода сайта роботами Яндекса и проверить, правильно ли настроено индексирование в файле robots.txt.
Статистика обхода
Статистика обхода сайта роботами Яндекса представлена на странице Индексирование → Статистика обхода.
Историю обхода можно увидеть на графике. В таблице указаны коды ответа, которые страница отдавала при обращении робота.
Подробно:
Проверка страницы
Чтобы проверить состояние в поиске конкретной страницы, перейдите на страницу Индексирование → Проверка страницы. Выберите десктопную или мобильную версию и отправьте ссылку на проверку. Когда проверка закончится, нажмите Подробнее.
Подробно:
Страницы в поиске
Чтобы узнать, какие страницы вашего сайта участвуют в поиске, а какие и по каким причинам были исключены, перейдите на страницу Индексирование → Страницы в поиске. Исключенные страницы с причинами исключения указаны в таблице, вкладка Исключённые страницы.
Подробно:
Структура сайта
Посмотреть статистику по разделам сайта можно на странице Индексирование → Структура сайта. Чтобы узнать подробности, нажмите на цифры в колонке — вы перейдете на страницу Статистика обхода или Страницы в поиске.
Например, чтобы узнать, почему не все загруженные страницы раздела участвуют в поиске:
-
На странице Структура сайта напротив нужного раздела в колонке В поиске нажмите на цифру.
-
На странице Страницы в поиске укажите в выпадающем списке под доменом сайта нужный раздел и перейдите в таблице на вкладку Исключенные страницы.
Причины исключения страницы из поиска указаны в таблице, в колонке Статус. Чтобы узнать подробности, нажмите на три точки.
Подробно:
Мониторинг важных страниц
Чтобы отследить статус важных страниц, добавьте их в инструмент Яндекс Вебмастера: Индексирование → Мониторинг важных страниц. Важные страницы можно добавить вручную, выбрать из рекомендованных и добавить на странице Индексирование → Переобход страниц.
Чтобы быть в курсе изменений, подпишитесь на уведомления О важных страницах.
Подробно:
Скорость обхода
На странице Индексирование → Скорость обхода можно управлять количеством запросов в секунду, которое робот отправляет на ваш сайт.
Вариант Доверять Яндексу выставлен по умолчанию. В этом случае скорость обхода рассчитывается по алгоритмами так, чтобы робот смог загрузить максимальное количество страниц без лишней нагрузки на сервер.
Также скорость можно задать вручную. Например, если на сайте появилось много новых разделов и страниц, лимит скорости можно повысить, а после индексирования изменений — снизить или выбрать вариант Доверять Яндексу.
Подробно:
Файл robots.txt
Файл robots.txt — это файл с указаниями поисковым роботам, как индексировать сайт. В нем можно закрыть или открыть для индексирования разделы и отдельные страницы сайта. Так можно снизить нагрузку на сайт, скрыть от индексирования страницы с личной информацией пользователей, убрать из поиска дубли страниц, например, по UTM-меткам.
Чтобы проверить, правильно ли заполнен robots.txt, перейдите в Яндекс Вебмастер на страницу Инструменты → Анализ robots.txt.
На этой же странице в поле Разрешены ли URL? можно проверить, открыты или закрыты от индексирования конкретные страницы сайта.
Подробно: