Как проверить, что сайт доступен для посетителей и поисковых роботов
Проверить доступность страниц сайта для посетителей и поисковых роботов можно с помощью инструментов Яндекс Вебмастера.
Диагностика сайта
На странице Оптимизация сайта → Диагностика сайта можно узнать, нет ли на сайте проблем, которые влияют на доступность сайта.
Например, если поисковому роботу не удалось подключиться к сайту из-за ошибки сервера, то сайт может полностью пропасть из поиска. По этой же причине сайт может быть недоступен и для посетителей.
Также результаты диагностики отображаются в виджете на странице Сводка.
Подробно:
Безопасность сайта
Зараженный вирусами сайт, как правило, недоступен для пользователей, так как его страницы блокируются в браузере антивирусными программами. Часто зараженные сайты отключают хостеры и сайт становится недоступным не только для пользователей, но и для поисковых роботов.
Узнать, нет ли на сайте угроз для безопасности, можно на странице Оптимизация сайта → Безопасность и нарушения.
Подробно:
Проверка страницы
На странице Инструменты → Проверка страницы можно узнать:
-
Как страница отображается на мобильных и десктопных устройствах — скриншот во вкладке Результаты проверки. Также оптимизацию для мобильных устройств можно проверить с помощью инструмента Проверка мобильных страниц: Инструменты → Проверка мобильных страниц.
-
Какой текст доступен для робота — вкладка Версия страницы в базе → Контент страницы.
-
Какой код ответа (код статуса HTTP) отдает сервер — Технические данные. Также код ответа и доступное роботу содержимое страницы можно проверить на странице Инструменты → Проверка ответа сервера.
Код ответа 200 ОК означает, что на момент проверки всё в порядке и страница доступна для роботов и посетителей сайта. Страница с другим кодом ответа недоступна для роботов и посетителей и не может попасть в поиск.
На какие проблемы указывают коды отличные от 200 OK и как их можно решить см. Справочник по кодам статуса HTTP.
Подробно:
Проверка файла robots.txt
Чтобы проверить, не закрыта ли страница ошибочно от роботов в файле robots.txt:
- Перейдите на страницу Инструменты → Анализ robots.txt.
- Введите адрес в поле Разрешены ли URL? и нажмите Проверить.
Подробно: