Страницы в поиске

Поисковая выдача Яндекса регулярно обновляется. Страницы вашего сайта могут появляться в результатах поиска и пропадать из них.

С помощью информации, представленной в Вебмастере на странице Индексирование → Страницы в поиске вы можете:

  • Следить за изменением количества страниц в поисковой выдаче Яндекса и за соотношением числа добавленных и исключенных страниц.
  • Получать информацию о дате последнего посещения сайта роботом и обновления поисковой выдачи.
  • Узнавать об источнике, из которого страница добавлена в поисковую выдачу.
  • Выяснить причину исключения страницы из результатов поиска.
  • Узнавать о состоянии новых страниц сайта. Если страницы были проиндексированы и включены в поиск сразу после их публикации, данные в Вебмастере могут обновляться с задержкой — в течение нескольких дней информация обновится.

По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию о конкретном разделе, выберите его из списка в поле с адресом сайта. Доступные разделы соответствуют структуре сайта, известной Яндексу (кроме разделов, добавленных вручную).

Примечание. Данные доступны начиная с 12 октября 2016 г.
  1. Динамика состояния страниц
  2. Изменения страниц в результатах поиска
  3. Список участвующих в поиске страниц
  4. Источник, из которого страницы сайта добавлены в результаты поиска
  5. Список исключенных из поиска страниц
  6. Фильтрация данных
  7. Выгрузка информации в файл

Динамика состояния страниц

Информация о страницах представлена следующим образом:

  • Новые и удаленные — соотношение количества страниц, появившихся в результатах поиска и исключенных из него.
  • Исключенные — динамика количества страниц, исключенных из результатов поиска.
  • История — динамика количества страниц, которые участвуют в поиске. Каждый сегмент графика соответствует отдельному разделу сайта.
  • Распределение — количество страниц, участвующих в поиске, отображается на круговой диаграмме, где каждый сегмент соответствует разделу сайта.

Общее количество страниц, участвующих в поиске, может превышать сумму страниц на диаграммах (при отображении не учитываются отдельные страницы и разделы, которые не попали на страницу сервиса Структура сайта).

Изменения страниц в результатах поиска

Вебмастер сообщает об изменениях в результатах поиска за последние три месяца:

  • дата обновления поисковой выдачи;
  • была ли страница добавлена в поисковую выдачу (адрес страницы отображается зеленым) или удалена из нее (отображается синим);
  • причина удаления страницы из поиска.

Резкое изменение количества добавленных или участвующих в поиске страниц может быть связано с изменениями на сайте. Например, со сменой структуры сайта или файла robots.txt.

Кроме этого, сервис показывает общую информацию о странице:

  • дата последнего посещения страницы роботом;
  • адрес страницы относительно корневого каталога сайта;
  • заголовок страницы (элемент title).

Чтобы просмотреть изменения, установите переключатель в положение Последние изменения. В результате отобразится до 50 000 изменений.

Список участвующих в поиске страниц

Вы можете просмотреть список участвующих в поиске страниц и следующую информацию о них:

  • дата последнего посещения страницы роботом;
  • адрес страницы относительно корневого каталога сайта;
  • заголовок страницы (HTML-элемент title);
  • наличие Турбо-страницы для URL.

Чтобы увидеть список страниц, установите переключатель в положение Все страницы. Список может содержать до 50 000 страниц сайта.

Если в списке не все страницы, которые должны участвовать в поиске, сообщите Яндексу о них с помощью инструмента Переобход страниц.

Если в списке есть страницы, которые не должны участвовать в поиске, см. раздел Как удалить страницы из поиска.

Источник, из которого страницы сайта добавлены в результаты поиска

Поисковая база Яндекса получает сигналы о состоянии страниц сайта из разных источников:

Информацию об источнике данных можно найти на странице Индексирование → Страницы в поиске (Последние изменения и Все страницы).

Обновление данных об источнике не зависит от обновления поисковой базы или состояния страниц сайта в поиске.

Список исключенных из поиска страниц

Страницы сайта могут пропадать из результатов поиска. Подробнее о причинах этого см. в разделе Почему страницы исключены из поиска.

Чтобы посмотреть список исключенных страниц (до 50 000), на странице Индексирование → Страницы в поиске установите переключатель в положение Исключенные страницы. Отобразится следующая информация о страницах:

  • дата последнего посещения страницы роботом;
  • адрес страницы относительно корневого каталога сайта;
  • статус (причина исключения страницы).
Примечание. Наличие и количество исключенных страниц в Вебмастере не влияет на положение сайта в результатах поиска.

Страница пропадет из списка исключенных в течение некоторого времени при одновременном выполнении следующих условий:

  • страница недоступна для индексирующего робота (HTTP-ответ сервера 404 Not Found) или на странице настроен редирект c HTTP-кодом 301;
  • другие ресурсы не ссылаются на исключенную страницу.

Если в списке исключенных вы обнаружили URL страницы, которая давно удалена с сайта или вовсе не существует, вероятно, на нее ссылаются другие ресурсы. Чтобы страница пропала из списка исключенных, запретите ее индексирование в файле robots.txt.

Фильтрация данных

Сервис позволяет быстро найти информацию о странице с помощью фильтрации, нажав значок . Фильтровать данные можно по всем представленным параметрам. Например, можно использовать фильтрацию по URL:

С указанием определенного фрагмента URL

Чтобы составить список страниц, адрес которых содержит определенный фрагмент, выберите из списка значение Содержит и в поле укажите нужное значение.

C указанием специальных символов

Специальные символы позволяют задавать не строгое соответствие строки, а ее начало, подстроку и более сложные условия с применением регулярных выражений. Чтобы использовать их, выберите из списка значение Условие, а само условие введите в поле. Можно добавить несколько условий — каждое из них должно начинаться с новой строки.

Для условий доступны правила:

  • выполнять любое из условий (соответствует оператору «ИЛИ»);
  • выполнять все условия (соответствует оператору «И»).
Символы, используемые для фильтрации
Символ Описание Пример
* Соответствует любому количеству любых символов

Отобразить данные по всем страницам, которые начинаются с https://example.com/tariff/, включая указанную страницу: /tariff/*

Использование символа *

Символ * может быть полезен при поиске URL, которые содержат два определенных элемента или более.

Например, можно найти новости или анонсы за определенный год: /news/*/2017/.
@ Выбранные данные содержат указанную строку (но не обязательно строго соответствуют) Отобразить данные по всем страницам, URL которых содержит указанную строку: @tariff
~ Условие является регулярным выражением Отобразить данные по страницам, URL которых удовлетворяет регулярному выражению. Например, можно выбрать все страницы, в адресе которых есть одно или несколько упоминаний: ~table|sofa|bed
! Отрицание условия Исключить данные по страницам, URL которых начинается со строки https://example.com/tariff/: !/tariff/*
Символы, используемые для фильтрации
Символ Описание Пример
* Соответствует любому количеству любых символов

Отобразить данные по всем страницам, которые начинаются с https://example.com/tariff/, включая указанную страницу: /tariff/*

Использование символа *

Символ * может быть полезен при поиске URL, которые содержат два определенных элемента или более.

Например, можно найти новости или анонсы за определенный год: /news/*/2017/.
@ Выбранные данные содержат указанную строку (но не обязательно строго соответствуют) Отобразить данные по всем страницам, URL которых содержит указанную строку: @tariff
~ Условие является регулярным выражением Отобразить данные по страницам, URL которых удовлетворяет регулярному выражению. Например, можно выбрать все страницы, в адресе которых есть одно или несколько упоминаний: ~table|sofa|bed
! Отрицание условия Исключить данные по страницам, URL которых начинается со строки https://example.com/tariff/: !/tariff/*

При использовании символов не учитывается регистр.

Символы @, !, ~ могут использоваться только в начале строки, для них доступны следующие сочетания:

Оператор Пример
!@ Исключить данные по страницам, URL которых содержит tariff: !@tariff
!~ Исключить данные по страницам, URL которых удовлетворяет условиям регулярного выражения
Оператор Пример
!@ Исключить данные по страницам, URL которых содержит tariff: !@tariff
!~ Исключить данные по страницам, URL которых удовлетворяет условиям регулярного выражения

Выгрузка информации в файл

Информацию о страницах можно выгрузить в формате XLS или CSV.

Файл может содержать следующие данные:

  • updateDate — дата обновления поисковой базы;
  • url — адрес страницы;
  • httpCode — HTTP-код, полученный роботом во время последнего обхода;
  • status — статус страницы;
  • target — адрес страницы, на которую происходит перенаправление, или отображаемый в результатах поиска адрес;
  • lastAccess — дата последнего посещения страницы роботом;
  • title — заголовок страницы (содержимое HTML-элемента title);
  • event — действие, произошедшее со страницей (добавление или исключение из поиска).
Статусы страницы в поиске
Статус в веб-интерфейсе Статус в файле Расшифровка Рекомендация
Малоценная или маловостребованная страница LOW_DEMAND

Алгоритм принял решение не включать страницу в поиск, поскольку у нее мало шансов оказаться востребованной пользователями. Так может произойти, например, если страница не содержит контента, дублирует уже известные роботу страницы или ее контент не вполне отвечает интересам пользователей.

Это автоматический регулярный процесс, поэтому решение алгоритма может измениться. Подробно в разделе Малоценные или маловостребованные страницы.

Если у сайта есть такие страницы, это не означает, что у него есть нарушения и ограничения в ранжировании. Наличие у сайта ограничений можно проверить в Вебмастере на странице Оптимизация сайта → Безопасность и нарушения.

 Подробно см. в разделе Малоценные или маловостребованные страницы.
Исключена по Clean-param CLEAN_PARAMS Страница была исключена из поиска в результате обработки роботом директивы Clean-param. Чтобы страница индексировалась, измените файл robots.txt.
Дубль DUPLICATE Страница дублирует уже представленную в поиске страницу сайта.

Укажите роботу предпочтительный адрес с помощью редиректа с HTTP-кодом 301 или атрибута rel="canonical".

Если содержимое страниц различается, отправьте их на переобход, чтобы ускорить обновление данных в поисковой базе.
Ошибка подключения к серверу HOST_ERROR При обращении к сайту роботу не удалось установить соединение с сервером.

Проверьте ответ сервера, убедитесь в отсутствии блокировки робота Яндекса на стороне провайдера.

Сайт начнет индексироваться автоматически, если станет доступным для робота.
Ошибка HTTP HTTP_ERROR При обращении к странице возникла ошибка.

Проверьте ответ сервера.

Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход.
Запрещено элементом noindex META_NO_INDEX Страница была исключена из поиска из-за установленного запрета на индексирование (с помощью метатега robots с директивой content="noindex" или content="none"). Чтобы страница появилась в поиске, удалите запрет и отправьте ее на переобход.
Неканоническая NOT_CANONICAL Страница проиндексирована по каноническому адресу, который был указан в атрибуте rel="canonical" в ее исходном коде.

Исправьте или удалите атрибут rel="canonical", если он указан некорректно. Робот отследит изменения автоматически.

Чтобы ускорить обновление данных о странице, отправьте ее на переобход.
Неглавный адрес сайта NOT_MAIN_MIRROR Страница относится к неглавному адресу сайта, поэтому была исключена из поиска.
Статус неизвестен OTHER У робота нет актуальных данных для страницы.

Проверьте ответ сервера или наличие запрещающих HTML-элементов.

Если страница недоступна для робота, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход.
Не удалось скачать страницу PARSER_ERROR При обращении к странице роботу не удалось получить ее содержимое.

Проверьте ответ сервера или наличие запрещающих HTML-элементов.

Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход.
В поиске REDIRECT_SEARCHABLE Страница осуществляет перенаправление, но находится в поиске.
Редирект REDIRECT_NOTSEARCHABLE Страница осуществляет перенаправление, при котором индексируется его цель. Проверьте индексирование страницы, на которую выполняется редирект.
Запрет в robots.txt (весь сайт) ROBOTS_HOST_ERROR Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. При необходимости внесите изменения в файл robots.txt.
Запрет в robots.txt (страница) ROBOTS_TXT_ERROR Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. При необходимости внесите изменения в файл robots.txt.
В поиске SEARCHABLE Страница участвует в поиске и может отображаться в результатах поиска по запросам.
Статусы страницы в поиске
Статус в веб-интерфейсе Статус в файле Расшифровка Рекомендация
Малоценная или маловостребованная страница LOW_DEMAND

Алгоритм принял решение не включать страницу в поиск, поскольку у нее мало шансов оказаться востребованной пользователями. Так может произойти, например, если страница не содержит контента, дублирует уже известные роботу страницы или ее контент не вполне отвечает интересам пользователей.

Это автоматический регулярный процесс, поэтому решение алгоритма может измениться. Подробно в разделе Малоценные или маловостребованные страницы.

Если у сайта есть такие страницы, это не означает, что у него есть нарушения и ограничения в ранжировании. Наличие у сайта ограничений можно проверить в Вебмастере на странице Оптимизация сайта → Безопасность и нарушения.

 Подробно см. в разделе Малоценные или маловостребованные страницы.
Исключена по Clean-param CLEAN_PARAMS Страница была исключена из поиска в результате обработки роботом директивы Clean-param. Чтобы страница индексировалась, измените файл robots.txt.
Дубль DUPLICATE Страница дублирует уже представленную в поиске страницу сайта.

Укажите роботу предпочтительный адрес с помощью редиректа с HTTP-кодом 301 или атрибута rel="canonical".

Если содержимое страниц различается, отправьте их на переобход, чтобы ускорить обновление данных в поисковой базе.
Ошибка подключения к серверу HOST_ERROR При обращении к сайту роботу не удалось установить соединение с сервером.

Проверьте ответ сервера, убедитесь в отсутствии блокировки робота Яндекса на стороне провайдера.

Сайт начнет индексироваться автоматически, если станет доступным для робота.
Ошибка HTTP HTTP_ERROR При обращении к странице возникла ошибка.

Проверьте ответ сервера.

Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход.
Запрещено элементом noindex META_NO_INDEX Страница была исключена из поиска из-за установленного запрета на индексирование (с помощью метатега robots с директивой content="noindex" или content="none"). Чтобы страница появилась в поиске, удалите запрет и отправьте ее на переобход.
Неканоническая NOT_CANONICAL Страница проиндексирована по каноническому адресу, который был указан в атрибуте rel="canonical" в ее исходном коде.

Исправьте или удалите атрибут rel="canonical", если он указан некорректно. Робот отследит изменения автоматически.

Чтобы ускорить обновление данных о странице, отправьте ее на переобход.
Неглавный адрес сайта NOT_MAIN_MIRROR Страница относится к неглавному адресу сайта, поэтому была исключена из поиска.
Статус неизвестен OTHER У робота нет актуальных данных для страницы.

Проверьте ответ сервера или наличие запрещающих HTML-элементов.

Если страница недоступна для робота, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход.
Не удалось скачать страницу PARSER_ERROR При обращении к странице роботу не удалось получить ее содержимое.

Проверьте ответ сервера или наличие запрещающих HTML-элементов.

Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход.
В поиске REDIRECT_SEARCHABLE Страница осуществляет перенаправление, но находится в поиске.
Редирект REDIRECT_NOTSEARCHABLE Страница осуществляет перенаправление, при котором индексируется его цель. Проверьте индексирование страницы, на которую выполняется редирект.
Запрет в robots.txt (весь сайт) ROBOTS_HOST_ERROR Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. При необходимости внесите изменения в файл robots.txt.
Запрет в robots.txt (страница) ROBOTS_TXT_ERROR Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. При необходимости внесите изменения в файл robots.txt.
В поиске SEARCHABLE Страница участвует в поиске и может отображаться в результатах поиска по запросам.

В Вебмастере на странице Страницы в поиске могут появляться сообщения об изменении статусов страниц, на которых установлено временное перенаправление (редирект с HTTP-кодом 302, 303, 307 или метатег refresh, : «Не в поиске». В результатах поиска по-прежнему продолжает отображаться цель редиректа. Эти изменения входят в эксперимент на Поиске, подробно читайте в блоге.

Разные страницы сайта признаются дублями
Сообщить об ошибке в работе «Страниц в поиске»

Страницы с разным содержанием могут считаться дублями, если отвечали роботу сообщением об ошибке (например, на сайте была установлена заглушка). Проверьте, как отвечают страницы сейчас. Если страницы отдают разное содержимое, отправьте их на переобход — так они смогут быстрее вернуться в результаты поиска.

Чтобы избежать исключения страниц из поиска в случае кратковременной недоступности сайта, настройте HTTP-код ответа 503.