Метатег robots и HTTP-заголовок X-Robots-Tag

Вы можете указать роботам правила загрузки и индексирования определенных страниц сайта одним из способов:

  • прописать метатег robots в HTML-коде страницы в элементе head;
  • настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.

Примечание

Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует.

По умолчанию метатег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.

Поддерживаемые Яндексом директивы

Директива

Описание

Метатег robots

Заголовок X-Robots-Tag

noindex

Не индексировать текст страницы. Страница не будет участвовать в результатах поиска.

nofollow

Не переходить по ссылкам на странице. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах.

none

Соответствует директивам noindex, nofollow.

noarchive

Не показывать ссылку на сохраненную копию в результатах поиска.

noyaca

Не использовать сформированное автоматически описание.

—

index | follow | archive

Отмена соответствующих запрещающих директив.

—

all

Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице.

—

Разрешающие директивы используются роботом по умолчанию, поэтому их можно не указывать, если нет других директив. В сочетании с запрещающими директивами разрешающие имеют приоритет.

Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.

Пример:

Запись, которая запрещает индексирование страницы.

<html>
    <head>
        <meta name="robots" content="noindex" />
    </head>
    <body>...</body>
</html>

HTTP-ответ, где заголовок запрещает индексирование страницы.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex

Указание нескольких директив

Вы можете указать директивы через запятую.

<meta name="yandex" content="noindex, nofollow" />

Вы можете передать несколько заголовков в одном ответе, а также перечислить директивы через запятую.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive

Если для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:

<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки 
на сохраненную копию страницы.-->

Указания для определенных роботов

Указать директиву только для роботов Яндекса можно с помощью метатега robots. Пример:

<meta name="yandex" content="noindex" />

Если вы перечислите общие директивы и директивы для роботов Яндекса, то поисковая система учтет все указания.

<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />

Такие директивы робот Яндекса воспримет как noindex, nofollow.

Написать в службу поддержки

Если страницы долгое время не попадают в результаты поиска или были исключены, в форме приведите примеры таких страниц.




Также вы можете перейти на сервис

Предыдущая
Метатеги, которые учитывает Яндекс
Следующая
О протоколе IndexNow