Метатег robots и HTTP-заголовок X-Robots-Tag
- прописать метатег robots в HTML-коде страницы в элементе head;
- настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.
По умолчанию метатег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.
Поддерживаемые Яндексом директивы
Директива | Описание | Метатег robots | Заголовок X-Robots-Tag |
---|---|---|---|
noindex | Не индексировать текст страницы. Страница не будет участвовать в результатах поиска. | ||
nofollow | Не переходить по ссылкам на странице. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах. | ||
none | Соответствует директивам noindex, nofollow. | ||
noarchive | Не показывать ссылку на сохраненную копию в результатах поиска. | ||
noyaca | Не использовать сформированное автоматически описание. | — | |
index | follow | archive | Отмена соответствующих запрещающих директив. | — | |
all | Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице. | — |
Директива | Описание | Метатег robots | Заголовок X-Robots-Tag |
---|---|---|---|
noindex | Не индексировать текст страницы. Страница не будет участвовать в результатах поиска. | ||
nofollow | Не переходить по ссылкам на странице. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах. | ||
none | Соответствует директивам noindex, nofollow. | ||
noarchive | Не показывать ссылку на сохраненную копию в результатах поиска. | ||
noyaca | Не использовать сформированное автоматически описание. | — | |
index | follow | archive | Отмена соответствующих запрещающих директив. | — | |
all | Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице. | — |
Разрешающие директивы используются роботом по умолчанию, поэтому их можно не указывать, если нет других директив. В сочетании с запрещающими директивами разрешающие имеют приоритет. Пример.
Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.
Пример:
Запись, которая запрещает индексирование страницы.
<html>
<head>
<meta name="robots" content="noindex" />
</head>
<body>...</body>
</html>
HTTP-ответ, где заголовок запрещает индексирование страницы.
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex
Указание нескольких директив
Вы можете указать директивы через запятую.
<meta name="yandex" content="noindex, nofollow" />
Вы можете передать несколько заголовков в одном ответе, а также перечислить директивы через запятую.
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive
Если для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:
<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки
на сохраненную копию страницы.-->
Указания для определенных роботов
Указать директиву только для роботов Яндекса можно с помощью метатега robots. Пример:
<meta name="yandex" content="noindex" />
Если вы перечислите общие директивы и директивы для роботов Яндекса, то поисковая система учтет все указания.
<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />
Такие директивы робот Яндекса воспримет как noindex, nofollow
.