Метатеги

Метатеги задают метаданные для страниц сайта. Поисковые роботы используют ряд метатегов, чтобы точнее определить содержание и контекст страницы. Это влияет на то, как страница индексируется, ранжируется и показывается в результатах поиска.

Метатегами можно указать роботам правила, как загружать и индексировать страницы сайта.

Метатеги, которые учитывает робот Яндекса

Метатег

Описание

Description

Может использоваться в описаниях страниц сайта в результатах поиска. Подробнее.

Пример: <meta name="description" content="..."/>

keywords

Может влиять на соответствие страницы поисковым запросам.

Пример: <meta name="keywords" content="..."/>

robots

Определяет правила загрузки и индексирования страниц сайта. Подробнее.

Пример: <meta name="robots" content="..."/>

viewport

Адаптирует сайт для мобильных устройств. Контролирует масштабирование окна просмотра в браузере.

Подробно

Значение width=device-width адаптирует ширину окна просмотра к экрану устройства. Значение initial-scale=1 сохраняет соотношение 1:1 между CSS пикселямии и независимыми пикселями устройства.

Если метатег отсутствует, мобильные браузеры по умолчанию показывают страницу для экрана компьютера. Так как ширина экрана мобильного устройства значительно меньше экрана компьютера, браузеры пытаются оптимизировать содержание — увеличивают шрифт, масштабируют содержание по размеру экрана или показывают только часть контента, которая помещается на экране.

Пример: <meta name="viewport" content="width=device-width, initial-scale=1">

Content-Type

Определяет тип документа и его кодировку.

Пример: <meta http-equiv="Content-Type" content="type; charset=..."/>

refresh

Перенаправляет посетителя на страницу с адресом URL через N секунд. N считается временным перенаправлением при небольших значениях. Это аналогично серверным редиректам с HTTP-кодом 302/303/307.

Используйте метатег при переезде сайта.

Пример: <meta http-equiv="refresh" content="N;url=_адрес цели перенаправления_">

Настройка правил загрузки и индексирования страниц

Настроить правила с помощью директивы можно одним из способов:

  • прописать метатег robots в элементе head HTML-кода страницы;
  • настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.

Примечание

Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует.

Поисковые роботы учитывают метатеги и заголовки по умолчанию. Можно указать директивы для определенных роботов.

Директивы, которые поддерживает Яндекс

Директива

Описание

Метатег robots

Заголовок X-Robots-Tag

noindex

Не индексировать текст страницы. Страница не будет участвовать в результатах поиска.

nofollow

Не переходить по ссылкам на странице.

Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах.

none

Соответствует директивам noindex, nofollow.

noarchive

Не показывать ссылку на сохраненную копию в результатах поиска.

index | follow | archive

Отменяет запрещающие директивы.

—

all

Соответствует директивам index и follow — разрешает индексировать текст и ссылки на странице.

—

Робот использует разрешающие директивы по умолчанию. Поэтому их можно не указывать, если нет других директив. Разрешающие директивы имеют приоритет в сочетании с запрещающими.

Пример
<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки 
на сохраненную копию страницы.-->

Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.

Примеры использования директив

Указать несколько директив

Вы можете указать директивы через запятую. Пример:

<meta name="yandex" content="noindex, nofollow" />

Вы можете передать несколько заголовков в одном ответе, а также перечислить директивы через запятую. Пример:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive
Указать директивы для определенных роботов

Указать директиву только для роботов Яндекса можно с помощью метатега robots. Пример:

<meta name="yandex" content="noindex" />

Если вы перечислите общие директивы и директивы для роботов Яндекса, то поисковая система учтет все указания. Пример:

<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />

Такие директивы робот Яндекса воспримет как noindex, nofollow.

Запретить индексирование страниц

Запись, которая запрещает индексирование страницы. Пример:

<html>
    <head>
        <meta name="robots" content="noindex" />
    </head>
    <body>...</body>
</html>

HTTP-ответ, где заголовок запрещает индексирование страницы. Пример:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex
Написать в службу поддержки

Если страницы долгое время не попадают в результаты поиска или были исключены, в форме приведите примеры таких страниц.




Также вы можете перейти на сервис

Правила для поисковых роботов, которые определяют, как страница будет отображаться в результатах поиска.

Предыдущая
Как снизить нагрузку на сайт или сервер
Следующая
О протоколе IndexNow