Как запретить индексирование сайта или страниц

Скрыть содержимое сайта от индексирования можно с помощью файла robots.txt, HTML-разметки или авторизации на сайте.

  1. Запретить индексирование сайта, раздела или страницы
  2. Запретить индексирование части текста страницы
  3. Скрыть от индексирования ссылку на странице

Запретить индексирование сайта, раздела или страницы

Если какие-то страницы или разделы сайта не должны индексироваться (например, со служебной или конфиденциальной информацией), ограничьте доступ к ним следующими способами:

  • В файле robots.txt укажите директиву Disallow.
  • В HTML-коде страниц сайта укажите метатег robots с директивой noindex или none. Подробнее см. в разделе Метатег robots и HTTP-заголовок X-Robots-Tag.
  • Используйте авторизацию на сайте. Рекомендуем этот способ, чтобы скрыть от индексирования главную страницу сайта. Если главная страница запрещена в файле robots.txt, но на нее ведут ссылки с других сайтов, страница может попасть в результаты поиска.
    Примечание. Чтобы неавторизованные пользователи не попадали на закрытые страницы, настройте для таких страниц HTTP-код ответа сервера 404 Not Found, 403 Forbidden или 410 Gone.

Запретить индексирование части текста страницы

Скрыть от индексирования часть текста можно несколькими способами:

  • В HTML-код страницы добавьте элемент noindex. Например:

    <noindex>текст, индексирование которого нужно запретить</noindex>

    Элемент не чувствителен к вложенности — может находиться в любом месте HTML-кода страницы. Если на странице отсутствует закрывающий тег, скрытым считается весь контент страницы. Не создавайте множественную вложенность тегов noindex — разметка будет учитываться только до первого закрывающего тега.

    При необходимости сделать код сайта валидным возможно использование тега в следующем формате:

    <!--noindex-->текст, индексирование которого нужно запретить<!--/noindex-->

  • В HTML-код страницы добавьте элемент noscript. Например:

    <noscript>текст, индексирование которого нужно запретить</noscript>

    Элемент noscript, как и noindex, запрещает индексирование, но при этом скрывает содержимое сайта от пользователя, если его браузер поддерживает технологию JavaScript.

    Примечание. JavaScript поддерживают все популярные браузеры, если эта функция не отключена пользователем специально.

    Посмотреть отчет о наличии JavaScript можно в Яндекс Метрике .

Скрыть от индексирования ссылку на странице

Рекомендуем использовать атрибут rel. Разные значения атрибута указывают на тип ссылки, что помогает поисковой системе лучше распознавать содержимое сайта.
  • rel="ugc". Используйте, если на вашем сайте есть форум или возможность оставить отзыв и вы не уверены в качестве ссылок, которые оставляют посетители.
  • rel="sponsored". Используйте, если ссылка носит рекламный характер, указывает на рекламное место или размещение в рамках партнерской программы с другим сайтом.
  • rel="nofollow". Указывайте, чтобы робот не проходил по ссылке, не зависимо от ее типа.

Можно комбинировать несколько значений. Пример:

<a href="url" rel="nofollow,sponsored">текст ссылки</a>
или
<a href="url" rel="nofollow sponsored">текст ссылки</a>

Значения атрибута rel воспринимаются роботом как рекомендация не принимать ссылку во внимание.

При использовании любого из перечисленных указаний ссылка может быть обработана роботом и отобразиться в Вебмастере как внутренняя или внешняя. Само отображение или отсутствие ссылки в Вебмастере не указывает на то, что поисковые алгоритмы учитывают ее.