Справочник по ошибкам анализа robots.txt

Ошибки

Перечень ошибок, возникающих при анализе файла robots.txt.

Ошибка Расширение Яндекса Описание
Правило начинается не с символа / и не с символа * Да

Правило может начинаться только с символа / или *.

Найдено несколько правил вида User-agent: * Нет

Допускается только одно правило такого типа.

Превышен допустимый размер robots.txt Да

Количество правил в файле превышает 2048.

Перед правилом нет директивы User-agent. Нет

Правило должно всегда следовать за директивой User-agent. Возможно, файл содержит пустую строку после User-agent.

Слишком длинное правило Да

Правило превышает допустимую длину (1024 символа).

Некорректный формат URL файла Sitemap Да

В качестве URL файла Sitemap должен быть указан полный адрес, включая протокол. Например, https://www.example.com/sitemap.xml

Некорректный формат директивы Clean-param Да

В директиве Clean-param указывается один или несколько параметров, которые робот будет игнорировать, и префикс пути. Параметры перечисляются через символ & и отделяются от префикса пути пробелом.

Предупреждения

Перечень предупреждений, возникающих при анализе файла robots.txt.

Предупреждение Расширение Яндекса Описание
Возможно, был использован недопустимый символ Да

Обнаружен спецсимвол, отличный от * и $.

Обнаружена неизвестная директива Да

Обнаружена директива, не описанная в правилах использования robots.txt. Возможно, эта директива используется роботами других поисковых систем.

Синтаксическая ошибка Да

Строка не может быть интерпретирована как директива robots.txt.

Неизвестная ошибка Да

При анализе файла возникла неизвестная ошибка. Обратитесь в службу поддержки.

Ошибки проверки URL

Перечень ошибок проверки URL в инструменте Анализ robots.txt.

Ошибка Описание
Синтаксическая ошибка

Ошибка синтаксиса URL.

Этот URL не принадлежит вашему домену

Заданный URL не принадлежит сайту, для которого производится анализ файла. Возможно, вы указали неглавный адрес вашего сайта или допустили ошибку в написании имени домена.