Справочник по ошибкам анализа robots.txt
Ошибки
Перечень ошибок, возникающих при анализе файла robots.txt.
Ошибка | Расширение Яндекса | Описание |
---|---|---|
Правило начинается не с символа / и не с символа * | Да | Правило может начинаться только с символа / или *. |
Найдено несколько правил вида User-agent: * | Нет | Допускается только одно правило такого типа. |
Превышен допустимый размер robots.txt | Да | Количество правил в файле превышает 2048. |
Перед правилом нет директивы User-agent. | Нет | Правило должно всегда следовать за директивой User-agent. Возможно, файл содержит пустую строку после User-agent. |
Слишком длинное правило | Да | Правило превышает допустимую длину (1024 символа). |
Некорректный формат URL файла Sitemap | Да | В качестве URL файла Sitemap должен быть указан полный адрес, включая протокол. Например, https://www.example.com/sitemap.xml |
Некорректный формат директивы Clean-param | Да | В директиве Clean-param указывается один или несколько параметров, которые робот будет игнорировать, и префикс пути. Параметры перечисляются через символ & и отделяются от префикса пути пробелом. |
Ошибка | Расширение Яндекса | Описание |
---|---|---|
Правило начинается не с символа / и не с символа * | Да | Правило может начинаться только с символа / или *. |
Найдено несколько правил вида User-agent: * | Нет | Допускается только одно правило такого типа. |
Превышен допустимый размер robots.txt | Да | Количество правил в файле превышает 2048. |
Перед правилом нет директивы User-agent. | Нет | Правило должно всегда следовать за директивой User-agent. Возможно, файл содержит пустую строку после User-agent. |
Слишком длинное правило | Да | Правило превышает допустимую длину (1024 символа). |
Некорректный формат URL файла Sitemap | Да | В качестве URL файла Sitemap должен быть указан полный адрес, включая протокол. Например, https://www.example.com/sitemap.xml |
Некорректный формат директивы Clean-param | Да | В директиве Clean-param указывается один или несколько параметров, которые робот будет игнорировать, и префикс пути. Параметры перечисляются через символ & и отделяются от префикса пути пробелом. |
Предупреждения
Перечень предупреждений, возникающих при анализе файла robots.txt.
Предупреждение | Расширение Яндекса | Описание |
---|---|---|
Возможно, был использован недопустимый символ | Да | Обнаружен спецсимвол, отличный от * и $. |
Обнаружена неизвестная директива | Да | Обнаружена директива, не описанная в правилах использования robots.txt. Возможно, эта директива используется роботами других поисковых систем. |
Синтаксическая ошибка | Да | Строка не может быть интерпретирована как директива robots.txt. |
Неизвестная ошибка | Да | При анализе файла возникла неизвестная ошибка. Обратитесь в службу поддержки. |
Предупреждение | Расширение Яндекса | Описание |
---|---|---|
Возможно, был использован недопустимый символ | Да | Обнаружен спецсимвол, отличный от * и $. |
Обнаружена неизвестная директива | Да | Обнаружена директива, не описанная в правилах использования robots.txt. Возможно, эта директива используется роботами других поисковых систем. |
Синтаксическая ошибка | Да | Строка не может быть интерпретирована как директива robots.txt. |
Неизвестная ошибка | Да | При анализе файла возникла неизвестная ошибка. Обратитесь в службу поддержки. |
Ошибки проверки URL
Перечень ошибок проверки URL в инструменте Анализ robots.txt.
Ошибка | Описание |
---|---|
Синтаксическая ошибка | Ошибка синтаксиса URL. |
Этот URL не принадлежит вашему домену | Заданный URL не принадлежит сайту, для которого производится анализ файла. Возможно, вы указали неглавный адрес вашего сайта или допустили ошибку в написании имени домена. |
Ошибка | Описание |
---|---|
Синтаксическая ошибка | Ошибка синтаксиса URL. |
Этот URL не принадлежит вашему домену | Заданный URL не принадлежит сайту, для которого производится анализ файла. Возможно, вы указали неглавный адрес вашего сайта или допустили ошибку в написании имени домена. |