Как снизить нагрузку на сайт или сервер
Индексирующий робот самостоятельно планирует посещение страниц сайта, регулируя нагрузку на сайт или сервер автоматически в зависимости от того, сколько новых или уже проиндексированных страниц сайта необходимо обойти.
Иногда количество обращений робота может резко увеличиваться, например, если робот узнал о новом разделе сайта или изменилась структура и адреса страниц.
Чтобы разобраться в причине роста обращений робота к сайту:
Проверьте количество загруженных роботом страниц и страниц, которые участвуют в поиске. Для этого перейдите в Вебмастер на страницу Мои сайты. Если число загруженных страниц сильно превышает число страниц в поиске, то, вероятно, робот находит на сайте большое количество однотипных страниц, страниц-дублей, которые не должны индексироваться.
- На странице посмотрите, к каким страницам обращался робот в последнее время. Также эту информацию можно найти в логах сервера.
Обратите внимание на страницы с GET-параметрами. Скорее всего, они содержат одинаковый контент. Например, если на сайте есть фильтры по каталогу, то страницы могут содержать параметр вида ?price=1000&max_price=1000000. Или, если на сайте есть поиск, — ?search=<поисковая фраза>.
Несмотря на то, что робот обходит страницы с разными адресами, но с одинаковым контентом, они не могут участвовать в результатах поиска.
Добавьте директиву Clean-param в файл robots.txt. Она позволяет указать роботу на нужный URL среди дублирующих — нагрузка постепенно снизится. Также директива дает возможность передавать основному URL или сайту некоторые накопленные показатели.
Чтобы быстро снять нагрузку от робота, добавьте директиву Disallow в файл robots.txt. Робот перестанет обращаться к указанным страницам в течение суток после внесения изменений в файл.
Если вы считаете, что нагрузка не связана с лишними страницами, вы можете настроить сервер так, чтобы он отвечал HTTP-кодом 429. Такой ответ укажет на то, что сервер испытывает затруднения с нагрузкой — робот Яндекса уменьшит число обращений. Или самостоятельно изменить скорость обхода сайта.
