Директива Crawl-delay

С 22 февраля 2018 года Яндекс перестал учитывать директиву Crawl-delay. Подробно об этом читайте в блоге.

Чтобы задать скорость, с которой роботы будут загружать страницы сайта, используйте Скорость обхода сайта в Яндекс Вебмастере.