В robots.txt добавляю то, что в принципе роботам сканировать не нужно. Обычно это служебные разделы, какие-то персонализированные данные и т.п.
Особо отмечу: robots.txt - не инструмент для управления индексированием, его стоит... Читать далее
Чаще всего в Disallow у меня попадают ненужные параметры. Например, utm_source, fbclid и какие-то внутрисайтовые параметры (вроде параметров фильтрации). Для Яндекса дополнительно прописываю Clean-param, чтобы он не учитывал... Читать далее
Все то что не должно попасть в поиск (кроме стилей и скриптов): дубли страниц (к примеру с какими-либо параметрами или utm метками), файлы движка (если сайт на cms), страницы (к примеру поиск по сайту, дубли главной, к примеру... Читать далее
Разрабатываю и продвигаю сайты 🚀. Держу руку на пульсе web технологий и SEOПерейти на web-revenue.ru
В robots.txt закрываю служебные папки, страницы сортировки и результатов поиска, страницы с рекламными метками, дубли или страницы с GET-параметрами.
Проверяю вебмастер на наличие "мусорных страниц" в индексе и закрывают... Читать далее