В robots.txt добавляю то, что в принципе роботам сканировать не нужно. Обычно это служебные разделы, какие-то персонализированные данные и т.п.
Особо отмечу: robots.txt - не инструмент для управления индексированием, его стоит использовать только для настроек сканирования сайта, при этом надо учитывать, что речь не о директивах как таковых, это всего лишь список ваших пожеланий, адресованных поисковым роботам. И эти "пожелания" роботы вполне могут игнорировать, если получат соответствующие сигналы о важности каких-то URL и необходимости их просканировать и проиндексировать.
2 эксперта согласны
Александр Толстенко
14 мая 2022подтверждает
Согласен
Чаще всего в Disallow у меня попадают ненужные параметры. Например, utm_source, fbclid и какие-то внутрисайтовые параметры (вроде параметров фильтрации). Для Яндекса дополнительно прописываю Clean-param, чтобы он не учитывал... Читать далее
1 эксперт согласен
Илья Карт
20 окт 2021подтверждает
Верно перечислен список параметров рекомендуемых к запрету индексации. Но при этом есть и немного лишнего, то что... Читать дальше
Все то что не должно попасть в поиск (кроме стилей и скриптов): дубли страниц (к примеру с какими-либо параметрами или utm метками), файлы движка (если сайт на cms), страницы (к примеру поиск по сайту, дубли главной, к примеру... Читать далее
Разрабатываю и продвигаю сайты 🚀. Держу руку на пульсе web технологий и SEO
Перейти на web-revenue.ru
1 эксперт согласен
Стараюсь закрывать от индексации:
- Страницы регистрации и авторизации
- Личный кабинет
- Профили юзеров
- Системные файлы и каталоги
- Пустые страницы, если такие имеются Читать далее
В robots.txt закрываю служебные папки, страницы сортировки и результатов поиска, страницы с рекламными метками, дубли или страницы с GET-параметрами.
Проверяю вебмастер на наличие "мусорных страниц" в индексе и закрывают... Читать далее