Чаще всего в Disallow у меня попадают ненужные параметры. Например, utm_source, fbclid и какие-то внутрисайтовые параметры (вроде параметров фильтрации). Для Яндекса дополнительно прописываю Clean-param, чтобы он не учитывал ненужные параметры.
Помимо этого закрываются разные технические страницы: страница поиска по сайту, Политика конфиденциальности и т.п.
Для отдельных движков есть дополнительные исключения. Например, для Wordpress:
- /wp-admin
- /wp-includes
- */trackback
- */feed
- /wp-login.php
- и т.п.
Иногда полностью закрываю сайт
Disallow: /
для отдельных роботов, чаще всего краулеров и парсеров, вроде grub, WebZip, Offline Explorer, Xenu's Link Sleuth и т.п.
1 эксперт согласен
Илья Карт
20 окт 2021подтверждает
Верно перечислен список параметров рекомендуемых к запрету индексации. Но при этом есть и немного лишнего, то что... Читать дальше
В robots.txt добавляю то, что в принципе роботам сканировать не нужно. Обычно это служебные разделы, какие-то персонализированные данные и т.п.
Особо отмечу: robots.txt - не инструмент для управления индексированием, его стоит... Читать далее
2 эксперта согласны
Александр Толстенко
14 мая 2022подтверждает
Согласен
Все то что не должно попасть в поиск (кроме стилей и скриптов): дубли страниц (к примеру с какими-либо параметрами или utm метками), файлы движка (если сайт на cms), страницы (к примеру поиск по сайту, дубли главной, к примеру... Читать далее
Разрабатываю и продвигаю сайты 🚀. Держу руку на пульсе web технологий и SEO
Перейти на web-revenue.ru
1 эксперт согласен
Стараюсь закрывать от индексации:
- Страницы регистрации и авторизации
- Личный кабинет
- Профили юзеров
- Системные файлы и каталоги
- Пустые страницы, если такие имеются Читать далее
В robots.txt закрываю служебные папки, страницы сортировки и результатов поиска, страницы с рекламными метками, дубли или страницы с GET-параметрами.
Проверяю вебмастер на наличие "мусорных страниц" в индексе и закрывают... Читать далее