Все то что не должно попасть в поиск (кроме стилей и скриптов): дубли страниц (к примеру с какими-либо параметрами или utm метками), файлы движка (если сайт на cms), страницы (к примеру поиск по сайту, дубли главной, к примеру index.php. Для Яндекс я бы закрыл amp страницы (если они есть).
Разрабатываю и продвигаю сайты 🚀. Держу руку на пульсе web технологий и SEO
Перейти на web-revenue.ru
1 эксперт согласен
В robots.txt добавляю то, что в принципе роботам сканировать не нужно. Обычно это служебные разделы, какие-то персонализированные данные и т.п.
Особо отмечу: robots.txt - не инструмент для управления индексированием, его стоит... Читать далее
2 эксперта согласны
Александр Толстенко
14 мая 2022подтверждает
Согласен
Чаще всего в Disallow у меня попадают ненужные параметры. Например, utm_source, fbclid и какие-то внутрисайтовые параметры (вроде параметров фильтрации). Для Яндекса дополнительно прописываю Clean-param, чтобы он не учитывал... Читать далее
1 эксперт согласен
Илья Карт
20 окт 2021подтверждает
Верно перечислен список параметров рекомендуемых к запрету индексации. Но при этом есть и немного лишнего, то что... Читать дальше
Стараюсь закрывать от индексации:
- Страницы регистрации и авторизации
- Личный кабинет
- Профили юзеров
- Системные файлы и каталоги
- Пустые страницы, если такие имеются Читать далее
В robots.txt закрываю служебные папки, страницы сортировки и результатов поиска, страницы с рекламными метками, дубли или страницы с GET-параметрами.
Проверяю вебмастер на наличие "мусорных страниц" в индексе и закрывают... Читать далее