В robots.txt добавляю то, что в принципе роботам сканировать не нужно. Обычно это служебные разделы, какие-то персонализированные данные и т.п.
Особо отмечу: robots.txt - не инструмент для управления индексированием, его стоит... Читать далее
Чаще всего в Disallow у меня попадают ненужные параметры. Например, utm_source, fbclid и какие-то внутрисайтовые параметры (вроде параметров фильтрации). Для Яндекса дополнительно прописываю Clean-param, чтобы он не учитывал... Читать далее
Все то что не должно попасть в поиск (кроме стилей и скриптов): дубли страниц (к примеру с какими-либо параметрами или utm метками), файлы движка (если сайт на cms), страницы (к примеру поиск по сайту, дубли главной, к примеру... Читать далее
Разрабатываю и продвигаю сайты 🚀. Держу руку на пульсе web технологий и SEOПерейти на web-revenue.ru
Стараюсь закрывать от индексации:
- Страницы регистрации и авторизации
- Личный кабинет
- Профили юзеров
- Системные файлы и каталоги
- Пустые страницы, если такие имеются Читать далее