Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

Закрывать страницы index.php в robots.txt или настраивать редиректы?

SeoSeo продвижение+3
Truck Star
  ·   · 428
SEO аналитик. Нравится помогать - это развивает...  · 12 февр 2021  · antonvelichko.ru

Перед принятием решения о способе закрытия страниц с "index.php" от индекса необходимо проверить:

  1. действительно ли страницы являются дублями (по содержанию контента). Если дубли, то их действительно необходимо удалить из выдачи;
  2. попали ли уже страницы с "index.php" в индекс/выдачу поисковых систем (наиболее популярный способ проверки через оператора поиска "site:"). Если попали, то решение с прописыванием запрещающей директивы в robots.txt применять поздно.
  3. если не попали в индекс, то необходимо выяснить количество нагенеренных CMS сайта страниц. Если их не 5-10 шт, а более - выяснить, по какой причине "движок" их генерит и исправить ситуацию силами программиста. А пока задача решается настроить 301 редиректы. Но при настройке 301 редиректов следует помнить, что каждый переход поискового робота по редиректу уменьшает вероятность того, что робот проиндексирует действительно полезные страницы, например, с опубликованным контентом, который должен попасть в выдачу. Проще говоря, "краулинговый бюджет" будет тратиться впустую - на редиректы и возникнет проблема с индексацией новых страниц сайта. А это повлечет за собой уже другие проблемы.. например, особо прыткие ребята могут спарсить опубликованный, но не проиндексированный контент на вашем сайте и опубликовать на своем сайте. В результате, когда все-таки страницы вашего сайта проиндексируются, они будут признаны копипастой со всеми негативными последствиями для вашего сайта.
SEO e-commerce, услуг, статейников, наставничество и консультации:Перейти на antonvelichko.ru
Управляющий партнер. Агентство "Webpage Profy"  · 10 февр 2021  · webpage-profy.ru
Закрытие страниц директивой disallow в файле робота не дает гарантии, что эта страница не будет проиндексирована. Есть очень много примеров, когда закрытая в роботсе страница не только индексировалась, но и попадала в выдачу... Читать далее
Разработка и продвижение сайтов под ключПерейти на webpage-profy.ru