Перед принятием решения о способе закрытия страниц с "index.php" от индекса необходимо проверить:
действительно ли страницы являются дублями (по содержанию контента). Если дубли, то их действительно необходимо удалить из выдачи;
попали ли уже страницы с "index.php" в индекс/выдачу поисковых систем (наиболее популярный способ проверки через оператора поиска "site:"). Если попали, то решение с прописыванием запрещающей директивы в robots.txt применять поздно.
если не попали в индекс, то необходимо выяснить количество нагенеренных CMS сайта страниц. Если их не 5-10 шт, а более - выяснить, по какой причине "движок" их генерит и исправить ситуацию силами программиста. А пока задача решается настроить 301 редиректы. Но при настройке 301 редиректов следует помнить, что каждый переход поискового робота по редиректу уменьшает вероятность того, что робот проиндексирует действительно полезные страницы, например, с опубликованным контентом, который должен попасть в выдачу. Проще говоря, "краулинговый бюджет" будет тратиться впустую - на редиректы и возникнет проблема с индексацией новых страниц сайта. А это повлечет за собой уже другие проблемы.. например, особо прыткие ребята могут спарсить опубликованный, но не проиндексированный контент на вашем сайте и опубликовать на своем сайте. В результате, когда все-таки страницы вашего сайта проиндексируются, они будут признаны копипастой со всеми негативными последствиями для вашего сайта.
Закрытие страниц директивой disallow в файле робота не дает гарантии, что эта страница не будет проиндексирована. Есть очень много примеров, когда закрытая в роботсе страница не только индексировалась, но и попадала в выдачу... Читать далее