Для того, чтобы закрыть от индекса страницы, которые вы не хотите видеть в индексе, необходимо:
- разрешить их индексацию в файле robots.txt, т.е. удалить запрещающие директивы, которые ранее были прописаны (и, с ваших слов, не сработали);
- задать до закрывающего /head на всех страницах сайта , которые решили закрыть, в мета-теге robots: <meta name=“robots” content=“noindex,follow”> (в вашем случае это все страницы, URL которых содержит переменную "/?s=")
Примечание: п.2 должен заниматься программист, потому что варианты реализации зависят от CMS и компетенции специалиста.
robots.txt - не набор приказов для ротботов. Если робот считает, что внешние сигналы, подтверждающие важность страницы слишком сильны, то страничку он проиндексирует несмотря на запрет. Например, на страницу стоят ссылки с... Читать далее
Проверьте на всякий случай в Я.Вебмастере в разделе Инструменты - > Анализ robots.txt Добавьте страницу и нажмите проверить, узнаете заблокирована страница или нет. Может быть не правильно прописали правило.
Поисковики не всегда обращают внимание на robots.txt, сразу не найду, но где-то у гугла в поддержке было написано, что он может игнорироваться.
Добавьте на все страницы с результатами поиска meta тэги:
<meta name="robots" conte... Читать далее