Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

Параметр Clean-param в robots.txt. Как подружить Google и Yandex одновременно?

О том, что параметр Clean-param не воспринимается Гуглом, уже писалось и не раз (и на самом Яндексе тоже). С этим все понятно. Но как быть, если я хочу использовать robots.txt и для Google, и для Яндекс одновременно (да и вообще любых прочих ПС)?

Вроде бы существует директива, делящая на секции файл robots.txt, позволяющая задать параметр исключительно для Яндекса. Но при проверке утилитой от Google он генерирует ошибку (Яндекс же считает этот файл корректным):

https://habrastorage.org/webt/61/23/64/6123646d27d16574627797.png

Как я ни пробовал (менял секции, объединял их, менял местами), мне не удалось сделать так, чтобы обе поисковые системы приняли этот файл и посчитали бы его корректным.

Возможен, конечно, вариант, когда я на сервере буду определять бота, который запрашивает файл и отдавать ему разные варианты, но это же очень неудобно, да и под все боты не напишешь правил. Так, например, сервис SemRush тоже не принимает такой файл. И думаю, большинство других сервисов также, ибо этот параметр воспринимается только Яндексом.

Кто-нибудь использует параметр Clean-param на своих сайтах и использует одновременно и Google Webmaster Tools, и Yandex.Webmaster? Как вы боретесь с ошибками (в Яндексе) дубликатов страниц с "ненужными" параметрами?

ЯндексGoogle+3
John Ship
  ·   · 188
Консультант SEO-оптимизаторов, прикладной...  · 25 авг 2021

Есть решение. Гугл игнорирует ошибочные директивы, так что спите спокойно с действующим robots.txt, не тратьте свою ценную энергию на бесполезные действия, никакой бот это не оценит.