Что прописать в robots.txt, чтобы не индексировались ссылки поиска недвижимости в Испании?
Что нужно прописать в robots.txt для сайта недвижимости в Испании https://best-espana.com/ чтобы не индексировались ссылки поиска? Как пример - такого вида https://best-espana.com/nedvigimost/search?s%5Bprice%5D%5Bmin%5D=&s%5Bprice%5D%5Bmax%5D=&s%5Bfolder_id%5D=&s%5Barticle%5D=&sort_by=&s%5Bgorod%5D=&s%5Bkolichestvo_spalen%5D=&s%5Bnovaya_vtorichka%5D=
Добрый день!
Вам необходимо заменить содержимое вашего файла https://best-espana.com/robots.txt на это:
User-agent: *
Disallow: /my/
Disallow: /nedvigimost/search?
Crawl-delay: 3
Sitemap: https://best-espana.com/sitemap.2196242.xml.gz
User-Agent: Yandex
Allow: /
Disallow: /my/
Disallow: /nedvigimost/search?
Crawl-delay: 3
Host: https://best-espana.com
Sitemap: https://best-espana.com/sitemap.2196242.xml.gz
User-agent: msnbot
Crawl-delay: 10
User-agent: MJ12bot
Crawl-delay: 20
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
Гугл все равно будет индексировать даже не смотря на запрет в роботсе, по этому. лучше всего сделать страницы заточенные под запросы из поиска и при поиске что бы был редирект на них , так же добавить в быстрый подбор, в теги и в фильтрацию