Как защитить свой сайт от странных переходов с социальных сетей и других сайтов с 100% отказами?
Вопрос коллегам, вы наверное уже замечали в яндекс метрике странные переходы с социальных сетей и других сайтов, где показатель отказов почти 100%. Как правило, после такого трафика, сайт проседает в поиске. В сети много разговоров, что таким образом конкуренты накручивают (скручивают) поведенческие факторы. Как вы от этого защищаетесь?
ИнтернетСайты+8
Сейчас занимаюсь этим вопросом. Пока только тестирую, но есть кое какие прогрессы. Ясное дело, что на 100% вы не сможете уйти от отказов. Все дело в том, что большая часть таких хостов, это действительно различные боты. Их нужно ловить, и блокировать.
Вот небольшая часть того, что я собрал (Прочий мусор):
Далее, блокируем это все через .htaccess, так как многие боты игнорируют условия в robots.txt. Вот пример:
SetEnvIfNoCase User-Agent "BlackWidow|AhrefsBot|BLEXBot|MBCrawler|MegaIndex.ru/2.0|niraiya.com/2.0|YaK/1.0|YaK|niraiya\.com|megaindex\.ru|megaindex\.com|Megaindex|DotBot|MJ12bot|serpstatbot/2.0|SeopultContentAnalyzer/1.0|SemrushBot|cloudfind|CriteoBot|GetIntent Crawler|SafeDNSBot|SeopultContentAnalyzer|serpstatbot|LinkpadBot|Slurp|DataForSeoBot|Proximic Bot|SeznamBot/3.2|Rome Client|Scrapy|FlipboardRSS|SiteCheckerBotCrawler|FlipboardProxy|ZoominfoBot|SeznamBot|Seekport Crawler" blocked_bot
Order Allow,Deny
Allow from all
Deny from env=blocked_bot
Allow from all
Deny from env=blocked_bot
Далее можем наблюдать следующее:
[26/Jan/2023:11:06:02 +0300] "GET / HTTP/1.1" 403 273 "-" "SiteCheckerBotCrawler/1.0 (+http://sitechecker.pro)" 3420 3691:0
[26/Jan/2023:11:06:02 +0300] "GET / HTTP/1.1" 403 273 "-" "SiteCheckerBotCrawler/1.0 (+http://sitechecker.pro)" 3420 3691:0
Как видно из лога, бот "SiteCheckerBotCrawler" при обращении к сайту ловит 403. Нагрузка значительно упала, хоть и была не большой, так как приложение технически написано правильно.
А далее уже можно с этими данными делать что угодно. Я такой мусор вообще не пускаю на сайт. Вот примерно таким образом можно бороться с подобными аномалиями. А если вам не интересен трафик с каких либо ресурсов, вы можете их вообще просто заблокировать.
Увы, вы правы, есть наблюдения, что подобный трафик провоцирует просадку по позициям. Но у вас не получится открыть пинком дверь офиса Яндекса и Google, чтобы выразить свое недовольство, ибо придется встать в много миллионную... Читать далее
Антон спасибо за подробный ответ!
На сегодняшний день вариантов немного.
- Блокировки на уровне htaccess
- Использование правил для firewall (можно использовать CloudFlare)
- Ничего не делать.
Негативное влияние таких заходов на ранжирование сайта не доказано... Читать далее
Спасибо за ответ
Да, вы правы - это конкуренты прорабатывают свои позиции, влияя на поведенческий фактор. Как результат, ваш сайт опускается ниже (в числе прочих), а конкурент занимает освободившееся место повыше.
Влиять действительно можно и... Читать далее
Придумали для себя следующее решение:
1. Создаем параметр в Метрике, отслеживающий IP пользователя.
2. Собираем данные о ботах за какой-то период.
3. Блочим по списку IP или целой сети.
Чем этот способ хорош:
Как правило... Читать далее
ИИ Яндекса и Google уже давно научились определять такой трафик и переживать об этом не стоит. Если вас пугает статистика - просто сделайте фильтр на подобные посещения )
К сожалению никак, но я бы на вашем месте не расстраивался бы сильно по этому поводу, наращивайте целевой трафик, а по поводу отказников, если это кто-то делает намеренно, яндекс и гугл не дурак, он поймет что не стоит обращать... Читать далее
Ничего не надо делать. Не надо паниковать. Собаки пусть и дальше "лают". А караван должен идти дальше. Только упорная работа над своим сайтом без оглядки на накрутчиков приведёт к успеху. Я убеждался много раз, что поисковики с... Читать далее