Как парсить Amazon?
Пишу парсер для Amazon. Первые его версии парсили сайт напрямую через мой IP, но я столкнулся с предупреждениями о подозрительной активности, отправленными мне на почти. Чуть позже я начал использовать платные прокси от BestProxies, но 99% их не имеют возможности заходить на Amazon. Объемы парсинга сравнительно небольшие - около 1000 страниц. Парсер использую - Puppeteer.
Какие выходы есть из ситуации? Может есть сервисы для выкачки данных, а дальнейший парсинг будет проходить в офлайн режиме? Есть ли возможность работать со своего IP, но растянуть время работы программы на час или больше?
ПрограммированиеJavascript+3
Первый
Пробовать прокси от разных поставщиков, брать на тест минимальное количество.
У поставщика стоит спросить, не закрывали ли они сами доступ на Амазон. Иногда они так делают на каких-то маркетплейсах. Объясняешь, что ты не мошенник - открывают. Были такие случаи.
У поставщика стоит спросить, не закрывали ли они сами доступ на Амазон. Иногда они так делают на каких-то маркетплейсах. Объясняешь, что ты не мошенник - открывают. Были такие случаи.
Сервисы есть, по-моему, у создателя сообщества, как раз такой )
Но, если это для разовой задачи в 1000 позиций - очень затратно. Не только по деньгам, но и по времени на освоение инструмента.
Но, если это для разовой задачи в 1000 позиций - очень затратно. Не только по деньгам, но и по времени на освоение инструмента.
Впрочем, для разовой и парсер писать - на любителя.
А в принципе - по амазону не озадачивали еще, но, в принципе, возможно (хотя массово не тестировал):
Здравствуйте, а что если подключить Turbo VPN
, он создает динамические IP и вы таким образом сможете избежать блокировки . В принципе проблема в том , что сервис вас отслеживает , а с динамическим IP они устанут отслеживать... Читать далее