Комментарии 4
Самого главного не указали, какой допустимый объем «естественного» трафика, то есть сайт знает, что обычно покупатель проходит по 5 страницам, а иногда по 20. Но 1000 страниц не проходит никогда, то есть есть количественные метрики. Получается, что для хорошей маскировки таких IP нужно много.
И еще момент, некоторые билетные сайты любят завышать цену при большом количестве просмотров с одного IP, это тоже может влиять
И еще момент, некоторые билетные сайты любят завышать цену при большом количестве просмотров с одного IP, это тоже может влиять
А есть методики идентификации краулеров и ботов?
Ну то есть понятно, что запросы без User-Agent или с корявым User-Agent фальшивка. Запросы без кук вероятно фальшывые. Большое количество запросов с одного IP. Частые запросы с одного IP. Запросы с одного IP с одинаковым интервалом. Запросы из публичного списка прокси. Запросы из Tor exit nodes.
Какие ещё есть методы?
Переход на вторую страницу сайта без реферера, большое количество запросов за определенный промежуток времени (типа 50 запросов за 6 часов, т.е. уход от блокировки по частоте), специфические заголовки (язык, кодировка, сжатие) точнее их наличие и валидность и разница между нормальными браузерами и текущим.
НЛО прилетело и опубликовало эту надпись здесь
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как решить проблемы сайтов-агрегаторов с помощью резидентных прокси