Pull to refresh
10
0

User

Send message

Если начать масштабировать такие решения, предположим, хотим собирать 1M страниц каждый день - это будет очень дорого.

Существуют способы обнаружения автоматизации, которые связаны с протоколом, по которому идёт обмен данными между браузером и скриптом. Chrome, как правило, автоматизируется при помощи CDP. Через него-же работают все фичи, которыми можно пользоваться, когда вы открываете DevTools.
Cуществуют способы и антибот системы, которые умеют определять, что у вас открыта консоль. Многие автоматизированные системы типа puppeteer не умеют из коробки проходить этот тест (даже если включить stealth-plugin).
Пример теста: https://verz1lka.github.io/x/runtime.html (попробуйте страницу с открытой и закрытой devtools консолью)

Другая проблема таких плагинов - как правило, они почти никогда не могут нормально перекрывать проверки, которые делаются внутри айфреймов.

Information

Rating
Does not participate
Registered
Activity