Парсинг тарифов интернета и ТВ. Selenium + BeautifulSoup: трудности динамического контента и защиты от ботов

[mixsture]

Зачем тут BeautifulSoup? вы как без него искали довольно простые элементы по css селектору, так и после него.

Как будто бы его можно безболезненно выкинуть.

[koleso_O]

Поделитесь, пожалуйста, опытом обхода cloud flare. Были ли проблемы, как выполняли challenges, если случались?

Использую headless chrome (chromedp библиотека под golang) и часто сталкиваюсь с тем, что cf не пропускает, просит выполнить challenge (видимо, уровень анализа на той стороне выставлен приличный). Так вот, хочу понять, проблема во мне, выбранном стеке или в чем-то еще?

[Harrunos]

koleso_O, проблема почти наверняка в стеке, не в вас.

headless chrome (и chromedp, и selenium-stealth из статьи) работают поверх stock Chromium. JS-патчи применяются уже после старта движка - между запуском процесса и моментом, когда патч перехватывает управление, есть окно. Cloudflare Bot Management делает fingerprint-замер именно в этом окне: Canvas hash, WebGL RENDERER/VENDOR, navigator.webdriver - всё это успевает “засветиться” до того как ваш патч загрузился.

Автору статьи повезло: Дом.ру, судя по описанию, использует менее агрессивную защиту. CF уровня “challenge при любом headless” - это уже L2-детект, который JS-патчи принципиально не закрывают.

Попробуйте CloakBrowser - Chromium с патчами на уровне C++ до компиляции. Движок просто никогда не отдаёт automation-сигналы, нет окна, нет детекта.