Есть способы защиты вебсайтов, которые проверяют наличие у конечного пользователя оборудования, способного рендерить WebGL и подобный ему контент. Если инстанс запускается не на локальном компьютере, а на удаленном headless сервере, то даже настоящий браузер не всегда может пройти тесты. И даже симуляция наличия полноценного экрана для рендера контента страницы (например с помощью Xvfb) не всегда помогает обойти эти тесты.
Selenium это в целом альтернатива Puppeteer. И насколько я помню, даже они не панацея в 100% случаях, банально та же проверка на наличие видеокарты или headful режима у браузера.
Парсингу сайту по HTML уже сто лет в обед, да и способы обхода каптчи и защиты (useragent, проверка реальности браузера и тд) уже давно придумали. Правда в проде обычно Puppeteer используют вроде.
Я в целом имел ввиду, что по какой-то странной причине многие айтишники рассматривают только два пути для технаря - или программистом в уютный офис, или на завод (на фоне дефицита вакансий в айти для джунов/миддлов). Часто встречаю такую точку зрения, в том числе у своих коллег, мол если и выкатываться из айти, то только в курьеры или сварщики на завод. Будто бы других карьерных перспектив в мире нет.
Зачем все считают что из айти нужно выкатываться именно на завод? Есть же например электронная инженерия с кучей направлений - схемотехника, топология, FPGA и прочее. Почему многие ассоциируют слово "инженер" именно с заводом, а не технологичным конструкторским офисом? На моей памяти большинство моих знакомых успешно эмигрировали и без какого-то там айти, например инженеры по электронике и наноэлектронике эмигрировали в Китай, в США как по науке, так и по работе (в Texas Instruments и прочие компании). Да и в России зарплаты у них не сильно плохие.
Есть способы защиты вебсайтов, которые проверяют наличие у конечного пользователя оборудования, способного рендерить WebGL и подобный ему контент. Если инстанс запускается не на локальном компьютере, а на удаленном headless сервере, то даже настоящий браузер не всегда может пройти тесты. И даже симуляция наличия полноценного экрана для рендера контента страницы (например с помощью Xvfb) не всегда помогает обойти эти тесты.
Чтобы проверить возможность парсера пройти все проверки обычно используются сервисы по типу browserleaks.com и https://scrapfly.io/web-scraping-tools/browser-fingerprint
Я бы написал на Хабре полноценную статью на эту тему, но мне кажется меня за это уволят)
Selenium это в целом альтернатива Puppeteer. И насколько я помню, даже они не панацея в 100% случаях, банально та же проверка на наличие видеокарты или headful режима у браузера.
Парсингу сайту по HTML уже сто лет в обед, да и способы обхода каптчи и защиты (useragent, проверка реальности браузера и тд) уже давно придумали. Правда в проде обычно Puppeteer используют вроде.
Я в целом имел ввиду, что по какой-то странной причине многие айтишники рассматривают только два пути для технаря - или программистом в уютный офис, или на завод (на фоне дефицита вакансий в айти для джунов/миддлов). Часто встречаю такую точку зрения, в том числе у своих коллег, мол если и выкатываться из айти, то только в курьеры или сварщики на завод. Будто бы других карьерных перспектив в мире нет.
Зачем все считают что из айти нужно выкатываться именно на завод? Есть же например электронная инженерия с кучей направлений - схемотехника, топология, FPGA и прочее. Почему многие ассоциируют слово "инженер" именно с заводом, а не технологичным конструкторским офисом? На моей памяти большинство моих знакомых успешно эмигрировали и без какого-то там айти, например инженеры по электронике и наноэлектронике эмигрировали в Китай, в США как по науке, так и по работе (в Texas Instruments и прочие компании). Да и в России зарплаты у них не сильно плохие.