Ага, где-то я уже слышал, что с уровнем развития технологий в 80-90х за 0.5ГГц процессорами пойдут 2-4Ггц, а потом 6-10Ггц, а там уже и 20-40ГГц процессорам далеко, но воз и ныне там)
Надо сравнивать программистов не с извозчиками, которых изжили со временем, а с инженерами, которые раньше делали телеги, а потом автомобили. Или когда они раньше чертили вручную на бумаге, а тепер часть работы и вычислений за них уже 40+ лет делает автоматическое CAD ПО на компьютерах. И что, исчезли инженеры?
Настоящий инженер когда проектирует мост, он имеет фундаментальные знания, благодаря которым его мост получится надежным и соразмерно по стоимости. Вайбкодинг же это скорее "нарисовать мост и построить такой же".
Поэтому без фундаментальных знаний CS не обойтись.
Есть способы защиты вебсайтов, которые проверяют наличие у конечного пользователя оборудования, способного рендерить WebGL и подобный ему контент. Если инстанс запускается не на локальном компьютере, а на удаленном headless сервере, то даже настоящий браузер не всегда может пройти тесты. И даже симуляция наличия полноценного экрана для рендера контента страницы (например с помощью Xvfb) не всегда помогает обойти эти тесты.
Selenium это в целом альтернатива Puppeteer. И насколько я помню, даже они не панацея в 100% случаях, банально та же проверка на наличие видеокарты или headful режима у браузера.
Парсингу сайту по HTML уже сто лет в обед, да и способы обхода каптчи и защиты (useragent, проверка реальности браузера и тд) уже давно придумали. Правда в проде обычно Puppeteer используют вроде.
Я в целом имел ввиду, что по какой-то странной причине многие айтишники рассматривают только два пути для технаря - или программистом в уютный офис, или на завод (на фоне дефицита вакансий в айти для джунов/миддлов). Часто встречаю такую точку зрения, в том числе у своих коллег, мол если и выкатываться из айти, то только в курьеры или сварщики на завод. Будто бы других карьерных перспектив в мире нет.
Зачем все считают что из айти нужно выкатываться именно на завод? Есть же например электронная инженерия с кучей направлений - схемотехника, топология, FPGA и прочее. Почему многие ассоциируют слово "инженер" именно с заводом, а не технологичным конструкторским офисом? На моей памяти большинство моих знакомых успешно эмигрировали и без какого-то там айти, например инженеры по электронике и наноэлектронике эмигрировали в Китай, в США как по науке, так и по работе (в Texas Instruments и прочие компании). Да и в России зарплаты у них не сильно плохие.
Ага, где-то я уже слышал, что с уровнем развития технологий в 80-90х за 0.5ГГц процессорами пойдут 2-4Ггц, а потом 6-10Ггц, а там уже и 20-40ГГц процессорам далеко, но воз и ныне там)
Надо сравнивать программистов не с извозчиками, которых изжили со временем, а с инженерами, которые раньше делали телеги, а потом автомобили. Или когда они раньше чертили вручную на бумаге, а тепер часть работы и вычислений за них уже 40+ лет делает автоматическое CAD ПО на компьютерах. И что, исчезли инженеры?
Настоящий инженер когда проектирует мост, он имеет фундаментальные знания, благодаря которым его мост получится надежным и соразмерно по стоимости. Вайбкодинг же это скорее "нарисовать мост и построить такой же".
Поэтому без фундаментальных знаний CS не обойтись.
Текст не мой, но добавить тут, пожалуй, нечего.
Есть способы защиты вебсайтов, которые проверяют наличие у конечного пользователя оборудования, способного рендерить WebGL и подобный ему контент. Если инстанс запускается не на локальном компьютере, а на удаленном headless сервере, то даже настоящий браузер не всегда может пройти тесты. И даже симуляция наличия полноценного экрана для рендера контента страницы (например с помощью Xvfb) не всегда помогает обойти эти тесты.
Чтобы проверить возможность парсера пройти все проверки обычно используются сервисы по типу browserleaks.com и https://scrapfly.io/web-scraping-tools/browser-fingerprint
Я бы написал на Хабре полноценную статью на эту тему, но мне кажется меня за это уволят)
Selenium это в целом альтернатива Puppeteer. И насколько я помню, даже они не панацея в 100% случаях, банально та же проверка на наличие видеокарты или headful режима у браузера.
Парсингу сайту по HTML уже сто лет в обед, да и способы обхода каптчи и защиты (useragent, проверка реальности браузера и тд) уже давно придумали. Правда в проде обычно Puppeteer используют вроде.
Я в целом имел ввиду, что по какой-то странной причине многие айтишники рассматривают только два пути для технаря - или программистом в уютный офис, или на завод (на фоне дефицита вакансий в айти для джунов/миддлов). Часто встречаю такую точку зрения, в том числе у своих коллег, мол если и выкатываться из айти, то только в курьеры или сварщики на завод. Будто бы других карьерных перспектив в мире нет.
Зачем все считают что из айти нужно выкатываться именно на завод? Есть же например электронная инженерия с кучей направлений - схемотехника, топология, FPGA и прочее. Почему многие ассоциируют слово "инженер" именно с заводом, а не технологичным конструкторским офисом? На моей памяти большинство моих знакомых успешно эмигрировали и без какого-то там айти, например инженеры по электронике и наноэлектронике эмигрировали в Китай, в США как по науке, так и по работе (в Texas Instruments и прочие компании). Да и в России зарплаты у них не сильно плохие.