Pemuul Aug 9 2023 at 08:33

Парсинг сайта с помощью Chat GPT: упрощаем создание парсера

Medium

127 min

14K

Python*Artificial Intelligence

Tutorial

-4

Comments 8

denis-19 Aug 9 2023 at 08:38

Разработчики веб-сайтов теперь могут запретить боту GPTBot от OpenAI посещать сайт.

Pemuul Aug 9 2023 at 08:55

Статья интересная!

Но эта о другом, тут мы руками код сайта впихиваем

И это не обучение)

IvanNovikov Aug 9 2023 at 10:15

Боту GPTBot отдаются уже вырезанные теги из закаченного другими инструментами сайта, фактически сам бот не будет посещать сайт и запрещать смысла нет. Если я всё правильно понял

alexeydg Aug 9 2023 at 10:20

любой бот на selenium спотыкается о защиту cloudflare, так что это очень временный парсинг

Pemuul Aug 9 2023 at 10:32

Я парсеров не много делал, с такой проблемой не сталкивался

Даже интересно будет с Chat GPT обсудить и сделать обход защиты от ботов:)

alexeydg Aug 9 2023 at 13:49

selenium с определенной версии начал слать заголовок типа привет я selenium, его никак не выпилить и защита его сразу видит и лочит, так что можно в чат жпт не ходить

drygdryg Aug 10 2023 at 09:16

Чтобы такого не происходило, используют модифицированные драйверы для Selenium, например, undetected-chromedriver. Он перед каждым запуском патчит исполняемый файл драйвера.

alexeydg Aug 10 2023 at 10:24

пробовал, не везде в итоге прокатывает, есть защиты которые и это дело палят