Как за сутки обойти миллиард веб-страниц

[den234624234642]

Честно говоря не знаю зачем мне эта информация, но из заголовка начал читать) Сам факт реализации это, конечно хорошо, но не понятно, что делать ссобранной информацией - какой процент успешного парсинга html и какой процент требует js и соответственно не отдал контент. Без аналитики, как вы и пишете, не понятен результат

[pda0]

что делать ссобранной информацией

Ну как - что? Несколько лет назад прописали бы в блокчейн. Чуть позже - наделали бы NFT. Сейчас - нейронки учить, конечн же. :)

[den234624234642]

На счет нейронок я тоже думал. Все что нужно, что бы пользоваться нейронками это информация/данные. Это и хлеб и вода - без данных нейронок не существует. Но, как гооврят умные люди, самое сложное не обучение, а подготовка данных... это как маляр в автосервисе - покраска занимает 30 минут, а подготовка неделю... Вот и данные - как понять, что данные валидны и данные высокого качества и еще куча и маленькая тележка таки же НО... Я представить себе не могу, как можно подгоовить данные. Это реально выглядит, как центр в несколько этажей забитый индусами. Вот Норникель обучил модель на своих данных - это достаточно понятный кейс - данные достаточно точные и валидные и вероятно поддаются корректной разметке и прочему, а как быть с данными собранными таким веером - вообще не ясно. Это билет в один конец, на мой взгляд