«Википедия» призывает компании в сфере разработки ИИ использовать её платный API и прекратить парсинг данных

2 min

5.2K

Artificial IntelligenceMachine learning * Content-marketing * Cloud services * Search engines *

Comments 3

«Викимедиа» не угрожает штрафами или судебными преследованиями за использование материалов путём парсинга. Фонд отметил, что ИИ-боты парсили сайт энциклопедии, пытаясь выглядеть как люди.

Ересь какая-то. Википедия два раза в месяц выкладывает полный дамп своей базы в открытый доступ. Из дампа реально можно восстановить все сразу и не надо заниматься парсингом, пытаясь выглядеть как люди.

tuxi Nov 11 at 10:46

Тут скорей всего речь не про то, что ботов натравили конкретно на википедию, а о том, что боты ее парсят так же, как и остальные ресурсы. Наплыв и правда большой идет. Крупных, массовых уже около 5, и это помимо просто поисковых ботов гугла, эпла, майкрософта и парочки китайских.

putnik Nov 11 at 10:57

Тут важно понимать масштабы: ещё полгода назад ИИ-боты генерировали примерно треть запросов и две трети «дорогого» трафика (не популярного у нормальных пользователей и поэтому требующего генерации страницы и копирования на кэширующие сервера).

И если никак не бороться с этим, то получается, что фактически Фонд Викимедиа на пожертвования пользователей будет спонсировать коммерческие компании-разработчиков ИИ, которые паразитируют на чужой инфраструктуре.

При этом есть Wikimedia Enterprise, есть регулярно выкладываемые дампы, есть возможность хотя бы запрашивать напрямую из США, чтобы не нагружать кеширующие сервера, но этим компаниям наплевать.