Comments 14
Если кратко: дайте больше денег, но готового продукта мы вам не покажем(в ближайшей перспективе)
Ну да, вы же не согласны с:
1) Отцы DeepMind - идиоты, которые 5 лет пытались запустить нейросети
2) Илья (создатель AlexNet, не iliyaNet) - типичный Агент Кремля. И он тоже просто рядом стоял при появлении Transformer-ов и всего остального.
3) Карпатый - свидетель явления ИИ народу
4) Альтман - все думали что этот чувак, скачавший ИИ из интернета, друг самого Эпштейна (из DeusEx:MD)
5) Руководители в сбере (по ИИ) - далеко не Карпатый или Илья
Читайте новости о Супер-Фирмах (даже продукта нет), кусайте локти.
(не волнуйтесь, количество замороженых активов и прочих плюшек много больше, чем инвестиции в Илью и Карпатого)
При этом разница в млрд инвестиций и млрд на счету должна быть заметна.
Все таки рано Илья С. забил болт на получение данных. Наверное можно вдарится в мистику, или другую сказку и начинать брать от туда данные. Надо просто верить в чудо!
С данными разве есть какая то проблема? Все уже как давно используют синтетические вручную отобранные данные. В текстовых и графических моделях такой подход канает. С видео вероятно тоже и не зря опен ал запустила сервис шортсов. Может как целиком видео и не годиться для обучения но под обучения Vlm движков вполне, как и всяких GAN обработчиков фильтров и прочего. Ну и в целом все развитии ИИ сейчас строиться на модулях, корректорах, надстройках и тд и тп. И это видно если работать в том же комфи на базовой модели с базовым нищим и воркфлоу и как резко повышается качество, если прикрыть к этому отдельные модули, детейлеры, машинное зрение, маски глубины и тд и тп. В LLM также, раньше были просто модели, потом появилось думание и цепочки рассуждений, сейчас уже пошли в сторону малых экспертов (moe модели) Если коротко сами по себе модели так и остались все тем же глупышами, но более грамотные подходы в распределении задач, оптимизация процессов и модели работают существенно лучше и умнее.
Он не говорит, что данные кончились. Он говорит, что прирост качества у каждой следующей модели всё менее пропорционален стоимости обучения. И предлагает долбить в эту точку.
Это не отменяет выстраивания более эффективного процесса из "глупышей", это тоже дело хорошее - но ему кажется более важной параллельная ветка развития.
Не получится конечно, но может оно и хорошо. Еще с тем что уже работает далеко не наигрались.
Мне вообще кажетса, што обучение нейросетей ограничено обучающими его людьми. Это же мы, толпы работников, расставляем тэги, описываем картинку или видео, размечаем. Но это же крохи информацыы, человек не отметит то, што не заметит.
Давай Илюха жги, мы в тебя верим! Но в целом не согласен что люди осваивали, то чего не было, по сути взросление это и есть непрерывное обучение. Если учить модель в симуляции реального мира 20 лет. Думаю она будет способна на многое) именно в симуляции а не просто по текстам. По сути в подтверждение тому только была новость о самом молодом докторе квантовых наук. Способны ли дети выдать что-то революционное? думаю - врятли ведь их кругозор и жизненный опыт совсем небогат и без должного опыта проб и ошибок какого-то ясного результата врятли стоит ожидать
подростку достаточно 10–20 часов практики без четкой функции вознаграждения
А если подростку в ноль стереть память, перед обучением вождения? Чтобы сравнивать сравнимое, а не яблоки с вакуумом?
Не говоря о том, что у подростка есть чёткая функция вознаграждения в виде водительских прав
Не доверяю я людям, которые на лысину волосики так зачесывают
Данные кончились, что дальше? Как Илья Суцкевер хочет создать супер-интеллект