«Крестный отец ИИ» привлек $1 млрд: ЛеКун строит альтернативу языковым моделям

[Conung_ViC]

идеологический вызов: код будет открытым, исследования будут публиковаться

Где-то я уже такое слышал...

[Testfreecloud]

Вроде как миротворец заявлял о каком-то discombobulator, а не об использовании военной версии ИИ ))

[IhoPmaN]

Название проекта у него не очень. Как вы яхту назовете...

[digrobot]

JEPA

Удачное название архитектуры для понимания мира

[jetnet]

Со временем будет: Open JEPA

[PeeWeee]

JEPA full stack developer

[Kot_na_klaviature]

Лучше так - Полная JEPA

[mbtr]

Ставка против LLM не является чем-то революционным. То, что это тупик, было всем понятно почти сразу. Альтману и ко тоже было понятно, но прожженное стартаперское нутро уцепилось за хайп.

[astroduck]

Под капотом там тот же трансформер, только другая архитектура нейросети. Да, эта архитектура лучше подходит для машинного зрения, а значит вероятно будет лучше работать в области робототехники, но все остальное это не более чем рекламные лозунги.

[proxy3d]

Jepa на самом деле лишь косвенно связана с трансформерами. Ей без разницы, что там SSM или другое. Это близко к EBM модели Friston о свободной энергии. Текущие LLM это безусловно тупик, так как логика Jepa в том, что система ничего не знает что нужно обучить. Она "пытается" привести два разных распределения к одному общему, в этом и заключается обучение. В этом сильная сторона Jepa и правильная. Но конечно там проблем много, так как в отличии от EBM (работа с "энергией") в Jepa мы работаем с эмбеддингами. Даже если они описывают энергию, там нужно это учитывать в архитектуре. Так что основа Jepa (пусть и пересмотренная и измененная) в итоге придет на замену текущим LLM.

Опять у нас с отставанием смотрят на все это. В тех же Штатах, сейчас очень много внимание уделяется работам и исследованиям самой логики Jepa подхода и на развитию этого архитектурного подхода.