Комментарии 6
А также Ян Лекун известен как критик LLM. Он утверждает, что LLM - тупиковое направление и над ними не стоит работать
https://x.com/ylecun/status/1793326904692428907
Кстати, я с ним общался на конференции и попросил разъяснить этот тезис.
Если кратко, то это скорее хайп с его стороны (ф Ян знатный шоумен) чтобы привлечь внимание к тому что нынешние студенты должны смотреть дальше за горизонт, а не пытаться здесь и сейчас повторить/соорудить что-то вокруг существующих моделей. Прямо сейчас на его взгляд идёт конкуренция между большими компаниями, но они больше заняты экстенсивным развитием. А думать нужно о базовых концепциях, модернизировать их, придумывать новые подходы.
Показателен пример с DeepSeek, мы все помним как все вздрогнули когда кто-то придумал что-то новое...
Какой именно тезис? О том, что студентам не стоит заниматься LLM? Или о том, что LLM - тупиковое направление в плане достижения AGI, интеллекта уровня человека. Потому, что второй тезис он весьма целенаправленно отстаивает уже долгое время.
Имеется ввиду, что не следует ограничиваться исключительно трансформерами, которые сейчас, по сути, являются синонимом термина LLM.
Да, но не только трансформерами - мир гораздо сложнее и настоящий исследователь подвергает сомнению истины и смотрит гораздо шире на вещи.
Вы почитайте работы Джефри Хинтона, например его идеи по введению функций вместо весов связей. Или вот KAN-сети - это тоже иной взгляд на работу НС.
Можно и не на таком детальном уровне даже посмотреть, например то что сейчас делают со смешиванием разных подходов к обучению. Много чего нового по работе с контекстным окном, но это уже конечно совсем высокоуровневые улучшения.
Как я понял, Ян не то что против LLM, он призывает не зацикливаться, не попасть в ловушку кажущейся простоты. Как исследователя я его понимаю, пока есть такой интерес (и инвестиции) к ИИ, он хотел бы продвинуться в исследованиях дальше простых чатботов, ведь эта ниша быстро прогрессирует и без новых идей может скоро дойти до своих пределов.
Это всё не моё личное мнение по этой теме, просто была возможность поговорить и узнать как это видит такой весьма умный и талантливый человек как Ян Ле Кун.
Товарищи, но всё таки advocate в данном контексте не адвокат, а скорее "апологет".
Ян Лекун, создатель LeNet, формата DjVu и адвокат опенсорса