Комментарии 13
Краткое содержание статьи.
1. От Open AI вышла новая модель ИИ.
2. Как всегда, новая - гораздо лучше предыдущих.
3. Но дорогая, собака. Для нищебродов будет урезанная версия.
Пока мы всё это знаем со слов Франсуа Шолле и самих Open AI. Дождёмся выпуска модели в широкий прокат (он будет, сейчас просто они цену набивают) , потрогаем руками и составим своё мнение.
Как хорошо что можно сразу перейти в комменты и сэкономить несколько минут :)
Пожалуйста, пишите новости. У вас получается лучше.
На сколько понимаю модели наконец-то можно назвать самообучающимися. Интересно что из этого выйдет
Нет, текущая архитектура не позволяет в реальном времени перестраивать веса модели. То, что она способна помнить - это не в самой модели реализовано, а в т.н. "контекстном окне", условно она "записывает в блокнотик" все, о чем говорил с ней конкретный пользователь (и свои выводы), и затем перед каждым запросом перечитывает свой блокнотик. И таких блокнотиков у нее может быть сколько угодно.
Плюс я так понимаю, там не одна модель, а одновременно несколько штук завязаны.
Спасибо за пояснение. Согласен.
Хотя сейчас это все костыли, но все же она теперь имеет память и анализирует новые данные. Как и у людей есть долгосрочная и краткосрочная память.
Думаю что это вопрос времени, когда модель сможет из текущей памяти определять что сохранять в долгосрочной, тем самым дообучаясь
Если модель сама сможет определить, то тогда её будут пытаться (и иногда успешно) спамить ерундой. См клей в пицце.
А для этого как раз и нужны модели помощники, которые будут определять что важно а что нет... Хотя ошибки и галлюцинации разумеется будут
Проблема текущей архитектуры LLM не то чтобы обучение, а ресурсоемкость обучения. Вот вы написали для нее какое-то новое знание, или отправили читать книгу. А теперь ждите полгода, пока несколько мощных датацентров переварят ваш "промт" и перестроят модель. Эти ДЦ кушают миллионы долларов электричества в сутки. А сами стоят десятки миллиардов $. Я думаю вам не понравится такой процесс, даже если вы самый богатый человек в мире.
Вот создание "лор", то бишь маленьких моделей как надстройка к большим - имеет смысл. Такие маленькие можно обучать на малых ресурсах, потом они цепляются паровозиком к большим как плагины.
Пять достижений, которые делают o3 от OpenAI поворотным моментом в развитии AI, и одна серьезная проблема