Comments 12
Обучаться на данных переписанных другой моделью? А как же коллапс модели?
P S. Переписать, Упомянуты нелица
Коллапс модели - это миф, который разнесли журналисты с громкими заголовками.
Если учить ИИ с нуля на сырых данных, сделанных другим ИИ того же размера и той же архитектуры, то мы теряем 5-10% от производительности "учителя". Вот вам и весь "коллапс".
На практике так не делают. Чаще всего данные от "толстого" ИИ используются для обучения "тонкого" ИИ - это называется "дистилляцией" и учит "тонкий" ИИ работать лучше. Ещё есть множество методов, в которых специализированные синтетические данные, сделанные ИИ, используются для дообучения ИИ - и это улучшает производительность ИИ на отдельных задачах.
Тут похоже на смесь принципа 1 с принципом 2. Мы используем reasoning ИИ и безумное количество машиночасов для того, чтобы сделать датасет с качеством ощутимо выше качества входных данных. И применяем его для повышения производительности ИИ не на узких задачах, а "в целом".
Чудовищно амбициозно. Но шанс что такая схема сработает и реально даст улучшения в производительности ИИ не равен нулю.
переписать "весь корпус человеческих знаний", добавив в него недостающую информацию и исправив ошибки
Не, имхо все-таки гипотеза, что Илон с Марса, имеет под собой некоторые основания :)
Решать что мусор а что не мусор будет Маск?
Сомнительно. Но посмотрим как это отразится. Аномалии и глюки никто не отменял.
Про пользу кетамина человечество конечно маловато написало, нужно добавить
Диссоциативы - тот же процесс пересборки "нейронных" связей и сброс "демонов" отжирающих ресурсы мозга и застявляющих галлюцинировать сознание. По сути Маск предлагает сделать записку от прошлого "сознания" и дать её прочитать новому. Биохимия мозга - практически не исследована. Как и функционирование сознания в зависимости от неё. А что он там ест, или втирает наружно - абсолютно его выбор. Грок прикольный, как и Маск)
Затем модель будет переобучена — и, возможно, получит название Grok 4
Думаю, что твит Маска неправильно истолкован. Маск замечает, что у нынешнего Grok 3.5 неудачное название, стоило назвать его Grok 4. Вот этим нынешним Гроком перепишут все обучающие данные и на переписанных данных натренируют новую модель.
Я предполагаю, что лучшая думающая модель получится, если все обучающие данные будут в виде рассуждений от первого лица над всеми исходными данными. Примерно как у человека, чьи знания - это результат личного опыта получения этих знаний.
В человеческих знаниях тоже много мусора и ошибок. Даже в учебниках. Куча разных вариантов учебника по одной дисциплине от разных авторов, с разными фактическими и методологическими ошибками. Потом появляется оценка - "Вот, это самый лучший учебник по (данной дисциплине)!". А остальные учебники - оно? Зачем тогда они вообще нужны? Когда выбираешь вариант учебника - играешь в лотерею?
-"Вы не по тому учебнику учились!".
-"Это вы учились по учебникам, которые из помойки достали, в которую я их выкинул!"
А в интернете так вообще авгиевы конюшни "знаний". И продуктивность "коней" стремительно растет. Нынешняя версия человеков на всем этом обучается.
Маск хотя бы открыто пишет о том, что собирается переписать историю, под себя :D
Илон Маск: Grok 3.5 перепишет «все человеческие знания» — в них много мусора. Затем модель переобучат