Comments 17
В принципе - хорошая идея выпустить более лёгкую модель. Не всегда нужна вся мощность GPT-5 для более простых задач. Вообще, конечно, прогресс идёт семимильными шагами. Раньше, о таком даже и мечтать не приходилось.
Какой прогресс? В размере моделей? Да каждое новое поколений гораздо больше, но на качестве ответов это почти не сказывается, чему доказательством и эта новость. LLM вышли на плато пару лет назад и никаких особых улучшений, кроме увеличившегося ценника с тех пор не было.
Как же сильно исказили восприятие времени ИИ.
Два года назад вышел Грок-1.
Grok-1Ноябрь 2023 годаПервая версия Grok.
Быстрый прогресс это когда х2, ладно х1.5, от измеряемого показателя за год. Например времена 386 процессоров. Каждое следующее поколение явно отличается от предыдущего по потребительским качествам.
А модели уже больше года болтаются в рамках +-10 процентов за год туда сюда. Экстенсивный рост явно закончен. Дальше уже размерами или большим обучением ничего не сделать. Нужны какие-то другие подходы.
Это как времена сейчас. Десктоп процессор 5 летней давности примерно ничем не отличается от сегодняшнего. Зачем менять непонятно.
Но во всем этом есть и огромный плюс. Опенсорс в такие моменты выстреливает. Уже сейчас он несильно хуже закрытых моделей. Еще год и будут совсем наравне. И можно будет выбирать СААС или запускать самому, результат будет одинаковый. Для индустрии это хорошо.
Сложно делать икс 2 измеримого показателя, когда измеримый показатель каждые пол года устаревает и прекращает что либо значить из-за решения вопроса. А все начинают ориентироваться уже на новые показатели.
Это другая проблема. Надо придумать шкалу нормальную, тоже большая важная задача. Но если смотреть на массовые рейтинги они будут плюс-минус одинаковыми.
Те же нейросетевые кодогенераторы и кодревьюеры. С чем лично работаю. Прорыв был когда они научились понимать большие куски проекта. С тех пор плюс-минус тоже самое. Как несли чушь в чуть более сложных участках так и несут. Как неплохо ловили локальные тупняки и ошибки по невнимательности разработчика так и ловят. Принципиальных отличий или улучшений за год не видно. Использовать что-то современное или что-то годовой давности не принципиально.
Ну так придумайте. Проблема что измерение человеческого интеллекта оставалось на каменном веке и только благодаря ИИ стали продвигаться в понимании разума и его измерении. От чего и идут бесконечные улучшения способов измерения интеллекта
Это явно не мой уровень. Я на такое не претендую. А вот человечеству стоит придумать. Правильная линейка это важно.
Интеллект меряют как бы не с Древней Греции и точно с изобретения IQ теста. Это вообще не новая задача.
Надо не интеллект мерять, а модельки оценивать. Это разные задачи.
Только все прошлые способы измерения интеллекта уже вышли на сверх человеческий уровень у ИИ. По всем тестам что изобрели раньше, полное прохождение.
И именно поэтому я начал с того что нужна линейка для оценки качества сетки.
Оценка интеллекта человека в этой линейке не имеет вообще никакого отношения. Оценка интеллекта сетки для этой новой линейки это плохое название люди будут путаться и пытаться ее к человеку прикладывать, лучше другое придумать
Не согласен. Так считают только те, кто не пользуется ИИ в рутинных задачах.
Я примерно с момента выхода модели sonnet 3.5 активно занимаюсь вайб-кодингом и за это время качество выросло в разы.
Раньше за один запрос можно было рассчитывать максимум на реализацию простой-средней фичи, сейчас же можно собрать целый рабочий прототип. Аналогично и для визуальных моделей.
кто глубоко в теме, подскажите, качество модели зависит от качества дата-сета, на котором она обучалась, или есть еще значимые факторы, которые ну прям кардинально решают?
Есть, способы обучения, подкрепление и всякое такое. Тупо скормить больше данных и получить лучше не работает: старый опус "тупее" нового соннета
Сильно решает т.н. alighment, по сути цензурирование модели. Который по сути есть лоботомирование модели, после чего она становится услужливым дурачком, который никогда не спорит и не придумывает новых идей.
Если говорить про локальные модели, то очень сильно влияет наличие режима thinking и размер квантования модели.
Я на Mistral q4_k_m экспериментировал и её по сюжету рассказа при генерации текста надо было чуть ли не за руку вести, иногда буквально по одному предложению, вместо большого куска текста. И даже так она постоянно путалась и выдавала фигню.
Когда я её поменял на Magistral q4_k_m от того же разработчика, но уже с режимом думания - она стала проглатывать весь сюжет за один раз, даже сложный. Её всё равно периодически заклинивало, но разница в качестве была прям на порядки.
Ради эксперимента решил попробовать q6 квантование - так она перестала заклинивать там, где q4-версию стабильно клинило. Скорее всего, если использовать q8 или q16 - станет еще лучше. А там же еще и fp16 версии есть с уже совсем негуманными требованиями к ресурсам...
OpenAI выпустила GPT-5 Codex-Mini: в 4 раза дешевле, почти без потерь в мощности