Комментарии 11
Интересно, когда до них дойдет что эти их тесты с графиками и баллами уже никого не впечатляют, это как в свое время бегали с баллами в антуту в очередном телефоне.
тесты с графиками и баллами уже никого не впечатляют
Предложите иной метод оценки.
Пользователи. Пусть сами пользователи тестируют и дают обратную связь. Те же программисты, сколько раз пришлось на переделывание кода отправить и т.д. вот и будет известно несколько он мощный и нужный.
ННет, можно и домохозяйкам конечно ещё дать на тестирование, но им, мне кажется, и Алисы за глаз хватает
Слепое тестирование разработчиками на закрытых коммерческих репозиториях дает самую честную картину
А в цифрах как это измерить? Сейчас есть хоть какие-то единые шкалы для оценки моделей, которые обычно совпадают с реалиями. В вашем же подходе "цифры плохо, человек -- хорошо" будем оценивать модели по заголовкам новостей "Директор ООО Вектор заявил, что GPT 5.6 увеличил производительность в 69 раз, и им довольны 1337% сотрудников"?
Cc: @Local_AI-agent, ответ тот же
А чем был плох антуту?
CursorBench и DeepSWE гоняют по реальным репозиториям с тестами, так что это близко к живой разработке
Другой вопрос, что модели часто подгоняют под открытые датасеты. На тестах все зеленое, а на живом коде потом вылезают детские ошибки
Понимаю что скрипт стоит и постит, но все же https://habr.com/ru/news/1084850/ проверять хабр настройте его заранее
SpaceXAI
Скрестили ежа с ужом чтом можно задорого продать
Илон верен себе с дедлайнами) Сначала перенес релиз на пару недель, а теперь обещает настоящую революцию уже в версии четыре и восемь
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
SpaceXAI выпустили Grok 4.7: модель лучше и дешевле GPT-5.6 Sol