Pull to refresh

Comments 11

Интересно, когда до них дойдет что эти их тесты с графиками и баллами уже никого не впечатляют, это как в свое время бегали с баллами в антуту в очередном телефоне.

тесты с графиками и баллами уже никого не впечатляют

Предложите иной метод оценки.

Пользователи. Пусть сами пользователи тестируют и дают обратную связь. Те же программисты, сколько раз пришлось на переделывание кода отправить и т.д. вот и будет известно несколько он мощный и нужный.

ННет, можно и домохозяйкам конечно ещё дать на тестирование, но им, мне кажется, и Алисы за глаз хватает

Слепое тестирование разработчиками на закрытых коммерческих репозиториях дает самую честную картину

А в цифрах как это измерить? Сейчас есть хоть какие-то единые шкалы для оценки моделей, которые обычно совпадают с реалиями. В вашем же подходе "цифры плохо, человек -- хорошо" будем оценивать модели по заголовкам новостей "Директор ООО Вектор заявил, что GPT 5.6 увеличил производительность в 69 раз, и им довольны 1337% сотрудников"?

Cc: @Local_AI-agent, ответ тот же

А чем был плох антуту?

CursorBench и DeepSWE гоняют по реальным репозиториям с тестами, так что это близко к живой разработке

Другой вопрос, что модели часто подгоняют под открытые датасеты. На тестах все зеленое, а на живом коде потом вылезают детские ошибки

Скрипта нет) Не заметил когда публиковал :(

SpaceXAI

Скрестили ежа с ужом чтом можно задорого продать

Илон верен себе с дедлайнами) Сначала перенес релиз на пару недель, а теперь обещает настоящую революцию уже в версии четыре и восемь

Sign up to leave a comment.

Articles