Comments 11
Ну, да, ЕГЭ на каждый год должно быть с новыми заданиями.
Как будто это не баг, а фича. Может просто взять набор важных типовых задач и обучать обучать обучать модели, пока они не станут справляться с этой задачей максимально качественно. И тема самым мы решим проблемы этих задач
Тогда постепенно, закрывая шагами такие задачи, мы сможем продвинуться к какой-то прикладной пользе
Слишком много различных задач, слишком долго и слишком дорого обучать. Проще натренировать на общем пуле задач и пусть модель закрывает 90% из них. Да и суть в том, что при вашем подходе модель научится решать один очень специфический кейс, а схожие - нет.
Так нейросети заточенные на конкретные задачи существуют давно. Весь хайп вокруг llm построен именно на их способности решать широкий спектр задач.
Первая — тесты отбраковывают правильные решения. OpenAI проверила 138 задач, которые модели стабильно не решали, и в 59% случаев нашла дефекты в самих тестах.
А ведь OpenAI, анонсируя бенчмарк, рассказывали, что они там всё проверили, чтобы таких вот вещей не было. А тут бах - и порядка 16% бенчмарка, оказывается, не работает.
Например, тест требует, чтобы функция называлась
get_annotation, хотя в описании задачи это имя вообще не упоминается. Любое корректное решение с другим именем функции падает на импорте.
То есть, они в принципе ни разу не посмотрели, с какими задачами модель плохо справляется и какие результаты получаются в целом? Или они знали это, но все равно продолжали использовать данный бенчмарк?
Если честно, такое "признание" звучит как сдвиг финишных ворот. OpenAI не может догнать Anthropic и/или показать на SWE Bench-Verified, а потому сразу заклеймили бенчмарк негодным.
Это странно. По идее, решением задачи на программирование должно быть не совпадение текста программы с эталоном, а совпадение результатов работы программы с эталонной, на разных входных данных.
Это будет так себе тест, потому что созданная программа может выдать полностью ожидаемый результат, но скажем за О(n!) вместо О(n).
Время работы - это тоже часть результата.
Только оно само по себе плохо годится для оценки качества решения в тестах.
Ну вот условно есть у вас на входе три элемента. Выданная программа обработала их за 6 секунд, пусть это является допустимым эталонным временем. Но рассматривая выданную программу как "черный ящик" вы не можете определить это по 2 секунды на каждый (O(n)) или 1 секунда на 1 элемент, 2 на 2 и 6 на 3 (O(n!)), потому что в обоих случаях на тестовом наборе время будет одинаковое, а в реальности на наборе из 1000 элементов разница окажется на порядки.
И вот вам уже надо тестировать два набора данных и время работы на них - большой и маленький и оценивать зависимость.
А все ради чего? Чтобы дать LLM поимпровизировать с решением? А зачем это в тесте? И это мы еще не учитываем случаи когда программа выдаст корректный результат на тестовом наборе входных данных и некорректный на других, что еще хуже чем просто неоптимальная работа.
Никто не обещал, что юнит-тесты должны быть исчерпывающими.
Время проверяется на каких-нибудь синтетических тестах. Стресс-тесты, компонентные и интеграционные...
В спецификации обычно есть пожелания "не тупить более чем nnn мс", и если синтетический тест затупил, то надо раздебажить и по результатам- написать регрессионный тест "чтоб больше никогда". Пусть даже это тупо сложение тысячи чисел за заданный таймаут.
Модели набирали 80% на бенчмарке OpenAI. Оказалось, они просто запомнили решения