«Ты сеньор» и «думай пошагово»: проверил шесть приёмов на 30 задачах по Python

[kreout]

У базы gpt уже 90/90, поэтому этому набору почти некуда показать улучшение. Для следующего эксперимента я бы отделил подбор сложных задач от финальной оценки: подобрать набор на одной выборке, а сравнить фразы на новой, заранее зафиксированной. И показать по каждой задаче пары «база прошла / вариант прошёл». Тогда будет видно, какие ошибки исчезли, какие появились взамен, и не скрывает ли одинаковая итоговая доля разные сбои.

[zach88]

Согласен по обоим пунктам. Потолок у gpt в ограничениях упомянут, но проблему это не снимает: на этом наборе он мог только потерять, поэтому в следующем раунде подберу задачи на одной выборке, а фразы сравню на другой, зафиксированной заранее. Пары «база прошла / вариант прошёл» по каждой задаче и прогону выложил в репозиторий из статьи (paired_by_task.csv), а сводку несовпадающих пар добавил в конец статьи апдейтом: у gpt это 3/0, 4/0 и 3/0 для роли, давления и «только код», у Haiku разнонаправленно (роль 1/4, «шаг за шагом» 4/3), у GLM на общем подмножестве не больше двух в любую сторону.

[stas_makarov]

По-моему, вы чересчур усложняете. Современным агентам не нужны вот эти все "ролевые игры". Просто надо четко формулировать. Или нечетко — и уточнять в диалоге.

Также нет особого смысла терзать разные модели. Качество кода и задачи в целом в значительной мере зависит от обвязки, не конкретно какой-то LLM. Особенно, на простых задачах. Преимущества топовых дорогих моделей заметны только ан сложных, длинных задачах — спроектировать целую фичу.

А кусок кода написать — любая справится.

[zach88]

Согласен, и вывод статьи ровно об этом: фразы ничего не добавили, а работают чёткие требования и тесты. Я не предлагал эти приёмы использовать — хотел измерить, что они дают на одних и тех же задачах; дали только токены.