dvgureev Jun 13 at 14:48

Большой тест 12 LLM моделей на арифметику (~100 тыс запросов)

Medium

6 min

1.5K

Artificial IntelligenceData Engineering*

Review

Comments 10

FifthLeg Jun 13 at 16:48

Эту бы энергию, да в мирных целях.

CBET_TbMbI Jun 13 at 17:14

Выводы

Главного вывода нет. К реальной бухгалтерии никого подпускать нельзя. Старый добрый эксель на голову лучше этих ИИ. Для реальной работы нужна 100% точность.

dvgureev Jun 13 at 17:31

Согласен. Недописал.Там где нужна абсолютная точность - LLM неправильно.

Krasnoarmeec Jun 13 at 17:38

А где нужна точность в 95%?

Тут или 100%, или ответ не верен.

phenik Jun 13 at 17:33

Это архитектурное ограничение ЯМ связанное с использованием трансформеров, как прямых сетей. С развитием архитектуры, с включением реальной рекуррентности в структуру модели, хотя бы в виде специализированного блока, а не только с использованием во внешнем авторегрессионном цикле, как сейчас, эта проблема должна решиться.

LVG Jun 13 at 18:25

в моей модели мира я узнал из статьи - что сейчас доверять ассистентам, которые что-то считают - стремно. Либо у них должен быть продекларирован и верифицирован спецмодуль для вычислений

LLM как была так и остается - "говорилкой"

Dhwtj Jun 13 at 21:40

Говорили про проект когда LLM пишет программу и тесты и сама запускает и выдает результаты

dvgureev Jun 13 at 23:16

Да, это агентская система. В Cursor Sonnet4 прекрасно работает. Процентов 90% кода к тесту было написано так

Dhwtj Jun 13 at 21:39

Потыкал

О3 умножает пятизначные на пятизначные точно. Только медленно

dvgureev Jun 13 at 23:15

Надо добавить в тест.