Авторы из AI Institute, University of Montreal, Princeton University. Статья внушает доверие. Она также подтверждается моими собственными наблюдениями

Ребята говорят о экономии токенов на модельках, 46% меньше потребление ресурса + как следствие ускорение

Суть в том, что модели много рассуждают об известных фактах. Например, если модель попросить решить уравнение с геометрической прогрессией. Она сначала его выведет, а потом будет решать. И так шагов может быть много. У больших моделей есть привычка «думать вслух». Они, когда решают задачу, раскладывают всё по шагам — иногда очень длинно. Это классно для качества, но плохо для скорости и денег: чем больше токенов, тем дороже и медленнее

Пример на прогрессии

Ты просишь модель: «реши уравнение с геометрической прогрессией»

Что она делает?

• Сначала начинает выводить саму формулу суммы прогрессии: пишет длинное рассуждение, как она получается.

• Потом подставляет числа.

• Потом делает вычисления.

• И только в конце даёт ответ.

Каждый раз она повторяет эту историю, как будто «заново изобретает велосипед».

Что предлагают авторы статьи

Ребята говорят: зачем каждый раз заново выводить одно и то же? Давайте выделим такие повторяющиеся шаги в маленькие «карточки-подсказки» (они называют их behaviors).

Например, поведение:
«Сумма первых n членов геометрической прогрессии = (a₁(1–qⁿ)) / (1–q)».

Теперь, когда модель решает задачу, мы ей сразу даём эту карточку. Она не тратит сотни слов на то, чтобы вывести формулу, а сразу использует её.

Почему это полезно

• Экономия ресурсов: в экспериментах до 46% меньше токенов.

• Ускорение: модель тратит меньше времени на текст.

• Качество не падает, а иногда даже лучше — потому что меньше места для ошибок.

Итог

• Классика: модель сама думает длинно, это дорого и долго.

• Новый подход: мы даём ей готовые «кирпичики рассуждений» (behaviors), она использует их и отвечает быстрее.

• В общем виде: решение = текст задачи + набор подсказок.

Тут можно формулы привести со всякими условными вероятностями. Душнить не буду. И так надо форточку открывать

Ссылка на статью, как обычно, в моём канале

——————
Менеджер? Давай сюда!
Ищи работу здесь
Технологии и архитектура