$20 в месяц на Cursor. Куда уходят токены и что с этим можно сделать

[iafilin]

Могу ошибаться, но если ввести правило, чтобы модель думала и рассуждала на английском, а планы и ответы давала на русском, то вероятно это тоже своего рода оптимизация расходов, ведь токены для кириллицы дороже, чем для латиницы.

[rkazmin]

Интересная гипотеза. Я поинтересовался ИИ, он подтверждает что

1. Правда ли, что кириллица дороже?
Да, абсолютно. Это связано с механизмом токенизации
(BPE — Byte Pair Encoding):
Латиница токенизируется почти по принципу «одно слово ≈ один-два токена».
Кириллица в современных моделях (особенно у OpenAI и Anthropic)
часто разбивается на части слогов или даже отдельные байты.
Результат: Одно и то же предложение на русском может занимать в
2–3 раза больше токенов, чем на английском.

2. Почему «думать на английском» — это двойная выгода?
Помимо прямой экономии на токенах, есть еще два фактора:
Качество рассуждений (Reasoning): Большинство моделей 
(особенно малые, как Haiku) обучались преимущественно на
англоязычных датасетах. На английском их «логические связи» плотнее.
Когда модель рассуждает (CoT) на английском, она реже совершает
логические ошибки в коде.

Экономия на Output-токенах: Если в промпте «Chain-of-Thought» ты
просишь модель расписать план на 500 слов, то на английском это
будет ~600 токенов, а на русском — ~1500 токенов. При цене за
выходящие токены это существенная разница.

В рамках нового исследования Cursor-Probe я хочу посмотреть, влияет ли формат промпта (XML против обычного текста) на качество кода у слабых моделей. Я хочу проверить, станет ли Haiku реже ошибаться в логике, если загнать её в жесткие рамки структуры, или же это никак не поможет её "интеллекту".
В рамках Cursor-Probe я проверю разницу между кириллицей и латиницей как побочный фактор..

[AlexanderMatveev]

Текстовый запрос на русском это капля в море, он сразу переводится на английский, модель "думает" на английском и переводит текстовый ответ на русский, чтобы показать вам

[Pusk1]

Статья отличная. Для уменьшения контекста ещё помогает писать код максимально независимыми модулями сверху вниз. Прямо аля паскаль. И тогда можно открывать как проект папку с отдельным модулем, в котором только тесты и сам модуль + что - то вложенное в него. Так и дешевле и быстрее, более красиво по архитектуре.

Но есть более качественное и универсальное решение.

Я тоже долго без него мучился и изголялся. И даже Sonet при отладке выходил дороговато. А потом стал платить 60 вместо 20 и как то веселей стало работать. Особенно при проверке гипотез или дебаге. Через пару месяцев упёрся, что мне не хватает и 60. Теперь у меня корпоративный аккаут и это не совсем мои проблемы в рамках разумного, конечно.

[rkazmin]

К сожалению у меня нет корпоративного аккаунта... :((. Поэтому приходитьяс оганичивать себя в опытах, экономя токены