Обновить

Комментарии 3

Надо считать сколько потрачено на решенную задачу, а не какие-то абстрактные токены. Разные обвязки по-разному нарезают токены и по-разному их тратят. Плюс еще всякие fastmode/ultrafastmode. Иногда можно взять модель попроще, иногда проще взять более умную модель, кардинально быстрее будет. То есть смотреть нужно от конкретных задач.

Собственно это и есть главный вывод статьи :)

Токены я здесь использую не как финальную метрику эффективности, а скорее чтобы показать, почему пересчёт лимитов подписки в стоимость токенов по API сам по себе мало что говорит.

Текст любопытный, но вы хотя бы нейронке в промпт добавили "убери излишнее жирное выделение, чтобы текст не выглядел сгенерированным".

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации