1 - мы делали по одному прогону, тут точные числа не очень важны. От модели к модели все сильно меняется. Мы определяли скорее порядок - на одном мы уровне или существенно хуже. +- 5% тут не играет роли.
2 - да, все вызовы к LLM входят в стоимость. Надо оценивать полные затраты, время и шаги на задачу, иначе не корректно.
3 - у квенкод и опенкод конфиги брали по умолчанию. Но и у своего агента используем один и тот же конфиг для бенчмаркинга.
тут если можно, то опишите проблему подробнее.
1 - мы делали по одному прогону, тут точные числа не очень важны. От модели к модели все сильно меняется. Мы определяли скорее порядок - на одном мы уровне или существенно хуже. +- 5% тут не играет роли.
2 - да, все вызовы к LLM входят в стоимость. Надо оценивать полные затраты, время и шаги на задачу, иначе не корректно.
3 - у квенкод и опенкод конфиги брали по умолчанию. Но и у своего агента используем один и тот же конфиг для бенчмаркинга.