Комментарии 3
@lilia_urmazova , спасибо! Очень в тему и вовремя. Хотел "+" в карму поставить, а оказывается уже поставил, когда читал предыдущую часть про тестирование AI.
Я Сейчас на этапе создания роутинга дёшевыйAI / дорогойAI. Вопрос, можете ли посоветовать, где почитать и посмотреть про вот это:
Роутинг - это когда запросы отправляются приложением в ту или иную AI-модель по определенному условию.
Классический случай роутинга - когда более простые запросы заправляются в более дешевую AI-модель, а более сложные запросы - в более продвинутую и поэтому более дорогую AI-модель. Это тоже позволяет ощутимо снизить стоимость использования AI-моделей.
Вопрос в том, как оценивать "сложность" запроса. Длина запроса, это не сложность. Я скорее длинный отправлю в дешевую AI, потому что я жадный иначе дороговато получается. Но согласен, иногда такая крипота на выходе, что отправляем после запрос еще и в дорогой... и получается я уже за два запроса заплатил. В общем - затыка.
Может есть идеи как это реализовать?
Вопрос в том, как оценивать "сложность" запроса. Длина запроса, это не сложность. Я скорее длинный отправлю в дешевую AI, потому что я жадный иначе дороговато получается.
Вам как раз тесты должны дать ответ на этот вопрос.
Если длинный/сложный запрос успешно проходит тесты на дешевой AI-модели, то проблем нет - пусть конкретно этот функционал/запрос на ней и работает.
Если тесты на дешевой не проходят, тогда сначала разбираемся почему - нечеткий промпт, модели недостаточно данных, контекста и так далее. Если со стороны приложения всё ок, а модель просто "не тянет", тогда направляем уже в дорогую.
Давайте в ЛС по техническим деталям спишемся, смогу предметнее подсказать.
А разбор фреймворка ai_manager будет?)
Как мы в Mentorpiece тестируем… стоимость AI-приложений