Comments 6
А заменить ключ без релиза фронта уже не получится, особенно если речь про мобильное приложение.
Че? Создается файл на бэкенде/сайте/firebase с нужными настройками и мобильное приложение выкачивает его где-нибудь на старте. Приватные ключи правда не пытался запихнуть туда и зашифровать, но думаю, это тоже реализуемо
• лёгкие запросы → дешёвые модели
• сложные, требующие логики → более дорогие
• структурные задачи → наиболее стабильные
• длинные тексты → модели с большим контекстом
А что из себя представляет оценщик сложности запроса?
Обычно в продукте набор промптов под разные цели. Где-то промпт генерирует квиз, и там нужно более дорогую модель. А где-то исправляет синтаксические ошибки, там справится и дешевая, кажется. Можно просто потестировать разные модели и подобрать.
Если вопрос как налету это делать, то здесь уже сложная архитектура. Возможно для продукта такое и не нужно
Спасибо, очень полезно! Недавно тоже начал разработку с AI и был озадачен обилием возникающих проблем, особенно в части галлюцинаций, форматирования и использования инструментов.
Для промптов зря кастомную валидацию используете, можно или через провайдера прокидывать модель данных результата (в пакете openai для Python такое есть, значит и в собственно API должно работать, только формат узнать нужно), или через Format Focusing, но это жрёт токены системного промпта. Хотя, все текущие инструкции формата едва ли не больше будут.
Как прикрутить AI к табуретке