Comments 5
А заменить ключ без релиза фронта уже не получится, особенно если речь про мобильное приложение.
Че? Создается файл на бэкенде/сайте/firebase с нужными настройками и мобильное приложение выкачивает его где-нибудь на старте. Приватные ключи правда не пытался запихнуть туда и зашифровать, но думаю, это тоже реализуемо
• лёгкие запросы → дешёвые модели
• сложные, требующие логики → более дорогие
• структурные задачи → наиболее стабильные
• длинные тексты → модели с большим контекстом
А что из себя представляет оценщик сложности запроса?
Обычно в продукте набор промптов под разные цели. Где-то промпт генерирует квиз, и там нужно более дорогую модель. А где-то исправляет синтаксические ошибки, там справится и дешевая, кажется. Можно просто потестировать разные модели и подобрать.
Если вопрос как налету это делать, то здесь уже сложная архитектура. Возможно для продукта такое и не нужно
Спасибо, очень полезно! Недавно тоже начал разработку с AI и был озадачен обилием возникающих проблем, особенно в части галлюцинаций, форматирования и использования инструментов.
Как прикрутить AI к табуретке