Делаем лимиты ИИ почти бесконечными: умный роутер, который режет затраты на токены в разы и делает их почти бесплатными

[AnotherProger]

И как качество? По мне достойные нейросети только - клод соннет последний, Клод опус и может ещё гемини 3.1 про или флеш для быстрых задач, gpt5.4 более менее

[SkyCat]

Да никак, наверное. Судя по промптам ("«Переименуй переменные в этом куске», «напиши docstring», «переведи этот текст».") автор из тех, кто перед походом в туалет через LLM проверяет, включен ли там свет. Возможно, на его запросах и будет выгода.
У меня, например, сейчас ТЗ на 1100 строк, которое я планирую отдать Claude Opus. Мне нужно в данном случае максимальное качество и я не собираюсь выигрывать пару долларов на бесплатных моделях в ущерб своей работе.

[Triton5]

Интересно, кто-нибудь пробовал OpenAI o1-pro :)

[Triton5]

Если нужен rule-based роутер, для лёгких по нагрузке проектов самое простое это Hono - его можно запускать на компьютере, на VPS, на воркерах, короче везде.
Там главное, это хорошо написать scorer.js :) по вашим результатам подкрутить правила и 90% запросов должны правильно детектиться.

Если хочется премиальной точности, то можно организовать себе скоринг по векторной базе данных с тысячами вариантов, прикрутить Elo-рейтинги и BERT, в общем можно добиться почти 100% точности, но это наверное уже как-то слишком, это для тех, кто хочет упороться:))

[Elaugaste]

Из статьи непонятно о оплате каких api вызов идет речь, поскольку если классификатор работает локально то что за танцы с usdc и за что шекели.

[whiteroller]

А может просто перейти на китайские модели? С их ценами это вообще имба и качество на уровне

[vyacheslavteplyakov]

Звучит как ещё одна вещь, за которую нужно платить, хотя можно и не платить. По моему текущие агенты уже сами умеют заниматься роутингом промптов на соответственные модели. Тот же набирающий популярность Hermes имеет встроенный инструмент для этого с разными политиками подбора.

[falldown]

Ручной if/else по типу задачи — хрупко и лень.

Хрупко ему, ять! Очередной llm-слоп. Ну ёмана..