Как я сделал классификатор обращений для телеком-поддержки на своей LLM за $10/месяц

[tester37]

Стоимость , неоднозначный фактор. 50 тыс. запросов. Это не тот случай где 100 баксов за облако хуже чем 10 баксов на своём сервере.

[vmorsk]

Задумка не плохая, вот только учить и учить. А именно такие запросы - 99% головной боли классификации :)

[ractangle]

ну да, датасет синтетический )

[Akuma]

Очень сомневаюсь, что 50к обращений в месяц дотянут до $100.

Учитывая, что сейчас справляется модель 0.5B, можно взять что-то вроде Google flash lite и будет даже дешевле VPS.

С другой стороны, отличная работа. Закиньте это все в WebLLM (а такая модель даже на телефоне запустится) и будет совсем бесплатно, просто вкладку открытой держать.

[ractangle]

спасибо )

[dddoker]

Демо и API не открываются