Статья основана на реальном опыте разработки и эксплуатации системы в течение 28 месяцев: от MVP до попытки миграции.

Ни один сервис не был вымышленным. Ни одна цифра — не придумана.

Python идеален для быстрых LLM-прототипов, но в enterprise он часто не справляется с нагрузкой, SLA и требованиями к безопасности.

Как мы заменили Python в критическом пути инференса на JVM, запустили fine-tuned 3B-модель на CPU и снизили стоимость обработки документов в 40 раз, сохранив полный контроль над данными.