Опыт автоматизации ОКК с помощью ИИ: это оказалось сложнее, чем просто слушать звонки

[rene_sjelen]

На самом деле нужная штука. В процессе изучения инета на подобные решения получилось так, что русскоязычные сервисы для записи и разбора созвонов есть. Базы знаний с ИИ-чатом тоже есть. Между ними - пусто. Одни останавливаются на «расшифровка плюс резюме плюс задача в CRM». Другие работают с уже готовыми документами, а не с сырым звонком. Запись, распознавание речи, разделение по говорящим, граф решений, чат по истории проекта, автосборка ТЗ - локально, без утечки - этого нет ни у кого. А то, что похоже на решение - часто тонкая платная обвязка вокруг чужого API, и не самых дорогих моделей за которыми перепроверять приходится.

В итоге сейчас использую связку из двух независимых моделей со сверкой. Канон слов и таймлайна держит Parakeet-TDT, вычитку - GigaAM. Одна модель (GigaAM) замечено, что регулярно галлюцинирует на тишине и шуме, две согласованные - почти нет. Кто говорит - отдельно, при помощи Nemotron 3 ASR (до 8-ми голосов). После шлифую текст Qwen3.8-27b. Она же помогает все укладывать в БД при помощи и BGE-m3.

Чтобы уместить это в 24 гб VRAM пришлось попотеть, но зато все теперь крутится локально и работает на совесть. Попробуйте, вдруг пригодится.

[nikaitinam]

Интересно, спасибо! Обычно все готовые решения криво встраиваются в текущий процесс, еще и настолько дорого, что проще посадить спеца с наушниками, а у звена моего уровня просто не хватит знаний (и желания) до такого решения))