Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!

как переводит facebook meta nllb мы знаем.. ужасно переводи, так же прекрасно знаем о том как whisper придумывает или пропускает куски беседы.
есть openai:gpt4o мультимодальная с поддержкой текста и голоса в обе стороны, ее можно использовать для решения всей задачи (распознование речи + перевод + синтез речи) и это работает. Очень хотелось бы пощупать qwen omni в этом же виде, так как можно локально запускать.
Обзор проекта WhisperLiveKit — синхронный перевод между любыми языками