timonin Feb 3 at 15:03

Whisper больше не нужен? Обзор VibeVoice ASR от Microsoft — часовая транскрипция, диаризация, hotwords и портативка

Easy

5 min

12K

Open source * The future is hereSoundMachine learning * Artificial Intelligence

Review

+19

Comments 13

vb64 Feb 3 at 16:32

без cuda работает?

VT100 Feb 3 at 19:01

Или - на старой cuda? Скажем - 3.0

method2020 Feb 4 at 05:58

При инсталляции был вариант выбора CPU , наверное, это оно

method2020 Feb 3 at 21:22

У меня на мобильной rtx4070 8 gb полная застряла, малая выдала ошибку. У кого-нибудь завелась?

den4ik_084720 Feb 4 at 09:58

А зачем, если есть GigaAM? Она и точнее будет для русского. Да, нету end2end диаризации, но вопрос решаемый

Semyonza Feb 5 at 05:14

Как?

Pavel_Shpagin Feb 5 at 05:07

Есть проблемы в сборке.

Не объединяет спикеров - нет такой функции (то есть по времени говорит спикер 1, потом снова спикер 1).
На большой файле (видео 500 мб, 55 минут) не может распознать выдает ошибку.
На большой версии (c квантизацией):
Traceback (most recent call last):
File "asyncio\events.py", line 88, in run
File "asyncio\proactorevents.py", line 165, in callconnection_lost
ConnectionResetError: [WinError 10054] Удаленный хост принудительно разорвал существующее подключение
Incomplete JSON detected (unclosed brackets: 2), attempting to fix
Failed to parse JSON from transcription: Expecting ',' delimiter: line 1 column 23321 (char 23320)
На маленькой:
Incomplete JSON detected (unclosed brackets: 2), attempting to fix
Failed to parse JSON from transcription: Unterminated string starting at: line 1 column 23138 (char 23137)

Dgbbjjhgv Feb 5 at 05:35

А зачем видео закидывать? Надо же звуковую дорожку. Это её транскрибирует llm. [pokerface]

Pavel_Shpagin Feb 5 at 09:36

Это шутка? Видео там тоже можно. У меня на виспере все нормально и с видео и с аудио. Транскрибирует встречи в том числе, переделывать в аудио из видео, когда есть возможность этого не делать, странная затея. Но если вы так делаете, супер!

SkylineXXX Feb 5 at 17:50

А в примере

видео?

Наверное рассчитано, что ни кто не посмотрит. Там какие-то два кретина, каждые 5 сек. на разные лады несут пургу. "Началась рожательная деятельность, в тяжёлом состоянии. Ребенок тоже"

timonin Feb 5 at 18:22

Это очень старый мем из российских сериалов.

Xao Feb 5 at 13:40

Можно её как-нибудь на маке с М-процессором завести?

einhorn Feb 6 at 04:03

Что значит percentage на графике?