Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 12
Впечатляющая работа. У меня возник вопрос по гораздо более скромной теме.
Я люблю слушать аудиокниги, и по многим интересным сериям имеется озвучено, например, три из пяти.
Умеют ли современные ИИ читать книги с выражением и без существенных глюков, чтобы их можно было сносно слушать? Можно ли принимать за основу стиль выбранных чтецов?
Спасибо!
Читать с выражением уже умеют вполне прилично — не ровный «робот», есть интонация и паузы. Глюки случаются (может сорваться на длинной фразе или проглотить слово), но их слышно, и конкретный кусок просто переозвучиваешь заново — так что до финала они не доживают. На целой книге слушается нормально, если не ждать живого актёрского театра.
Про чтеца — да, можно. Берётся короткий образец голоса, секунд 10–20, и дальше текст читается в его тембре и манере. Если часть серии уже озвучена — можно вытащить голос прямо из неё и дочитать тем же голосом остальное.
Я как раз пилю под это бесплатную прогу с открытым кодом, работает локально на компе: https://github.com/timoncool/speech-studio
Спасибо, было интересно почитать. В качестве следующей игры предложил бы GTA IV :)
Великолепная работа! Вы большой молодец! P.S> Еще бы кто-нибудь сделал нормальный перевод и озвучку Starfield…
У джемини ттс есть цензура, она тупо отказывается читать некоторые тексты. Порнографию итп. В такой игре этого должно быть.. сколько то, не играл но осуждаю Ж)
Было бы прикольно закадровую озвучку полностью сделать голосом Гаврилова или Володарского.
Очень интересный проект. Было бы прикольно увидеть такое ещё для сан андреас, для любителей олдсукла.
Там в качестве дополнительного челленджа есть то, что часть говорят на суржике из английского и испанского, распознать такое точно и ещё художественно перевести - задача весьма творческая и нетривиальная.
Насчет синтеза речи, а не подошло бы тут Silero TTS? Оно на русском достаточно неплохо умеет в интонацию, клонирования голоса нет, но может быть решаемо тем же RVC.
Я тоже занимаюсь переводом GTA, только San Andreas. И поскольку мой бюджет тоже нулевой, то я тоже использую нейросети.
Сначала хочу откомментировать демо-ролик: голоса в случайном порядке переключают язык, иногда включаются эффекты не к месту. Громкость гуляет. Сам перевод тоже не самый лучший: матерные слова перевод пытается сгладить, получается “инопланетный русский язык”, даже там, где это “официальный перевод”, т.е. есть субтитры. И даже там, где вкручено самое матерное слово, оно обычно не согласуется с контекстом - это так делали тот самый “официальный” перевод. Само собой, все это озвучивается синтезатором, и никаких акцентов на матерных словах нет. Даже SileroTTS в него умеет. Считываемость сюжета очень плохая, в сцене где двое едут на машине, ощущение что 2 школьника общаются за столом. Такой текст очень плохо воспринимается головой.
Практически все эти же проблемы есть и в моем переводе-озвучке тоже. Его желающие могут найти на LibertyCity. Доделывал я его уже когда кончились токены, потому иногда речь и тембр актерской игры заменяются грубым TTS, или даже сменой пола говорящего. Простите, но токенов уже не было, а удалять работу было жалко. Сейчас за это немного стыдно и я потихоньку пилю новую версию перевода, уже шестую.
Для распознавания речи использую сразу Whisper v2+v3, Parakeet, Qwen-ASR. Эти модели умеют в подсказки, им можно намекнуть, что происходит в речи. Конечно, больше всего выделяется Whisper - это и везде сущий “Дима Торжок”, и… Автоматический перевод на другие языки, и встроенный цензор, и даже генератор ругательств. Берем испанскую фразу, по разному растягиваем, пытаемся распознать - получаем весь спектр английских ругательств. Не испанских! Ради шутки выставил “язык русский” и подсказку “текст на русском языке” - он мне бесплатно перевел порядка 20% текста. Местами транслитом. Чем распознавать Spanglish (мексиканский, смесь американского и испанского), вообще непонятно, моделей под такую речь просто не существует. Сейчас думаю где найти испаноговорящих, чтобы они мне РАСПОЗНАЛИ речь из игры.
С синтезом все немного проще. Для концепта я бы взял Николая (многие его знают как “говорилка из 2000 года”), и все озвучивал бы им. Далее, у нас более 100 голосов Silero - рендерятся быстро, голоса реально разные, для концепта более чем подойдет. И уже потом я начинал кормить платные синтезаторы деньгами.
А вот идеи для автора и для меня самого, до которых я пока не дошел:
DTW - попробовать понять, на каких словах и в каком темпе идет оригинальная речь. В GTA5 есть липсинк, а у меня в SA такой радости нет, эмоции так просто не вытащить. С липсинком еще проще: голоса Луквендо умеют выдавать виземы - остается их только сопоставить с игровым липсинком и эмоции будут собраны. У меня такого частья нет.
Многочисленные голоса Silero - я пришел к выводу, что лучше много настоящих голосов, чем 1 крутой и который озвучивает все на свете. Пока взял десяток голосов, но уже накачал моделей для других славянских языков - получается очень интересно, особенно для озвучки испанцев.
Qwen-TTS - умеет в промпты по эмоциям + клоны речи. Элевенлабс у нас дома, и все это бесплатно.
Синтезировать речь батчем - клеить фразы в один большой атлас и озвучивать разом. Таким образом эмоции не уплывают, англоязычные слова все равно озвучиваются “русским” произношением. Остается только потом нарезать на кусочки и вставить в игру.
Система слотов для звуков была еще в San Andreas, долго реверсил эту штуку руками, но так и не доделал. Автору я бы порекомендовал побольше тестировать свою сборку, ибо у меня основная проблема была в том, что игра могла вылететь через 2 часа игры. Отлаживать такое очень больно.
Рекомендую чистить звуки катсцен через SileroVAD, находя в них речь. Очень хорошая моделька для поиска речи.
А вот за ECAPA‑TDNN автору спасибо, надо будет использовать самому. Например, в одном из банков речи, голоса Сиджея и Каталины (телефонные разговоры) идут вместе. У меня уже конечно были модели для детекции голоса, но не такие.
вот бы 6 часть так быстро перевели
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Озвучил всю GTA V по‑русски нейросетью: как сгенерировать 220 часов речи и не привлечь внимание санитаров