Comments 5
По сути, это та же условность, что и в классической анимации. Зрителю необязательно видеть абсолютно точное движение губ. Достаточно нескольких выразительных положений, правильно расставленных во времени.
Думаю, лучше для анимации губ использовать виземы:
https://learn.microsoft.com/en-us/azure/ai-services/speech-service/how-to-speech-synthesis-viseme?tabs=visemeid&pivots=programming-language-python
Спасибо за ссылку!)
Положения рта для разных групп звуков у меня уже подготовлены, но раньше я не называл их виземами. Основная проблема была в слишком частом переключении между ними, поэтому пришлось ограничить количество движений в зависимости от длительности слова.
А вот получение готовых таймингов визем вместе с синтезированной речью - интересная возможность. Сейчас я рассчитываю их самостоятельно, но такой вариант тоже стоит иметь в виду.
Спасибо, пригодится!)
На счёт таймингов: У Piper TTS есть встроенная возможность получать фонемы с таймингом. Из фонем можно получать виземы. Есть русские голоса довольно неплохого качества, но их мало.
Ещё есть такая библиотека: https://pypi.org/project/phonemizer/
Сначала я подумал про "секс в гамаке и стоя". Но прочитав какую-то часть понял, что это прикольно. Хотя жалко, что при просмотре готового ролика непонятно, как он на самом деле сделан. Можно подумать, что вы взяли обычное видео и превратили в псевдоанимацию, благо любой толковый редактор это может. А на самом деле здесь все намного интереснее.
Про то, как я научил своего аватара снимать ролики по сценарию без ИИ‑генерации видео (часть 2)