С помощью нового инструмента от HeyGen Labs можно автоматически переводить и дублировать видеоролики на другие языки. Нейросеть копирует тембр голоса спикера, и подстраивает движение губ под сгенерированную аудиодорожку.
Функция перевода видео от HeyGen Labs пока находится в режиме бета-теста. С её помощью можно переводить и автоматически переозвучивать короткие видеоролики. Поддерживается английский, испанский, французский, китайский, немецкий, итальянский, польский, португальский, голландский, хинди или японский. Русского языка в официальном списке нет, но нейросеть справляется с ним.
Во время перевода HeyGen адаптирует речь, используя фразы носителей языка. Благодаря этому перевод получается живым. Также нейросеть копирует исходный тембр голоса и интонацию так, если бы человек изначально говорил на языке перевода. Движение губ подстраивается под сгенерированную аудиодорожку. Пользователи Сети начали переводить на иностранные языки популярные мемы и шутки.
Для генерации переводом можно использовать видео в форматах MP4, WebM и MOV. Длительность ролика должна быть от 30 секунд и до 5 минут. Общий объём файла не должен превышать 500 Мб. Сейчас на платформе много желающих, поэтому на перевод одного ролика может уйти больше суток.
В бесплатном тарифе доступен перевод одного минутного ролика или двух 30-секундных. Платные подписчики могут создавать видео вне очереди и получают дополнительные минуты генерации. В бюджетном тарифе за 29 долларов в месяц доступно 15 минут, а в продвинутом за 239 долларов — 120 минут.
