Стартап из Тель-Авива Deepdub предлагает технологию автоматизации части процесса дублирования с помощью технологии искусственного интеллекта. Она позволяет сократить время, необходимое для дубляжа, позволяя владельцам контента и студиям получать готовый продукт озвучки в течение недель, а не месяцев. На фоне роста спроса на дубляж стартап уже привлек $20 млн инвестиций.
Deepdub поддержали инвесторы Booster Ventures и Stardom Ventures, а также несколько бизнес-ангелов, в том числе Эмилиано Калемзук, бывший президент Fox Television Studios; Кевин Рейли, бывший коммерческий директор HBO Max; Дэнни Грандер, соучредитель Snyk; Рой Тайгер, вице-президент по инженерным разработкам в Meta.
Цель Deepdub состоит в том, чтобы преодолеть языковой барьер в сфере развлечений, используя передовые технологии искусственного интеллекта с комплексной платформой для создателей контента. Стартап поддерживает все аспекты проекта дублирования, включая перевод, адаптацию и сведение.
Deepdub использует технологии искусственного интеллекта и машинного обучения.
В то время как традиционный процесс дублирования может занять от 15 до 20 недель для двухчасового фильма, стартап может завершить тот же проект всего за четыре недели. Для этого Deepdub сначала берет две-три минуты исходных голосовых данных актеров и использует их для создания модели, которая переводит характеристики голосов на целевой язык. Стартап не раскрывает подробности работы своей технологии.
Недавно Deepdub заключил партнерское соглашение с потоковым сервисом Topic.com, чтобы дублировать их каталог иностранных телешоу на английский язык. Deepdub также стал первым стартапом, который дублировал полнометражный фильм на испанский язык с использованием голосов, синтезированных ИИ.
Теперь Deepdub работает над проектами как с небольшими, так и с крупными голливудскими студиями.
Однако ведется много споров о том, должны ли зрители смотреть фильмы и шоу на языке оригинала с субтитрами или довольствоваться дублированной версией. Например, в случае с сериалом «Игра в кальмара» от Netflix возникли разногласия по поводу того, что в дублированной версии не смогли точно передать содержание диалогов на корейском. Даже создатель «Squid Game» рекомендовал зрителям смотреть версию с субтитрами.
Одна из проблем заключается в том, что дублированные версии пытаются соотнести речь и движение губ актеров, чтобы не умалять впечатления от просмотра. Из-за этого иногда страдает содержание, так как слова и фразы приходится обрезать, чтобы дублированная речь соответствовала движению рта актера.
Между тем компании киноиндустрии уже прибегают к дипфейкам. Например, Industrial Light & Magic, «дочка» студии Lucafilm, взяла на работу команду авторов YouTube-канала Shamook, которые при помощи дифейков обновляют цифровые версии актеров популярных фильмов. Shamook «исправили» омоложенное лицо Люка в исполнении Марка Хэмилла в фильме «Мандалорец», благодаря чему впечатление получилось более естественным. Также студия при помощи дипфейков скорректировала персонажей принцессы Леи и Уилхуффа Таркина в фильме «Изгой-один» и наложила лицо Себастиана Стэна на молодого Люка Скайуокера.
А в фильме Roadrunner: A Film About Anthony Bourdain про американского шеф-повара Энтони Бурдена несколько фраз голосом покойного произносит нейросеть. Такой прием вызвал у пользователей неоднозначную реакцию.
