Первая мысль такая – в музыкальных редакторах можно синтезировать голос, который будет петь любую мелодию, это происходит за счёт сложения волны модулятора – голоса – с волной синтезатора. Но если можно управлять синтезатором, то почему бы не управлять и модулятором, тем самым изменяя не высоту звука, а его тембр. Принцип должен быть тот же, условно говоря, одну звуковую волну складываем со второй, каким именно алгоритмом – это уже частности. Если одна из волн синтезирована компьютером и слишком отличается от второй волны, которую пытаемся изменить, то как раз получается этакий «роботизированный» голос, вокодер. Здесь видимо получается такой же эффект, которого можно избежать, если исходный голос будет пытаться подражать тому тембру, на который подменяем исходник.
По идее, для того, чтобы разница между двумя волнами была не так заметна, оба голоса должны произносить один и тот же текст, но тогда весь смысл фейка теряется. Чтобы сказать произвольный текст нужным голосом, скорее всего надо опуститься на уровень пониже, снять «маски» слогов или отдельных звуков, а не слов. Тогда нейросеть будет сканировать нашу произвольную речь, узнавать в ней слоги, и на каждый слог накладывать слог из банка слогов нужного тембра.
Ладно смс-ки, теперь получается мамке может такой фейковый сынок просто дозвониться и подтвердить, мол, всё так, действительно сбил, давай деньги переводи, не развод
Тут уже начинается двухфакторная авторизация: «сынок, а мы в каком году на море ездили? а как звали твоего первого питомца»?
По идее, для того, чтобы разница между двумя волнами была не так заметна, оба голоса должны произносить один и тот же текст, но тогда весь смысл фейка теряется. Чтобы сказать произвольный текст нужным голосом, скорее всего надо опуститься на уровень пониже, снять «маски» слогов или отдельных звуков, а не слов. Тогда нейросеть будет сканировать нашу произвольную речь, узнавать в ней слоги, и на каждый слог накладывать слог из банка слогов нужного тембра.
Тут уже начинается двухфакторная авторизация: «сынок, а мы в каком году на море ездили? а как звали твоего первого питомца»?