Неочевидные проблемы в Text‑to‑Speech, о которых редко говорят

[cmyser]

А можно ли как то решить эти проблемы ? Есть идеи для такой качественной метрики ? Я бы попробовал записать реального человека которого мы пытаемся повторить ( профессионального спикера ) и как нибудь на основе двух записей получать метрику качества ( насколько стало близко к оригиналу )

[tomattopizza]

Здесь проблема, что TTS - это задача one-to-many. Т.е. имеется большое количество решений, которые являются валидными и "хорошими". Задавая 1 ответ на замере тестовых метрик мы просто уводим субъективность в выбор этого референса.

Так же проблемно, что даже если по каким-то метрикам мы будем близки к референсу, это не всегда соотносится с общим качеством для слушателя. В конце мы не уйдем от вопроса: "Нравится ли эта модель слушателю больше, чем предыдущая?".

Это хорошо подходит для моделей клонинга голоса, когда основная задача - скопировать конкретную манеру в предложении, но для общего TTS как будто проблему не решает.

[cmyser]

В конце мы не уйдем от вопроса: "Нравится ли эта модель слушателю больше, чем предыдущая?".

ага, но это полная субьективщина, от такого и нужно уйти
нельзя нравиться всем

я бы все равно в эту сторону шагал, оплачивал дикторов сколько надо, а дальше стремился их повторить
нужен новый приятных голос ? ищем диктора.

просто надо все таки иметь критерии, нам да и бизнесу часто не нужен идеальный конь в вакууме, достаточно что бы большинству было ОК

[tomattopizza]

нельзя нравиться всем

Не нужно нравится всем, а хотя бы нравится больше, чем предыдущий.

нужен новый приятных голос ? ищем диктора.

Так и происходит, но на этапе train/val.

бизнесу часто не нужен идеальный конь в вакууме

Как раз когда мы выбираем референс, это и есть выбор идеального коня в вакууме, на который мы ровняемся и считаем главной метрикой качества.