«Яндекс Книги» запустили новую версию виртуального рассказчика с улучшенной нейросетевой моделью синтеза голоса. Функция доступна для 120 тысяч произведений. По словам «Яндекса», интонации рассказчика стали более живыми и естественными. Манера чтения меняется в зависимости от жанра книги. В работе использовалась новая ИИ‑модель, демонстрирующая высокое качество синтеза на русском языке. В «Яндекс Книгах» утверждают, что качество ИИ‑модели в 80% случаев лучше, чем у ElevenLabs.
Виртуальный рассказчик позволяет слушать книги, у которых пока нет аудиоверсии. Это открывает доступ незрячим и слабовидящим людям. Прежняя нейросетевая модель быстро синтезировала голос, но он мог звучать слишком монотонно. Новая технология решает эту проблему. Теперь прослушивание книг станет интереснее. Можно глубже погрузиться в происходящее. А возможно и переосмыслить прочитанное — в аудиоформате книги могут открыться по‑новому.
Для обучения модели использовали фрагменты речи, которые записали вместе с профессиональными дикторами. Дикторы зачитывали тексты разных жанров: фантастику, детективы, романы и учебники. Благодаря этому виртуальный рассказчик меняет интонацию в зависимости от жанра произведения. Модель научилась определять, когда начинается диалог, и выделять интонационно реплики героев. А чтобы речь звучала плавно и без задержек, модель начинает синтезировать первые звуки слова, параллельно генерируя следующие.
По данным замеров методом слепого тестирования, новая модель синтезирует голос заметно лучше предыдущей. По общему впечатлению от голоса она выигрывает в 74% случаев, по интонации — в 78%, по естественности звучания — в 73%.
Виртуальный рассказчик появился в «Яндекс Книгах» летом 2024 года. Функция доступна в веб‑версии и в мобильном приложении сервиса. В настройках можно выбрать мужской или женский голос рассказчика.
