Особенности фонетики якутского языка для синтеза речи / Habr

Недавно мы закончили проект по синтезу якутского языка. Хотя наши договорённости не позволяют выложить нам модели в общий доступ, какими-то соображениями на тему того, как можно делать синтез якутского языка мы поделиться можем.

Под ~~котом~~ катом вы узнаете:

Как звучит синтез на якутском языке;
Чем отличается якутский алфавит от русского и какие "дополнительные" звуки там есть;
Как работать с ударениями на якутском языке, с учетом полного отсутствия каких-либо корпусов или словарей;
И, в качестве бонуса, как якутский синтез речи говорит на русском с якутским акцентом;

Фонетика якутского языка

Как звучит якутский язык?

Возможно вы никогда его не слышали (или не отдавали себе отчёт, что звучит именно якутский), но звучит он так:

Примеры синтеза на якутском языке

Это случайные фразы синтезированные на якутском. Если он для вас - родной, отпишите, пожалуйста, в комментариях.

Алфавит, дифтонги и длинные звуки

Начнём с простого, а именно с алфавита. Нам всем очень повезло, на самом деле. Ситуаций как со словами по типу the / though / thought / Thomas / eighth / lighthouse ни в русском, ни в якутском нет.

В русском как слышится так и пишется с учётом ударения (да, я понимаю, это огромное допущение), а в якутском так же, но ударение мало влияет на произношение слова. И большая часть звуков нам известна. Нам также повезло, что алфавит унифицирован с кириллицей и письмо фонетическое (современный алфавит существует с 1939 года и с тех пор официально не подвергался правкам).

Якутский алфавит:

Кириллица	IPA	Примечания
А а	[a]
Б б	[b]
В в	[v]	Только в заимствованных словах
Г г	[g]
Ҕ ҕ	[ɣ], [ʁ]	"Г с крюком" (фрикативный "г")
Д д	[d]
Дь дь	[ɟ]	"Д с мягким знаком" (сверхмягкий "дь")
Е е	[e], [je]	Только в заимствованных словах
Ё ё	[jo]	Только в заимствованных словах
Ж ж	[ʒ]	Только в заимствованных словах
З з	[z]	Только в заимствованных словах
И и	[i]
Й й	[j], [j̃]
К к	[k], [q]
Л л	[l]
М м	[m]
Н н	[n]
Ҥ ҥ	[ŋ]	Лигатура "нг" (заднеязычное "н")
Нь нь	[ɲ]	"Н с мягким знаком" (сверхмягкое "н")
О о	[o]
Ө ө	[ø]	"О с перекладиной"
П п	[p]
Р р	[r]
С с	[s]
Һ һ	[h]
Т т	[t]
У у	[u]
Ү ү	[y]	Прямая "у"
Ф ф	[f]	Только в заимствованных словах
Х х	[x]
Ц ц	[ʦ]	Только в заимствованных словах
Ч ч	[ʧ]
Ш ш	[ʃ]	Только в заимствованных словах
Щ щ	[ɕː]	Только в заимствованных словах
Ъ ъ	.	Только в заимствованных словах
Ы ы	[ɯ]	Заднеязычное, неогублённое "у"
Ь ь	[ʲ]	Только в заимствованных словах
Э э	[e]
Ю ю	[ju]	Только в заимствованных словах
Я я	[ja]	Только в заимствованных словах

Как мы видим, существенная часть алфавита вообще используется только в заимствованных словах (из русского языка в первую очередь), но также есть аж четыре разные группы "звуков", у которых нет аналогов в русском языке (ну или они совсем редкие или используются в заимствованных словах):

дь и нь хоть формально и не являются буквами, но обозначают звуки ɟ и ŋ, аналогов которых в русском нет;
Буквы ҕ, ҥ, ө, һ, ү обозначают звуки ɣ, ŋ, ø, h, y и не имеют аналогов в русском языке;
Дифтонги ыа, уо, иэ и үө;
Длинные звуки аа, оо, ыы, уу, ии, ээ, үү, өө;

Далее мы подробно пройдемся по каждому из звуков, приведём примеры его звучания и опишем понятными словами как он звучит и на что похож.

Также якутский на слух звучит немного "нараспев". Это происходит потому, что в якутском языке есть пять долгих гласных (аа, ыы, уу, ии, үү), встречающихся лишь в корне. Дифтонги, возникшие в результате соединения звуков, встречаются в любом слоге.

Употребление гласных звуков подчиняется правилу гармонии гласных, при котором гласные в слове следуют друг за другом в строго определённом порядке. Например, если в предыдущем слоге стоит звук ы, то в следующем может быть только ы или а, или ыа: ылыым, ылаар, ылыа.

Еще важно затронуть палатализацию ("смягчение" согласных перед гласными звуками). В русском языке она встречается повсеместно. В якутском палатализация перед гласными и, э, ө, ү, иэ, үө - присутствует не у всех согласных. У л, м, т, c - присутствует. По поводу н - спорно, ведь есть звук нь.

Дополнительные буквы и звуки

Опишем звуки, которых нет в русском языке:

Сочетание букв дь передаёт звук ɟ, который русскими буквами можно записать примерно как дьй;
Сочетание букв нь передаёт звук ɲ, который похож нь или nʲ, однако нь - альвеолярный звук (передняя часть языка соприкасается с альвеолярным отростком), а в палатальном носовом согласном ɲ средняя часть языка соприкасается с твёрдым нёбом. Самый простой пример - тут английское слово onion или любое испанское слово с буквой ñ, например señor;
Звук ɣ , передаваемый буквой ҕ, читателю скорее известен как звук между г и х из русских южных диалектов, или звук буквы г в словах господи, ага, Бог;
Носовой звук ŋ передаваемый буквой ҥ, читателю скорее всего известен из английского языка в словах типа thing, заканчивающихся на -ing;
Буква ө передаёт звук ø, который нам известен из "немецких слов с точками", например schön, и звучит как нечто среднее между о и у;
Буква һ передаёт звук h, который читателю известен как английское "легкое" х на выдохе, например в слове high;
Буква ү передаёт звук y, который вы наверное все слышали миллион раз в слове über в разных контекстах;

Послушать примеры слов с указанными звуками можно ниже:

Примеры новых звуков на якутском:

Дифтонги и длинные звуки

Фух, можно выдохнуть. По сути дифтонги это просто сочетания звуков, а долгие звуки это как будто два звука, идущих подряд. С этим связано ударение, но об этом чуть дальше.

Послушаем эти звуки.

Дифтонги и длинные звуки:

Ударения

Не секрет, что например на английск��м языке без перевода слов в фонемы в синтезе речи обойтись нельзя, потому что там пишется "понедельник, а читается четверг".

Мемы про английское прочтение слов:

В русском языке всё обстоит получше, но нужно знать ударение. Кроме редких примеров типа "солнце" или "дожди", если проставить ударение, чтение слова довольно однозначно.

Но как обстоят дела в якутском языке? Оказывается, что ударений как таковых в нём как будто бы нет. Мы задавали вопросы разным носителям языка и лингвистам, и не получили консенсуса. На Википедии на эту тему вообще написано что-то странное.

Естественно по причине того, что у языка мало носителей и из-за "простой" фонетики - мы не нашли публично доступных орфоэпических словарей или словарей с ударениями.

Но даже если ударения нет, нужно иметь систему, которая была бы совместима с русским языком, если например нужно будет вставить русское слово, не "адаптируя" его на якутский. А у русских слов нужно иметь возможность проставлять ударения.

По этой причине наш коллега, говорящий на якутском языке, сел отслушивать записи на якутском, и пришёл к выводу, что ударение несильное и падает или на все слоги сразу, или там где стоит дифтонг или двойная гласная.

Распарсив корпус слов, получившийся от анализа сайтов СМИ на якутском, мы смогли расставить "ударения" с помощью правил, чтобы они работали обратно совместимо с русским языком.

Моделирование

Так, отлично. Палатализация не очень ярко выражена, практически всё как слышится так и пишется, ударения можно не ставить, но мы лучше поставим.

По сути после записи корпусов речи на русском и якутском остается только ответить на ряд вопросов / гипотез, чтобы наконец определиться с дизайном системы синтеза речи:

Использовать графемы или фонемы? Тут выбор точно в пользу графем. У обоих языков письмо "фонетическое";
В экспериментах с фонемами у нас лучше работали модели, где палатализация выделена в отдельный символ. А в экспериментах с графемами лучше работало … когда мы просто подавали графемы "как есть". Получается тут тоже особо без вариантов;
Вопрос как подавать ударение по идее тоже не особо стоит - отдельным символом для обоих языков. Мы пробовали НЕ подавать ударения для якутского языка, но модель начинала "путаться". Если не подавать ударения в русский язык … ну можно не продолжать;
По сути остаётся только решить как подавать дифтонги и длинные гласные. Мы пробовали как выделять отдельные символы на них, так и наивный способ, огромной разницы не увидели. Значит действуем по пути сокращения сущностей;

Получается, что если грамотно решить вопрос с ударениями, то можно получить простую в использовании систему синтеза языка, которая будет сразу работать на двух языках и позволит также "говорить на русском с якутским акцентом" и наоборот.

Русская речь с якутским акцентом

В качестве бонуса вот несколько аудио русской синтезированной речи с "якутским акцентом".

Речь на русском с якутским акцентом:

Итоги

Тут триллера особо не получилось, мы просто аккуратно исследовали предметную область и сделали синтез речи на якутском, который работает одновременно и на русском языке. Несмотря на кажущуюся экзотику или сложность, на самом деле нам очень "повезло" с фонетическим алфавитом языка и тем, что один из нас говорит на якутском.

Также нужно ещё отметить, что вопреки популярным трендам в духе "закинуть все данные в сетку на сотни миллиардов параметров", наша модель работает даже на 1-4 потоках процессора локально и показывает очень бодрые показатели скорости.

Скорость модели:

В таблице указаны секунды сгенерированного аудио в секунду.

Впереди нас ждёт ещё 8 языков, но там, к сожалению, так "просто" уже не будет ...

PS

Долго боролся с хостингом аудио, некоторые файлы он не принимает вообще никак. Поэтому если кого-то очень заинтересуют все файлы, вот ссылка на гугл-диск.