Адаптация языковой модели vosk

Приветствую, Хабр. В данной статье хочу рассмотреть процесс добавления слов в языковую модель vosk'а. (vosk - библиотека для распознавания речи, в основе которой kaldi). В русском сегменте подобных статей нет, а которые есть - неактуальны, поэтому, думаю, будет полезно.

Стоит отметить, что даже малая модель имеет под капотом достаточный запас слов, однако порой возникает необходимость в добавлении особой лексики, непредусмотренной библиотекой.

Процесс создания

Для удобства создаем директорию (в моем случае new-model), в которой мы будем работать, и переходим в нее. Теперь скачиваем родную малую русскую модель vosk'а, чтобы заменить в ней языковую модель, которая и отвечает за словарный запас. После скачивания разархивируем родную модель.

mkdir new-model && cd new-model
wget "https://alphacephei.com/vosk/models/vosk-model-small-ru-0.22.zip"
unzip vosk-model-small-ru-0.22.zip

Для генерации новой модели нам необходимо установить kaldi для необходимого инструментария.

git clone https://github.com/kaldi-asr/kaldi
cd kaldi

Далее нам нужно установить утилиты, для этого переходим в директорию kaldi/tools.

cd tools

Проверяем необходимые зависимости, если в конце получили "Ok" - двигаемся дальше, если нет, устанавливаем необходимые зависимости, сам скрипт достаточно понятно говорит, что необходимо сделать.

extras/check_dependencies.sh

Устанавливаем основные утилиты, добавление маркера -j позволяет распараллелить задачу на указанное после маркера количество потоков.

make -j 4

Устанавливаем дополнительные утилиты irstlm и opengrm, без которых нам сегодня не обойтись.

extras/install_irstlm.sh
extras/install_opengrm.sh

Также в качестве дополнительной утилиты необходим srilm. Чтобы скачать и установить его при помощи штатного скрипта, необходимо указать свою почту, имя и организацию, но запросы с российских ip блокируются. Поэтому нужно будет вручную скачать srilm в директорию, где находитесь в данный момент (kaldi/tools).

После этого запускаем его установку.

extras/install_srilm.sh

Продолжаем собирать инструментарий, но уже в папке kaldi/src. Переходим в нее.

cd ../src

Используем следующие команды для сборки. после -j количество поток, как и ранее.

./configure --shared
make depend -j 4
make -j 4

Выходим из kaldi/src и отправляемся в директорию kaldi/egs/wsj/s5, в ней мы и будем работать:

cd ../egs/wsj/s5

Скачиваем исходные файлы нескомпилированной малой модели vosk'а и разархивируем ее. После чего перемещаем файлы из разархивированной нескомпилированной модели в kaldi/egs/wsj/s5. Файлы stepsи utils не будут перенесены, т.к. в kaldi/egs/wsj/s5 уже есть директории с такими названиями, просто проигнорируйте ошибку об этом.

wget "https://alphacephei.com/vosk/models/vosk-model-small-ru-0.22-compile.tar.gz"
tar -xf vosk-model-small-ru-0.22-compile.tar.gz
mv vosk-model-small-ru-0.22-compile/* .

Копируем содержимое файла kaldi/tools/env.sh и вставляем в конец файла kaldi/egs/wsj/s5/path.sh, который только разархивировался из модели vosk'а. После этого kaldi/egs/wsj/s5/path.sh должен выглядеть примерно так:

export KALDI_ROOT=`pwd`/../../..
export PATH=$PWD/utils:$KALDI_ROOT/src/bin:$KALDI_ROOT/tools/openfst/bin:$KALDI_ROOT/src/fs>
export PATH=$KALDI_ROOT/tools/ngram-1.3.7/src/bin:$PATH
export LD_LIBRARY_PATH=$KALDI_ROOT/tools/openfst/lib/fst/
export LC_ALL=C

export PATH=/home/arch/model_disk/kaldi/tools/python:${PATH}
export IRSTLM=/home/arch/model_disk/kaldi/tools/irstlm
export PATH=${PATH}:${IRSTLM}/bin
export LIBLBFGS=/home/arch/model_disk/kaldi/tools/liblbfgs-1.10
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH:-}:${LIBLBFGS}/lib/.libs
export SRILM=/home/arch/model_disk/kaldi/tools/srilm
export PATH=${PATH}:${SRILM}/bin:${SRILM}/bin/i686-m64

Запускаем kaldi/egs/wsj/s5/path.sh, чтобы инициализировать пути к kaldi и его инструментарию.

./path.sh

Прописываем в файле kaldi/egs/wsj/s5/db/extra.txt словосочетания, которые вы хотите добавить в модель. Каждое словосочетание должно быть в новой строке и без знаков препинания, например

поставь эмоджи
открой фейсбук

В данном случае мы добавляем слова «эмоджи» и «фейсбук».

Также, скорее всего, вам понадобится установить python-библиотеку phonetisaurus для скрипта далее.

pip install phonetisaurus

И наконец запускаем kaldi/egs/wsj/s5/compile-graph.sh, который сгенерирует нам модифицированную модель.

./compile-graph.sh

Модель сгенерирована. Теперь копируем из директории kaldi/egs/wsj/s5/exp/tdnn/lgraph/ файлы Gr.fst и HCLr.fst и вставляем их в родную модель, которую скачали в самом начале.

cp -f exp/tdnn/lgraph/Gr.fst exp/tdnn/lgraph/HCLr.fst ../../../../vosk-model-small-ru-0.22/graph/

После этого в папке vosk-model-small-ru-0.22 будет модель, способная распознавать добавленные нами слова.

Успехов, и всего наилучшего.