Что такое LID? Рассказывают сотрудники лаборатории искусственного интеллекта компании «Криптонит».
Прежде чем передать аудиозапись в модель распознавания речи (Automatic Speech Recognition, ASR), её необходимо обработать в несколько этапов.
Сначала модуль определения речи (Voice Activity Detection, VAD) выделяет фрагменты с речью, отсеивая паузы и шумы. Затем запускается модуль LID (Language Identification), работающий как классификатор.
Задача LID — определить язык (иногда и конкретный диалект) и указать степень уверенности модели. Например: китайский язык (84%), мандаринский диалект (71%), гуаньхуа (68%).
Основой LID служит акустический энкодер, который преобразует аудиосигнал в последовательность векторов. Эти векторы описывают фонетические признаки (характерные слоги, частотное распределение звуков) и просодические характеристики (тон, темп, ритм), присущие конкретному языку.
Чтобы выявить статистические закономерности в звучании, аудиозапись разбивают на короткие временные кадры (фреймы) длительностью около 20–50 мс. Сначала нейросеть анализирует каждый фрейм по отдельности, а затем выполняет агрегацию полученных вероятностей на более длинном интервале (5–10 секунд), чтобы принять финальное решение.
Существуют разные архитектуры LID:
TDNN — нейронная сеть с временной задержкой;
CNN + LSTM/GRU — свёрточная сеть с рекуррентными слоями;
Transformer — как в больших языковых моделях;
Conformer — объединяет свёртки и механизм самовнимания;
wav2vec, XLS-R, HuBERT и другие предварительно обученные речевые энкодеры.
В настоящее время набирают популярность гибридные (ASR+LID) модели. В них один общий энкодер используется для распознавания речи и определения языка, что экономит вычислительные ресурсы. Современные LID-системы распознают более сотни языков и диалектов по коротким аудиофрагментам. При анализе длинных записей они также эффективно детектируют смену языка в процессе диалога.
