Новосибирский государственный технический университет (НГТУ НЭТИ) совместно с партнёрами создал систему распознавания знаков русского жестового языка для последующего перевода в звуковую форму. По словам профессора кафедры автоматизированных систем управления НГТУ НЭТИ Михаила Грифа, для нормального перевода с точностью на уровне 90% необходимо распознавать около 5 тысяч жестов. Специалисты НГТУ НЭТИ на данный момент подготовили такой датасет и начали его внедрение. В ближайшее время создатели системы намерены сделать программу, распознающую жесты в непрерывном потоке. Об этом профессор рассказал на 16 международной научно‑технической конференции «Актуальные проблемы электронного приборостроения» в Новосибирске 10 ноября 2023 года.
Набор данных производится с помощью видеосъёмки, потом оцифрованные изображения объединяются в базу данных, с помощью которой обучается нейросеть. Михаил Грифа рассказал, что система двустороннего перевода с языка жестов в звучащую речь и обратно может быть установлена, например, на смартфон. К концу 2024 — началу 2025 года учёные намерены представить более или менее качественный двусторонний переводчик.
Как заявил профессор, люди с ограничениями по слуху считают перевод с жестового языка в звучащую речь или текст более важной задачей, чем сурдоперевод, но в научном плане необходимо решить ряд сложных задач. Например, для обучения нейросети необходимо создать выборку не только из слов жестового языка, но и из предложений, учитывать диалекты жестового языка (в русском жестовом их три), вариативность и индивидуальные особенности.
Михаил Гриф
Профессор кафедры автоматизированных систем управления НГТУ НЭТИ
«На данный момент мы умеем уверенно распознавать 400 жестов, этого, конечно, недостаточно. В различных словарях мы насчитали 8,5 тысяч жестов, но их, наверное, ещё больше. Мы оцениваем максимальное число жестов примерно в 10 тысяч».
Ранее НГТУ НЭТИ в кооперации с партнёрами разработал систему распознавания звучащей речи и её перевод на русский жестовый язык. Этот сурдоперевод выполняет анимированный аватар с точностью перевода около 90%. Перевод идёт почти синхронно с задержкой 0,2–0,3 с. Однако есть некоторые проблемы: неоднозначность, омонимы, другая грамматика, жестов меньше, чем слов в звучащем языке. Учёные стараются решить эти проблемы.
Кроме работы с русским языком, уже ведётся разработка аватара для китайского жестового языка. В НГТУ НЭТИ разработали обучающий курс по материаловедению с переводом на жестовый язык.
