Спасибо за отзыв! Вы правы, пока это "дословный" перевод, распознающий из потокового видео слова в нормальной форме. Следующий шаг - создать языковую модель, которая бы собирала из этих слов предложения. Мы работаем в этом направлении, тут (примерно с 13-ой минуты) можно посмотреть на наш прототип переводчика. Там будет распознавание отдельных жестов, использование языковой модели и метахьюман, отвечающий на жестовом языке.
Про распознавание жестов, которых нет в трейне. Модель классификации всегда старается выдать класс из трейна или "нет жеста". Эти ложные срабатывания будем фиксить на этапе языковой модели. Опять же сошлюсь на ссылку выше, там будут примеры того, как языковая модель исправляет ошибки классификатора жестов.
Спасибо за отзыв!
Вы правы, пока это "дословный" перевод, распознающий из потокового видео слова в нормальной форме. Следующий шаг - создать языковую модель, которая бы собирала из этих слов предложения. Мы работаем в этом направлении, тут (примерно с 13-ой минуты) можно посмотреть на наш прототип переводчика. Там будет распознавание отдельных жестов, использование языковой модели и метахьюман, отвечающий на жестовом языке.
Про распознавание жестов, которых нет в трейне. Модель классификации всегда старается выдать класс из трейна или "нет жеста". Эти ложные срабатывания будем фиксить на этапе языковой модели. Опять же сошлюсь на ссылку выше, там будут примеры того, как языковая модель исправляет ошибки классификатора жестов.