Я делал голосового ассистента на pocketSphinx, с использованием грамматических правил JSGF. Для распознавания ограниченного набора команд довольно успешно работало и без обучения. Главное требование произношение с разделением слов. Но для людей с проблемами речи возможно таки надо дополнительные алгоритмы машинного обучения.
Концепция голосового интерфейса управления вычислительной системой для помощи людям с нарушениями речи