Edu-VR: Приложение виртуальной реальности для развития профессиональных и междисциплинарных навыков
Invite pending
Здравствуйте. Сегодня я хотел бы познакомить вас с нашим проектом, который представляет собой приложение для обучения в виртуальной реальности. Немного расскажу о том, как появилась идея, о текущем состоянии разработки и наших планах по его запуску и совершенствованию.
Коронавирус и другие факторы внедрения новых методов и технических решений в преподавание
В марте 2020 года все мы столкнулись с новыми реалиями нашей действительности. Дистанционная, или её ещё называют электронной, форма обучения выявила болевые точки образовательного процесса, а именно особенности проведения практических занятий по техническим и естественнонаучным дисциплинам. Встал вопрос об изменении принципов существования кружков и секций робототехники.
Во время моей работы преподавателем на курсах по робототехнике со школьниками и студентами мы занимались пробными заданиями по AR и VR в среде Processing. Когда я достал свои старые наработки, то понял, что нужны свежие решения на той материальной базе, которая есть в наличии. Тогда мы со студентами протестировали связку лабораторных стендов с ПЛК, компьютеров с MS Teams и широкоугольных камер для охвата аудиторий и вещания в прямом эфире. Ребята, занимаясь из дома, подключались бы к лабораторным компьютерам и получали доступ к рабочим столам. Они смогли бы выполнять контрольные и видеть результаты “в железе”, под чутким руководством преподавателя, находящегося в это время в кабинете.
Предпосылки проекта
Оглядываясь тогда на происходящее вокруг нас и обсуждая ситуацию с коллегами, я начал складывать концепцию будущего проекта. Предпосылками для него стали:
- модули 3D-проектирования в курсах – та часть, где студенты по чертежам деталировок, выданных предприятиями, или чертежам своих проектов получали анимации их сборки, печатали на кафедральных 3D-принтерах экспонаты для выставок;
- беглый обзор всего оборудования с которым мы работали;
- то оборудование и та инфраструктура, которых у нас не было и о которых мы могли только мечтать;
- весь наш шестилетний опыт создания дополнительных образовательных программ по робототехнике, выбор и покупка оборудования, разработки методических указаний и проведения сотен часов с детьми над основной частью курсов и их индивидуальными проектами, где мы все вместе становились учёными и творцами.
Желаемая концепция проектируемого будущего
Чётко представляемая концепция желаемого будущего сложилась тогда, была аккуратно записана и убрана в ящик до недавнего времени. В сентябре мы собрались командой и начали продуктивную работу по нашему проекту. Итоговый продукт, к которому мы стремимся, описывается так:
| VR и AR на смартфоне | Раз мы хотим, чтобы наше ПО было доступным для большого числа пользователей, то необходимый набор железа для него должен быть минимальным. Это смартфон и любые VR-очки для него. Тут же появляется первая интересная задачка проекта – какой AR будет оптимальным для таких приложений и как его сделать? |
| Оборудование-Обратная связь-Обучение |
Будучи инженерами-специалистами по Автоматизации в машиностроении нельзя отказаться от создания каких-нибудь устройств для проекта. Да – без них можно обойтись, но они точно должны быть и должны расширять опыт пользователя – ручные манипуляторы, насадки на шлем с гироскопами и т.д. Отдельно выделим устройства обратной связи – учащийся уже не просто наблюдатель, а тот, кто чувствует реакцию на свои действия и расширяет опыт обучения. Опять же, не выходя за требование по стоимости – это должно быть доступно. Множество алгоритмов и сценариев образовательных курсов, должно быть подготовлено на высоком уровне и подтверждено практическими тестами. |
| Единое пространство для нескольких человек | Нет ничего интереснее, чем игры вместе. “Локальная сеть” из нескольких устройств, операторы которых видят одни и те же объекты в одних и тех же местах, вместе взаимодействуют на них – это то, что мы хотим реализовать. |
| Две запланированные волны курсов | Первыми мы готовим курсы технической тематики – делаем то, что знаем. Несколько экспериментов для предприятий и несколько – для школьников. Вторая волна курсов – условно назовём их энциклопедиями по истории – это приложения, в которых можно познакомиться с различными видами военной формы разных времён и разных стран. А также познакомиться с особенностями национального костюма нашей многонациональной страны. |
Текущее решение
Технические решения и наработки, что есть у нашей команды сейчас:
- VR-приложение в Google Play, точнее его бесплатная демо-версия, над улучшением и изменением которой мы работаем;
- беспроводные модули, передающие информацию с трёхосевых гироскопов и акселерометров на смартфон по Bluetooth;
- комплект сценариев для программ, развивающих SoftSkills – сейчас мы планомерно вносим их в новые версии программы;
- алгоритмы образовательного курса по робототехнике и двух приложений-визиток для потенциальных заказчиков;
- грубо назовём этот компонент – ИИ, обучаемый распознавать передвижения пользователя по данным с датчиков смартфона и модулей, работающий пока в тестовом режиме;
- база данных пользователей и система распознавания меток на стадии закрытого тестирования.
Ближайший шаг технического развития проекта (Аппаратная часть и Программное обеспечение)
В качестве ближайшего шага развития проекта определены:
- завершение работы над демо-версиями и их обсуждение с заказчиками;
- подключение к демке приложения базы данных пользователей;
- введение в рабочую версию обученного на распознавание определённых движений ИИ.
Это те технические задачи, на которые мы нацелены в первую очередь и хотим отработать их в ближайшее время.
Отдельно об Искусственном Интеллекте в проекте
Раз уже был упомянут ИИ, то стоит сказать несколько слов и о конкретных задачах, которые мы решаем и планируем решать при помощи этого класса технологий.
Следующая версия приложения, которую мы выложим в открытый доступ, будет содержать сцену с самообучающейся нейросетью, решающей задачу для вас “в прямом эфире”. Всё это будет работать на основе SDK ML-Agents и необходимо для тестирования производительности программы в целом. В перспективе мы будем использовать его для более тонкой подстройки виртуального окружения под конкретного пользователя.
Второй инструмент, который мы настраиваем для использования в проекте – это предварительно обученные графы библиотеки TensorFlow. При помощи них мы сводим информацию с упомянутых выше сенсоров и учимся распознавать определённые движения руками, головой и всем телом пользователя. Идеальный результат, к которому мы здесь стремимся – это распознавание и использование в виртуальной реальности рук в качестве манипуляторов, при минимальном потреблении ресурсов смартфона и наибольшей возможной точностью. Для этого мы также проводим эксперименты с камерой смартфона, от которой в виртуальную реальность передаётся минимальный объём данных.
Вместо заключения
Сейчас наш проект находится в той стадии, когда мы представляем план его развития, решаем задачи по его совершенствованию и начинаем активно работать с потенциальными заказчиками. Тема стартапов для нас в новинку, но мы полны энтузиазма, поэтому стараемся сделать всё от нас зависящее, чтобы получившийся продукт был на высоте.