Привет, Хабр! В сегодняшней статье расскажем о том, как команда МТС совместно с компанией «Дайгер» разработали специализированное ПО для устройств дополненной реальности, используемых на промышленных объектах. Базово компания «Дайгер» специализируется на применении искусственного интеллекта в бизнесе: машинном и глубоком обучении, Сomputer Vision, MLOps, но идея проекта на столько понравилась, что была выделена отдельная команда под её реализацию. Команда МТС принимала активное участие в работе с середины 2023 года.
Кейс интересный, поскольку нам удалось создать систему, которая связывает оператора на объекте с удалённым специалистом. Он может при необходимости подключиться в режиме конференции, дать советы и обсудить возможности решения возникших проблем. Подробности — под катом.
Кто, что и зачем разрабатывал?
Если кратко, то объединённая команда МТС и «Дайгер» создала ПО для промышленных AR-очков компании Rokid, чтобы связку «очки + софт» можно было использовать на отечественных предприятиях.
Разработанное ПО называется «Цифровой контроль». Оно предназначено для таких сложных промышленных объектов, как нефтегазовые месторождения, горнодобывающие предприятия, аэропорты, логистические терминалы и т. п.
Итоговая система должна была решить несколько главных проблем производства:
сложность и/или высокая стоимость доставки эксперта на удалённый объект
сложность или невозможность объективного контроля рутинных операций — это обходы, инвентаризация, сбор данных, технологические операции и пр.
невозможность одновременного выполнения ряда операций, а также сложность в параллельном использовании телефона/планшета для получения справочной информации и/или фото- и видеоконтроля ключевых шагов
различные операции, требующие при выполнении оперативной или вовсе мгновенной передачи сведений между несколькими сотрудниками
В качестве аппаратной основы проекта мы решили использовать AR-очки. Забегая вперёд, скажем, выбрали поставщика — компанию Rokid. Она на рынке примерно с 2017 года, а её продукция достаточно хорошо известна. Её очки выбрали потому, что у них отличная яркость экрана. И это важно, поскольку на дисплеи зачастую проецируется критически важная информация. Ещё один момент: информация может показываться для каждого глаза отдельно, что есть далеко не у всех конкурентов. Всё это существенно сказывается на удобстве работы. Вот с какими моделями устройств партнёра мы работали:
Rokid X Craft
Rokid Glass 2 и Rokid Air Pro (улучшенная версия Glass 2)
Rokid Air
INMO Air 2
Первая модель, Rokid X Craft, предназначена для применения в промышленных условиях. Это откидные очки с высокой степенью защиты и двумя камерами.
Вот их характеристики:
дисплей: 1 280 × 720, FOV 40°, контрастность 400:1, 1 600 nits максимальная яркость
разрешение фото: 3 840 × 2 448 пикселе
запись видео: 8 Мп
батарея: 7 200 mAh, 8 часов, возможность подключения внешних источников питания
объём встроенной памяти: 64/128 Гб + 4 Гб
процессор: Amlogic A311D
элементы управления: сенсорная панель, кнопка питания, кнопка возврата, кнопка SOS, несколько интерактивных режимов
связь: поддержка модуля 5G, сверхвысокой скорости передачи информации Wi-Fi 6, BT 5.0
интерфейсы: Type-C, аудио 3,5 мм
вес: 600 г
сертификация и степени защиты: ATEX TPS 22 ATEX 113979 0001 XCertificate Number: TPS 22 ATEX 113979 0001 X Rev. 01ATEX Zone 1/2 and Zone 21/22IECEx: TPS 22.0007XEX Marking: II 2G Ex ib IIC T4 Gb II 2D Ex ib IIIB T130°C Db.Tamb: -40° to +50 °C
Вторая, Rokid Glass 2, является универсальной и может использоваться в разных отраслях промышленности.
Её характеристики:
угол обзора: 40°
датчики: акселерометр, гироскоп, ИК-датчик
время работы от батареи: 8 часов
элементы управления: сенсорная панель, голос
аудио: 2 микрофона, стереозвук, активное шумоподавление
интерфейсы: USB (Micro/Type-C)
совместимость с ОС: ПК, Mac
беспроводная связь: Wi-Fi
вес: 96 г
Третья, Rokid Air Pro, — следующий этап развития Rokid Glass 2. Это AR-очки для повседневного использования.
Вот их характеристики:
вес: 85 г
комплектация: Rokid Air Pro
аудио: направленный динамик HDx2, 2 высокопроизводительных микрофона с шумоподавлением
разрешение дисплея: 1 920 × 1 080 × 2
тип камеры: 8 Мп
угол обзора: 43°
поддержка стриминга: потоковое видео 1 080p
частота обновления: 60 Гц
элементы управления: голосовые команды, жесты, кнопка включения/выключения экрана
иное: предназначен для миопии от 0,00 до -5,00 D
дисплей: Micro-O LED
датчики: усовершенствованный 9-осевой (IMU, магнитометр), схема объединения датчиков, датчик приближения
Четвёртая, Rokid Air, позиционируется как AR-девайс для гражданских служащих. У него откидное затемнённое покрытие и отличный спортивный дизайн. Есть возможность голосового управления.
Вот характеристики этого устройства:
дисплей: 1 920 × 1080, FOV 43°, контрастность 100 000:1, 1 800 nits максимальная яркость
разрешение фото: 3 264 × 2 448
запись видео: Full HD
батарея: 7 620 mAh, 8 часов, возможность подключения внешних источников питания
объём встроенной памяти: 128 Гб + 4 Гб
процессор: Qualcomm Snapdragon XR2
элементы управления: сенсорная панель, кнопка питания, голосовое управление, несколько интерактивных режимов
связь: поддержка модуля 5G, сверхвысокой скорости передачи информации Wi-Fi 6, BT 5.0
интерфейсы: порт Type-C
вес: 83 г
дополнительные возможности: 9-осевой IMU, GPS, датчик приближения, микрофон, направленные динамики
Пятая, облегчённая, модель называется INMO Air 2. Управление осуществляется при помощи кольца-джойстика.
Вот характеристики этих AR-очков:
дисплей: FOV 26°, Micro OLED, sRGB 100%
разрешение фото: 640 × 400
запись видео: HD
батарея: 500 mAh, продолжительность воспроизведения видео — до 2,5 ч
объём встроенной памяти: 32 Гб + 2 Гб
процессор: ZiGuang ZhanRui AI/4 ядра
элементы управления: сенсорная панель, кнопка питания, голосовое управление, несколько интерактивных режимов
связь: поддержка модуля 5G, сверхвысокой скорости передачи информации Wi-Fi 6, BT 5.0
интерфейсы: Type-C
вес: 99 г
дополнительные возможности: GPS, датчик приближения, микрофон, направленные динамики
С чего всё началось
Идея создания программной платформы возникла в июне-июле 2022 года. Было предложено несколько вариантов:
разработка VR
видеоаналитика
AR, дополненная реальность
Около полугода мы анализировали рынок. И не зря, ведь в итоге поняли, что наиболее свободная ниша — это именно AR. На тот момент в основном все использовали продукцию Realware, где был только монокуляр, но при этом уже появлялись качественные устройства, например от Rokid.
У нас была гипотеза, что решение будет востребовано во всех сферах бизнеса, где нужен контроль технологических процессов, в том числе квалифицированными зарубежными специалистами. При этом нередко объекты контроля находятся в труднодоступных или удалённых локациях — и эту особенность необходимо было учитывать.
С начала 2023 года приступили к активной разработке: пробовали различные модели гаджетов, для чего ездили и оценивали возможности устройств лично. В итоге решили писать софт именно для Rokid. Почти сразу столкнулись с проблемой: за все эти годы Rokid не предоставила хороший SDK и документацию, да и комьюнити весьма ограничено. Но мы смогли разобраться, как пользоваться слабо документированным API.
Стоит отметить, что проект реализован силами 8 человек под руководством Сергея Головина: это продакт, дизайнер, DevOps, два фронтенд-разработчика, три бэкенд-специалиста и Android-разработчик. Со стороны МТС проект курировал директор по продукту Виктор Каспаров.
Для бэкенда у нас применялись JS, Nginx, Node.js, Express.js, Socket.io, Prisma, PostgreSQL, COTURN и менеджер процессов Pm2.
Что касается веб-приложения, то мы задействовали Typescript, React, Redux, Znt Design, Socket.io.
Софт для AR-очков написан с использованием Kotlin и библиотеки для обмена данными в реальном времени Socket.io.
Продукт, кроме уже озвученных выше задач, помогает решать и другие:
мониторить ключевую информацию об объекте наблюдения в режиме реального времени
оценивать ситуации на предприятии
контролировать точечные действия оператора
передавать на очки дополненной реальности оператора телеметрию, инструкции и видео
просматривать записи с очков по результатам обхода объекта операторами
Благодаря активному участию коллег из «Дайгер» мы на практике подтвердили гипотезу и перешли к выводу продукта на рынок. Пилотный проект получил положительные отклики. Пользователи отметили стабильную работу соединения и удобный интерфейс, в том числе чёткую картинку на AR-очках оператора: работать можно даже на улице при ярком дневном освещении.
Запуск «Цифрового контроля» в промышленную эксплуатацию запланирован на первый квартал 2024.
Как всё это работает
Взаимодействие с программно-аппаратными комплексами на базе AR-очков предполагает три категории участников системы: администратор, эксперт и оператор.
Сотрудники первых двух категорий работают через интернет в веб-приложении. Они используют ПК, ноутбук, планшет или телефон. Вот технические требования к компьютеру для работы нашего ПО:
операционная система: MS Windows 10 (64 бита)
объём и тип оперативной памяти: от 8 Гб DDR4
объём жёсткого диска: наличие свободного пространства от 10 Гб
тактовая частота и тип процессора: AMD/INTEL 2,1 ГГц 4 ядра и более, поддержка SSE/SSE2.1, AVX-частота системной шины — от 8 GT/s
графический ускоритель: Intel серии Iris Plus выше 655 модели или Nvidia серии GTX выше 970 модели
наличие периферийных устройств: высокоскоростной порт USB 3.0, сетевой адаптер 1 000 Mb/s
Вот пример того, как выглядит интерфейс программной платформы для администратора, эксперта и оператора:
Администратор создаёт пользователей, группы, управляет задачами, назначает исполнителей, а также наполняет базу знаний.
Эксперт курирует выполнение задач, консультирует операторов по видеосвязи, назначает конференции и заполняет техническую базу объектов.
Ну а оператор уже выполняет задачи по чек-листам, созванивается с экспертами для консультации и проводит обследования объектов при помощи базы знаний и телеметрии. Приложение «Цифровой контроль» для AR-очков обеспечивает доступ оператора к системе для взаимодействия с экспертом и объявленным функционалом.
И теперь — о кейсах
Расскажем о трёх различных ситуациях с тремя промышленными предприятиями. На самом деле кейсов может быть гораздо больше.
Нефтесервисная компания. Нужно провести аудит и дефектоскопию оборудования на местах добычи нефти, ускорить подготовку отчёта по промышленной безопасности, сократить расходы предприятия на командировки. А ещё оптимизировать человеко-часы дорогостоящих специалистов.
Решение — внедрение системы «Цифровой контроль» с модулем «Удалённый эксперт», вывод телеметрической информации и технологических карт, а также использование дашбордов.
Результат — дефектоскопист на месторождении под руководством инспектора по промбезопасности из центрального офиса проводит осмотр необходимых узлов, используя AR-очки. Инспектор быстро формирует отчёт, причём без личного присутствия на объекте. Соответственно, время проведения проверок значительно снижается, а затраты на командировки и сопутствующие расходные статьи сокращаются.
Угледобывающая компания. Здесь задача иная — автоматизировать типовые бизнес-процессы:
приёмка вагонов с углём
учёт состояния контрольно-измерительных приборов
осмотр и ремонт ленты подачи угля
наблюдение за исправностью ж/д путей, вагонов и вагоноопрокидывателей
Кроме того, повысить качество работы бригад с одновременным сокращением пребывания людей в неблагоприятной среде и фиксирование процесса обхода до последующего разбора.
Решение всё то же — внедрение «Цифрового контроля» с модулем «Удалённый эксперт», вывод телеметрии и карт, а также использование дашборда «Промышленная безопасность» на основе Safe Zone.
Результат — ускорение большинства процессов, включая онбординг новых сотрудников, консультации эксперта, фиксации дефектов и заполнение отчётов. Кроме того, это ещё и контроль перемещения персонала по промплощадке.
Промышленное предприятие. В этом случае нужно провести пусконаладку производственной линии без приезда специалистов из другого региона.
Решение — по-прежнему внедрение системы «Цифровой контроль» с модулем «Удалённый эксперт», вывод телеметрии и карт, применение дашбордов с выводом данных из ТОРО (техническое обслуживание и ремонт оборудования).
Результат — сокращение расходов предприятия на дорогостоящие командировки, а также самостоятельная пусконаладка и регулировка оборудования под руководством экспертов вендора производственной линии.
Мы проанализировали результаты кейсов и выяснили, что цифровой контроль сокращает время на проверку и наладку оборудования. А также снимается нагрузка с подрядчиков, растёт качество обслуживания и ускоряются следующие процессы:
поиск и приёмка МТР
заполнение актов и протоколов
осмотр оборудования и исправление проблем
проведение ТО
заведение средств измерения в систему учёта
Кроме того, есть и другие результаты. Например:
сотрудник знакомится с инструкцией примерно в 10 раз быстрее
дефекты оборудования описываются в 5 раз быстрее
отчёты после обхода заполняются примерно в 10 раз оперативнее
данные по объектам в системах учёта актуализируются до 120 раз быстрее, чем обычно
Всё хорошо, но мы планируем модернизировать систему в ближайшем будущем. В частности, собираемся расширить линейку поддерживаемых устройств: у Rokid выходят новые модели, появляются и новые производители. А также подключаем дополнительные сервисы, сейчас на повестке дня — интеграция решения МТС AI в области видеоаналитики и распознавания голоса.
На этом всё. Если у вас есть вопросы или просто хотите обсудить тему статьи, пишите в комментариях.