Разработка алгоритма адаптивной системы стыковки НПА с БЭК с использованием методов машинного обучения

Исследования, проводимые в работе, направлены на разработку удаленно управляемых робототехнических комплексов. В работе в качестве прототипа, на котором отрабатываются представленные в статье экспериментальные решения, выступают необитаемый подводный аппарат и автономный безэкипажный катер. В числе основных задач, решаемых в работе данными аппаратами, являются: мониторинг и оценка среды; обнаружение объектов и препятствий; маневрирование; сближение с объектом. В статье рассматривается задача стыковки в виртуальной 3D среде, в процессе которой осуществляется построение изображений рабочего пространства подводного робототехнического комплекса. Предложены алгоритмы построения 3D изображений рабочего пространства робототехнического комплекса в решении задачи стыковки, основанные на применении методов машинного обучения, включающей поиск, планирование движений, маневрирование и управление робототехническими комплексами для синхронизации подводного необитаемого аппарата с автономным безэкипажным катером в условиях неформализованных выполняющих сред. Результаты работы показывают, что применение методов машинного обучения в решении данных задач позволяют повысить уровень автономности аппаратов.

Проводимые исследования и разработки в работе направлены на разработку головного алгоритма, формирующего адаптивную обучаемую модель для системы управления робототехническими комплексами. В статье рассматривается одна из частных задач решаемой в процессе обучения модели для системы управления, стыковки робототехнических комплексов.

Необходимо отметить, что выбранные методы, на основе которых разработан головной алгоритм решают задачи, которые являются основными для робототехнических комплексов: мониторинг среды; обнаружение объектов и препятствий; маневрирование; стыковка. Для решения подобных задач разработана и применяется система технического зрения. Обучение модели для системы управления робототехническим комплексом, разрабатываемой в работе, требует большого количества времени, направленного на формирования RDD (прим.: Resilient Distributed Dataset - устойчивого распределённого набора данных), DataFrame (представление данных в виде таблицы с индексами строк, и индексами столбцов. Это позволяет удобно сортировать и фильтровать данные, а также быстро находить нужные ячейки) и проведение испытаний. Для отладки системы технического зрения создаётся 3D реконструкция рабочей среды – виртуальный полигон, являющейся программным компонентом системы проектирования робототехнических комплексов – СПРК, разрабатываемой в работе – по исследованию методов и разработке технологий создания отладочно-моделирующего комплекса для функционального и поведенческого моделирования РТК и групп РТК. Отладка технического зрения в 3D среде основывается и соответствует последовательности и набору задач, которые применяются в данном процессе при натурных испытаниях, тестированиях системы, состоящему из: классификации объектов; видео сопровождения; оценивания положения, скорости и ориентации.

В работе разработан алгоритм стыковки, включающий, в том числе, отслеживание объекта стыковки и удержания ориентиров под водой, основанный на генеративно-состязательной нейронной сети при выполнении сценария стыковки. Сценарий стыковки, включает этапы поиска и удержания цели. Под адаптивной системой в работе подразумевается головной алгоритм обучения модели системы управления, позволяющий изменять свои свойства для обеспечения эффективной работы системы, учитывающей, например, изменения условий среды и реагирующей на таковые.

Благодаря внедрению системы слежения устраняются сбои в наблюдении, вызванные малым радиусом действия и большими углами наблюдения, достигается хорошая точность и надежность стыковки. Необитаемый подводный аппарат ориентируется по оптическим активным ориентирам и системе видения для стыковки на коротких расстояниях. Система активного слежения за ориентирами, основанная на представленном алгоритме, осуществляет стыковку посредством двухэтапной аутентификации положения и движения. GAN (прим.: генеративно-состязательная сеть) используется для оценки относительного положения и ориентации в 3D между АБЭК и НПА во время стыковки, включая определение фазы и оценку положения посредством P3P (прим.: Perspective-n-Point); фильтр Калмана и Венгерский алгоритм для повышения надежности.

Разрабатываемый алгоритм интеллектуальной системы управления робототехническим комплексом основан на IRR-архитектуре, реализованной с методом end-to-end (прим.: сквозной процесс), представляющей собой обучаемую модель. IRR позволяет реализовать НПА и АБЭК как некоторую функцию, которая получает на вход ощущение и выдает на выход определенное действие. В работе для реализации данной функции введены параметры – состояния (прим.: mental state) и базовых аргументов, которые могут изменять состояние:

1. ощущение;

2. множество убеждений – информационное состояние;

3. ситуация – это состояние среды;

4. множество целей;

5. множество намерений – сформировавшаяся последовательность действий, выполняемый в сценарии.

При обучении модели для системы управления учитываются физические особенности подводной среды и конструктивные особенности модуля стереокамеры, конструктив которого состоит из водонепроницаемой оболочки и стеклянного интерфейса. Использование такой конструкции приводит к рефракции сначала в интерфейсе вода-стекло и затем в интерфейсе стекло-воздух и, как следствие, к искажению получаемых изображений.

Реализуемый в работе подход предусматривает калибровку камер, оценку центров изображений камер с учетом водонепроницаемой оболочки, выбор алгоритмов предобработки, ключевых точек изображений объектов и активных маркеров, по которым происходит процесс стыковки с использованием кластеризации получаемых данных с формированием базы знаний.

Основываясь на представленных выше данных относительно решаемой задачи, построение 3D сцены и формирование изображений на виртуальном полигоне для обучения модели системы управления НПА включает следующие этапы:

1. подводная калибровка камер с определением их внутренних и внешних параметров;

2. определение центров изображений камер с учетом параметров воздушного зазора и стеклянного интерфейса;

3. предобработка полученных 2D изображений;

4. построение 3D координат объектов с помощью триангуляции и оценка их точности;

5. кластеризация данных.

Реализация такого алгоритма требует разработки архитектуры интеллектуальной системы управления способной на основе данных формировать такие управляющие воздействия на исполнительные механизмы, которые позволяли бы выполнять задачу, например, стыковки автономно, в группах, в неформализованных или частично формализованных средах. Данная архитектура включает в верхнеуровневом представлении набор компонентов, представленных на рисунке 1.

Рисунок 1 - Верхнеуровневое представление архитектуры интеллектуальной системы управления робототехническим комплексом

Представленная архитектура и алгоритм основанный на методе реализации GAN, «обучение Тьюринга», позволяет контролировать процесс выполнения различного рода операций удаленно управляемым роботом, используя поступающие из среды данные. Вложенный алгоритм разряженного стереозрения находит 3D координаты только пикселов, определенных на обоих изображениях в качестве сопряженных ключевых точек. На вход обучаемой модели подаются изображения I₁, I₂ стереопары после предобработки, калибровки центров изображений камер, которые содержат всю необходимую информацию для построения маршрута движения в процессе выполнения сценария стыковка:

где ?₁, ?₂ – однородные координаты проекций на левое и правое изображение стереопары некоторой пространственной точки X; K₁, K₂, R₁, R₂, t₁, t₂ – матрицы внутренних параметров камеры, матриц вращений и смещений; P₁, P₂ – матрицы проекций левой и правой камер; ?, ? – положительные действительные числа, представляющие проекции глубины X левой и правой камер

Необходимо отметить, что начало абсолютной системы координат для указанных расчётов связано с левой камерой стереокамеры и матрица перехода [R₁|t₁] имеет вид:

Матрица [R₂|t₂] – задает положение правой камеры в пространстве относительно левой камеры 

Для поиска точек на получаемых изображениях из 3D среды применяется вложенный алгоритм KAZE (прим.: алгоритм описания характеристик изображения). Головной алгоритм при выполнении сценария стыковка выполнят следующую последовательность операций:

1. поиск и удержание позиции АБЭК;

2. определение активных маркеров стыковки;

3. построение карты диспаратности для прохождения к АБЭК и непосредственно к активным маркерам стыковки;

4. построение 3D координат точек с помощью карты диспаратности;

5. выделение и кластеризация данных;

6. движение до объекта.

В процессе обучения модели для системы управления НПА головной алгоритм использует вложенный алгоритмы, основанные на методах обратного распространения ошибки, градиента серого, фильтрацией помех с помощью предобработки и кластеризацией 3D точек. В качестве алгоритмов кластеризации использовались алгоритмы связных компонент и DBSCAN (прим.: алгоритм кластеризации данных). Преимуществом данных алгоритмов является отсутствие необходимости предварительного назначения количества кластеров и позволяющие отсеивать точки, интерпретируемые как шум. Верхнеуровневое представление разрабатываемого головного алгоритма, приведено на рисунке 2.

Рисунок 2 – Верхнеуровневое представление головного алгоритма в реализации сценария стыковки

Обучаемая модель для системы управления НПА, построенная на данном головном алгоритме, выполняет поиск объекта – АБЭК – и стремится, максимально сократив расстояние до него, осуществить стыковку. Основной задачей данного алгоритма является точная идентификация АБЭК в пределах визуального диапазона активных ориентиров, маркеров и предоставление трехмерной информации об относительном положении и ориентации для навигации при стыковке. Затем НПА использует информацию об относительном положении для обновления конечной точки задачи отслеживания линии, чтобы выполнить сценарий стыковки.В составе рассматриваемого алгоритма присутствуют следующие вложенные компоненты: автоматическая подстройка параметров систем управления – измеряет и оценивает воздействующие состояния внешней среды с учетом внутренних систем НПА с последующим внесением корректировок (например, подруливание камеры сервоприводом в процессе удержания цели – светодиодных осветителей), позволяющих повысить эффективность работы систем управления; режим сближения – обеспечивает режим движения НПА, сокращающий расстояние до объекта с помощью бортовой навигационной системы, системы машинного зрения и движительно–рулевого комплекса находящихся во взаимосвязи; ближний поиск – производит установление и восстановление потерянного контакта на малых углах обзора с помощью бортовой системы машинного зрения, реагируя на индикаторы, представляющие из себя светодиодные осветители с голубым лучом с определяемой длиной волны – 450 нм; дальний поиск – осуществляет поиск объекта с наиболее широкими углами обзора с помощью бортовой гидролокационной системы; отстыковка/стыковка – представляет цикл определения положения НПА по отношению к носителю – БЭК и маневрирования.

Важно отметить, что особенностью данного решения является осуществление стыковки НПА и БЭК. Осуществление стыковки основано на применении системы технического (машинного) зрения – стереокамеры с поворотными приводами (на НПА), – контроле положения движительно–рулевого комплекса и набором структурированных светодиодных осветителей (на БЭК) для ориентации и маневрирования.

Существуют основные проблемы для автономной стыковки робототехнических комплексов рассматриваемого вида с использованием активных маркеров:

1. различия в изображениях вызваны различной прозрачностью воды и окружающей среды, а также изменениями интенсивности ориентиров, вызванными различными расстояниями и углом наклона, что затрудняет обнаружение;

2. идентификация ориентиров и активных маркеров не может быть правильно подобрана, если координаты ориентиров соблюдены не полностью.

Головной алгоритм, разрабатываемый в работе, активного отслеживания ориентиров для задач стыковки решает данные проблемы, посредством:

1. вложенных алгоритмов слежения и двухэтапным аутентификации движения для обнаружения и оценки местоположения, позволяющих в полной мере использовать информацию об ориентирах и активных маркерах в задачах стыковки;

2. получения точных данных об углах обзора подводных ориентиров, активных маркеров для успешной стыковки, что подтверждается проводимыми экспериментами.

Данный алгоритм при выполнении сценария стыковки делит задачу подводной на две части: обнаружение цели – АБЭК и оценка ее положения. При обнаружении цели вычисляются положение АБЭК, полученные из изображения в процессе подхода; получение координат каждого ориентира при помощи вложенного алгоритма сегментации изображения и кластеризации данных. Оценка взаимонаправленного движения и состояния позиций позволяет сформировать относительное положение объектов и ориентацию по координатам активных маркеров, вычисляемую вложенным алгоритмом P3P, который учитывает различное количество освещенности.

Оценка положения объектов и активных маркеров при подводной стыковке относится к восстановлению относительного положения и ориентации в 3D между АБЭК и НПА по 2D изображениям. Основной принцип оценки позиции заключается в том, что 2D-координаты ориентиров и активных маркеров являются проекцией реальных ориентиров на визуальную плоскость, поэтому реальная 3D-позиция может быть восстановлена по 2D-изображению. В этом случае вложенный алгоритм Perspective-n-Point (прим.: оценка положения камеры при заданном наборе из n 3D-точек в среде и их соответствующих 2D-проекциях на изображении) – P3P – оценивает корректность соотношения позиций с помощью нескольких пар контрольных точек, одна из которых находится в 2D плоскости, а другая – в 3D пространстве. 

Необходимо отметить, что из себя представляет позиция. Позицией является положение и ориентация относительно АБЭК, в которой находится НПА. Для расчётов и представления поворота между камерой
и ориентирами, используем углы Эйлера. Вектор текущей позиции представляем, как p = (t₁, t₂, t₃, r₁, r₂, r₃), где t_i является положением X_c, Y_c, Z_c, и r_i ориентировочные значения рыскания, тангажа и крена.

Сложность обнаружения цели заключается в том, что изображение подводной среды будет выглядеть размытым, с шумом, изменением цвета, снижением контрастности, а также помехами от источника света и перекрытием реальной обстановки. 

Вышеуказанные проблемы эффективно решаются разработанной архитектурой системы управления робототехническими комплексами с интегрированными: GAN и глубокой нейронной сетью.

Необходимо отметить, что DNN (прим.: Docking Neural Network) усовершенствована в данной реализации архитектуры авторами работы, чтобы обеспечить корректную стыковку наборов, получаемых данных. Разработанное усовершенствование основывается на разделении входного изображения на ячейки сетки S × S, где каждая ячейка предсказывает B ограничивающих рамок. Ограничивающая рамка обозначается B = (x, y, w, h, достоверность), где (x, y) обозначает центральную координату блока, а (w, h) – ширину и высоту блока. Достоверность относится к значению параметра ожидания между предсказанным блоком и достоверностью, полученной из реальной среды.

Основными результатами, полученными в работе при решении представленных в статье задач, является разработанный головной алгоритм, интегрированный в виртуальный полигон интеллектуальной системы управления робототехническими комплексами построения 3D изображений рабочей среды локализации НПА, по данным, поступающим со стереокамеры НПА. Данный алгоритм в процессе работы проводит выбор и оценку параметров обучения, включающей калибровку, фильтрацию помех с помощью предобработки и кластеризацией 3D точек. 

Проведенные в работе экспериментальные исследования на виртуальном полигоне показали, что значение коэффициента ошибки по глубине для оценки расстояния при построении 3D изображения не превышает 1,6 см и 6 см, 1,5 м и 5 м для ближней и дальней зон рабочего пространства НПА и АБЭК соответственно при выполнении задачи стыковки, рисунок 3.

Рисунок 3 – Процесс стыковки НПА и АБЭК

Подтверждённая незначительность изменений, непрерывность процесса выполнения задачи стыковки и последовательность поступающих изображений, позволили применить метод распределённого вычисления основанный на GAN и сегментации активных маркеров после обнаружения АБЭК. Благодаря данной структуре разработанный алгоритм может выполнять сегментацию, используя информацию предыдущего кадра в случае сбоя обнаружения.

Полученные результаты исследования в данной работе показывают, что полученное, благодаря реализованным в алгоритме адаптивной системы стыковки НПА с АБЭК, точное (прим.:
с достигнутым минимальным значением коэффициентом ошибки при решении задачи определения активного маркера) использование данных об ориентирах и активных маркерах, позволяет повысить автономность робототехнических комплексов, что является одной из основных задач работы. 

Важно отметить, что разработанный головной алгоритм улучшает условия использования НПА и АБЭК
в реальных условиях, расширяя рабочую среду выполнения задач за счёт применения в задачах взаимодействия с объектами и маневрирования. 

Это вторая статья из работ по разработке системы проектирования робототехнических и кибернетических комплексов с встроенной обучаемой моделью для систем управления и виртуальным трёхмерным пространством, позволяющим создавать сценарии и условия реальной среды. Первая статья