Управление маломерным судном, будь это ПВХ-лодка или каютный катер, отличается от вождения автомобиля. Дорог нет, и к местоположению маломерного судна на открытой воде можно отнестись вольготнее. Двигаясь по водным просторам, судоводитель позволяет себе отвлечься на картплоттер или местные красоты — ведь даже при движении с высокой скоростью окружающая картина вокруг меняется относительно медленно.
Но не все так радужно. Даже легкой ПВХ-лодке нужна какая-никакая глубина, чтобы винт мотора приводил ее в движение. И в этом приповерхностном слое может встретиться все что угодно — притопленные бревна, отмели и даже люди, которым захотелось поплавать вне привычных мест купания. Усугубляет проблему ветер и даже легкая волна, делающие подобные объекты на воде трудноразличимыми.
В этой статье хотим рассказать про BoatVision — систему технического зрения, которая используется для постоянного наблюдения, обнаружения и распознавания малоразмерных объектов на воде. Причем делает она это на расстоянии, достаточном для реагирования и реализации маневра. BoatVision — участник Архипелага 2025, выпускник акселератора Платформы НТИ, участник сообщества технологических предпринимателей «ТехноПорт». О том, как устроен «ИИ на катере», рассказал научный руководитель проекта Алексей Рыбаков.
Почему тут не поможет эхолот или лидар
В оценке окружающего пространства на маломерном судне помогают картплоттеры, лидары и эхолоты. Но ни те, ни другие, ни третьи не помогут распознать человека или плавающее у поверхности бревно.
Картплоттер показывает местоположение судна на карте глубин. На современных картах действительно хорошо отрисованы многие препятствия. Однако последние изменения (обрушившиеся в воду скалы, затонувшие суда, строительный мусор) появляются в картах с заметным опозданием. И это при условии, что подробная карта данного региона в принципе существует.
Классические эхолоты предназначены для наблюдения за дном или рыбой, и они не способны заглянуть далеко вперед. Существуют впередсмотрящие эхолоты. Однако их луч направлен немного вниз — все-таки они рассчитаны на поиск мелей в нескольких десятках метров впереди (обычно 40–80 м). Приповерхностный слой выпадает из их поля зрения, либо идентификация объектов в нем сильно затруднена.
Кроме того, при крейсерских 55 км/ч судно за секунду проходит 15 м пути. В этом случае для принятия решения и осуществления маневра нужно как минимум 150–300 м запаса.
А вот лидары работают по поверхности, но нацелены на объекты много большего масштаба, например другое судно. Бревно или человека в воде он не заметит и не идентифицирует.
Опытные судоводители замечают препятствия в приповерхностном слое по аномальному волнообразованию вокруг. Так что команда BoatVision начала решать задачу с помощью обычной камеры и ИИ, обученного распознавать особенности поверхности воды.
Есть ли аналоги?
Идея обеспечить безопасность судовождения с помощью ИИ лежит на поверхности. Уже существуют системы, которые используют модели машинного обучения для анализа изображений с камер вокруг и быстрого реагирования на проблемы.
В 2021 году появилась Orca AI. Система использует техническое зрение и тепловизоры для предотвращения столкновения крупных судов с окружающими объектами, в т. ч. другими судами — своего рода система поддержки наблюдения вахтенным. Первые тесты прошли на судах японской компании Nippon Yusen Kabushiki Kaisha, NYK.
В 2022 году компания создала полностью автономное судно весом почти 800 тонн. В тестовом заплыве на 800 км ИИ-система предотвратила 107 столкновений (столько было выполнено маневров уклонения). Правда, обеспечивали все это 18 камер на борту корабля. «Рыночный» продукт Orca AI построен на наборе камер высокого разрешения, в том числе тепловизионных. Причем размещать их на борту надо на высоте от 6 метров.
В том же 2021 году BSB Marine в партнерстве с BSB Artificial Intelligence предложила Oscar — систему автоматического сопровождения. Для работы система использует две ИК-камеры, одну обычную RGB-камеру и гироскоп. Она тоже ориентирована на крупные суда — Oscar обнаруживает объекты, возвышающиеся над водой более чем на метр, на расстоянии до 150 м.
Обе системы активно устанавлива��т на суда, но они ни по стоимости, ни по габаритам не подходят маломерам во внутренних водах. Их целевая аудитория — крупные корабли и открытое море. Топляк и ветки по ходу движения, людей вдалеке от берега подобные системы зафиксировать не могут. Маломерному судну остается надеяться на картплоттер, обычный эхолот и максимальную внимательность человека за штурвалом или мотором.
Как устроена система BoatVision
Задача системы BoatVision — заметить объект на удалении до 300 м, распознать его и подать судоводителю сигнал, что это: упавший за борт человек, бревно, водоросли, птица, берег или другое судно.
Фактически это система поддержки принятия решений, ведь в зависимости от характера препятствия действия судоводителя будут разными. Птицу можно игнорировать — улетит. Бревно или камень следует обогнуть. А если за бортом человек, то нужно подойти к нему на малой скорости и уточнить, все ли в порядке. Поэтому, классифицируя объекты за бортом, система сводит все к трем типам предупреждений:
зеленые — можно не беспокоиться;
желтые — требуется внимание;
красные — нужно срочно отреагировать.
Предупреждения вместе с изображением с камер выводятся на экран, установленный в лодке. В серийных моделях планируют устанавливать 10-дюймовые экраны, но размеры можно корректировать в зависимости от пожеланий судоводителя. Можно использовать и обычные индикаторы — красный, желтый и зеленый, дополняя их звуковым сигналом.
Устройство предполагается выпускать в трех версиях:
Базовая определяет наличие объектов на расстояниях до 300 м, а идентифицирует примерно на 150 м. Также будет предлагать траекторию для уклонения.
Версия Про за счет более качественных камер определяет объекты на расстоянии до 300 м и сообщает точное расстояние до них. Вдобавок позволит перемещаться в сумерках и ночью.
Версию Лайт планируется сделать максимально дешевой с одной стандартной камерой, но полноценно выполняющей свою функцию.
В общем и целом версии будут отличаться аппаратной начинкой — по сути, набором и качеством камер, а алгоритмы предполагается использовать одни и те же.
Программная составляющая
Для обнаружения и распознавания объектов в BoatVision используют ансамбль нейросетей из библиотеки Ultralytics. В основе распознавания — Yolo11. Также команда экспериментирует с применением трансформеров, в частности для оценки глубины пробовали модель DepthAnything, которая позволяет строить карту по монокамере.
Система обеспечивает распознавание объектов менее чем за секунду: около 15 мс работает детектор, около 10–15 мс — классификатор.
Ансамбль дообучается в ходе эксплуатации с помощью состязательной сети. Команда также пробует использовать трансформеры DETR. Они более устойчивы к качеству изображения. Но пока на имеющихся вычислительных ресурсах у них уходит 3–4 секунды на распознавание и классификацию. А добавлению вычислительных ресурсов мешает борьба за себестоимость продукта.
Комплект нейросетей обучен на огромном количестве видео- и фотоматериалов, собранных за три года собственными силами участников команды. Сбор этого датасета — одна из основных сложностей проекта. Для этого прототипы устройств и просто камеры разместили на лодках, которые курсируют по водоемам Астраханской, Ярославской, Нижегородской, Владимирской и других областей. Помимо рыбацких судов, данные также собирают с помощью речных трамвайчиков в Санкт-Петербурге.
В общей сложности команда собрала более 500 тыс. разных изображений, которые были размечены частично вручную, а частично с использованием LLM. Если говорить о метриках, то сейчас mAP50 для распознавания судов — на уровне 95%: для людей и топляка — около 99%, для птиц — 93%.
Хотя цифры довольно хорошие, команда продолжает собирать данные в различных условиях судовождения — дождь, туман, с контровым светом и бликами и т. п.
После обнаружения и классификации объекта в работу вступают алгоритмы, основанные на нечеткой логике: система дает рекомендации по уклонению. Эти алгоритмы строили, в буквальном смысле собирая опыт судоводителей, — что именно они делают для предотвращения столкновения с тем или иным предметом.
Способ и система обнаружения предметов на воде для маломерного судна получили патент в 2021 году (2795847 от 13.12.2021 г.).
Автопилот в BoatVision пока не предусмотрен, но в планах — взаимодействие с картплоттером в формате NMEA для просчитывания траекторий обхода препятствия с учетом местоположения судна и данных карты глубин. Предполагается с помощью нейросети строить траекторию обхода на скоростях до 60 км/ч, в том числе в сумерках и в ночное время.
Аппаратная составляющая
В каждой из трех версий BoatVision планируют устанавливать свой набор камер для фиксации окружающей обстановки.
Самая технически совершенная — версия Про. В нее устанавливают:
варифокальные управляемые камеры с моторизованным объективом;
блок стереокамер — габариты Базовой и Про версий определяются как раз используемым блоком;
камера глубины - Luxonis OAK-D;
тепловизионная камера — на данный момент используется модель �� разрешением всего 240 на 240, которая выполняет скорее вспомогательную функцию. Но в планах использовать тепловизор с большим разрешением, чтобы улучшить работу в сумерках и в темное время суток. В следующей версии также планируется добавить мощный ИК-прожектор;
система обработки на базе процессоров Intel Core i7.
В версии Про предусмотрен дворник для очистки брызг воды с оптики.
В Базовой версии планируют ставить один монокулярный объектив. Дворник для очистки не предусмотрен, зато корпус представляет собой обратную призму, чтобы капли не задерживались на стекле.
В версии Лайт ограничатся одной монокулярной камерой, а обработкой будет заниматься система на базе Raspberry Pi.
Конкретные модели камер пока не определены. Команды экспериментируют с Arducam HQ — это открытая аппаратная платформа, которую можно использовать в своих проектах, а также камерами других производителей, которые поставляются в Россию официально или производятся у нас.
Изначально камеры размещали на стабилизаторе. Впоследствии тесты показали, что стабилизатор не справляется с тряской от волн, когда судно выходит на глиссирование. В итоге от аппаратной стабилизации отказались в пользу программного устранения шумов.
Сбор данных с камер через интерфейс CSI обеспечивает плата собственной разработки на базе процессора ARM7. Непосредственно на плате идет предобработка данных — объединение потоков, чтобы не было рассинхронизации, выравнивание гистограмм яркости и т. п.
Для сбора дополнительной информации на нее также устанавливают устройство наподобие полетного контроллера, включающее акселерометр, гироскоп, компас и приемник GPS. Информация со всех этих датчиков нужна для определения, в какой позиции находится лодка и с какой скоростью двигается в данный момент.
В будущем команда планирует серийно изготавливать плату в России, возможно, используя полетный контроллер Миландр.
Основные расчеты в устройстве серии Lite обеспечивает Raspberry Pi. В старших версиях применяют мини-ПК на базе Intel Core i7. Через Ethernet (по протоколу TCP) он получает данные с промежуточной платы, распознает объекты и разделяет их по классам.
Суммарный вес устройств Базовой версии и версии Про будет не более 3 кг. Допустимая высота подвеса — 0,3–4 м (в зависимости от конструкции и оснащения судна).
Стадия проекта
Несколько первых прототипов устройства разных версий и форм (с разным набором электроники) уже собраны и размещены на катерах для обкатки, сбора датасета и дообучения модели.
Идет проработка предсерийного образца — команда работает над тем, чтобы максимально локализовать производство. В сезоне 2026 года планируют кататься с образцом в режиме бета-теста.
Параллельно прорабатывают прототип для безэкипажных судов.
Команда ищет инвесторов для того, чтобы выйти на серийное производство. Скорее всего, первой на рынок попадет версия Лайт с монокамерой.
Что дальше?
В перспективе алгоритмы и железо BoatVision могут стать частью роботизированной системы спасения людей на воде.
К сожалению, несмотря на развитие технологий, сегодня средства спасения остаются на уровне начала прошлого века. Плавающие беспилотники для спасения не применяют по разным причинам — погодные условия, дальность действия и т. п. Упавших за борт людей ищут по старинке, «вручную».
Откатав систему распознавания объектов за бортом, есть планы сделать ее частью безэкипажного судна, которое спускается на воду в автоматическом режиме при падении человека за борт. Но для выпуска такого робота предстоит решить еще множество технических задач, например, как безопасно подойти и погрузить человека на борт (кто хоть раз пытался забраться из воды на борт лодки, понимает, о чем речь). Но все это отдельная история, интересная и технологичная.
