Как построить карту проходимости для наземного робота на GPU, уложившись в 100мс лидара? Рассказываю путь от универсальной 3D-воксельной карты, которая не тянула даже на i7, до 2.5D-карты высот и расчётом уклонов прямо на CUDA. Плюс — почему RGB-D камера и лидар по отдельности не работают, а вместе дают плотный скан земли и препятствий.
Типичный ролик из недалёкого будущего: Гуманоид уверенно шагает рядом с полицейскими. Робособака обследует территорию. Робот-официант объезжает посетителя с таким выражением «лица», что чаевых сегодня не будет.
Хочется верить, что внутри каждого сидит единый искусственный разум: видит мир, понимает происходящее, принимает решения и управляет телом. Но это не совсем так.
Например, внутри AgiBot X2 Ultra работают три самостоятельных компьютера: для управления движением, взаимодействия с человеком и пользовательских вычислений. А ниже находится ещё и электроника приводов и датчиков. Это не один электронный мозг. Скорее небольшая организация, которой выдали общее тело. (Agibot)
Один отдел отвечает за то, чтобы робот не упал. Другой — за обработку изображений. Третий — за вежливое «Здравствуйте!». И желательно, чтобы совещание третьего отдела не мешало первым двум.
Разберёмся, зачем роботу столько компьютеров, что такое камера глубины, что на самом деле делает SLAM и сколько Робокопа содержится в китайском роботе-полицейском.
Лев Ларин, технический директор Unibot
Мы продали клиенту робота‑доставщика с интеграцией и пообещали запустить его в парке. Вскоре выяснилось: передать клиенту робота и передать контроль над ним — не одно и то же.
Без китайского облака пропадала часть функций. Российская SIM не работала. Вместо клиентских аккаунтов существовал один логин дистрибьютора. На траве робот буксовал, отключал привод и оставался посреди парка с разблокированными колёсами. Нам предстояло отвязать его от чужой инфраструктуры, написать собственные backend и Edge и превратить закрытую платформу в нормальный Fleet‑продукт.
Через несколько недель робот уже ездил по точкам, говорил по‑русски и возвращался на зарядку. А затем системные пароли внезапно изменились, и мы потеряли доступ к машине, которую должны были передать клиенту.
Без монитора, клавиатуры и понятной помощи производителя начался настоящий технический детектив. Что обнаружилось внутри робота, кто ещё мог им управлять и как мы возвращали контроль — в статье.
Поставить робота на производство — один шаг из многих. Нужно перестраивать процессы, учитывать особенности оборудования, запустить всё без аварий и простоев. И конечно, найти на проект финансирование, обосновать его и выбрать надёжных подрядчиков.
Многие компании хотели бы роботизировать свои площадки. Но их останавливает отсутствие практического опыта и запредельная сложность первого шага. Всем хочется видеть реальный опыт коллег по цеху с честным рассказом про набитые шишки и достигнутые результаты.
Поэтому Хабр и Национальная ассоциация участников рынка робототехники (НАУРР) при поддержке экспертного жюри из компаний «Яндекс Роботикс», ТМХ, «Азот», «Северсталь», «СИБУР» и «Промомед» объявляют конкурс «Роботы в деле». Мы приглашаем разработчиков, интеграторов и промышленников принять участие в соревновании реальных кейсов роботизации и цифровизации.
Под катом — всё самое важное об условиях и сроках подачи заявок.
Наше время интересно тем, что цифровые технологии глубоко проникли во все сферы, и одна из них — ЧПУ-станки (т. е. станки с числовым программным управлением).
Благодаря этому практически каждый желающий может иметь на дому фактически «маленький завод»: 3D-принтеры разных типов, лазерные резаки/граверы и даже — собственно то, что в обиходе носит название «ЧПУ-станки» (хотя, по большому счёту, и все предыдущие типы относятся к этому же).
Широкие технические возможности и доступность станков пробуждают и соответствующий техническо-творческий «аппетит»: хочется и то, и то, и то…
Особенно если доступность станков дополняется соответствующими знаниями в области электроники и программирования — это фактически открывает дорогу к практически неограниченному созданию роботизированных устройств.
Однако очень быстро работающие в этом направлении сталкиваются с тем, что наиболее доступный и относительно беспроблемный способ создания физических деталей на дому — 3D-печать — не во всём может удовлетворить, и в основном это касается недостаточной физической прочности получающихся распечаток.
Да, в некоторой степени эту проблему можно нивелировать с помощью использования закладных/накладных металлических деталей, сочетаемых с пластиковыми: металлические подшипники, металлические наконечники на пластиковую деталь и т. д. и т. п.
Но не везде это возможно, особенно если конечное изделие будет подвергаться воздействию высоких температур — тут уже просто без вариантов: необходимы цельнометаллические детали.
В этом тексте я показал как сделать универсальный полностью конфигурируемый однобитный ЦАП на основе микроконтроллера STM32F407ZG.
Суть проста.
В программе есть RAM массив двоичных семплов длинны N, которые надо отправить "на улицу" со строго выдержанным микросекундным периодом.
Есть частота дискретизации, задаваемая частотой переполнения аппаратного таймера.
Надо выдать на GPIO пин этот поезд из нулей и единиц. Причем сделать это так, чтобы в ARM процессоре было не более 2х прерываний: половина перемещения и окончание перемещения.
В тексте представлена пошаговая методичка того как это сделать.
О симуляции чаще всего говорят в контексте фантастики или видеоигр, она позволяет синтезировать сценарии, которые невозможны в реальном мире или которые повторяются тысячи раз с минимальными отличиями. И именно поэтому симуляторы, как инструмент, стали неотъемлемой частью обучения человека, а теперь и обучения нейросетей и разработки ПО. Для автономного транспорта это способ накатать миллионы километров, не выезжая из гаража.
Меня зовут Амиран Беркаев, я активно развиваю инфраструктуру тестирования автопилота в ЭвоКарго, и в частности — лидирую направление симулятора. Наша компания разрабатывает электрические беспилотные грузовики максимально высокого на сегодня серийно‑эксплуатируемого уровня автономности, а также сервис автономной логистики на их основе.
В этой статье я расскажу, откуда вообще взялись симуляторы, что именно первым исследователи решили сымитировать, как на развитие этой сферы повлияли компьютерные игры, какими симуляторы вообще бывают, в каких этапах разработки автопилота применяются и как развиваются сейчас — в эпоху ИИ и гонки за автономность.
Все мы знакомы с концепцией экзоскелета — устройства, усиливающего отдельные характеристики человека, чаще всего — силу, причем многократно. И у него есть концептуальное отличие от робота: он не пытается заменить собой труд человека, а служит ему инструментом.
Долгое время инженеры шли по одному пути: добавляли к телу пружины, металлический каркас, гидравлику, приводы и много прочих связанных механизмов, которые приводит в действие мощный мотор. Так у нас закрепилось представление, что экзоскелет — это что-то массивное, куда человеку нужно полностью залезть, что-то в духе костюмов из Fallout.
Но недавно появился новый подход: инженеры решили избавиться от мотора и перекинули функции передачи усилия на сам материал. Система называется DEA-волокна, которые сами по себе действуют как привод, по сути, работая как искусственные мышцы.
Сегодня поговорим о том, как технологии дошли от массивных многотонных дредноутов до искусственных мышц весом в несколько граммов и почему последний подход может постепенно сформировать новый класс носимых устройств.
Учёные опубликовали подробную карту нервной системы дрозофилы. Интернету понадобилось несколько дней, чтобы посадить её за руль, отправить в Doom, дать $100 на биткоин, зарегистрировать на сайте знакомств и переселить в робота. Мы всё это время переживали, что работу у нас отнимет ИИ. Возможно, стоило присматривать ещё и за мухами.
В начале сентября Google Research, HHMI Janelia и большая команда исследователей представили подробную карту центральной нервной системы взрослого самца дрозофилы. В ней около 166 тысяч нейронов и примерно 125 миллионов синаптических контактов. Это важное продолжение проекта FlyWire, в рамках которого ранее был реконструирован мозг взрослой самки, но теперь исследователи получили не только мозг, но и вентральную нервную цепочку, через которую центральная нервная система связана с двигательными цепями тела.
В прошлых статьях я тезисно рассказывал о своих роботах для сбора клубники. Теперь хотелось бы показать их подробнее и постепенно разобрать программную часть проекта — от относительно простых вещей до технического зрения, работы манипулятора и непосредственно поиска и сбора ягоды.
В этой статье начну с мобильной платформы и довольно простой задачи: заставим робота самостоятельно пройти заданный маршрут.
Пишу от своего имени, с учётом 15-летнего опыта в робототехнике, и давно поставил себе задачу освещать тему дронопортов объективно. Да, я работаю в компании, которая их производит, так что полное право читать этот текст с прищуром у вас есть.
Ранее я разбирал применение дронопортов на ГОКе (тык сюда). В последнее время активно внедряются новые технологии в нефтяной отрасли — дронопорты не стали исключением, этим летом мы обильно разворачивали их по всей России. Сегодня остановлюсь на одном месторождении в ЯНАО и на его примере постараюсь показать всё: плюсы и минусы, эффекты и задачи, достижения и неудачи. Начну не с дронопорта, а с того, что происходит на промысле без него — потому что понять ценность решения можно только через масштаб проблемы, которую оно закрывает.
Клубника — хороший пример задачи, которая для человека выглядит элементарно, а для робота оказывается довольно сложной. Человек практически одновременно видит ягоду, оценивает её спелость, понимает, где она находится в пространстве, просовывает руку между листьями и другими ягодами, берёт плод с подходящим усилием и отделяет его, стараясь не повредить.
Для робота каждый из этих шагов превращается в отдельную инженерную задачу.
И это не только учебная проблема. Современные обзоры роботизированного сбора отмечают, что сбор свежей клубники по-прежнему сильно зависит от ручного труда, а сама ягода сложна для механизации из-за мягкости, неоднородного расположения и риска повреждения. Отдельная проблема — перекрытие ягод листьями, стеблями и соседними плодами.
Пятиклассник имеет полное право писать всероссийскую олимпиаду за 9 класс. За младший класс нельзя, за старший — сколько угодно, это прямо прописано в порядке проведения. Почти никто этим не пользуется.
А смысл начинается именно с девятого: региональный этап проводится только для 9-11 классов, и до него олимпиада не даёт ни льгот, ни денег. Отсюда наша стратегия — пять попыток вместо одной.
В статье: что нейросети сделали со школьным этапом, сколько регионы платят за победу (разброс почти в сто раз) и чем закончилась наша попытка набрать бесплатную группу — уведомили 400 человек, пришло ноль.
В предыдущих материалах я рассказывал о разработке робототехнических систем и отдельных узлов управления. В этот раз задача — разработка мобильной платформы для робота-сборщика клубники.
Предполагается, что такой робот перемещается вдоль рядов растений, останавливается в рабочих позициях для сбора ягод и должен уметь реагировать на препятствия, появляющиеся на пути.
Полноценный робот-сборщик — достаточно большая система. В неё должны входить как минимум:
Это вторая статья из серии статей об использовании стерео камеры с ROS 2. В первой статье я рассказал о том как настроить камеру PS5 HD для использования в ROS 2. В этой статье я расскажу об использовании стерео камеры для визуального SLAM в связке с ROS 2. Конкретно мы попробуем RTAB-Map и ORB-SLAM 3. Кому интересно прошу под кат.
В статье я разбираю практический ремонт FPV‑вупа после очередного краша: заменяю штатные моторные провода, организую соединения так, чтобы моторы было проще паять и обслуживать, меняю поврежденную раму и проверяю работу силовой части в Betaflight. Заодно показываю полноценное обслуживание бесколлекторных моторов: как диагностировать большую разницу оборотов, разобрать мотор, снять стопорное кольцо, очистить его от волос и другого мусора и собрать обратно. В конце — несколько практических советов по охлаждению вупа при настройке, безопасной проверке моторов и фиксации VTX‑антенны, чтобы следующий ремонт понадобился как можно позже.
Практический разбор синхронизации камеры глубины RealSense и лидара Livox Mid-360. Как программная коррекция на основе счётчика кадров и замкнутой петли обратной связи позволяет добиться стабильности ±0,3 мс без GPRMC — с кодом драйвера и результатами замеров дрейфа.
Развитие ИИ движется вперёд, но практически весь видимый прогресс происходит в сфере работы со знаниями, то есть действий, происходящих внутри компьютера.
В среде разработчиков ИИ Сан‑Франциско широко распространено мнение о том, что к этой сфере скоро присоединятся и роботы. Параллельно с гонкой разработки ИИ широкого спектра применений идёт столь же агрессивная гонка разработки роботов широкого спектра применений — гуманоидных машин с физическим интеллектом. Искусственных работников, способных готовить пищу и убираться, быть грузчиками... и делать всё остальное, в том числе и производить себе подобных, приводя (по многим прогнозам) к экономическому росту, который носящему характеристику «взрывного».
Иными словами, распространено мнение, что ИИ в дата-центрах вскоре заместит весь интеллектуальный труд, а ИИ в человекоподобных телах скоро заменит весь физический труд. Однако здесь есть важная разница: мы уже видим прогресс в сфере интеллектуального труда, но физический ИИ пока в основном остаётся ограниченным испытательными полигонами и демонстрационными видео. Пока не существует робота, эквивалентного ChatGPT, которого бы могли приобрести мы с вами.
Поэтому приходится ограничиваться видеодемонстрациями. К сожалению, этот инструмент плохо подходит для оценки прогресса. Возможно, мы видим в них одну успешную попытку на сотню неудачных. Сценарий демонстрации может быть тщательно выстроен так, чтобы избегать сложностей, к которым робот пока не готов. Видео может быть смонтировано так, как будто робот действует быстрее и чётче, чем на самом деле. Есть пример очень впечатляющей демонстрации… с подозрительно большим количеством смены ракурсов.
(Пока я ещё не видел практически ни одного видео с последних World Humanoid Robot Games. Они ценны тем, что на публичной платформе меньше возможностей для выборочного представления фактов. В паре просмотренных мной видео можно заметить впечатляющие возможности, но они не затрагивают многие сложности, которые я перечислил ниже... К тому же в этих видео есть множество громких провалов.)
Демонстрации привлекают внимание к тем действиям, которые роботы уже умеют делать. Возникает вопрос: а чего они не могут? В этом посте я составлю список технических сложностей, которые нам предстоит преодолеть на пути к реализации искусственных работников с широкой функциональностью. Когда в следующий раз вы увидите робота, делающего нечто впечатляющее, задайтесь вопросом: какие из перечисленных в статье возможностей продемонстрировал робот и какие сложности попытался обойти сценарий видео?
(Стоит отметить, что некоторые задачи становятся проще, если использовать роботов на колёсах, а не строго гуманоидных. Колёсный робот может перевозить больший вес, поэтому сила, выносливость и мощность электроники для него не так критичны. Ниже для него и вероятность упасть. Однако такие роботы не могут взбираться по лестницам1, перешагивать через завалы или наклоняться, чтобы взять что‑то из шкафа.)
Дисклеймер. Пишу от своего имени, с учётом 15-летнего опыта в робототехнике. И да, работаю в компании, которая производит дронопорты, так что полное право читать этот текст с прищуром у вас есть. Но задачи продать вам станцию любой ценой у меня нет. Наоборот: попробую донести максимально объективную информацию.
Шесть лет назад мы уже писали на Хабре про беспилотный трамвай — тогда это был один экспериментальный вагон, который иногда выезжал на маршрут в Москве, а автопилот тестировался в основном на закрытой территории. С тех пор много воды утекло — в буквальном смысле, учитывая петербургскую погоду.
Стоит сразу оговориться: та статья была про московский проект, и он на самом деле не имеет почти ничего общего с тем, что сейчас работает в Петербурге. Питерский проект стартовал в 2022 году фактически с нуля — с сильно обновленными составом команды, парка трамваев, другими протоколами и, чего уж там, без 2D‑детекции и лидара, которые использовались в Москве. Поэтому эта статья — не столько «было/стало» одной и той же системы, сколько рассказ о том, куда доросла история, начавшаяся почти с чистого листа четыре года назад.
