Робототехника

Помню как я, простая смертная, восхищённо смотрела на фотографии, отправляемые «Соджорнером» с поверхности Марса летом 1997 года. Серверы Лаборатории реактивного движения (JPL) НАСА начали тормозить, когда количество обращений для скачивания первых снимков красной планеты превысило 47 миллионов (рекордное число!). Проблема была ещё и в том, что в конце 1990-х Интернет всё ещё был молод, и большинство людей пользовалось аналоговыми модемами. Концу своей 83-дневной миссии «Соджорнер» отправил больше 550 фотографий и провёл более пятнадцати химических анализов марсианских пород и почвы.

Разумеется, «Соджорнер» остался на Марсе. На фотографии в начале поста показан его близнец «Мария Кюри». Функционально они идентичны и любой из них мог совершить путешествие по Марсу, но одному из них суждено было стать «лицом» миссии, а другому — остаться в забвении. Пишу ли я эту статью из-за того, что испытываю небольшое сожаление из-за «Марии Кюри»? Возможно. Но в то же время это дало мне шанс вернуться к воспоминаниям этой первой марсианской миссии, определившей, что роботы могут эффективно исследовать поверхность планет и завоёвывать внимание публики.

Привет, Хабр! Меня зовут Дмитрий Юдин, я являюсь ведущим научным сотрудником лаборатории когнитивных систем искусственного интеллекта AIRI и заведую лабораторией интеллектуального транспорта в Центре когнитивного моделирования Института искусственного интеллекта МФТИ. В последние годы мы с коллегами системно занимаемся трехмерными симуляторами, которые, в том числе, позволяют промоделировать физические взаимодействия между мобильными роботами, манипуляторами или мобильными манипуляторами с объектами 3D‑сцены. 

В этой статье я расскажу про бенчмарк GPUSimBench, созданный вместе с коллегами из Shanghai AI Lab. Написать её мне помог Чжан Хучжэньюй, первый автор работы и выпускник аспирантуры Физтеха. Бенчмарк оценивает производительность, точность и детерминизм семи современных общедоступных робототехнических симуляторов при работе на графических процессорах, а для одной из симуляций мы даже провели настоящий физический эксперимент. Мы представили GPUSimBench на ведущей робототехнической конференции IROS’2026 (статья и код).

Неподвижный SpeedyBot занимал около 70% восьми CPU. Профиль процессов, работа NPU/Hailo и четыре локальные оптимизации: fusion без отладочной картинки, кеш зон, запись позы и разбор логов. Показываем выигрыш операций и почти неизменный общий CPU.

После ожидания SDK обработчик геймпада отправлял старую ось, хотя нейтраль уже лежала в очереди. Дочитывание ввода, отдельный исполнитель кнопок и deadline для RLock. Программные проверки и отдельный опыт с 8Bitdo SN30 Pro по Bluetooth.

На выставках промышленные роботы обычно показывают типовые операции, как они умеют перекладывать коробки, сортировать предметы или варить металл. В этот раз мы дали роботу фломастер и поставили задачу создать арт-объект. Подробно рассказываем,что из этого вышло, сколько человек над этим работали и как учили робота держать фломастер.

Меня зовут Александр Кормишин, я руководитель маркетинга в РОБОПРО. Это компания-разработчик коллаборативных промышленных роботов DOKA РОБОТС — тех, что могут избавить человека от рутинных задач, работая бок-о-бок с ним на производстве.

На выставке FestTech наш серийный робот RC10 выступал подмастерьем у художника Глеба Солнцева. Для нас смысл идеи был в том, чтобы перенастроить именно серийного робота под неожиданную задачу — он нарисовал основной контур, а художник доработал детали. 

Вместе с технической командой проекта мы подготовили описание всех процессов: как разрабатывалась пружина и держатель, как писали код, и что сломалось на тестах. А заодно подробно рассказали, в чем заключается переналадка такого устройства.

Собрали из записей SpeedyBot исследовательскую сцену парка: 40 объектов, GLB около 1,2 МБ. Grounding DINO, SAM 2, глубина и позы, подгонка крон через SciPy. Разбираем исправление ширины, двойника BBQ и повторных масок одного кадра.

Карта 2×2 км при клетке 5 см требует 1,6 ГБ на байтовый слой. Храним PNG-тайлы 512² и подаём SDK окно 5000². NumPy/Pillow, отрицательные индексы, LRU, ROS AtlasPlan, продолжение задачи и сохранение досъёмки.

Как собрать робота, которым управляет языковая модель. Семнадцать разделов, две сотни часов работы.

Это третья статья цикла, целиком техническая: компас, гироскоп, ПИД, агентный цикл, четыре провайдера LLM и ffmpeg и все-все-все.

Основная статья про эксперименты с LLM в реальном мире тут: Я выпустил нейросеть в реальный мир — и стало не смешно

Может ли робот понять, что пульт оператора выключен? Казалось бы, простая задача. Но опущенный рычажок и разряженный или выключенный пульт для оператора разные ситуации, и во второй роботу стоило бы подсказать об этом вслух.

Мы думали, что разница обязана быть видна в данных: приёмник публикует положение рычажков каждые 23 миллисекунды. Оказалось, при потере связи он продолжает публиковать как ни в чём не бывало, те же кадры и тот же интервал, только со значениями безопасного состояния, которые не отличить от настоящих. Мы проверили шесть гипотез: failsafe-значения, события переходов, таймауты, траекторию рычажка, логи закрытого модуля, параллельное чтение порта. Все шесть провалились.

Рассказываем, как методично прийти в тупик, честно признать, что задача технически не решается, и решить её другим путём. По шагам, с выводом для всех, кто работает с закрытым сторонним железом.

Цель рядом, но родной планировщик ведёт через далёкий граф дорожек. Сравниваем два полных пути по стоимости клеток: формула, DDA, C-код выбора и режимы исполнения. Результаты синтетического контрпримера и построений на Z75.

По канонам киберпанка, в будущем у каждой IT-корпорации должна быть своя маленькая частная армия, включая вооружённых роботов. Похоже, научная фантастика постепенно воплощается в жизнь.

Сейчас более десятка частных и государственных компаний из разных стран тестируют различные модели лазерных пушек, а также автоматических турелей под управлением ИИ. Эти устройства позиционируются в первую очередь как дешёвые и эффективные средства для защиты от БПЛА объектов критической инфраструктуры, таких как дата-центры.

Прогнал девять пакетов визуальной одометрии и два лидарных на одном уличном ровере: визуалка на улице не тянет, лидар с дефолтными настройками — тянет. Видео всех тестов с таймкодами и разбор причин отказов — в статье.

Вы наверняка видели ролики, где индийские швеи работают за станками с экшен-камерами на лбах или парикмахер стрижет с GoPro, закрепленной на груди. За такой, как может показаться, фрик-контент платят зарплату, ведь каждое видео уходит в обучающую выборку робота, который однажды сделает то же самое без человека. Под катом расскажу, кто собирает данные для гуманоидов и сколько за это платят.

Разбираем ложных пешеходов и потерю настоящих препятствий: PointPillars/RKNN, сопоставление классов и IoU, Unknown в трекере, PCL/RANSAC и маска дороги. С кодом и проверками на коробке высотой 27 см и человеке перед камерой.

Закрытая ARM64-библиотека публиковала облако раньше нужного TF. Разбираем ELF и AArch64, перенос владения PointCloud2, ранние выходы и C++ unwind. Проверяем вставку в Unicorn/QEMU и установленный комплект на роботе.

В различных видосах то и дело появляется робот, напоминающий человека: белый, с чёрной головой и торсом. Возможно, вы видели, как он танцует, раздаёт попкорн, выбрасывает мусор в корзину, пылесосит или нажимает кнопку микроволновки. А может быть, наблюдали, как он падает навзничь, пытаясь раздать бутылки с водой, или мучительно старается погладить рубашку.

Это Optimus компании Tesla, человекоподобный робот с искусственным интеллектом, который, по мнению генерального директора компании Илона Маска, станет «не просто самым успешным продуктом Tesla за всю историю, но, вероятно, самым успешным продуктом вообще». Предполагается, что сначала он будет работать на заводах, а затем появится и в наших домах. Со временем Optimus «обретёт человеческую, а затем и сверхчеловеческую ловкость», заявил Маск акционерам в июле. По его словам, такие роботы смогут автоматизировать практически любой человеческий труд, от перемещения листового металла до складывания белья, причём стоить каждый из них будет всего 20 тысяч долларов. Выступая в январе на ежегодной встрече Всемирного экономического форума в швейцарском Давосе, Маск предсказал, что к концу 2027 года роботы могут поступить в свободную продажу.

Маск далеко не единственный, кто с таким энтузиазмом проповедует будущее робототехники. Марк Андриссен, сооснователь и генеральный партнёр венчурной компании Andreessen Horowitz из Кремниевой долины, заявлял, что робототехника может стать «крупнейшей отраслью в истории планеты». В январе генеральный директор Nvidia Дженсен Хуанг сказал, что уже в этом году возможности человекоподобных роботов сравняются с человеческими. По прогнозу Morgan Stanley, к 2050 году количество роботов, которые «выглядят и действуют как люди», вероятно, приблизится к миллиарду, сформировав рынок стоимостью более пяти триллионов долларов.

У SpeedyBot четыре Ethernet-камеры H46 и USB-модем Quectel EC200A. Перешли с JPEG на готовый H.264: PyAV, fMP4, WebSocket и MediaSource. Настройки, команды и замеры: 720p около 25 FPS через UMTS при расходе видеоканала около 142 кбит/с.

История о том, как мы в Venti Technologies меняли программную платформу автономных машин, пока сами машины продолжали перевозить контейнеры.

В жизни технологического стартапа рано или поздно наступает момент, когда программное обеспечение, предназначенное для будущего, обнаруживает, что намертво привязано к прошлому. В нашем случае прошлое называлось ROS 1 Kinetic и Ubuntu 16.04.

В сентябре 2024 года мы завершили миграцию на ROS 2 Humble Hawksbill и Ubuntu 22.04. Она заняла около десяти месяцев, потребовала создания параллельной системы сборки, собственного слоя совместимости, нескольких уровней тестирования и почти полугода валидации. При этом нам удалось сохранить практически всю прикладную логику и не останавливать разработку продукта.

На момент начала работ общая кодовая база насчитывала примерно 1,5 миллиона строк. Сразу уточню, чтобы избежать недоразумений: сюда входили не только собственные исходники, но и тесты, сгенерированный код и сторонние зависимости. Мы не утверждаем, что собственноручно перенесли полтора миллиона строк прикладной логики.

Эта история не о том, как ROS 2 волшебным образом решила все проблемы старой системы. Скорее о том, как создать условия, в которых старую платформу можно заменить новой, не заставляя весь остальной продукт участвовать в этом процессе.

Со времен древности человек смотрел на птиц, с легкостью покоряющих небеса, с восхищением и завистью. Поэты воспевали пернатых летунов в своих стихах, художники пытались передать грацию и силу птиц, а пытливые умы пытались ответить на вопрос — как и почему птицы могут летать? Научный взгляд на полет птиц хоть и не позволил нам самим летать в буквальном смысле, но ознаменовал создание устройств, способных на это. С развитием технологий и научных методик мы получили возможность более детального рассматривать полет птиц и все его аспекты не только с точки зрения орнитологии, но и метеорологии, навигации, аэродинамики, биомеханики и даже бионики. Ученые из Лундского университета (Лунд, Швеция) провели исследование полета обыкновенного козодоя, в ходе которого установили крайне необычные его особенности. Что необычного в технике полета козодоя, и как это может быть использовано в авиации робототехнике? Ответы на эти вопросы мы найдем в докладе ученых.

Я уже размышлял, сможет ли ИИ заменить инженеров. А теперь предлагаю посмотреть, какую работу он уже берет на себя и что из этого получается на практике. Меня особенно интересуют tслучаи, когда результат работы ИИ-агента можно проверить на реальной детали: измерить коробление после литья, испытать прочность, сравнить температуру под нагрузкой. Или просто посчитать, сколько времени заняла подготовка производства и сколько инженерных часов удалось сэкономить.

Рассмотрим десять примеров из публикаций за август–октябрь 2026 года. Здесь есть обработка металла, литье пластика, 3D-печать, проверка батареи и охлаждения электроники. Уровень готовности разный: где-то деталь уже изготовили, где-то напечатали и испытали образцы, а где-то пока показали расчетный эксперимент. Но по этим примерам уже хорошо видно, какую инженерную работу начинают брать на себя агенты. Картинки сгенерированы ИИ на основании каждой темы, чтобы немнго разрабавить текст статьи.