После ожидания SDK обработчик геймпада отправлял старую ось, хотя нейтраль уже лежала в очереди. Дочитывание ввода, отдельный исполнитель кнопок и deadline для RLock. Программные проверки и отдельный опыт с 8Bitdo SN30 Pro по Bluetooth.
На выставках промышленные роботы обычно показывают типовые операции, как они умеют перекладывать коробки, сортировать предметы или варить металл. В этот раз мы дали роботу фломастер и поставили задачу создать арт-объект. Подробно рассказываем,что из этого вышло, сколько человек над этим работали и как учили робота держать фломастер.
Меня зовут Александр Кормишин, я руководитель маркетинга в РОБОПРО. Это компания-разработчик коллаборативных промышленных роботов DOKA РОБОТС — тех, что могут избавить человека от рутинных задач, работая бок-о-бок с ним на производстве.
На выставке FestTech наш серийный робот RC10 выступал подмастерьем у художника Глеба Солнцева. Для нас смысл идеи был в том, чтобы перенастроить именно серийного робота под неожиданную задачу — он нарисовал основной контур, а художник доработал детали.
Вместе с технической командой проекта мы подготовили описание всех процессов: как разрабатывалась пружина и держатель, как писали код, и что сломалось на тестах. А заодно подробно рассказали, в чем заключается переналадка такого устройства.
Собрали из записей SpeedyBot исследовательскую сцену парка: 40 объектов, GLB около 1,2 МБ. Grounding DINO, SAM 2, глубина и позы, подгонка крон через SciPy. Разбираем исправление ширины, двойника BBQ и повторных масок одного кадра.
Карта 2×2 км при клетке 5 см требует 1,6 ГБ на байтовый слой. Храним PNG-тайлы 512² и подаём SDK окно 5000². NumPy/Pillow, отрицательные индексы, LRU, ROS AtlasPlan, продолжение задачи и сохранение досъёмки.
Как собрать робота, которым управляет языковая модель. Семнадцать разделов, две сотни часов работы.
Это третья статья цикла, целиком техническая: компас, гироскоп, ПИД, агентный цикл, четыре провайдера LLM и ffmpeg и все-все-все.
Основная статья про эксперименты с LLM в реальном мире тут: Я выпустил нейросеть в реальный мир — и стало не смешно
Может ли робот понять, что пульт оператора выключен? Казалось бы, простая задача. Но опущенный рычажок и разряженный или выключенный пульт для оператора разные ситуации, и во второй роботу стоило бы подсказать об этом вслух.
Мы думали, что разница обязана быть видна в данных: приёмник публикует положение рычажков каждые 23 миллисекунды. Оказалось, при потере связи он продолжает публиковать как ни в чём не бывало, те же кадры и тот же интервал, только со значениями безопасного состояния, которые не отличить от настоящих. Мы проверили шесть гипотез: failsafe-значения, события переходов, таймауты, траекторию рычажка, логи закрытого модуля, параллельное чтение порта. Все шесть провалились.
Рассказываем, как методично прийти в тупик, честно признать, что задача технически не решается, и решить её другим путём. По шагам, с выводом для всех, кто работает с закрытым сторонним железом.
Цель рядом, но родной планировщик ведёт через далёкий граф дорожек. Сравниваем два полных пути по стоимости клеток: формула, DDA, C-код выбора и режимы исполнения. Результаты синтетического контрпримера и построений на Z75.
По канонам киберпанка, в будущем у каждой IT-корпорации должна быть своя маленькая частная армия, включая вооружённых роботов. Похоже, научная фантастика постепенно воплощается в жизнь.
Сейчас более десятка частных и государственных компаний из разных стран тестируют различные модели лазерных пушек, а также автоматических турелей под управлением ИИ. Эти устройства позиционируются в первую очередь как дешёвые и эффективные средства для защиты от БПЛА объектов критической инфраструктуры, таких как дата-центры.
Прогнал девять пакетов визуальной одометрии и два лидарных на одном уличном ровере: визуалка на улице не тянет, лидар с дефолтными настройками — тянет. Видео всех тестов с таймкодами и разбор причин отказов — в статье.
Вы наверняка видели ролики, где индийские швеи работают за станками с экшен-камерами на лбах или парикмахер стрижет с GoPro, закрепленной на груди. За такой, как может показаться, фрик-контент платят зарплату, ведь каждое видео уходит в обучающую выборку робота, который однажды сделает то же самое без человека. Под катом расскажу, кто собирает данные для гуманоидов и сколько за это платят.
Разбираем ложных пешеходов и потерю настоящих препятствий: PointPillars/RKNN, сопоставление классов и IoU, Unknown в трекере, PCL/RANSAC и маска дороги. С кодом и проверками на коробке высотой 27 см и человеке перед камерой.
Закрытая ARM64-библиотека публиковала облако раньше нужного TF. Разбираем ELF и AArch64, перенос владения PointCloud2, ранние выходы и C++ unwind. Проверяем вставку в Unicorn/QEMU и установленный комплект на роботе.
В различных видосах то и дело появляется робот, напоминающий человека: белый, с чёрной головой и торсом. Возможно, вы видели, как он танцует, раздаёт попкорн, выбрасывает мусор в корзину, пылесосит или нажимает кнопку микроволновки. А может быть, наблюдали, как он падает навзничь, пытаясь раздать бутылки с водой, или мучительно старается погладить рубашку.
Это Optimus компании Tesla, человекоподобный робот с искусственным интеллектом, который, по мнению генерального директора компании Илона Маска, станет «не просто самым успешным продуктом Tesla за всю историю, но, вероятно, самым успешным продуктом вообще». Предполагается, что сначала он будет работать на заводах, а затем появится и в наших домах. Со временем Optimus «обретёт человеческую, а затем и сверхчеловеческую ловкость», заявил Маск акционерам в июле. По его словам, такие роботы смогут автоматизировать практически любой человеческий труд, от перемещения листового металла до складывания белья, причём стоить каждый из них будет всего 20 тысяч долларов. Выступая в январе на ежегодной встрече Всемирного экономического форума в швейцарском Давосе, Маск предсказал, что к концу 2027 года роботы могут поступить в свободную продажу.
Маск далеко не единственный, кто с таким энтузиазмом проповедует будущее робототехники. Марк Андриссен, сооснователь и генеральный партнёр венчурной компании Andreessen Horowitz из Кремниевой долины, заявлял, что робототехника может стать «крупнейшей отраслью в истории планеты». В январе генеральный директор Nvidia Дженсен Хуанг сказал, что уже в этом году возможности человекоподобных роботов сравняются с человеческими. По прогнозу Morgan Stanley, к 2050 году количество роботов, которые «выглядят и действуют как люди», вероятно, приблизится к миллиарду, сформировав рынок стоимостью более пяти триллионов долларов.
У SpeedyBot четыре Ethernet-камеры H46 и USB-модем Quectel EC200A. Перешли с JPEG на готовый H.264: PyAV, fMP4, WebSocket и MediaSource. Настройки, команды и замеры: 720p около 25 FPS через UMTS при расходе видеоканала около 142 кбит/с.
История о том, как мы в Venti Technologies меняли программную платформу автономных машин, пока сами машины продолжали перевозить контейнеры.
В жизни технологического стартапа рано или поздно наступает момент, когда программное обеспечение, предназначенное для будущего, обнаруживает, что намертво привязано к прошлому. В нашем случае прошлое называлось ROS 1 Kinetic и Ubuntu 16.04.
В сентябре 2024 года мы завершили миграцию на ROS 2 Humble Hawksbill и Ubuntu 22.04. Она заняла около десяти месяцев, потребовала создания параллельной системы сборки, собственного слоя совместимости, нескольких уровней тестирования и почти полугода валидации. При этом нам удалось сохранить практически всю прикладную логику и не останавливать разработку продукта.
На момент начала работ общая кодовая база насчитывала примерно 1,5 миллиона строк. Сразу уточню, чтобы избежать недоразумений: сюда входили не только собственные исходники, но и тесты, сгенерированный код и сторонние зависимости. Мы не утверждаем, что собственноручно перенесли полтора миллиона строк прикладной логики.
Эта история не о том, как ROS 2 волшебным образом решила все проблемы старой системы. Скорее о том, как создать условия, в которых старую платформу можно заменить новой, не заставляя весь остальной продукт участвовать в этом процессе.
Со времен древности человек смотрел на птиц, с легкостью покоряющих небеса, с восхищением и завистью. Поэты воспевали пернатых летунов в своих стихах, художники пытались передать грацию и силу птиц, а пытливые умы пытались ответить на вопрос — как и почему птицы могут летать? Научный взгляд на полет птиц хоть и не позволил нам самим летать в буквальном смысле, но ознаменовал создание устройств, способных на это. С развитием технологий и научных методик мы получили возможность более детального рассматривать полет птиц и все его аспекты не только с точки зрения орнитологии, но и метеорологии, навигации, аэродинамики, биомеханики и даже бионики. Ученые из Лундского университета (Лунд, Швеция) провели исследование полета обыкновенного козодоя, в ходе которого установили крайне необычные его особенности. Что необычного в технике полета козодоя, и как это может быть использовано в авиации робототехнике? Ответы на эти вопросы мы найдем в докладе ученых.
Я уже размышлял, сможет ли ИИ заменить инженеров. А теперь предлагаю посмотреть, какую работу он уже берет на себя и что из этого получается на практике. Меня особенно интересуют tслучаи, когда результат работы ИИ-агента можно проверить на реальной детали: измерить коробление после литья, испытать прочность, сравнить температуру под нагрузкой. Или просто посчитать, сколько времени заняла подготовка производства и сколько инженерных часов удалось сэкономить.
Рассмотрим десять примеров из публикаций за август–октябрь 2026 года. Здесь есть обработка металла, литье пластика, 3D-печать, проверка батареи и охлаждения электроники. Уровень готовности разный: где-то деталь уже изготовили, где-то напечатали и испытали образцы, а где-то пока показали расчетный эксперимент. Но по этим примерам уже хорошо видно, какую инженерную работу начинают брать на себя агенты. Картинки сгенерированы ИИ на основании каждой темы, чтобы немнго разрабавить текст статьи.
Читая новости, невольно офигеваешь удивляешься тому, что могут современные роботы. Судите сами: гуманоид Tesla наливает гостям напитки, гуманоид Figure укладывает детали на заводе BMW, китайские роботы бегают полумарафон и крутят сальто (не спрашивайте, зачем), а наш сберовский Грин уже вовсю танцует.
Это реально впечатляет, и за всем этим стоит серьёзная работа и достижения. И всё же… Тут есть нюанс. Изнутри мир робототехники выглядит иначе, чем он видится людям снаружи.
Напоминаю, что меня всё ещё зовут Олег Плотников, я руководитель продукта «Цифровая промышленность». Как и обещал, сегодня я расскажу про ИИ. Но начнётся этот разговор совсем не с RAG, ИИ-агентов, LLM и прочей офисной автоматизации. Поговорим сразу про тяжёлую артиллерию будущего: Physical AI. Говорят, что это ИИ для роботов. Отчасти это правда, но не вся.
Итак, в новостях роботы крутят сальто, а на настоящих заводах — например, на том самом заводе BMW в Спартанбурге, где снимали ролики с гуманоидами Figure, — работают тысячи обычных промышленных роботов. Больше 2000 в одном только кузовном цехе. И некоторые из них программируют почти так же, как в 1985 году: человек с пультом подводит руку к нужной точке и жмёт «записать». Потом к следующей, и так всю программу, точка за точкой. Да, на больших автозаводах активно используют офлайн-программирование, но принцип воспроизведения заранее подготовленной траектории никуда не делся.
Получается удивительное соседство. С одной стороны, мы уже живём в мире, где робот адекватно ходит по заводу и даже может что-то перепрыгнуть. С другой — реальная роботизация строится на роборуках, которые всю смену ездят по записанным координатам и, по сути, являются специфичным станком с ЧПУ. Не всегда и не везде, но на огромном числе операций именно так.
Программировать роботов — это как деплоить в прод прямо перед выходными: всегда есть шанс, что что-нибудь пойдет не так. Стандартные системы программирования роботов от производителя пока крайне сложны и неудобны — почти как работать по ssh через терминал. А цена ошибки при обучении ИИ робота — от поломки обучаемого робота до серьезных повреждений на производстве.
Я Артем Лыков, руководитель R&D-направления Physical AI в MWS, и сегодня я расскажу вам о том, как мы вместе с командой придумали, разработали и протестировали универсальный интуитивный интерфейс для обучения роботов совершенно разных конструкций — от обычной тележки до человекоподобного робота. Для решения этой задачи мы решили скрестить смешанную реальность, цифровых двойников и VLM в одной системе — ORCESTRA. А еще про то, с какими проблемами мы столкнулись во время работы, про Mixed Reality, о том, чем отличается кинематика манипулятора от гуманоида, как VLM ищет точки захвата и почему робот с искусственным интеллектом без оператора может случайно уехать в закат стену.
Языковые модели поумнели во многом благодаря масштабу: их обучали на десятках триллионов токенов текста, который человечество накопило в интернете. У робототехники такого запаса нет: никто не выкладывал в сеть миллионы часов записей того, как робот складывает рубашку или наливает воду. Каждый такой час приходится записывать с нуля.
В статье разберём, как сейчас добывают данные для обучения роботов, сколько их уже собрано и во сколько обойдётся догнать LLM. По грубым оценкам, данных у роботов примерно в тысячу раз меньше.
