Робототехника

Побывал на Oxford Machine Learning Summer School 2025 — одной из крупнейших летних школ, посвящённых искусственному интеллекту, проходившей в самом центре Оксфорда. В течение четырёх дней мы слушали лекции исследователей из DeepMind, Hugging Face, Amazon, Google, ученых топовых европейских вузов. Обсуждали foundation models, reinforcement learning, generative AI и on-device ML. В статье делюсь своими впечатлениями и кратким пересказом программы, отражающей мировые тренды в развитии современного машинного обучения.

Привет, Хабр! Мы команда из отдела разработки ПО для банкоматов Т-Банка: Александр, Владислав, Иван и Денис.

Расскажем о необычном, но интересном опыте автоматизации и роботизации тестирования банкоматного ПО в Т-Банке, для которого мы использовали коллаборативного робота.

Ручное тестирование нового ПО АТМ трудозатратно, требует много времени и ресурсов. Зачастую действия повторяются и QA выполняет одни и те же тест-кейсы. Нашей целью было высвободить ресурс QA, уйдя от рутинного ручного тестирования к более творческим задачам путем роботизации ручного тестирования.

Мониторинг состояния системы (процессов, запущенных служб и обмена данными по сети) играет очень важную роль при работе над сложной робототехнической системой. Наличие удобного инструмента для интроспекции состояния процессов упрощает работу разработчика позволяя быстро находить и исправлять неисправности и экономить время на ненужной отладке. В этой статье я расскажу о популярных инструментах мониторинга в ROS2. Кому интересно прошу под кат.

Greenwave Monitor

ROS2Top

Продолжаю дорабатывать прошивку своей Arduino стерео-камеры. Следующий этап разработки — аппаратная реализация морфологических преобразований и блока гамма-коррекции. Исходники проекта теперь доступны на github

Несмотря на распространенность робототехники в мире, процесс их создания и совершенствования не прекращается, а только набирает оборотов. Кто-то пытается сделать роботов, чьи движения будут максимально близки к человеческим, кто-то создает машины, оснащенные кучей датчиков и возможностью анализировать множество параметров окружающей среды, а кто-то уделяет внимание мягким роботам. Методов создания мягких роботов множество, и каждый из них обладает рядом преимуществ и недостатков. Последние проявляются особенно явно, когда задачи робота или его среда работы выходят за рамки «нормы». Ученые из Виргинского университета (Шарлотсвилл, Виргиния, США) разработали новый метод создания мягких роботов, способных ходить по воде, как водомерка. В чем особенность новой методики, как именно работают роботы, и где они могут стать полезны? Ответы на эти вопросы мы найдем в докладе ученых.

Привет! На связи Михаил Дроздов, младший разработчик в Selectel. Заканчиваю рассказ о создании собственного робота. Предыдущая часть была целиком посвящена железу: выбору компонентов, особенностям проектирования и изготовления корпуса, распайке электроники.

В этой части говорим о разработке ПО. Микроконтроллер, видеокамера, датчики, двигатели — уже соединены, питание подключено. Осталось вдохнуть жизнь в электронный организм, чтобы все его компоненты пробудились и начали согласованно взаимодействовать.

Коллектив российских исследователей представил инновационный подход к адаптивному контролю траектории колесного мобильного манипулятора. Они соединили адаптивное управление с использованием нейронных сетей и методы ограничения выходных параметров, что позволило значительно улучшить точность отслеживания траектории и безопасность работы манипуляторов.

Привет! На связи Михаил Дроздов, младший разработчик в Selectel. Все началось с простого вопроса о том, как устроен мир микроконтроллеров. Возникло желание не просто прочитать теорию об Arduino или подключить пару датчиков к плате. Хотелось понять саму суть — архитектуру, принципы работы и реальные возможности подобных систем.

Чтобы погружение не превратилось в набор разрозненных и бессистемных экспериментов, нужен был полноценный, амбициозный проект. Такой, что заставил бы разобраться в деталях на практике.

Выбор пал на создание робота-универсала. Такое устройство — целый мир механики, 3D‑печати, электроники, низкоуровневой разработки, веба и даже ИИ. Идея — создать машину, которая не просто перемещается в пространстве, а по-настоящему видит и понимает свое окружение.

Можно ли представить лучшую возможность поработать с различными типами датчиков и исполнительных механизмов? Также впереди ждали интересные задачи…

Микроконтроллеры давно перестали быть простыми устройствами для управления датчиками и исполнительными механизмами. Сегодня, благодаря библиотекам вроде TensorFlow Lite, даже компактный ESP32 способен выполнять инференс нейросетей в реальном времени. В этой статье я расскажу о серии экспериментов по классификации движений человека с помощью радарного датчика LD2410 и различных базовых архитектур машинного обучения, таких как полносвязная, свёрточная, рекуррентная нейронные сети и трансформер (механизм внимания).

Каждый из подходов я реализовал и проверил на практике. В итоге получилась серия видеоуроков и репозиториев с кодом, но здесь я соберу все в одну статью, чтобы показать эволюцию решений и сравнить их эффективность.

Побег Робота из лабиринта. Технологи: Jetson + Arduino + CV. Робот находит выход из лабиринта только с помощью компьютерного зрения.

Когда дроны только появились, ими можно было управлять разве что с пульта или через текстовые команды — «поверни налево», «лети прямо», «вверх на два метра». Всё это выглядело немного старомодно и, прямо скажем, неудобно: попробуй опиши словами маршрут, если дрон видит перед собой живую картинку, а тебе надо всё переводить в текст. И вот появился довольно неожиданный подход — вместо текстовых инструкций просто показывать дрону, куда лететь, буквально указывая нужную точку в кадре. 

Теперь команда для беспилотника — это не набор слов, а пиксель на изображении, а значит, связь между вашим замыслом и настоящим полетом стала куда более непосредственной. Модель сама определяет, как лететь к этой точке, одновременно замечает препятствия и быстро реагирует, если что-то изменится. Что получилось из этой попытки «разговаривать» с дроном языком зрения — и c какими проблемами исследователи столкнулись на практике? Всё оказалось интереснее, чем кажется на первый взгляд.

ESP32 давно зарекомендовал себя как универсальный микроконтроллер для IoT: он умеет работать с Wi-Fi и Bluetooth, управлять сенсорами и исполнительными устройствами. Но за последние годы стало ясно, что даже на таких простых устройствах можно запускать алгоритмы машинного обучения.

В этой статье рассмотрим, как на ESP32 можно реализовать три базовых алгоритма классификации — дерево решений, метод К-ближайших соседей (KNN) и полносвязную нейросеть на TensorFlow Lite.

Для эксперимента использовался датчик цвета GY-31 (TCS230). Он преобразует отражённый от поверхности на которую направлен свет в три значения — красный, зелёный и синий (R, G, B). Задача: по этим трём числам определить, какой цвет «видит» сенсор: красный, оранжевый, жёлтый, зелёный, синий, фиолетовый, белый или чёрный.

Модуль ESP32-CAM - это доступное и компактное решение, которое сочетает в себе микроконтроллер ESP32 и камеру OV2640. Благодаря своей низкой цене и широким возможностям он стал популярным выбором среди разработчиков проектов в области IoT, компьютерного зрения и робототехники.

В данной статье я собрал серию из 15 практических уроков, каждый из которых сопровождается видео и исходным кодом. Вместе мы пройдём путь от базового примера захвата изображения до реализации алгоритмов компьютерного зрения и даже интеграции TensorFlow Lite для классификации объектов прямо на ESP32-CAM.

Материалы организованы по нарастающей сложности: начиная с простого веб-интерфейса и работы с памятью устройства, и заканчивая фильтрацией изображений, преобразованием Хафа и нейронными сетями. Для каждого урока вы найдёте:

Недавно МТС анонсировали очередное соревнование TrueTechChamp 2025 — в нём две части — одна с типичными «алгоритмическими» задачами, другая на «программирование роботов». Участвовать можно в любой (или в обеих), но с первой всё незамысловато — а мы поговорим о второй.

«Отборочный» этап продлится ещё больше 3 недель (до 20 октября), так что любой желающий может влиться. Эта заметка расскажет, в чём собственно заключаются задачи, и с какими сложностями мы сталкиваемся — также будут замечания организационного характера. Надеюсь это поможет тем, кто также захочет поучаствовать. Ну или просто поведает о происходящем для тех, кому любопытно, но регистрироваться неохота. Можно даже погонять роботов локально, без регистрации, скачав нужные материалы.

Что с точки зрения CV-инженера, в основном обучающего модели компьютерного зрения, было интересно на конференции Я Железо 2025?

Устройство обнаруживает повреждения, заживляет их и возвращается в режим обнаружения новых.

Команда инженеров из Университета Небраски–Линкольна сделала ещё один шаг к созданию мягкой робототехники и носимых систем, которые имитируют способность кожи человека и растений обнаруживать повреждения и самостоятельно восстанавливаться.

Инженер Эрик Марквичка вместе с аспирантами Итаном Кригсом и Патриком МакМенигалом недавно представили доклад на Международной конференции IEEE по робототехнике и автоматизации (ICRA) в Атланте, где изложили системный подход к мягкой робототехнике, способной выявлять повреждения от прокола или давления, определять их местоположение и автономно инициировать самовосстановление.

Доклад вошёл в число 39 лучших из 1606 заявок и стал финалистом премии ICRA 2025 Best Paper Award. Он также был отмечен в номинациях «Лучшая студенческая работа» и «Механизмы и дизайн».

Подход команды может помочь преодолеть давнюю проблему в разработке мягкой робототехники, которая использует принципы, вдохновлённые природой.

«В нашем сообществе есть огромный интерес к тому, чтобы воспроизводить традиционные жёсткие системы с помощью мягких материалов и использовать биомимикрию, — сказал Марквичка, доцент кафедры биомедицинской инженерии имени Роберта Ф. и Мирны Л. Крон. — Мы научились создавать растяжимую электронику и мягкие актуаторы, но они редко имитируют биологию в способности реагировать на повреждения и запускать самовосстановление».

Чтобы восполнить этот пробел, команда разработала интеллектуальную самовосстанавливающуюся искусственную мышцу с многослойной архитектурой, которая позволяет системе обнаруживать и локализовать повреждения, а затем инициировать процесс саморемонта — без внешнего вмешательства.

Помните ли вы хоть одну технологию, которая обещала изменить мир и... просто исчезла?

На картинке всё смотрится красиво: концепт, прототип, ролик с драматичным саундтреком. В реальности — десятки причин, почему это не стало частью нашей повседневности: регулирование, экономика, человеческие привычки и просто здравый смысл. Что ж, давайте посмотрим, какие вещи не стали мейнстримом и почему. Детали под катом.

Роботы становятся частью реальных процессов — от производства до медицины. Поэтому создание умных машин требует быстрой разработки, высокой надежности и цифрового контроля. В этом помогает ключевая технология — виртуальный двойник. Это не просто симуляция, а точная цифровая копия реальной роботизированной системы, которая обеспечивает связь между физическим и цифровым миром. Что такое цифровой двойник и чем он полезен для создания и тестирования роботов, расскажем в этой статье.

Приветствуем, коллеги!

Вы читаете первую статью от имени издательства «БХВ» (BHV) из Санкт-Петербурга, которое наконец-то решило официально обосноваться на Хабре и попробовать систематизировать нашу работу на этой великолепной платформе, объединив рекламный контент, тизеры и спойлеры в корпблоге. Меня зовут Олег Сивченко, я тружусь в БХВ менеджером проектов в области компьютерной литературы 4+ года, одновременно работаю в редакции Хабра, где веду небесспорный, но очень интересный научно-популярный блог @OlegSivchenko и блог с IT-переводами @Sivchenko_translate Кроме меня в команде БХВ есть ещё один маститый хабровчанин, пишущий под псевдонимом Валентин Холмогоров @Holmogorov — ведущий редактор журнала «Хакер», ранее работавший в отрасли кибербеза, руководил командой технических писателей. Так что, феномен хаброблога и хабрааудитории для нас не в новинку. Далее — немного о нашем издательстве.

Привет, Хабр! Меня зовут Дмитрий Тетерюков, и я профессор Центра системного проектирования Сколтеха. Работаю на стыке ИИ и роботов — там, где алгоритмы начинают взаимодействовать с физическим миром и ведут себя «по-человечески».

В этом материале по мотивам моего доклада с True Tech Day я расскажу, как функционируют когнитивные роботы с физическим ИИ (Physical AI). Это направление, которое готовится перевернуть промышленность и стать многомиллиардным рынком. Сюда вкладываются гиганты вроде NVIDIA и Google. Physical AI — это не просто программы, а системы, которые способны мыслить, учиться и действовать в реальном мире. Разберемся, как когнитивные роботы принимают решения, какие вызовы стоят перед разработчиками и почему это самое крутое направление в ИИ прямо сейчас. Поехали!