Робототехника

Когда мы смотрим на очередное видео, где робот ловко перебирает предметы или открывает дверь, кажется, что будущее почти наступило, хотя в реальности даже самым продвинутые модели остаются талантливыми, но узкими специалистами. Их развитие упирается в сложности обучения: стоимость сборов траекторий, закрытые датасеты и портирование навыков между разными моделями. 

Я Артем Лыков, ведущий RnD-разработчик в МТС Web Services. А параллельно — аспирант в Лаборатории интеллектуальной космической робототехники Сколтеха (руководитель Дмитрий Тетерюков), где лидирую направление когнитивной робототехники. Вместе с коллегами по лаборатории мы описали способ обойтись без многомесячных записей движений и сложных симуляций, опираясь на уже существующие VLA-модели и модульный агентный подход, позволяющий генерировать будущие действия робота прямо из картинки и текста, проверять их, править, повторять и в итоге добиваться результата, сравнимого со специализированными решениями. В этом материале я разберу архитектуру PhysicalAgent, покажу, как мы реализовали цикл Perceive → Plan → Reason → Act для роботов, и расскажу, чем нам помогли открытые видеомодели и как этот подход помогает переносить навыки между разными платформами.

Keywords: Камеры в SLAM (оптика, формирование цвета, искажения, калибровка, Global and rolling shutter)

Это вторая статья из серии о Visual SLAM. Первая здесь.

Во второй части серии мы поговорим о камерах как основном сенсоре для получения данных для визуального SLAM (немного поговорим об оптике, формировании цвета, калибровке камеры и некоторых характеристиках камеры которые имеют важное значение для SLAM). В статье будет совсем немного математики. Кому интересно прошу под кат.

Useful resources:

Video lecture Perspective projection, lenses distortions

Video lecture Photometric image formation, camera lenses, depth of field

Video lecture Camera Basics and Propagation of Light

^MyLMTS

Меня всегда привлекали несколько парадоксальные устройства из техники, которые, не содержат практически ни одной детали, но, в то же время, выполняют свою функцию — по сути своей, они представляют собой идеальное техническое устройство, так как в нём идея минимизации количества компонентов (и максимизации надёжности, соответственно), доведена до абсолюта. 

И сегодня мы рассмотрим ещё одно такое интересное устройство... ;-)

Ученые из университетов Пенсильвании и Мичигана создали самых маленьких в мире автономных и программируемых роботов. Размер около 200 микрометров — примерно вдвое больше ширины человеческого волоса.  Каждый робот способен воспринимать окружающую среду, «думать» и действовать независимо, без внешних указаний. Цель технологии – отслеживать состояние отдельных клеток в нашем организме, адресно доставлять лекарства или значительно улучшить разработку микроэлектроники.

В августе 2023 года вступил в силу закон «О развитии технологических компаний в РФ», который ввёл новую категорию — «малая технологическая компания» (МТК). Под неё могут подпасть как заводы, так и ИТ-компании, создающие продукты и технологии, критически важные для обеспечения технологического суверенитета. Уже к концу 2025 года статус МТК получили более 6,4 тысяч организаций.

Наша компания занимается аналитикой для промышленности, и мы формируем большие массивы данных из открытых источников. Нам показалось интересным провести исследование именно на примере заводов, производящих электронику, специальное оборудование, новые материалы, чтобы понять: 1) какие меры поддержки работают на практике; 2) даёт ли статус МТК реальные конкурентные преимущества промышленности.

Магнит, один из ведущих ритейлеров в России, совершил тестовый рейс по новому маршруту на автономном грузовике Navio — от распределительного центра в Санкт-Петербурге до точки назначения в Зеленодольске. Часть пути проходила по новому направлению — трассе М-12 «Восток» и, с учетом возвращения в Санкт-Петербург, протяженность всего рейса с коммерческим грузом составила порядка 3000 км. Таким образом, этот круговой маршрут стал самым протяженным беспилотным логистическим коридором в России.

Конечность робота состоит из звеньев (links) и сочленений (joint / axe), которые вместе образуют кинематическую цепь. Сочленение, которое так же можно назвать суставом или осью — это подвижное соединение между звеньями.

В рамках своей научной работы в области роботехники я разрабатываю собственную визуальную SLAM-систему, реализованную полностью на языке Python без использования компилируемых C++-библиотек и сложных внешних зависимостей. Проект находится в стадии активной разработки и представляет собой промежуточный итог моего исследования. В этой статье я делюсь своим субъективным опытом разработки системы, описываю принятые решения и возникшие сложности.

(Дисклеймер: Заголовок — намеренная провокация. Но если ваша рука уже потянулась к клавиатуре, чтобы написать гневный комментарий о деградации инженерной школы — добро пожаловать под кат. Там мы разберемся, почему синяя платка из Италии победила академический снобизм и создала армию инженеров).

Представьте мир до середины нулевых. Вы — школьник, студент или просто энтузиаст, и вы хотите собрать простенького робота. Ваши действия?

Сначала нужно купить микроконтроллер (PIC или AVR). Затем найти программатор ($50–100) или паять LPT-«костыль» на коленке, рискуя сжечь порт материнской платы. Потом открыть даташит на 300 страниц на английском, чтобы понять, в какой регистр нужно «плюнуть» битом, чтобы просто зажечь светодиод. И, наконец, написать код на Ассемблере или голом Си, где ошибка в одной запятой превращает устройство в кирпич.

После публикации компании #Tesla видео с андроидом Optimus, на котором была показана скорость бега около 13,5 км/ч, пользователь X Йоаким Вискинд тегнул основателя Figure Бретта Эдкока, написав: «Ваш ход». Эдкок принял вызов, опубликовав короткий ролик. Получилось очень круто!

Всем привет! Меня зовут Максим Иванков, мне 30 лет, у меня трое детей, и вот уже 9 лет я развиваю школы робототехники и программирования по всей России. Старший сын только пошёл в первый класс, и я вижу, как школа в провинции рушится на глазах: учителя бегут из-за копеечных ставок, бюрократии и беспомощности перед хулиганами, физику и информатику ведут кто попало, а дети теряют интерес к учёбе. За годы экспериментов я создал формат, где дети идут на занятия с радостью и учатся годами. Нет лекций — только самообучение в своём темпе: собирай роботов (колонка, сигнализация, микроконтроллеры), программируй Python прямо в Minecraft.

Мы знаем множество интересных видов двигателей, которые позволяют приводить в движение разнообразные устройства и механизмы людей. 

Двигатели эти существуют абсолютно разных конструкций и типов источника приводного усилия. 

В свете сказанного, зададимся вопросом: а может ли жидкость выступать в качестве двигателя?! Вернее сказать, в качестве рабочей среды этого двигателя? 

Мы видели двигатели с электрическим приводом, видели пневматические и даже внутреннего сгорания... 

Однако, думается, что подавляющему большинству, мало знаком следующий тип двигателя, который называется «гидромотор»! :-)

Приветствую, глубокоуважаемые!

Будем стараться делать хорошо, плохо само получится (С)

Любите ли вы NMEA0183, как люблю его я? Умеете ли? Практикуете ли? Парсите ли в уме, стоя на льду водоема?

Хочу поделиться универсальным, модульным, гибким, шустрым и исключительно нетребовательным к ресурсам парсером для работы с NMEA-сообщениями в Embedded.

Под катом подготовил для вас рассказ о том, как это работает, как использовать, онлайн-демку с пошаговым выполнением алгоритма и подсветкой выполняемых веток кода, а в качестве бонуса еще один парсер NMEA, я бы даже сказал убер-парсер - но уже не для Embedded.

Студент написал сообщение в Twitter создателю 18-метрового Гандама: "Давайте сделаем настоящего меха-робота". Ответ пришёл через несколько дней. Он согласился.

Через два года стартап из девяти человек представил ARCHAX. Это не макет для выставки и не прототип. Это настоящий пилотируемый робот, который можно  купить.

Это история о том, как студент воплотил мечту поколения. И почему это важнее, чем кажется.

Научить нельзя - научиться можно. Привет, меня зовут Максим Иванков, уже 9-ый год я развиваю робототехнику и программирование для детей. В статье хотел поделиться опытом ведения занятий и описать формат обучения к которому пришёл сегодня, где дети самообучаются, а преподаватель не ведёт лекции. Подход отличается от привычного лекционного формата, поэтому как минимум заслуживает внимания)

Меня зовут Максим Иванков, 9 лет назад я открыл первую школу робототехники и программирования в небольшом городе Краснодарского края. За 9 лет занятия робототехники для детей претерпели множество изменений о чём и хотел рассказать в статье.

VLA-модели объединяют визуальное восприятие, понимание естественного языка и выполнение физических действий. Обычно они применяются для манипуляций — например, чтобы робот взял предмет или повернул рычаг. Но управление роботом, особенно летающим, это не всегда изменение состояния — иногда это перемещение его в трехмерном пространстве. 

Добавление VLA-моделей в этот сегмент робототехники может дать устройствам способность мыслить и принимать решения в условиях слабой связи или полной автономности. Такой подход особенно важен для задач, где нет права на ошибку, например в спасательных миссиях. 

Я Артем Лыков, ведущий RnD-разработчик в МТС Web Services. Параллельно работе — аспирант в лаборатории интеллектуальной космической робототехники Сколтеха (руководитель Дмитрий Тетерюков), где лидирую направление когнитивной робототехники. Сегодня расскажу, как в рамках научной работы вместе с коллегами по лаборатории мы обучили OpenVLA и создали CognitiveDrone — первую VLA-модель для летающих роботов. А также объясню, зачем мы внедрили модуль VLM и за счет чего он помог повысить качество решения когнитивных задач на 17,6%.

В ходе изучения данной стати вы узнаете: как создавать устройства на базе ардуино, как читать и применять документацию на микросхемы, как принимать стратегические решения в рамках установленной задачи, как работать с ROM памятью, как использовать доступные ресурсы максимально эффективно в установленных рамках, как собирать полезные устройства на макетке и многое другое, приятного чтения.

Задача: есть микросхема памяти ROM 27С512 емкостью 512 Кбит или 64 Кбайта, в нее нужно прошить готовый дамп размером 16 Кбайт, понадобится нам такой ROM с дампом

Что происходит глобально на слуху. Но что происходит локально менее на слуху, поэтому решил немного поресерчить тему, и заодно сделать мини-пост на Хабр. В этой статье про Татарстан / Казань, т.к как раз пока нахожусь тут, и интересно было составить "карту" куда можно пойти и чем заняться.

На производстве мебели рутинная операция — разгрузка паллет с дверными полотнами перед ламинацией. Люди устают, допускают ошибки, а неаккуратная работа ведёт к сколам и убыткам. Мы решили автоматизировать процесс с помощью робота‑манипулятора. Главная сложность: научить машину точно находить и захватывать верхнюю дверь в стопке — даже если полотна разные по форме и размеру. В статье расскажем, как справились с задачей, используя всего одну ToF‑камеру и гибридный подход: сочетание 2D‑нейросети и 3D‑обработки данных. Узнаете, почему выбрали именно ToF, как преобразуем пиксели в миллиметры и как робот достигает точности в 1–2 мм при захвате.