Приветствую всех читателей Хабра! Сегодня я хочу поделиться своим опытом запуска YOLACT на edge-устройстве RockChip. Несмотря на то, что процесс занял больше времени, чем я ожидал, я решил поделиться с вами своими наработками, чтобы помочь другим разработчикам, которые могут столкнуться с той же задачей. В конце концов я нашёл способ запуска yolact, который позволил достичь высокой производительности и качества модели. Надеюсь, что мой опыт будет полезен для вас и поможет вам избежать ошибок, которые я совершил. Приятного чтения!
Робототехника
Роботы, роботы, роботы
Управление сервоприводами, часть 2. Управляем сервоприводами с помощью серво-контроллера через USB любых компьютеров
В первой статье серии про сервоприводы с названием Сервоприводы: устройство и управление мы рассказывали о том, для чего нужны сервоприводы, как они устроены, и как ими управлять с помощью ШИМ, приведены характеристики некоторых популярных сервоприводов. Мы написали программу на Python для Repka Pi, позволяющую выполнять необходимые операции над сервоприводами с удержанием угла, а также с сервоприводами постоянного вращения.
С помощью этой, второй статьи серии, вы научитесь пользоваться 16-канальным ШИМ-контроллером Robointellect Controller 001. Данный контроллер создан на базе микросхемы PCA9685 и предназначен для управления различными исполнительными устройствами, использующими ШИМ-модуляцию:
Предтеча ИИ и робототехники: автоматоны нашей эры и немного других механических устройств
Это третья часть материала, посвященная развитию технологий, предшествующих созданию ИИ и развитию робототехники. Ранее мы говорили об автоматонах, созданных до нашей эры. В этой части мы расскажем об автоматонах, устройствах и протоандроидах, созданных в нашей эре до ХХ века. Почему до ХХ века? В силу того, что всего за 100 лет человечество от паровых котлов и единичной электрификации перешло к электрификации и компьютеризации большей части мира, а устройства размером с трехэтажный дом превратились в карманные переносные коробочки с быстрыми каналами связи и доступом к большим объемам разной информации. И условно каждые 15-20 лет ХХ века создавались технологические изобретения, дающие огромный толчок к развитию науки.
Вообще ХХ век можно разделить на несколько частей:
Обследование рельефа острова Валаам нашим подводным роботом
Рассказываем про наш опыт использования собственного подводного робота "Трионикс-4М" для обследования подводного рельефа острова Валаам.
Скажем пару слов о себе, о робототехнике и подводной навигации.
Много фотографий и ссылка на видео с подводными кадрами.
Истории
Система автоматической разгрузки и загрузки дрона (Часть 3 — замок и итог)
Проблема разгрузки и загрузки грузов на дрон без участия человека - это основная проблема автоматизации доставки грузов с помощью дронов. Ключевой этап доставки, который требует присутствия человека, заключается в процессе физической загрузки и разгрузки грузов на дрон. Но у нас есть решение!
В данной статье мы разберём, подробнее механизм захвата и подведём итог по работе всей конструкции.
Третья и заключительная публикация на тему Система автоматической разгрузки и загрузки дрона (Часть 1 — конструкция) / Хабр (habr.com)
Предтеча ИИ и андроидов. Часть 2: протоандроиды и автоматоны до нашей эры
Продолжаем исследовать тему исторических предпосылках создания нейросетей и ИИ. От мифов переходим уже к чему-то более осязаемому, а именно — к первым автоматонам. Автоматон (восходит к др.-греч. αὐτόματον, ср. форма αὐτόματος «самодвижущийся», «самопроизвольный») — кукла с механическим приводом, выполняющая действия по заданной программе. Сам термин был введён только в XX веке чешским писателем Карелом Чапеком. В этой части рассмотрим истории о первых автоматах и первых роботоподобных устройствах, имеющих реальную или, как минимум, теоретическую реализацию. Для своего времени это были одни из самых инновационных решений, такие же как создание ChatGPT или Mijorney сегодня.
Управление сервоприводами, ЧАСТЬ 1. Сервоприводы — устройство и способы управления
Создателям роботов и систем автоматизации не обойтись без таких устройств, как сервоприводы или, как их еще называют, сервомоторы.
Обычные электрические моторы непрерывно вращают вал в одну или в другую сторону. Вы можете управлять скоростью вращения такого электромотора, изменяя частоту и напряжение (для моторов переменного тока) или модулируя ширину управляющих импульсов (для моторов, рассчитанных на питание постоянным током).
Однако если вам нужно повернуть вал двигателя на заданный угол или поддерживать вращение с заданной скоростью, то здесь пригодятся сервоприводы.
Это первая статья серии статей про сервоприводы. Из нее вы узнаете, как устроены эти устройства, какими они бывают, как ими можно управлять с помощью импульсных генераторов, а также через отечественный микрокомпьютер Repka Pi.
Другие статьи серии про сервоприводы вы найдете здесь:
Лето с AIRI. Как мы съездили на летнюю школу по искусственному интеллекту
Меня зовут Зоя Воловикова, и я рада приветствовать вас! Я работаю в центре когнитивного моделирования МФТИ. Мои научные интересы разнообразны, но в последнее время меня особенно увлекает обучение с подкреплением.
Я убеждена, что взаимодействие различных научных областей может привести к неожиданным и прорывным открытиям. Эта точка зрения уже не первый год мотивирует меня ехать на летнюю школу, которую проводит Институт искусственного интеллекта AIRI. На ней профессионалы из различных областей делятся своими результатами, а также предоставляют возможность попробовать что-то новое под их руководством. Такой опыт, несомненно, помогает приобрести новые знания и навыки.
Сегодня я хочу поделиться своими впечатлениями и впечатлениями моих друзей из МИСиСа, Льва Новицкого и Арсения Иванова, о том, как в этом году прошла летняя школа AIRI.
Автоматическая моталка для пряжи
Вы когда-нибудь задумывались почему пряжа, из которой вяжут свитера и носки, хранится в клубках? Что это за формация такая... клубок? А кто эти клубки крутит и каким образом?
Сегодня расскажу о процессе создания домашнего станочка для перемотки пряжи в клубки.
И имя нам легион…
В предыдущей статье мы познакомились с одним из представителей семейства «алгоритмов жука». Они прекрасно подходят для реализации функций передвижения относительно простых автономных мобильных устройств, оборудованных спартанским набором сенсорных датчиков. Однако не всё, что человек хотел бы переложить на хрупкие плечи бездушных железяк, реализуемо такими одиночными простейшими устройствами. И фантастическая литература, и научные изыскания твёрдо уверяют нас в перспективности роевых моделей для реализации сколь-нибудь сложных функциональностей.
Массивное распараллеливание и разделение общих задач, обеспечиваемое совместной работой простых механизмов, намного эффективнее и экономичнее использования одного более сложного. По этому поводу со времён товарища Форда ни у кого вопросов не возникает. А если посмотреть соревнования F1, то там это кажется настолько органичным, что будто по-другому и нельзя.
Важным аспектом роевых моделей является то, что управление по определению децентрализовано и распределено между членами роя, что также повышает надёжность и отказоустойчивость всей системы. Помимо этого, немаловажными качественными характеристиками таких систем являются их гибкость и масштабируемость.
Buran Motion Planning Framework
Привет, Хабр!
В данной статье сделан обзор на фреймворк планирования движения BMPF.
На данный момент подавляющее большинство средств планирования движения работает по одному и тому же принципу: вся сцена описывается как один робот, после чего выполняется планирование на сетке (чаще всего A*, подробнее можно прочитать здесь).
У такого подхода есть две основных проблемы:
1) планирование на сетке гарантирует допустимость только состояний в её узлах, промежуточные никак не оцениваются и не проверяются.
2) для сцены из нескольких роботов размерность пространства планирования получается слишком большой (алгоритмическая сложность планирования растёт как показательная функция).
Данный фреймворк решает обе озвученные проблемы. С документацией фреймворка можно ознакомиться здесь.
Система автоматической разгрузки и загрузки дрона (Часть 2 — автопилот)
Проблема разгрузки и загрузки грузов на дрон без участия человека - это основная проблема автоматизации доставки грузов с помощью дронов. Ключевой этап доставки, который требует присутствия человека, заключается в процессе физической загрузки и разгрузки грузов на дрон. Но у нас есть решение!
Вторая публикация на тему Система автоматической разгрузки и загрузки дрона (Часть 1 — конструкция) / Хабр (habr.com)
Система автоматической разгрузки и загрузки дрона (Часть 1 — конструкция)
Проблема разгрузки и загрузки грузов на дрон без участия человека - это основная проблема автоматизации доставки грузов с помощью дронов. Ключевой этап доставки, который требует присутствия человека, заключается в процессе физической загрузки и разгрузки грузов на дрон. Но у нас есть решение!
Ближайшие события
Вкалывают роботы, счастлив космонавт: команда роботов ANYmal способна изучать планеты и спутники вместо людей
Марсоходы сделали множество интересных открытий. Нельзя забывать и о летательном аппарате Ingenuity, который значительно превысил запланированный учеными срок службы на Марсе. Что касается последнего, то уже сейчас разрабатываются более совершенные устройства, которые будут летать в атмосфере Марса, Титана, и, возможно, других планет и спутников Солнечной системы.
А вот ситуация с роверами несколько отличается. Дело в том, что у них есть один существенный недостаток — колесная система. Осколки горных пород, выступы нередко повреждают колеса, в результате чего те постепенно изнашиваются. Решением этой проблемы может быть разработка клонов роботов-собак от Boston Dynamics. Причем это будут «исследовательские тройки», состоящие из систем с разными возможностями и функциональностью. Прототипы роботов готовы уже сейчас, и они проходят испытания. Подробности — под катом.
Реализация WebRTC в Node JS. Передача видео с Raspberry PI до Web
У меня была задача - передача видео с минимальной задержкой с Raspberry Pi до веб-интерфейса моего робота. Причем необходима была реализация на Node JS.
В этой статье я расскажу как можно реализовать стриминг с Raspberry Pi до веб-страницы используя WebRTC и Node JS.
Машинное зрение для контроля горнодобывающей техники
Привет, Хабр! Меня зовут Владимир Лебедев, я руковожу группой разработки департамента горнодобывающих решений компании «Рексофт».
На Хабре есть много полезных материалов на тему применения машинного зрения в промышленности. Я покажу вам перспективы использования этой технологии на карьерной технике и расскажу, куда копаем (извините за каламбур). В этой статье опишу, как с помощью нейронки можно считать циклы погрузки на фронтальных погрузчиках. Поехали!
Синтез обучения с подкреплением и классического планирования: как выиграть соревнование CVPR Habitat Challenge 2023
Всем привет! Меня зовут Алексей Староверов, работаю научным сотрудником в AIRI и в составе нашей команды (вместе с Кириллом Муравьевым, Татьяной Земсковой, Дмитрием Юдиным и Александром Пановым) мы выиграли соревнование Habitat Challenge, которое проводилось в рамках крупнейшей конференции по компьютерному зрению CVPR 2023. Мы смогли эффективнее других команд научить робота навигироваться до целевых объектов в новых помещениях с использованием только RGB-D камеры, датчика GPS и компаса. Сейчас это является очень важной задачей при создании роботов-помощников, выполняющих задачи по инструкциям на естественном языке. В этой заметке я расскажу, как это у нас получилось.
Когда беспилотные автомобили будут в нашем городе и почему их нет сейчас?
Всем привет, меня зовут Максим Гусев!
Я руководитель проекта в компании по разработке автономного транспорта, а так же студент ATU, Ирландия по Автономным ТС (магистерская степень).
Хочу рассказать Вам, почему роботы, беспилотники и любой автономный транспорт ещё не бороздят наши улицы и не вошли в нашу жизнь, но мы чаще и чаще начинаем он них слышать.
В 2022 году технология автономных наземных транспортных средств совершила скачок. Полномасштабные испытания коммерческого беспилотного такси стартовали в двух регионах Соединенных Штатов Америки и планируется начать в третьем. В данной статье рассмотрены основные препятствия в технических, социальных и правовых аспектах для автономных наземных транспортных средств на конец 2022 года. Барьеры были рассмотрены в связи с Целями устойчивого развития UN17 и их влиянием на потенциальное влияние на достижение этих целей. Периодические комплексные оценки технологии, барьеров и самого рынка позволяли увидеть текущую ситуацию на рынке и увидеть, как из года в год менялись барьеры. Понимание этих барьеров позволило снизить социальное недоверие и повысить осведомленность о преимуществах для потенциальных будущих клиентов, а также снизить влияние социологических барьеров.
Определение местоположения в Беспилотных автомобилиях (localization)
Всем привет, меня зовут Максим Гусев!
Я руководитель проекта в компании по разработке автономного транспорта, а так же студент ATU, Ирландия по Автономным ТС (магистерская степень). Хочу рассказать Вам, как роботы, беспилотники и любой автономный транспорт определяет где именно он находится в текущий момент времени.
Что внутри статьи?
• Раздел I - введение и что сейчас происходит на рынке?
• Раздел II - локализации на основе GNSS/GPS + Dead Reckoning.
• Раздел III - локализация на основе среды (HD карты и 3 основных паттерна связанных с компьютерным зрением)
• Разделе IV - современные концепции локализации.
• Раздел V - итоги текущего состояния локализации.
Умная белая трость. Часть 1
В статье рассматриваются вопросы, касающиеся разработки устройство навигации для незрячих. Материал представлен в двух частях. В первой части приведены технический обзор последних коммерческих и экспериментальных разработок. Во второй части речь пойдет уже о моих разработках.
По данным Международного агентства по профилактике слепоты, сегодня примерно 284 миллиона жителей Земли имеют те или иные нарушения зрения, около 39 миллионов из них полностью его лишены.
Вклад авторов
-
Zelenyikot 9179.0 -
marks 9027.2 -
alizar 5930.2 -
ivansychev 1558.4 -
jeston 879.4 -
OlgaGanz 639.0 -
Kamalesh 635.0 -
webzuweb 608.0 -
chernogorov_andrey 543.0 -
ut7ud 461.0