Комментарии 24
роборука-воловиц.жпг
я думал вы и правда делаете роборуку типа такой https://disk.yandex.ru/i/WGRW-w8YrfR3NA, а вы только камеры прикрутили к руке ну и софта дописали, а руку купили.
Если сотрудник Яндекса видит отвертку, то у него из рук выпадает смузи. О какой роборуке речь.
Рук готовых наделано полно, зачем заново изобретать лисапет? А вот мозга для них нормального как не было, так и нет - этим люди и занимаются. А не "только камеры прикрутили"
А почему на всех ваших видео представлено изделие от американской компании Universal Robots ? Оно и без ваших потуг много чего умеет, в том числе и в части ИИ. И я уверен, что Яндексу до UR как на карачках до Пекина. Печально что в Яндыксе Youtube заблокировали, так бы Вы сами убедились.
на втором видео у вас хват почему-то (имхо) хуже, чем на первом, от того и бутылка выпала. Пальцы сходятся не параллельно, а под углом. Был бы хват как из первого видео - не выпала бы. Я не прав?
И вообще, кмк, вы экспериментируете с грубоватыми хватами. Есть, например, гибкие, трёх-четырёхпалые, они не лучше?
К сожалению, универсальных захватов не существует пока, человеческая рука все еще превосходит на порядок все что имеется на рынке. На последнем видео был экспереметальный захват, сейчас мы от него уже отказались, научились контролировать силу на захвате роботик. Гибкие, трехпалый и тд - много вариантов, что-то будем проверять, но у всех у них есть свои подводные камены. Гибкие - будет легко мультипикать, там сложно контролировать мелкую моторику и точность. Трехпалый - больше степеней свободы, сложнее телеопить.
Человекоподобных рук делалось уже не мало.
http://robotosha.ru/robotics/robot-hand-replace-human-hand.html
https://intorobotics.com/overview-of-advanced-humanoid-robotic-hands/
Конечно, они сложнее, но и возможностей у них больше. И заменить человеческую руку по мере обучения они смогут. Ваши клещи - конечно нет. Если вы взялись делать серьёзную разработку и хотите достичь высоких результатов, по-моему, надо сразу брать хват, имеющий перспективы, а не тратить время на то, что заведомо не тянет.
Дополнительный бонус - командовать и учить такую руку можно в командной перчатке на человеческой руке
Что скажете насчет этого решения? Они утверждают, что достаточно 50 примеров, чтоб обучить робота. Плюс, имея всякие Vision LLM, SAM можно уже просто голосом давать команду. В эту сторону не копали еще?
Конкретно это решение не видел, выглядит как то, с чего можно начать, очень похоже на Алоху
50 примеров - для обучения с нуля на картинках, выглядит маловероятно для реальных задач. Т.е. например чтобы хватать лимончик с ненулевым SR из черной корзины в одном и том же окружении - вполне возможно. Но поменять лимночик на банан или корзину или стены - и все скорее всего сломается.
Давать команды голосом - не факт что это нужно прямо сейчас, но это то к чему все придут рано или поздно.
VLM и SAM использовать как претрейн - хороший план
я думал над этой проблемой и пришел к мысли, что начинать надо с выбора правильной архитектуры мозга робота. Следует максимально быстро повторить путь эволюции живых существ в плане моделирования всей иерархии зон мозга, начиная с рептильной (инстинкты, выживание), лимбической (чувства, эмоции) и заканчивая неокортексом (сознание, интеллект). Это похоже на организацию слоев трансформеров нейросетей. Инстинкты скорее всего можно описать в виде базовых принципов или правил простейших автоматов, а вот эмоции следует реализовать как совершенно новую нейромодель, подсмотрев реализацию сложных компьютерных игр с искусственным интеллектом. Ключевую роль в создании такой системы окажет: эволюционное моделирование, передовые движки симуляции физики, обучение с подкреплением и имитационное тестирование в ROS 2, Gazebo. Я с удовольствием пересекся бы автором статьи для развития обсуждения данного вопроса.
Можете сравнить с этим решением ? :
Посмотрел видео с лего и так и представил ситуацию, как уже давно внедрённая роборука случайно рвёт пакет с лего, вспоминает древние датасеты и начинает собирать домик...
Реально ли попасть в отдел робототехники, если ты обычный программист (хотя и с соответствующей вышкой), но физика/начала электроники - только школьная/вузовская теория, без практики? И вообще ты девочка XD Да, я понимаю, надо для начала хоть раз паяльник в руки взять... XD
Окей. Вы играетесь с МL и манипуляторами. Встает базовый вопрос … зачем? Вы пытаетесь решить задачу bin picking с помощью 3д вижина (Интел реал сенс) что бы чего достичь?
Есть готовые решения для Бин пикинга с ценой порядка 15-25к евро, есть куча компаний которые готовы взять 3д сканер профиля и на математику натянуть распознавание детели и ее пикинг.
Идем дальше зачем? Что бы что? В реальном индастриале решение которое потребует Бин пикинг не встречается почти никогда. Есть куча более выгодных по цене хардварных решений, которые стабилизируются технологический процесс и сделают его предсказуемым на 100%. Вы же (только между нами девочками) потратили десятки миллионов рублей что бы что? Понять что ваши лабораторные испытания придут к тому что:
А: они не применимы в принципе,
Б: интеграция в реальный кейс будет стоить столько, сколько ни один реальный заказчик не заплатит, с учетом что вам Точно придется зарабатывать даже готовое решение под реальный проект на протяжении минимум года.
В: Окей у вас так или иначе есть процент правильного распознавания, пусть даже 99% как ловить оставшийся процент и как верифицировать корректность вашего решения?
Как мы в Яндексе делаем роборуку с искусственным интеллектом