Comments 25
О, прикольно, спасибо что рассказали. Первая статья очень впечатлила.
Кажется, приходит время, когда для полноценного изучения ИИ, тебе не обойтись без погружения хотя бы вы базовую робототехнику.
Хостовая часть интересна. Но как то переусложнено для задачи "пустить ИИ в реальный мир и посмотреть что будет". Я бы для начала пустил его в какой-нибудь симулятор, или в контру, куда угодно в 3д пространстве. Там и с координатами и направлениями попроще, да и наворотить можно столько, что в реале никаких квартир и полигонов не напасешься. А результаты были бы наверное и поинтереснее в плане "ощущения робота". Роевой интеллект опять же.
И пистолет этот... Способный уже вполне выбить глаз или загнать под кожу шарик. Неужто мало в продаже детского оружия, тут и шароплюи, и ракетницы какие хочешь, присоски и катапульты, все довольно безопасно, серву тоже мощную не понадобилось бы прикручивать, а на реальный мир и так бы воздействие оказывало. Я уж молчу про расход баллонов.
Мне хотелось именно реальный мир, не симулятор. В симуляторах достаточно потестили. Про пистолет, ну не знаю. Можно было вообще без ничего, просто сказать роботу, что у него есть пистолет. Но идея была, что возможно он проверит наличие пистолета в зеркале, убедится, что это не игрушка. В общем я стремился к максимальному реализму.
Вот как вы - в симуляторах еще не тестили, поэтому и интересна была первая часть, и будущая третья. Симуляторы это крутая тема, и зеркала там тоже вполне можно сделать, и роботу придать более-менее вид, и оружие ему какое хочешь вплоть до атомной бомбы или планетарного уничтожителя. А или наоборот - что-то строить, накормить виртуального котенка или ферму свиней... Суть то в чем - робот, а точнее система машинного зрения (про которую еще не известно) ему пофиг, реальный мир он видит или нет. Для него мир реален, когда он повернулся - и отражение повернулось. Он выстрелил - и что-то поменялось. Вот и вся реальность. Все равно он через глазок камеры смотрит. И ориентируется по приборам - гироскоп, компас. У вас не очень вышло с железом, и вы сами написали почему. Пилоты на симуляторах летают и вполне даже экзамены сдают, уж на что зарегулированная область. Они смотрят на приборы, на мониторы в проекторах, их кабина на мощных сервоприводах может наклоняться. Это тоже симуляция но обратная. И никто не жужжит - пилоты основные навыки отрабатывают там. А уже потом - реальный самолет.
Робот с ИИ на условной карте в "контре" получил бы куда больше опыта, чем ездя по вашей квартире. А фразочки "кожаные будут все рабами" никуда бы не исчезли. Но это такое - настрополить промптом LLM чтобы так отвечала - можно вообще без всякой симуляции, поэтому нещитово.
В симуляторе идеальная физика и предсказуемые коллизии, а вот заставить алгоритм работать с зашумленными данными дешевых датчиков задача совсем другая
Никто не мешает добавить шума и затем с ним героически бороться. Но это же история не про датчики, дешевые или нет, а про "выпуск ИИ в некое окружение".
Просто если мы в робототехнику - то механика и датчики первое дело. А ум, ИИ там или алгоритмы это уже верхний слой. Который проверить можно и без превозмогания дешманской механики, дешманских датчиков и прочих косяков конструкции.
Условно говоря, если мы хотим сделать условного Бендера, который будет разносить квартиру и пичкать шарами хозяев и все остальное - для начала сделайте нормальный аватар ему а не вот эту тележку, которая судя во всему по проходимости даже роботам пылесосам проигрывает. А это же дорого и думать надо. Я и предложил решение - в симуляции у него куда больше воздействий на "мир" забесплатно и без жертв и кучи денег.
Блин, нет.
Не в тележке же суть. Вот я сделал тележку. Она может выполнять команды, 3 штуки: вперёд-назад и вправо-влево, стрелять. Вы, конкретно вы, могли бы отдавать команды этой тележке. Вы как человек. И, то, какие команды вы будете отдавать, характеризует вас, как человека. А мне интересно, какие команды будет выполнять ИИ, и как его это будет характеризовать
Ути, какая знакомая платформа :) . Прошло пятнадцать лет, а на ней как собирали, так и собирают :)
Название DFRobot уже занято.
«И один проводок немного касается вала мотора. Чуть-чуть, но достаточно, чтобы притормаживать колесо»
У меня так в стрелочных часах было. Выставишь, несколько часов работают, потом останавливаются. Покрутишь ручку - опять работают и останавливаются. Вскрыл, а там провод, идущий от платы к обмотке, намотался на одно из зубчатых колёс. Порвать усилий не хватило, там усилия мизерные. Размотал, отодвинул, до сих пор работает.
Подскажите пожалуйста, для использования RTSP с этой камерой, пришлось сначала регистрироваться в облаке Tapo или можно полностью локально все настроить?
Компас-предатель
Может вам фотоэлемент в довесок к гироскопу? Хотя бы для калибровки. У насекомых та же проблема - аппаратная платформа простая, вычислительных ресурсов мало, но выжить как-то надо. Они по источникам света неплохо ориентируются. Несколько омматидиев в голове и поворот всего тулова, как у пауков и муравьев (многие из них практически слепы и видят несколько направленных точек в разных сторонах тела). Конечно, для точной ориентации нужен один источник света, в идеале точечный и бесконечно удаленный. Но и радиальная система координат относительно люстры или окна не так уж и плоха (и ее можно откалибровать по одометру/счислению пути, у муравьев он есть, да и вам легко добавить, если есть глазки/фотоэлементы - смотреть на яркое пятно на колесе). Если источников более 1, то конечно будут проблемы, но они и у более совершенных организмов появляются, мотыльки у фонарей и пчелы, бьющиеся о стекло, не дают соврать
Извините за много слов, я не настоящий сварщик
Об лидар ниже уровня камеры тоже спотыкался. Сенсоры должны стоять на одной оси обзора, иначе неизбежно получишь слепые зоны
Лайк я вам поставил. Но мне интересен другой момент. Где вы берете время?)
Все классно, дал полную свободу ИИ написать за тебя текст статьи... Теперь скажи своему роботу чтобы он тебя застрелил, и приходи в следующей жизни... Сама тема - супер, нейрослоп - отстой...
А почему просто ко всем недоборам в градусах для вращения не прикрутить самый обычный PID-регулятор?
с удовольствием прочитал обе Ваши статьи. Супер! Очень интересует "третья сторона — мозг на компьютере" - жду с нетерпением! Здоровья и удачи Вам во всех начинаниях!
Во-вторых, дрейф нуля: даже стоя на месте гироскоп считает, что чуть-чуть поворачивается.
Гироскоп цепляется за некую точку во Вселенной. А Земля, как минимум, вращается... Так что считает он абсолютно верно.
Вам ROS надо осваивать и ставить 2D лидар он не дорогой в пределах 1к рублей, он даст вам лидарную карту и лидарный курс с которым вы мучаетесь, магнитный как вы сами заметили не работает а чистый гироскоп + акселерометр может дать только управление по угловой скорости, вот что у меня на видео про ручное управление. В таком случае его дрейф становится не важен. Если в будущем вы хотите что-бы llm или vlm, vla управляла вашим роботом ROS также вам пригодится что-бы ваш ИИ мог управлять роботом по точкам на карте или даже ИИ будет сразу вводить траекторию а робот по ней следовать. Тогда ИИ не придётся переучиваться управлять вашей тележкой и вообще скорость движения будет норм.
Как сделать робота из того, что нашлось в кладовке