Робот TIAGo научился приносить 20 видов пива из холодильника


    Робот распознаёт нужный сорт пива среди 20-ти образцов

    Один из участников конкурса ИИ-систем Nvidia Jetson Challenge нашёл неординарное применение системе Искусственного Интеллекта. В то время как другие участники пытались применить машинное зрение в системах здравоохранения, безопасности, промышленных системах IoT и инновационных решениях робототехники, немецкие разработчики научили своего робота PAL Robotics TIAGo… приносить пиво из холодильника!

    Свободный робот TIAGo («свободный» не в смысле свободы воли, а в смысле открытого программного обеспечения и опубликованного дизайна некоторых комплектующих для самостоятельного изготовления и сборки) от испанской компании PAL Robotics — это сервисный робот, предназначенный для обслуживания людей внутри помещений. Программное обеспечение создано на стандартном открытом фреймворке Robot Operating System (ROS), так что эта модель идеальна для различных исследований и экспериментов в области робототехники.

    Для TIAGo доступна подробная документация, в том числе инструкции по работе OpenCV, PCL, автономной навигации, MoveIt! и системы взаимодействия с людьми. Есть готовый симулятор Gazebo для быстрого тестирования алгоритмов, проектирования робота, регрессионного тестирования и обучения систем машинного зрения на реалистичных сценариях.

    Группа немецких студентов-программистов — Рафаэль Мемесхаймер (тим-лидер), Лукас Буххольд (семантическая сегментация) и Иванна Михальчишина (манипулирование) — подключили к роботу TIAGo модульный компьютер Nvidia Jetson TX2, специально сконструированный для обсчёта задач ИИ, в том числе машинного зрения.


    Nvidia Jetson TX2. Фото: Nvidia

    Jetson TX2 — энергоэффективный встроенный модуль для быстрых ИИ-вычислений, построенный на архитектуре Pascal. Благодаря миниатюрному форм-фактору, низкому энергопотреблению 7,5 Вт он отлично подходит для роботов, дронов, мультикоптеров, умных камер и портативных медицинских устройств, считает производитель. Модуль оборудован 8 ГБ оперативной памяти, с пропускной способностью шины памяти 59,7 ГБ/с. Для справки, вот технические характеристики Jetson TX2, а также более дешёвого модуля Jetson TX1 прошлого поколения на архитектуре Maxwell.

      Jetson TX2 Jetson TX1
    GPU NVIDIA Pascal, 256 ядер CUDA NVIDIA Maxwell, 256 ядер CUDA
    CPU HMP Dual Denver 2/2 MB L2 +
    Quad ARM A57/2 MB L2
    Quad ARM A57/2 MB L2
    Видео 4K x 2K 60 Гц кодирование (HEVC)
    4K x 2K 60 Гц декодирование (12 бит)
    4K x 2K 30 Гц (HEVC)
    4K x 2K 60 Гц декодирование (10 бит)
    Память 8 ГБ 128 бит LPDDR4
    59.7 GB/s
    4 ГБ 64 бит LPDDR4
    25.6 GB/s
    Дисплей 2x DSI, 2x DP 1.2 / HDMI 2.0 / eDP 1.4 2x DSI, 1x eDP 1.4 / DP 1.2 / HDMI
    CSI До 6 камер (две линии)
    CSI2 D-PHY 1.2 (2,5 Гбита/с на линию)
    До 6 камер (две линии)
    CSI2 D-PHY 1.1 (1,5 Гбита/с на линию)
    PCIE Gen 2 | 1x4 + 1x1 OR 2x1 + 1x2 Gen 2 | 1x4 + 1x1
    Накопитель 32 ГБ eMMC, SDIO, SATA 16 ГБ eMMC, SDIO, SATA
    Другое CAN, UART, SPI, I2C, I2S, GPIOs UART, SPI, I2C, I2S, GPIOs
    USB USB 3.0 + USB 2.0
    Связь 1 Gigabit Ethernet, 802.11ac WLAN, Bluetooth
    Размеры и механика 50×87 мм (400-пиновый коннектор для соединения плат)

    Эти игрушки стоят $499 и $344, а в комплекте с dev-китом ещё дороже (для учебных заведений США и Канады скидка в размере $300).

    Так вот, на базе робота TIAGo и модуля Jetson TX2 немецкие студенты разработали программу автономного управления, которая находит путь к холодильнику, открывает дверцу,



    распознаёт пиво с помощью нейросети семантической сегментации HomeNet (исходный код),



    захватывает его манипулятором,



    закрывает дверцу



    и везёт пиво хозяйке.


    Теперь студенты всерьёз рассчитывают получить один из призов на конкурсе — $10 000, видеокарту NVIDIA TITAN Xp, набор разработчика Jetson TX2 или бесплатный курс в Институте глубинного обучения (Deep Learning Institute). Финалистам конкурса также оплатят билеты на GTC 2018 (GPU Technology Conference) — конференцию по GPU-инновациям и Искусственному Интеллекту, которая пройдёт 25-29 марта в Калифорнии.
    Поделиться публикацией
    Ой, у вас баннер убежал!

    Ну. И что?
    Реклама
    Комментарии 23
    • 0
      Какой интересный робот-опохмелятор. У него как с зарядом?
      • 0
        Если бы сюда еще систему заряда как у Бендера из Футурамы, то все было бы отлично!
        Да и название робот-опохмелятор было бы оправдано в двойне.
        • 0
          Насчет заряда не уверен, но компанию составить может :)
          Робот собутыльник

      • 0
        Следующий логичный этап — озаботиться автоматизацией пополнения запасов в холодильнике.
        • 0
          Решение уже найдено: В гостях у соседа (Виктор Голявкин). Главное — не переборщить.
          • 0
            «What's my purpose?»
            • 0
              Его только за смертью посылать! Но направление разработки переспективное, конечно.
              • 0
                чем дольше пивко в холодильнике, тем оно прохладней.
              • 0
                -Доброе утро, мистер Старк! Я принес вам пиво!
                -Это не то! Разберу, и отдам в институт на опыты!
                • 0
                  Осталось научить его майнить и можно будет продавливать диван спокойно.
                  • 0
                    "- Я вижу вас насквозь, — холодно заметил робот. — Понимаю, вы подавлены
                    моей красотой и обаянием моего голоса — такой, потрясающий тембр! Вы
                    притворяетесь, будто я вам не нужен, надеясь заполучить меня по дешевке. Не
                    стоит, я ведь сказал, что не заинтересован."

                    Генри Каттнер, «Робот-зазнайка»
                    • 0
                      Фантастика постепенно претворяется в жизнь
                    • +2
                      Вот я не впечатлен. Банки расставлены свободно не заставлены вчерашним супом и котлетами с вареньем, вертикально, еще и этикетками к двери, имхо так себе достижение… Лица распознают, а уж банку по этикетке… Но как для меня, пока самый полезный робот=)
                      • 0
                        Вспоминая холодильник в семье из 4х человек — бывает что в холодильнике сходу кастрюлю можно не найти, а уж бутылку пива, да ещё и нужного — тем более… Куда уж тут роботу…
                        Кстати — если уж учитывать, что банки\бутылки с пивом могут стоять не только этикеткой вперёд — вполне себе можно было сделать поиск и распознавание штрихкода, ну а заодно дополнить робота возможностью найденные бутылки поворачивать…
                        • 0
                          Это истинно немецкий холодильник. Продукты в нем не могут расставляться как попало, только в строгом порядке, этикетками вперед. В нем не бывает просроченного пива или пустых бутылок. И люди не отягощены проблемой выбора своей нормы алгоколя в зависимости от времени суток и планов на завтра. Разработчики еще слишком молоды, чтобы настолько устать от неполноценности бытия и учесть возможные отклонения от привычной немецкого нормы.
                          Но ИИ предполагает обучение, и поместив робота в условия российской действительности, он
                          в принципе должен научится выбирать не только подходящий случаю сорт пива, но и проверять его на свежеть и коррелировать количество выпитого с состоянием выпивающего.
                          • 0
                            Действительно, ИИ способен к обучению, но тогда возникают риски, что он начнет привозить пустые бутылки, так как поймет что данный продукт лучше употребить самому чем кому-то подносить) И мы получим первые попытки ИИ к самоопределению и отрицанию зависимости от создателя…
                            • 0
                              А может он из благих побуждений будет выливать алкоголь и приносить пустые бутылки, чтобы не навредить человеку? Законы Азимова должны же действовать:) Кстати, как с моральной точки этот опыт сочетается: робот, не навреди человеку.
                        • 0
                          Наверное, было бы проще и быстрее поворачивать банку(бутылку) и сканировать штрих код.
                          • 0
                            Хм. А если научить его алгоритму «увидел бутылку — достал — сфотографировал — загуглил по картинке», то по идее он много чего сможет приносить? И не только бутылки)) Обучаться быстрее будет тоже, под каждого пользователя.
                            • 0
                              Робот, которого мы заслужили :)
                              • 0
                                «Да если бы у меня был такой кот, я бы может и жениться не стал», — © Простоквашино, ой — не кот, а робот ;)
                                • 0
                                  Блииин, я для этого дела ребёнка завёл. Поторопился похоже.
                                  • 0
                                    карликовый дворецкий?
                                    — Ты совсем не интересуешься нашим сыном, чем он увлекается, как у него дела в школе.
                                    — Так погоди, то есть тот парень, которому я даю денег, чтобы он ходил за пивом во время футбола — это не карликовый дворецкий?

                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                  Самое читаемое