ИИ научили играть в прятки, а он научился мухлевать



    Команда из OpenAI, лаборатории искусственного интеллекта в Сан-Франциско, соучредителем которой является Илон Маск, научила играть ботов в прятки. Боты также узнали, как использовать базовые элементы окружающей их виртуальной среды и как игнорирование законов физики может помочь им победить.

    В апреле команда ботов, известных как OpenAI Five, победила команду, состоящую из полупрофессиональных игроков и одного профи, в компьютерной игре DOTA2. Боуэн Бейкер из OpenAI и его коллеги хотели узнать, можно ли использовать командную динамику OpenAI Five для выработки навыков, которые однажды смогут быть полезны для людей.

    «Трудно представить, как бот DOTA выходит из игры и решает реальные проблемы», — говорит он.

    Исследователи вывели своих ботов в симулированную среду, заполненную неподвижными стенами и подвижными коробками, и оставили их играть в прятки миллионы раз. У каждого бота был свой «взгляд на мир», и они не могли напрямую общаться друг с другом.

    Сначала боты, которые должны были прятаться, просто убежали. Но вскоре они выяснили, что самым быстрым способом ввести в заблуждение ботов-ловцов было найти объекты в окружающей среде, чтобы скрыться за ними. Например, они узнали, что ящики можно использовать для блокировки дверных проемов и создания простых укрытий.

    Ловцы, в свою очередь, поняли, что они могут перелезать через стены. Затем боты обнаружили, что играть в команде — передавать объекты друг другу или сотрудничать в укрытии — это самый быстрый способ победить.

    «Как только одна команда изучает новую стратегию, это создает давление на другую команду, — говорит Бейкер. — Это действительно интересный аналог того, как люди развивались на Земле в постоянной конкуренции с другими организмами».

    Но настоящий сюрприз произошел, когда боты начали использовать баги в симуляции физики окружающей среды. Боты-ловцы обнаружили, что они могут подняться в воздух с помощью некоторых элементов среды и сверху разыскать прячущихся ботов. Вторые же поняли, что они могут избавиться от этих элементов, протолкнув их через наружные стены под определенным углом.

    Такие трюки показывают, что ИИ способен находить решения, которые люди упускают, говорит Бейкер. «Может быть, они даже смогут решить проблемы, о которых люди еще не знают».
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 30

      +3
      победила чемпионов мира среди людей в командной компьютерной игре DOTA2

      У вас очепятка в "чемпионов мира". Буквально первые два предложения из статьи по ссылке:


      полупрофессиональной командой игроков в Dota 2. Среди людей были бывшие профессионалы, комментаторы и один действующий профи

      Исправьте пожалуйста, а то доверие ко всей статье и автору как-то теряется.

        +2
        OG, являются чемпионами мира и в 2018 и в 2019, и они проиграли OpenAI в апреле 2019 со счетом 2:0.
          0

          Я пропустил эту новость, и хотел бы почитать подробности. Вы не могли бы подсказать хорошую статью по теме?


          P.S. И если есть, видео с комментариями на русском. На английском какое-то уже нашел.

            +1
            www.youtube.com/results?search_query=openai+vs+og
            Напишу свое summary, так как есть статья на хабре (https://habr.com/ru/post/419399/). После победы лагерь комментариев, разделился на 2 части: да, это победа — нет, опять не все 150 героев и вообще это не Dota. С моей точки зрения, это вполне обычная Dota, возможно в 6-8 раз упрощенная. Тупо у OpenAI не хватило денег-времени на обучение всех героев, по их оценкам это стоило бы в 10^2 раз дороже, что и так очень дорого.

            Самое интересно было позже, когда они открыли арену, где любой мог сыграть с ботами. Dota такая игра, где любую стратегию можно законтрить, что в принципе и случилось и одна полупрофессиональная команда одержала аж 9 побед подряд над ботами! После чего OpenAI быстро свернули арену и объявили, что боты побеждают 99%.

            Я думаю, мораль такова, да фактор неожиданности победил людей, но коллективный мозг людей остался непобежден, потому что люди совместными усилиями разложили ботов буквально за 2 дня. OpenAI еще предстоит доказать, что они могут обучаться достаточно быстро, быстрее, чем люди будут распознавать их стратегии и обучение должно стать гораздо дешевле, ведь люди учатся играть в Dota с 150 героями за пару лет, а не за 1 миллион компьютерных часов.
              0
              Я бы ещё отметил, что игры не были похожи на то, что обычно делают OG на турнирах.

              Может просто играли не напрягаясь, может бот их в тупик поставил, непонятно.
                0
                Думаю им не дали сыграть в OG-доту, потому что она как раз очень похожа на сверхактивную доту ботов, не зря же на TI9 все шутили, что OG натренировался с ботами и теперь их дота еще сильнее.
                Посмотрите игры, что проиграл OpenAI — это страдания людей до 40 минуты и выход в late game, игра от обороны 40 минут не сильная сторона OG.
                  0
                  Ограниченный пик сильно влияет. Когда на героев тупо нет контрпика — это не та игра, это не дота =)
                    0
                    Да ладно был там контрпик, просто не было сигнатурных героев OG :)
                0

                За собственный комментарий — отдельное спасибо!


                Как-то так получилось, что ваша ссылка на статью — про ту же самую полупрофессиональную команду, не про OG.

          0
          Уважаемый ads83 прав, с чемпионами OG OpenAI Five играла в другой раз. Спасибо за вашу внимательность, исправлено.
          +5
          Такие трюки показывают, что ИИ способен находить решения, которые люди упускают, говорит Бейкер.

          Вроде как в Counter Strike люди играют так же используя баги карт и выпрыгивая за пределы карт.
          Также есть отдельное направление в speedrun которое позволяет использовать баги игр.
          Не вижу ничего нового что изобрели боты.
            +1
            В соревновательном CS любые способы просмотра сквозь текстуры считаются нарушением правил, и подобное фиксится ASAP. Аналогично с выходом за пределы карт, хотя надо понимать, что периметр глухой. Вот залезть на какую-нибудь коробку хитрым способом нарушением не будет.
              0
              просмотр да, а вот тонкий расчет и прострел, никогда не считались читерством, так же как с коробками, хотя фактически это можно считать тоже багом/фичей (нет особой разницы, потому что как говорится — баг это хорошо задокументированная фича) игры, потому что в реальной жизни такой фокус в большинстве случаев не прокатит.
                0
                с чего бы прострел коробки в реальной жизни не катит?
                  0
                  Ну там ведь не только прострел коробок, я давно уже не играю, но в старых версиях (по которым и могу судить) там можно было через огромные бетонные стены только так прошибать)
                    0
                    а насколько именно толстые бетонные стены? Лёгкий гугл говорит, что оружие используемое во второй мировой войне вполне пробивало до 40см…
                      0
                      А еще легкий гугл говорит о том, что пробивание любого очень прочного предмета, в большинстве случаев сильно уменьшит поражающую способность пули, и цель стоящая за бетонной стеной, скорее либо не получит вообще никаких повреждений либо они будут незначительны. В любом случае, тема мне кажется недостойной дальнейшей дискуссии, т.к. проверить и что то доказать, лично у меня возможности нет)
                      Тем не менее, это не отрицает мою версию, пока кто то не докажет обратного)
            0
            В интересное время мы живем господа.
              +10
              Делается вид, что ИИ чё-то там нашел. Хотя правильнее было бы «наткнулся». После миллиона попыток тупого перебора и человек бы наткнулся на эти баги.
              Вернее «баги» в данном случае они с точки зрения реализаторов, с точки зрения «ИИ» — это вполне себе часть мира. Потому что разницы между багом и запланированной фичей для такого «ИИ» — нет.
                +4
                Вот может и у нас весь квант.мех. это баги при работе со сверхмалыми числами.
                  0
                  После миллиона попыток тупого перебора и человек бы наткнулся на эти баги.

                  Перед тем, как человек смог наткнуться, у него были миллиарды попыток для совершенствования своего механизма «интеллектуального перебора».
                  Статья конечно не содержит полезную техническую информацию, чтобы понять что именно сделал АИ, и насколько дешевле было бы это сделать программистам, но суть текущего исследования АИ в том и заключается — как запрограммировать базу, чтобы АИ доделал остальное сам.
                    +1
                    «Делается вид, что ИИ чё-то там нашел. Хотя правильнее было бы «наткнулся».»

                    — Эволюция слепа, и даже не обладает разумом, но термин «эволюционный поиск» всё же существует и описывает вполне себе объективную реальность.

                    В принципе не столь уж и важна терминология — задумка достойна внимания и возможно скоро войдёт в нашу жизнь. Обучение нейросетей и МИ в виртуальной среде может многократно ускорить эволюцию этих технологий.
                    +1

                    Прочёл статью, из всего что написано понял только то что людям нужно научиться пропихивают предметы сквозь стены. Почему так много желтухи и так мало подробностей о том как учились боты, как всё это моделировалось?

                      +1
                      Поверьте, желтухи тут нисколько. Просто все, вот просто все новости написанные про вещи, которые выходят за рамки бытовухи — они вот так и устроены.

                      Мем про изнасилованного журналиста — он не на пустом месте возник. Журналисты просто иначе не умеют.
                      +1
                      Логично, ведь машинное обучение, как и эволюция — это сильно оптимизированный брутфорс.
                        0
                        «оптимизированный брутфорс» — точно сказано, но всё равно посмотрите видео. Ловко и разумно действуют эти боты. Если такое сложное поведение смогли сформировать перебором, то это потрясающе.


                        0
                        Прикольно. А ведь можно так и программы тестировать… Боту ведь все равно, учится через стены прыгать, или вываливать форму по эксепшену
                          +1
                          А смысл? В любой программе размером больше сотни строк (ну хорошо — тысячи, может быть) обычные фаззеры, без всякого искусственного интеллекта, находят столько ошибок, что никто не знает что с этим делать.

                          Ну пофигу всем, никому не интересны программы без ошибок, на самом деле. Интересны дешёвые программы… ну а если они будут без ошибок, то это хорошо, конечно, но главного требования никто не отменял…
                            0
                            А если программу научить метапрограммированию? Чтобы она переписывала свой код по ходу игры/эволюции. Чтобы была самая настоящая эволюция, по принципу — чем хуже приспособлен, тем быстрее тебя выпилят соседние боты.

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                        Самое читаемое