DeepMind не остановить: ИИ теперь умеет играть в Quake III Arena



    Компания DeepMind, бывшая некогда подразделением корпорации Google, занимается разработкой ИИ (слабой его формы) для различных целей. Сейчас команда DeepMind активно участвует в создании разных форм ИИ, заточенных для игр, как логических, настольных, так и шутеров. Игр много — это и го, и StarCraft, а теперь — и Quake III Arena.

    Разработчики заявили в своем блоге о том, что они обучили систему ИИ играть в Quake III Arena примерно так, как это делает человек. То есть компьютерная система научилась адаптироваться к быстро изменяющимся условиям игры, включая переключение уровней и их элементов. Традиционно, при обучении использовалась система с подкреплением.

    В ходе такого вида обучения компьютер получает награду или штраф в зависимости от того, успешно идет прохождение или нет. Обычно проблема компьютера в том, что он не может приспособиться к изменившимся условиям достаточно оперативно — так, как это делает человек. Несмотря на то, что нейросети уже давно умеют учиться на собственных ошибках, компьютерные игры сложны для них, если системе неизвестны изначальные условия.

    Систему обучали играть в режиме Capture The Flag. В этом случае игрок должен пытаться захватить флаг соперника, но ни в коем случае не дать захватить собственный. Если какая-либо из команд сможет в течении пяти минут захватить и удержать флаг соперника максимальное количество раз, то такая команда служит победительницей.

    Для того, чтобы не дать ИИ просто вызубрить особенности уровня, включая расположение комнат, зданий и т.п., нейросеть каждый раз заставляли играть на новом уровне. В этом случае ИИ развивал собственную стратегию игры без «зубрежки». Компьютер наблюдал за действиями других игроков, изучал «географию» левела и действовал соответственно ситуации.

    Причем разработчики из Deepmind обучали ИИ играть целой командой, которая состоит из разных агентов. Вся система получила название For The Win (FTW).

    Так вот, For The Win (FTW) научился управлять своей командой, координируя и направляя действия каждого агента. Задача, как и говорилось выше, сохранение собственного флага и захват чужого. После того, как компьютер достиг определенного уровня мастерства, DeepMind предложили сыграть с ним обычным игрокам на специальном турнире.


    Все в нем приняли участие 40 человек. Команды в турнире были смешанные — то есть в одной команде могли быть и люди, и агенты ИИ. По результатам игры стало ясно, что ИИ в чистом виде одержал больше побед, чем команды людей. В смешанных командах ИИ показывал более высокий уровень сотрудничества, чем обычно демонстрируют люди. Так, компьютер, если это было необходимо, выполнял роль ведомого или принимал непосредственное участие в атаке на базу противника.

    По мнению разработчиков, принципы работы, которые были использованы при создании For The Win (FTW), вполне могут быть использованы и для игры в другие тайтлы — например, StarCraft II или Dota 2.

    В начале этого месяца DeepMind продемонстрировала процесс обучения ИИ для прохождения олдскульных игр — на Atari. Здесь также использовался принцип обучения с подкреплением, а научить ИИ проходить старые игры достаточно сложно, поскольку многие действия протагониста весьма неявные.

    В качестве основы была взята игра Montezuma’s Revenge. Здесь нет ни четкого задания, ни направления, куда нужно идти, ни понимания, что нужно собирать или против кого выступать. Для обучения примером использовались два метода: TDC (temporal distance classification) и CDC (cross-modal temporal distance classification).

    Компьютер обучался проходить игру при помощи видео прохождений с YouTube — их на сервисе немало. В процессе прохождения сравнивались фреймы записи видео прохождения уровней ИИ и его «учителей» с YouTube. Если сравнение выдавало высокий уровень схожести, ИИ получал награду. Как оказалось, спустя некоторое время ИИ выполняет ту же последовательность действий, что и человек.

    Что касается StarCraft, о котором говорилось выше, то в 2017 году человек все же одолел машину, причем всухую, со счетом 4:0. Профессиональный игрок в StarCraft Сон Бён-гу (Song Byung-gu) тогда сражался с четырьмя различными StarCraft ботами.
    Поделиться публикацией

    Комментарии 60

      +10
      Quake III Arena — самый крутой шутер всех времен!
        +1

        Yeah, piece of cake!

        +2
        И где они столько играющих в q3ctf людей нашли?
          +2
          Например тут люди есть постоянно онлайн.
            0
            Неплохо, в стиме средний онлайн человек 20. Походу я уже так привык к стиму, что начал забывать, что бывают еще и «внешние» сервера.
              +4
              А вдруг это не люди, а как раз DeepMind бегает в ожидании людей.
            0
            Это Вы зря так думаете, ку3 живее всех живых :) Конечно, бешенной «попсовой» популярности у него нет, но найти сервак с кем-нибудь поиграть вообще не проблема.
            > Для того, чтобы не дать ИИ просто вызубрить особенности уровня, включая расположение комнат, зданий и т.п
            Забавно то, что в реальном киберспорте в ку3 (и кул) всё решала именно досканальная зубрежка уровня, знание всех триксов и движений, отведенное до автоматизма. Игрался ограниченный набор карт, которые профи наяривали годами.
              0
              В ку3 решает не просто доскональная зубрежка уровня, а навык доскональной зубрежки уровня =)
            +2
            Осталось всего ничего — дать этому ИИ вместо ботов девайсы от Boston Dynamics.
              +2

              Black mirror 4 season, "Metalhead".

              –4
              Позовите меня, когда ИИ научится стабильно TOP#1 брать на карте Miramar в PUBG.
                0
                Почему вы уверены, что таких ИИ нет уже сейчас?
                  0
                  Для той же Доты 2 для ИИ понадобилось свыше 7 сотен видеокарт, чтоб научить играть на уровне новича-полупрофессионала.
                  А PUBG отличается от Доты 2:
                  1. Размером карты — на 6-7 порядков
                  2. Трехмерностью
                  3. Необходимостью уметь ездить на автотранспорте, в том числе на сильно пересеченной местностью
                  4. Прятаться от бомбежки и синей зоны.
                  5. Умением быстро менять тактику от крысятничества до очень агрессивной в местах массового скопления игроков на небольших зонах
                  6. Знанием человеческой психологии.

                  И не забываем, что в PUBG тактики соло, в дуо и в скваде очень сильно отличаются.
                  +1
                  Сидеть на унитазе весь уровень с дробашом?
                    0
                    С такой тактикой ты можешь получить максимум 1 килл и то в той локации, где ты приземлился. Конечная зона скорее всего будет очень далеко от точки высадки. Итого — шансы занять Топ#1 ну очень низкие.
                  +5
                  а есть видео где ИИ играет в Quake III Arena.?
                    +6
                    Присоединяюсь. Хотелось бы посмотреть на движение, использование особенностей карты и т.п. Вообщем появилось ли что-нибудь новое кроме стрельбы.
                      +2
                      вы хотите увидеть идеальную распрыжку в исполнении бота?
                        0
                        Даешь ботов в дефраге!
                          0
                          Методы машинного обучения кстати хороши тем, что способны придумывать какие-то очень нетривиальные решения, основанные на каких-то нюансах, которые обычный человек не заметит, а компьютер за счет гораздого большего опыта и числа попыток может найти. Сталкивался с этим в других областях, где компьютер находил решения, до которых не мог додуматься даже опытный человек-специалист в этой области.
                          Было бы забавно, если бы ИИ сумел обнаружить и заэксплоитить какой-нибудь баг или особенность в механике, которую за столько лет не нашли люди. Какой-нибудь хитрый распрыг или еще что-нибудь. Вот это был бы триумф машинного интеллекта.
                          • НЛО прилетело и опубликовало эту надпись здесь
                    +7
                    Авторы исследования считерили — во-первых, боты играли с людьми на 2D карте без перепадов высот, во-вторых, выкинули освещение и все «лишние» эффекты, в-третьих, дали всем идентичные модельки… Мда.
                      +2
                      Не знаю за что человека заминусили, но он прав. Если посмотреть в источнике, то там от q3 одно только название и движок. Особенно понравилось что в командах было по 2 игрока (не знал что CFT играют 2v2). Очень похоже на то, как это было в недавней «победе» по доте, когда у людей забрали все преимущество, и боты их победили.
                        +2
                        Один шаг компьютера, гигантский для ИИ.
                        Если посмотреть архивные турниры от первого лица, то видно, что у игроков вся графика в минимальки выкручена. Меньше деталей, больше ФПС, больше шансов.
                        Когда прогресс перестанет расти на плоской пустой карте с одинаковыми модельками, то добавятся все модельки, когда комп перестанет тупить с Орбом, добавятся текстуры. Когда комп будет рельсой стрелять в тончайшие проемы, добавят высоту. Мы же не учим ребенка бегать, пока ходить не начал.
                          0
                          Ребенок и на четвереньках с бегом неплохо справляется, наше «четвероногое прошлое» еще никуда не ушло ;) Но суть не в этом, а в том что в очередной раз ученый изнасиловал журналиста.
                          • НЛО прилетело и опубликовало эту надпись здесь
                          +1
                          Именно так про-игроки и играют. Графика — на минимум, модели противников — Tank Jr (если не путаю), чтобы получше видно было
                            0
                            В Quake Live, если не ошибаюсь, так сделано по умолчанию — все модели врагов этот вот танк, независимо от того что они себе сами выбрали, причем ядрено-зеленого цвета.
                            +1
                            > во-вторых, выкинули освещение и все «лишние» эффекты, в-третьих, дали всем идентичные модельки… Мда.
                            Так практически все играют. Освещение и лишние эффекты — только отвлекают, затемнения и светотени — появляются места где хуже видно противника, поэтому все подобные эффекты на самом деле лишние и отключаются. И, да, идентичные модельки — это сверхудобно, т.к. их мельтешение отвлекает + моделька должна по цвету резко выделяться относительно текстур уровня, так что кислотно-зеленый tankJr — это де-факто стандарт.

                            > что в командах было по 2 игрока (не знал что CFT играют 2v2)
                            мы сто раз играли, а что в этом такого? всё определяется размер карты, на маленких и средних 2х2 отлично заходит. сколько собирается народу на серваках, столько и играет — остальные подтягиваются позже :)
                            0
                            Тут есть один момент, бот же может стрелять без промаха. В смысле вообще не промахиваясь (ну ели только из RL\GL). Т.е. уже сейчас, если выкинуть его на DM, он будет просто рвать и метать с «рельсой».
                              0
                              Фишка в том что тут нейросеть и бот вмето рельсы вполне может сообразить что лучше взять BFG) Но вообще не исключён вариант тактики где бот будет тоупо пасти респаун рельсы и оттуда всем навешивать.
                              • НЛО прилетело и опубликовало эту надпись здесь
                                • НЛО прилетело и опубликовало эту надпись здесь
                                    0
                                    > Я серьёзно спросил (без троллинга), чем BFG в Quake III отличается от Plasma Gun, помимо увеличенного урона?
                                    Ничем и не отличается, но на «нормальных» серваках, того же ctf, бфг и нет — ибо слишком читерная имба.
                                    Она есть в разных несерьезных модах, где все настройки и так перелопачены, да в каких-нибудь серваках типа «мяса по приколу».
                                    Думаю и не стоит говорить, что ни один серьезный турнир никогда не игрался с бфг.
                                    • НЛО прилетело и опубликовало эту надпись здесь
                                        0
                                        500 dps, большой радиус сплэша. Можно вынести соперника с полным стэком за секунду.
                                        • НЛО прилетело и опубликовало эту надпись здесь
                                            0
                                            Пол, стены, в общем, куда-нибудь рядом. И если от ракетницы еще можно уворачиваться, потому что и летит медленно, и скорострельность невысокая, то от bfg не увернешься.
                                            • НЛО прилетело и опубликовало эту надпись здесь
                                                0
                                                У плазмы тоже есть сплэш, только радиус маленький =)
                                                В мануале к кваке, кстати, BFG10K и описывается как улучшенная модель плазмагана.
                                          0
                                          > В чём читерность BFG? O_O

                                          ну так вы поиграйте и сразу поймете. с ней играть просто неинтересно. а читерность в том, что кто первый на респе ее взял, тот и будет заруливать. если, конечно, это более-менее опытный игрок, который знает респы, прострелы, считает броню и паверапы. но в ку3 уже остались или просто опытные, или очень опытные или бывшие про-геймеры: выбить в любом случае будет просто нереально. так что всё сводится к глупому рандому/удаче на стартовом респе. в тимплее ещё печальней, потому бфг в любых нормальных местах отключена и заменена на рокет или ещё что-то.
                                          • НЛО прилетело и опубликовало эту надпись здесь
                                              0
                                              Искать лень. Но патронов у нее примерно как у плазмагана. Может чуть меньше.
                                                0
                                                вроде как всего 5 на старте. Убить кого-то одного хватит, на двоих уже нет.
                                                  0
                                                  В vanilla q3 — кажется 20 со старта и 15 в боезапасах. Плюс-минус пять штук. Сколько в Quake Live — понятия не имею, я там на картах с BFG ни разу не бегал =)
                                                    0
                                                    Пришлось искать.
                                                    quake.wikia.com/wiki/BFG10K_(Q3)
                                                    When using the BFG, try to fire one-two shot at a time. Its high rate of fire, combined with its low ammo reserve, can quickly eat up your ammo. Look for BFG Ammo packs deliberately, each pack replenishes 15 which is a pretty nice ratio compared to its starter ammo of 25 shots.
                                      0

                                      https://arxiv.org/pdf/1807.01281.pdf последняя страница


                                      Точность ботов — 80%, у людей около 50%. Время от обнаружения до наведения — 120мс, у людей — 110мс. Время от обнаружения до выстрела около 140мс, у людей около 500мс.


                                      Когда точность ботов искусственно снизили до 50%, боты продолжали выигрывать в 90% игр. Шансы сравниваются где-то на 30% точности ботов.

                                        0
                                        у среднего игрока-плебея в Q3/Quake live/Quake champions точность порядка 45%. Занижать её боту ниже 30% это как выставлять минимальный уровень сложности
                                          +1
                                          Я тут мимо проходил. Играл много лет в QL, режим Clan Arena (как раз, где аим очень решает) с лучшими игроками, включая прогеймеров. У людей с шафтом 45% очень слабый рокет и рэйл, например. Да и, справедливости ради, все-таки 40% еще бывает, а 45% — это только если ну очень сочно войдет.
                                          С учетом кнокбэка, лишние пару % точности сильно уменьшают точность соперника (его сносит сильнее и ему сильнее надо коррестировать свой прицел). В общем, аим решает.
                                            0
                                            она же очень сильно зависит от конкретного оружия. У одного игрока может быть 25 на плазме, 35 на LG, 50 на ракете, 60 на рейле и 80+ на SG
                                          0
                                          Время от обнаружения до выстрела около 140мс, у людей около 500мс.
                                          500 это очень медленно, у среднего игрока в шутеры 220-300.

                                          Настройки ботов в том же Q3 от обнаружения до наведения колеблятся от 100-120 и до секунд. Зависит от модов. Учитывая описанную статистику, можно смело предполагать, что тесты проходили на тех кто не играл очень давно или не играл вообще. И с такими исходными, можно смело утверждать, что любой автопилот водит лучше, чем человек (опуская оговорку о том, что человек вообще никогда не водил)

                                        0
                                        А на пальцах кто-нибудь может объяснить какие там зависимости, сколько слоев надо добавлять в сети, при расширении уровня, насколько растет время обучения. Мне интересно на уровне аппроксимации какая сложность масштабирования ИИ, упирается ли она в вычислительные ресурсы или есть какие-то принципиальные вещи на модельном уровне?
                                          0
                                          Есть нечто похожее на ваш запрос, но про доту.
                                          blog.openai.com/openai-five
                                            0
                                            Спасибо, очень занятно. Действительно потребляют огромные вычислительные ресурсы, чтобы наигрывать 180 лет за 1 день, но все равно не хватает для моделирования всех вариаций, приходится сидеть на ограничениях. Интересно что они акцентируют внимание на таком отличии от тех же шахмат, что часть карты скрыта и за действия соперника надо додумывать на модельном уровне. Они там еще ссылаются на парней, которые обещают подвести новые методы типа hierarchical RL для спасения ситуации с мощностями, там по ссылкам совсем страшно выглядит, когда нибудь они убьют всех человеков, по крайней мере в игрушках.
                                          0

                                          Посмотрел я видео этой игры ИИ… и на видео отчетливо виден и ученый и журналист.

                                            0
                                            и сексуальная сцена, которой нет?
                                              0
                                              Именно. Переводчик, похоже сам прочитал статью по диагонали. Ибо задачей разработчиков было научить ботов не метко стрелять, а лучше взаимодействовать в команде.
                                            0
                                            Компания DeepMind, бывшая некогда подразделением корпорации Google
                                            а почему бывшая? Как гугл купил её в 2014, так она и остаётся частью гугла.
                                              +4
                                              Для тех, кто читает по диагонали:
                                              1. От QIII CTF использован только движок;
                                              2. В качестве ввода используется только картинка с монитора и команды драйверам мыши и клавы для вывода (полная эмуляция человеческой игры);
                                              3. Про оружие ничего не сказано, но судя по ролику, оружие одно и по эффекту должно напоминать рельсу;
                                              4. Главное: разработчики ставили задачу не натаскать ботов в Кваке, а научить их действовать в команде, как с другими ботами, так и с живыми игроками. Судя по статистике, это им удалось.

                                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                              Самое читаемое