Сегодня пройдет первый матч между OpenAI и профессионалами Dota 2 (люди победили). Разбираемся, как работает бот



    [UPD 2] Команда Pain Gaming победила OpenAI Five. Матч длился 53 минуты и закончился со счетом 45-41 по фрагам в пользу ботов. Запись игры можно посмотреть на Twitch тут. Начало на 7:38:00

    Сегодня вечером, 22 августа, перед началом очередного дня плей-офф The International, в рамках шоу-активностей пройдет первый показательный матч между профессиональными игроками и ботом OpenAI Five. Информация о матчах появилась на официальном сайте Dota 2 в разделе с расписанием игр плей-офф The International. Всего OpenAI сыграет три матча за три дня с про-игроками.

    Знаменательно это событие тем, что год назад бот уже «расправился» Даниилом Ишутиным в противостоянии 1x1 solo mid mirror SF, а несколько недель назад одолел «сборную солянку» из комментаторов и бывших про-игроков.

    На этот раз разработке компании, которая спонсируется Илоном Маском и другими видными бизнесменами из IT-сектора предстоит встретиться с более серьезным противником: The International ежегодно собирает лучшие команды мира, так что ботам будет непросто. Пока команда разработчиков не сообщала, будут ли действовать все старые ограничения по пикам и механикам, которые были актуальны в игре против людей в начале месяца, но о них стоит напомнить.

    Итак, старые правила выглядят следующим образом:
    • пул из 18 героев в режиме Random Draft (Axe, Crystal Maiden, Death Prophet, Earthshaker, Gyrocopter, Lich, Lion, Necrophos, Queen of Pain, Razor, Riki, Shadow Fiend, Slark, Sniper, Sven, Tidehunter, Viper, или Witch Doctor);
    • без Divine Rapier, Bottle;
    • без подконтрольных существ и иллюзий;
    • матч с пятью курьерами (ими нельзя скаутить и танковать);
    • без использования скана.


    В комментариях к нашей прошлой публикации на эту тему разгорелось множество споров о методах обучения нейросетей. На этот раз мы принесли немного наглядных материалов о том, как работает бот OpenAI и как это выглядит с точки зрения людей.

    Разработчики заявляли, что благодаря серьезным вычислительным мощностям, огромному количеству записей и возможности запускать обучение в несколько потоков, ежедневно OpenAI имитировал до 180 лет непрерывной игры в Dota 2. Очевидно, что обучаемость этого ИИ на многие порядки ниже, даже чем у не самых «умных» животных, не говоря о собаках или высших приматах, к которым относится и человек.

    Для обучения OpenAI команда использовала собственную разработку под названием Gym (репозиторий на github, официальная документация). Эта «качалка» совместима с любой публичной библиотекой, например TensorFlow или Theano. В обучении нейросетей в рамках Gym используется классическая петля «агент-среда»:



    Разработчики заявляют, что любой желающий может использовать Gym для обучения своей нейросети игре в классические тайтлы для Atari 2600 или другие относительно простые для понимания проекты. Очевидно, что скорость обучения напрямую зависит от объема задействованных в этом ресурсов. В качестве примера разработчики OpenAI научили нейросеть играть в Montezuma’s Revenge.

    Но наибольший для нас интерес представляют второй и четвертый этапы — действие и анализ результата (награды за действие). А в контексте Dota 2 уровень вариативности просто зашкаливает, а изначально оцененные ботом действия как «правильные» на длинной дистанции могут привести к проигрышу.

    Как команда OpenAI учила ИИ играть в Dota 2 с точки зрения оборудования


    К вопросу обучения OpenAI игре в Dota 2 команда разработки подошла более чем серьезно. Полный официальный репорт в блоге проекта вы можете прочитать тут, мы же приведем основные выдержки по технической части и реализации без маркетинга и прочих реверансов.

    Наибольший интерес у комментаторов прошлой публикации вызывала мощность, потребляемая нейросетью OpenAI для обучения. Очевидно, что парой Ryzen дело там обойтись не могло, особенно в контексте имитации 180 лет игры в реальные сутки. При этом бот для Dota 2 — это вам не бот для шутера уровня Quake, что очень четко подметил пользователь yea в ответ одному из скептиков:

    Мне кажется, вы просто слабо себе представляете размеры тактического простора в доте, потому что слабо знакомы с самой игрой. Нет никаких шансов сделать ботов без привлечения нейросетей, ограничиваясь хоть сколько-нибудь вменяемыми вычислительными ресурсами. Серьезно. Это не Quake, где можно быть полным дубом в плане тактики, компенсируя это нечеловечески быстрыми выстрелами в репу из рельсы. Идеальные в плане реакции и механических скиллов боты, не умеющие играть впятером и не «чувствующие карту», обречены против сколько-нибудь умелых мясных игроков.

    Кроме того, дота — игра с неполной информацией, и это кардинально усложняет задачу. Задача «что делать, когда я вижу врага» намного проще, чем задача «что делать, когда врагов не видно» — не только для машин, но и для людей.

    Это четко понимали и разработчики OpenAI, так что для обучения ботов были задействованы тысячи виртуальных машин одновременно. Конкретно такие цифры приводит официальный блог проекта для обучения бота 1х1 Solo Mid, способного с некоторыми ограничения победить в миде Даниила Ишутина, и для обучения полноценной команды для игры 5х5:


    Это не десятичная запятая. Для обучения OpenAI в режиме 5х5 постоянно используется 128 тысяч процессорных ядер Google Cloud. Но и это еще не вся мякотка. Так как в обучении бота OpenAI используется машинное зрение (о котором мы поговорим чуть позже), в этой чудовищной конфигурации фигурирует еще 256 GPU P100 NVIDIA (Tesla accelerator).

    Согласно официальной брошюре NVIDIA, P100 обладает следующими характеристиками:



    Официальная стоимость одной P100 Tesla 12 GB PCI-E составляет около 5800$, Tesla P100 SXM2 16GB стартует от 9400$. В OpenAI используется как раз старшая модель SXM2. Нужны видеокарты не для отрисовки «графики» на виртуальных машинах, а обработки и вычисления данных, которые постоянно поступают из всех запущенных партий. Для обработки этого потока команде пришлось развернуть целую систему нод, в рамках которой и работают P100 Tesla. Видеокарты обрабатывают и вычисляют полученные данные, чтобы потом выдать усредненный по всем партиям результат и сравнить его с прошлыми показателями OpenAI.

    Подобные мощности позволяют имитировать нейросети около 60 партий в минуту, за каждую из которых нейросеть анализирует около 1,04 млн циклов агент-среда, упоминаемых ранее.

    Как OpenAI видит игру


    Деньги — пыль, если они у вас конечно же есть. Даже самые приблизительные прикидки стоимости одного дня обучения OpenAI вызывают легкий шок, а выделяемого на серверах Google Cloud тепла хватит для отопления небольшого города. Но намного интереснее, как OpenAI «видит» игру.

    Понятно, что графическая отрисовка ботам не нужна, но такие мощности используются не просто так. Бот в своих действиях опирается на стандартный API Valve для ботов, через который нейросеть получает поток данных об окружающем пространстве. API нужен для того, чтобы полученные данные прогонять через однослойную LSTM-сеть из 1024 блоков и получать, как итог, краткосрочные решения, которые согласуются с долгосрочными стратегиями, которыми располагает нейросеть.

    LSTM-сети определяют приоритет задач для бота «здесь и сейчас», а в согласовании с долгосрочной моделью поведения нейросети выбирается наиболее выгодное действие. Например, боты охотно концентрируются на ласт-хите крипов для заработка золота и опыта, что согласуется с моделью получения долгосрочной выгоды в виде предметов и последующего преимущества по игре.

    По информации от разработчиков, все партии происходят с отрисовкой событий на карте с частотой в 30 FPS. Нейросеть OpenAI постоянно анализирует каждый кадр через LSTM, на основе результата которого принимает дальнейшие решения. При этом бот имеет свои приоритеты: самому тщательному анализу подвергаются все возможные взаимодействия с окружением через специально выделенные области «зрения» бота — это квадраты 800х800, поделенные на 64 ячейки 100х100 (за размер взяты значения внутриигровой дальности действия и перемещения, а размер квадрата составляет 8х8). Вот как бот частично «видит» игру на одном конкретном кадре:


    Полный конструктор с возможность переключения действий, оценки размера квадратов и прочими возможностями «покрутить настройки» доступен в официальном блоге разработчиков в разделе Model structure

    А вот так выглядит визуализация работы LSTM-сети в плане прогнозирования игровых событий в режиме реального времени:


    Кроме LSTM и оценки ситуации «здесь и сейчас» бот OpenAI постоянно пользуется сеткой «прогнозирования» и расстановки собственных приоритетов. Вот так это выглядит для людей:



    Зеленый квадрат — область наивысшего приоритета и текущего действия бота (атака, перемещение и так далее), Светло-зеленый квадрат обладает меньшим приоритетом, но бот в любой момент может переключиться на этот сектор. Еще два серых квадрата — зоны потенциальной активности, если ничего не изменится.

    Посмотреть, как бот «видит» игру и принимает решения на основе этих четырех зон можно увидеть на видеозаписи ниже:


    Стоит отметить, что области приоритетов бота не всегда находятся рядом с моделью персонажа. При перетяжке по карте все четыре квадрата легко смещаются за несколько экранов от текущего положения бота, то есть OpenAI анализирует одновременно все игровое пространство на доступность и целесообразность каких-либо действий, а не только один экран.

    OpenAI постоянно играет сам с собой. При этом 80% ботов обучаются, а 20% используют уже отработанные тактики и стратегии. Такой подход позволяет нейросети учиться на собственных ошибках, находя уязвимые паттерны в собственно поведении и одновременно закреплять удачные модели поведения.

    Уже завтра. Люди-профессионалы против машины


    Вместо итога стоит вернуться к теме завтрашнего противостояния между профессиональными игроками и OpenAI.

    Пока неизвестны детали, однако с уверенностью можно сказать, что нейросети придется несладко. В отличие от прошлых своих противников, OpenAI столкнется с лучшими из лучших, а возможность маневрирования и командного взаимодействия в рамках шоу-матча позволит людям полностью раскрыть свой потенциал. Формат Solo Mid 1x1, конечно, крайне зрелищный, однако не раскрывает всей сути игры и крайне нетерпим к микро-ошибкам, которые люди зачастую допускают.

    Весь вопрос в том, насколько серьезно к этому противостоянию отнесутся профессионалы. При появлении какой-то дополнительной информации публикация будет обновляться.

    Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

    Кто победит в первой игре серии?

    Crossover
    87,00
    100% удаленная работа в международных IT-проектах
    Поделиться публикацией

    Комментарии 391

      +6
      Не хватает голосовалки с прогнозом. Ставлю на OpenAl.
        +2
        Хорошее замечание, прикрутили голосование.
          +1
          Ставлю на OpenAl.
          Проиграете )
            0
            В этот раз если поставят сыгранную команду, хотя бы одну из тех, что еще не покинули турнир, то боты по проиграют, как мне кажется. Если опять наберут игроков, которые пусть и входят в топ мира, но не играли на про сцене давно, то бот наверняка их размажет, как это было месяц назад.
              0

              Угу, ребята, небось, уже бодро пропивают с горя кровно заработанные призовые и тут бац, играйте с ботами -.-

                0
                Взяли команду которая уже проиграла на турнире. И все равно бот проиграл.
                  0
                  В общем, как я и предполагал. Сыгранная команда, которая не делала глупостей и не отдавалась по одному смогла пережить первые полчаса игры, после которой обучение ботов остановилось и они уже не знали, что делать. Ребятам понадобилось 2-3 залета чтобы понять, что бота на реакции поймать нельзя, и если время каста агра 0.25 секунды, то всегда человек успеет прожать еул или дагер. Поэтому в конце можно видеть как залет происходит исключительно после инстахексов лиона или когда спасительные артефакты в кд.
                    0
                    С учетом того, что люди взяли в команду снайпера — их стратегия была понятна еще до начала тайма. Вспомним 4х часовую игру, где команда несколько часов держалась без 2х линий www.youtube.com/watch?v=JonbjtOExLg.
                      0
                      Интересно еще почему не абузили остановку анимации на аксе это популярный трюк в пабе, а на про сцене тем более должны были знать, делаешь вид что кастуешь а в последний момент стоп, если бот так триггерил на начало анимации, на этом можно было вообще все замесы выигрывать.
                +6
                Вопрос только в ограничениях. Их можно закрутить настолько, что любой суперпрофессионал отлетит без шансов.
                Если останется тот же пул героев и те же ограничения и матч будет бо3, то первую игроки сольют, даже ликвиды, а вот вторую и третью уверенно заберут ибо им требуется меньше времени для понимания слабых мест ботов. Если же текущие слабые места, которые были продемонстрированы не уберут — про игроки просто сконтрят по всем фронтам и все.

                Танкуете башни вардами? Ловите рики, который будет топориком их чистить, не давая возможности скомпенсировать траты на варды и плевать что он не в мете, против ботов покатит.
                Умеете считать урон? Игроки раскидают тучу мгновенных лечилок, которые будут подбирать с земли когда совсем все плохо и когда надо убежать, чтобы бот-снайпер, запулив ультимейт, не прошел бы по урону из-за прожатой меки, лежавшей в курьере…
                Пытаетесь зонить и рубить фарм? Игроки вардами заблочат весь лес и будут убивать всех, кто попытается этому помешать… да много чего, против чего не помогут ни тысячи лет игр, ни запредельная реакция…
                  0
                  По большому счёту, согласен, маленькая ремарка только — теорию про «танчить башню вардами» уже давно отмели, потому как у вардов максимально низкий приоритет «агрессии» (только для башен или для вообще всего ИИ крипов это тоже работает — не помню) — как и катапульты, башни начинают их обстреливать, только если больше потенциальных целей вообще нет. То есть герои попали бы под удар раньше.
                    +5
                    Рискую спалиться как дотер, но попытаюсь объяснить на пальцах суть трикса с вардами.
                    Если бы приоритет у вардов был равный с крипами — эту штуку во всю бы использовали не только в про играх, но и в обычном ранкеде. Изюминка того, что делали боты, в другом.

                    Башня имеет строго определенную частоту выстрелов, боты ставили варды таким образом и с такой точностью, что крипы заходили в радиус поражения _сразу_ после выстрела по нему башни, таким образом крипы не получали урона все время, требуемое на ее перезарядку. Объяснил сумбурно, но если пару раз перечитать — станет понятно, почему для подобного требуется чудовищный тайминг и почему это именно прерогатива ботов.

                    Когда же бот, дождавшись выстрела по варду, заходил в зону поражения, стрелял и выбегал до следующего выстрела, у меня вообще глаза чуть не вытекли, обычный игрок не способен подобное повторить просто из-за скорости реакции «глаз-рука», даже под медикаментами быстрее 0.07-0.08 не выжать, а ведь там надо не только среагировать и кликнуть, но и мышью двинуть. Так что 200мс это слишком быстро для ботов… надо их еще замедлять.
                      0
                      даже под медикаментами быстрее 0.07-0.08 не выжать, а ведь там надо не только среагировать и кликнуть, но и мышью двинуть. Так что 200мс это слишком быстро для ботов… надо их еще замедлять.

                      Скорость поворота на 180 градусов сама по себе около 200мс. Так что 0.07-0.08 не нужно, герой команду выполнить не успеет.

                        0
                        Именно, я имел ввиду что даже сведя скорость реакции глаз-рука до биологического минимума, все остальные операции займут больше времени чем общая скорость реакции бота(а ведь он постоянно с такой скоростью работает, а не при пиковых нагрузках). Скорость поворота в доте, кстати, величина не постоянная, модифицируется способностями/вещами и да, боты фейзы под это дело тоже использовали, что нормальному человеку даже в голову бы не пришло.
                          +2
                          Именно, я имел ввиду что даже сведя скорость реакции глаз-рука до биологического минимума, все остальные операции займут больше времени чем общая скорость реакции бота

                          Реагировать не надо, надо просто делать последовательность кликов с нужным паттерном. Вы как думаете 16-е ноты в престо играют?

                            +1
                            хм) но музыкант _знает_ какой паттерн использовать, а игрок должен его выбрать на основании текущей ситуации, крипы не бегут по одной линии, их порядок не всегда одинаков и прибегают к башне они в разное время.

                            На самом деле проблема гораздо глубже и объяснять ее тем, кто не знаком с глубокой механикой игры еще сложнее.
                            Например есть в игре такая вещь как Lotus orb, при использовании которой на цель вещается щит, зеркально отражающий вражеские заклинания. Обычный игрок, даже высокого уровня, может провесить этот щит на себя или союзника когда есть опасность попасть под опасное точечное заклинание. Очень хороший игрок может среагировать и сделать это, когда вражеское заклинание уже летит, чтобы враг не мог среагировать и его отменить. Так вот боты это делают с тем же временем реакции в 200, тут был мат, миллисекунд. Что происходит в результате: игрок выпустил оглушающую стрелу, видит что оппонент сейчас будет оглушен, начинает комплекс дальнейших действий (начать убивать врага, помочь своим игрокам, сбежать, еще что-то). И тут, за 200 миллисекунд до попадания оглушения в противника, на него вешается отражающий щит. И всё, гаплык, человеческой реакции уже ни на что не хватит. Да, обычные игроки могут подобное проинтуичить и сделать, да такие моменты порой выигрывают проигрышные игры. Но боты это делают всегда, в 100, блин, процентах случаев.
                              +3
                              хм) но музыкант знает какой паттерн использовать, а игрок должен его выбрать на основании текущей ситуации, крипы не бегут по одной линии, их порядок не всегда одинаков и прибегают к башне они в разное время.

                              Мы же рассматриваем тут конкретный хитрый прием? Когда персонаж равномерно, в соответствии с выстрелами товера, вбегает/отбегает. Тут вполне себе конкретный и четкий паттерн, нет?


                              На самом деле проблема гораздо глубже и объяснять ее тем, кто не знаком с глубокой механикой игры еще сложнее.

                              Я знаком с механикой игры :)


                              Так вот боты это делают с тем же временем реакции в 200, тут был мат, миллисекунд.

                              Не раз делал инстахекс после блинка противника, даже не за 200мс, а за 0. Реакция уровень бог, видимо ;)
                              А иногда и вовсе инста-глобал сайленсером получается! Не иначе, тахионы в действии, ведь чтобы так сделать — надо нажать сайленс еще до того, как противник блинкнулся.
                              Наверное, именно по этой причине одно из известных правил — сперва бкб, потом блинк, не наоборот :)


                              И тут, за 200 миллисекунд до попадания оглушения в противника, на него вешается отражающий щит.

                              Ну вот возьмем стан свена, у него 0.3 сек анимация, и потом еще прожектайл летит. Уметь в таких случаях среагировать и заэвейдить стан мантой — вобщем-то навык, входящий в инструментарий любого профессионального игрока. Если речь о том, чтобы успеть лотус орб — игрок с такой ответственностью должен с-но следить за ситуацией вокруг своего керри и ожидать подобных вещей. Это его задача.


                              Но боты это делают всегда, в 100, блин, процентах случаев.

                              Обсуждаемые боты смоком по герою в шедоу амулете мажут, и кидают по две шрапнели в одно место :)


                              В общем, ваш тезис, конечно понятен, но длительные анимации большей частью нивелируют описанные вами проблемы. Наиболее сильно они проявляются как раз при том же хексе и других мгновенных кастах — ну как раз потому что они мгновенные. Но такие скилы — вобщем-то исключение.

                                +1
                                У ботов нет проблемы «дебил нафиг ты лотус провесил, я ж манту прожал» ))), но это так, отступление. В целом ваша мысль тоже понятна, но я бы аргументированно поспорил про то, что инстакаст абилок слишком мало, чтобы вносить серьезный импакт в разрезе ботов. Тот же раста или лион с полиморфом, идеально оттаймленый ульт табуретки, да епрст)) разработчики сказали что они из пула героев джагу убрали по причине имбовости, так как боты идеально считали прыжки и разводили урон по нескольким целям идеально подходя в радиус прыжков, побоялись что игроки челюсти поднять не смогут после этого. Так что у меня вообще появилась дикая мысль что боты давно умеют играть всем пулом героев, просто разрабы боятся что дота сдохнет как шахматы, если все увидят что умеют боты на самом деле. Я все сильнее начинаю думать что гифка, в которой Лич форсстафит одного врага и прожирает вражеского крипа мидасом, чтобы ульта отскочила в того, кого нужно, была сделана с openai бота.

                                С другой стороны лично был свидетелем как убивали уходящего крипа, чтобы рики после ульты не мог на него выблинкнуться, так что кто его знает, люди тоже иногда играют на невообразимом уровне.
                                  0
                                  У ботов нет проблемы «дебил нафиг ты лотус провесил, я ж манту прожал» )))

                                  Ну, у этих есть, т.к. они не вступают в коммуникацию и не предсказывают действия друг друга. С-но в тех играх что были не раз можно было наблюдать "лишние" действия.


                                  разработчики сказали что они из пула героев джагу убрали по причине имбовости, так как боты идеально считали прыжки и разводили урон по нескольким целям идеально подходя в радиус прыжков

                                  Джагернаут же рандомно цель в радиусе выбирает, чтобы получилось "развести ульту" — это надо героев расставить заранее специально и чтобы они не двигались. Так что какая-то фиговая отмазка. Где вы вообще это прочитали?


                                  Я все сильнее начинаю думать что гифка, в которой Лич форсстафит одного врага и прожирает вражеского крипа мидасом, чтобы ульта отскочила в того, кого нужно, была сделана с openai бота.

                                  Очень маловероятно, что текущие боты смогут так делать хоть когда-нибудь. С-но даже просто толкнуть форсой под ульт для ботов данной архитектуры — уже где-то на границе возможного.
                                  Чтобы делать то, о чем вы говорите, надо сетью определять набор таргетов, а потом подбирать исполнение нужного уже перебором по действиям (или, возможно, другой специальной сетью для "микро").

                                    0
                                    Да уже жалею что не делал подборку тем на реддите, где все это обсуждалось, не думал что на хабре тема появится =(. По поводу джаги, врать не буду, возможно криво перевел, но я так понял что боты считали количество прыжков и скидывали прыгающего юрика на тиммейта, уходя например в инвиз, при этом в радиус прыжков заходил второй толстый игрок, для уменьшения шанса прыжка на третьего. То есть механика то всем известная и всеми используемая, штука была в том, что боты точно считали количество прыжков и распределяли урон с минимальными последствиями для себя, что для игроков возможно только интуитивно и приблизительно, учитывая 400мс времени между ударами.
                                      0
                                      но я так понял что боты считали количество прыжков и скидывали прыгающего юрика на тиммейта, уходя например в инвиз, при этом в радиус прыжков заходил второй толстый игрок, для уменьшения шанса прыжка на третьего.

                                      А, в смысле они от вражеского джаги урон распределяли. Ну вообще не вижу тут ничего особенного, у кого много хп — становится под джагу, у кого мало — отходят :)


                                      Кстати, ульт лича, считай, по той же схеме работает и его можно так же эффективно эвейдить (причем тут боты находятся в более выигрышном положении — т.к. из-за того что ульт летит медленно, можно не только расчитать прыжки, но и успеть подойти/отойти, что в случае джаги из-за скорости может быть просто нереализуемо физически), но лич в пуле.

                                        0
                                        У лича прожектайл медленнее летит, может с этим что связано, ну да сегодня первый матч, появится куча новой информации и аналитики, будем посмотреть, чему там боты научились.
                                          0
                                          У лича прожектайл медленнее летит, может с этим что связано

                                          Так это как раз дает лишнее преимущество. То, что прожектайл летит медленнее, не поможет людям рассчитать оптимальный разбег — люди что от джаги, что от лича одинаково разбегаются :)
                                          А вот ботам поможет этот "идеальный разбег" исполнить.

                                            0
                                            ну должна же быть причина?:) остальные то абилки джаги ничего уникального из себя не представляют… вард разве что?
                                      +1
                                      Вы статью то читали? Боты вполне себе оперируют всеми таргетами, да чёрт, это ну ничерта не проблема: есть конкретное API, тут не надо никакого компьютерного зрения, хотя, по большому счёту, его прикрутить не такая проблема (и к слову, текущая ситуация значительно улучшает положение ботов — по сути у них полтора экрана область действия, тогда как для игроков такой хак по сути — чит).

                                      Ещё вопрос с коммуникацией. Нигде не сказано, что они не общаются, а даже намекают на обратное, но в принципе, даже если этого изначально не предусмотрено, боты вполне могут выработать стратегию — есть манта — не прожимаю орб; да и в принципе создавать более сложные паттерны общения используя доступную игровую механику не является невероятным. Вообще, слабые места ботов разработчики видели и слабо вериться, что они их не пофиксят.

                                      Вы постоянно говорите про архитектуру, но основная проблема в том, что архитектура не статична. Нейросеть — это контейнер, аналоговый вычислитель эмулированный на ПК, если грубо. Какая в него программа заложена определяется обучением. И тут нет никакой магии. Вообще, вспомним AlphaGo: по мере продвижения по турнирной лестнице его возможности росли невероятно, практически полностью устраняя слабые места. Вообще, сама по себе AlphaGo именно что сама придумала огромное число новых паттернов, а в среде го-игроков до сих пор идут разборы матчей с AlphaGo.

                                      По поводу механики игры, тут тоже есть над чем подумать. Неограниченная реакция и потрясающий контроль даёт просто невообразимые тактические возможности. Если человеку приходится полагаться на то, что он видит и свою скорость реакции, то у нейросети таких проблем нет. Если очень грубо, то полноценный запуск всего цикла енва -> обс -> агент -> акт на каждый кадр это тоже самое, что если бы для вас останавливали время 30 раз в секунду. Вообще говоря, это очень сильно.

                                      Да, у нейронных сетей есть проблемы, но Маск, мне кажется, хочет просто продемонстрировать насколько опасен может быть общий ИИ: даже настолько простой, практически на коленке собранный способен демонстрировать практически неоспоримое преимущество перед людьми. Наверняка есть герои, которые будут показывать просто невероятный импакт (зевс, тинкер, шторм — они могут овнить героев противника на раз два, практически закапывая команду противника, а какой-нибудь профет и чен или даже дроу спушить все вышки за 10 минут). Тут дело практически в тотальным контроле своего здоровья, здоровья противника, очень сильной реакции и крайне неожиданные стратегии и тактики. Вообще не могу представить, какую дичь они могут творить с невероятной мобильностью той же фуры или какой-нибудь магины.

                                      Абуз вардов это вершина айсберга. Дота не идеальна, очень далеко не идеальна: вспомните тот же хук нави. В огромном пуле героев найдутся довольно легко крайне неожиданные связки на незапланированных механиках. И не забывайте, что именно этим и занимается нейросеть — это статистика предыдущего опыта. Условно — эффективные и неэффективные стратегии. Эффективные используем, а противника заставляем использовать неэффективные (растрата ресурсов на консумабл — одна из них, брать неметовых героев против которых легко противодействовать к этому же; тысячи их).
                                        +1
                                        Вы статью то читали? Боты вполне себе оперируют всеми таргетами, да чёрт, это ну ничерта не проблема

                                        Вы видимо не поняли. Боты не работают в стиле: "выбираем наиболее полезный таргет (например — убить персонажа Х) -> расчитываем действия для выполнения (окей, нашли последовательность действий — кинуть ульт, толкнуть форсой, съесть крипа мидасом) -> выполняем", вместо этого боты просто принимают на вход некоторое состояние, прогоняют его через нейросеть и получают действие, которое надо совершить (которое, как показывает обучающая выборка, приводило в итоге к росту вознаграждения). По-этому если бот не оказывался в такой ситуации с поеданием крипа и форсой (или какой-то похожей) — то он никогда ее и не повторит. Он просто не догадается, что такие действия могут привести к какому-то профиту, и, с-но, их не сделает.


                                        Ещё вопрос с коммуникацией. Нигде не сказано, что они не общаются

                                        По-моему, разработчики вполне четко говорили, что боты не общаются.


                                        Да, у нейронных сетей есть проблемы, но Маск, мне кажется, хочет просто продемонстрировать насколько опасен может быть общий ИИ: даже настолько простой, практически на коленке собранный

                                        Чего, прошу прощения? Это одна из самых мощных нейросетей, существующих в мире на данный момент (точнее будет сказать, одна из потребивших наибольшее количество флопсо-часов). Какое простой на коленке собранный?
                                        И Маск там, кстати, уже давно не при делах.

                                          0

                                          Вы, наверное, не понимаете к чему я веду. Блин, оперируя "статистическая машина" можно догадаться, что это обычная нейросеть.


                                          Но. Во-первых, там тем не менее под капотом классическая стейтмашина. В том плане, что нейросеть не придумывает варианты, она выбирает из пула вариантов. Эти варианты довольно низкоуровневые, но тем не менее в нейросеть уже заложены понятия позиционирования и таргетирования. И да, текущее состояние (читай, намерения) также учитывается, иначе не работало бы. Во-вторых, вы видимо не понимаете, что такое 180 лет. Черт, да это за один день! Даже если у нейросети очень слабые возможности по абстрагированию, в ней буквально запихиваются данные о тысячах лет игры в доту 2. Хоть кто-нибудь может хотя бы чем-то похожим похвастаться? В-третьих, Маск это, конечно тот человек, про которого говорят 25 часов в сутках, но даже 25 часов это мало, конечно он не участвует настолько интенсивно, все время сжирает тесла и спейсИкс, но тем не менее, он это начинал с определенной целью, он все еще выделяет огромные деньги, так что вряд ли он совсем в неведении. Да и взгляды Маска заразительны. И, в довесок, на коленке в том смысле, что никакой матан не избретался. Условно взяли доту, взяли апи, ограничили игру, чтобы нейросеть была адекватная и залили пожары деньгами. Такой способ пожаротушения не предполагает концептуального развития технологий, а максимум — лишь демонстрирует масштабируемость решения. Не считаю запихивание подмножества доты в огромнейшую нейросеть рокетсайнсом, что, впрочем, нисколько не умаляет значимости.

                                            0
                                            Эти варианты довольно низкоуровневые, но тем не менее в нейросеть уже заложены понятия позиционирования и таргетирования.

                                            Вы что понимаете под "позиционированием и таргетированием" сейчас?


                                            Даже если у нейросети очень слабые возможности по абстрагированию, в ней буквально запихиваются данные о тысячах лет игры в доту 2.

                                            Это ничуть не отменяет того, что редкие, специфические ситуации (вроде толкания форсой с мидасом под ульт) могут не встретиться вменяемое число из а миллион лет.


                                            И, в довесок, на коленке в том смысле, что никакой матан не избретался. Условно взяли доту, взяли апи, ограничили игру, чтобы нейросеть была адекватная и залили пожары деньгами.

                                            Вы вообще осознаете, что, вполне возможно, в мире не существует другой команды разработчиков, которая обладает достаточными знаниями и специфичным опытом, чтобы повторить ваше "на коленке"?
                                            Если бы вы пытались завалить деньгами, мощностями и т.д. — я вам гарантирую, нихрена бы не вышло у вас.

                                              0

                                              Я понимаю команды вроде "держись этого этой секции" или "убей этого крипа". Это несколько абстрактнее, чем "иди в эту точку" или "ударь этот таргет". Разъяснять что такое абстракции не надо?


                                              Вы все еще не понимаете масштабы. С моим опытом в 5к часов таких ситуаций было… Не прямо таких, но вообще любых микромоментов было очень много. Да блин, зайдите на дотавтф, там ситуации сплошь и рядом из "ват жаст ай син?", их не просто много, но ооооочень много. Сама по себе дота с её не всегда очевидными механиками это позволяет. А микромоменты очень быстро тренируются за счет того, что они дают много из ничего: не обязательно мидас держать, хотя и вполне может быть, что под него на откате таргета не будет, но есть еще много скилов и предметов, способные ластхитнуть крипа. Да и блинский, я же в принципе не про условного лича с мидасом, а про тысячи возможных абузов, многие из которых наверняка найдут боты. Мгновенная реакция может раскрыть и те, которые или невозможно нами воспроизвести, или ооочень сложно.

                                                0
                                                Я понимаю команды вроде "держись этого этой секции" или "убей этого крипа". Это несколько абстрактнее, чем "иди в эту точку" или "ударь этот таргет". Разъяснять что такое абстракции не надо?

                                                Нету там таких команд. Есть "атака цели Х" (в смысле команда персонажу атаковать, не какая-то абстрактная "атакую!"), "мув в точку Х", "юз предмета Х по цели Y", "юз абилки Х по цели Y". Еще "ничего не делать" есть.


                                                Вы все еще не понимаете масштабы. С моим опытом в 5к часов таких ситуаций было… Не прямо таких, но вообще любых микромоментов было очень много.

                                                Вот именно что каких-то микромоментов было много, но бот от этого не научится. Чтобы научиться — ему надо, чтобы похожих микромоментов было достаточно много для того, чтобы бот из случайных примитивных действий (которые перечислены выше) выбрал последовательность нужных и убедился, что за последовательность дает значимый ревард, что поднимет в итоге вес конкретных действий. При этом он влегкую может улететь в локальный минимум.


                                                А микромоменты очень быстро тренируются за счет того, что они дают много из ничего: не обязательно мидас держать, хотя и вполне может быть, что под него на откате таргета не будет, но есть еще много скилов и предметов, способные ластхитнуть крипа

                                                Так вот, для бота они не взаимозаменяемы. Если у бота есть две одинаково действующие абилки, которые ластхитят крипа, но при этом они у него обозначены как разные действия, то бот если научится пользоваться одной — то это ничего ему не даст в плане использования другой. Он никак не догадается, например, проюзать в такой ситуации вторую абилку, если первая будет в кд. До тех пор, пока случайно не попробует это сделать и не получит ревард.

                                                  +1
                                                  Нету там таких команд

                                                  Откуда вы знаете, что там есть и чего нет? Исходники видели, что ли?
                                                  Он никак не догадается, например, проюзать в такой ситуации вторую абилку, если первая будет в кд.

                                                  В статье сказано, что 80% ботов находятся в режиме обучения. В этом режиме они производят действия, которые выбираются (в первом приближении) случайно, и затем происходит оценка эффекта такого рандомного действия. Полезные действия закрепляются и используются в дальнейшем. Таким образом, при симуляции 180 лет игры в сутки, случайным перебором действий бот не только научится юзать вторую абилку, но и найдёт возможные их сочетания, дающие профит.
                                                    +1
                                                    Откуда вы знаете, что там есть и чего нет? Исходники видели, что ли?

                                                    В статье описано, какую информацию получает бот на вход и какие варианты команд может исполнять. В частности, там, например, текущая анимация дается и время долета прожектайла (оО)
                                                    А среди команд — вариации с задержками в n фреймов, то есть бот может решить вместо "сделать действие Х вот прям щас" — "сделать действие Х через 2 фрейма".


                                                    В статье сказано, что 80% ботов находятся в режиме обучшения. В этом режиме они производят действия, которые выбираются (в первом приближении) случайно, и затем происходит оценка эффекта такого рандомного действия.

                                                    Вам только надо, чтобы сформировалась ситуация, похожая на обсуждаемую, чтобы бот узнал, что в этой ситуации прожимать такие действия — полезно. А если ситуация редкая — то она может и за тысячу лет игры не произойти больше пары раз.

                                                      0
                                                      Верно, поэтому на месте разработчиков я бы отпарсил все случаи, когда редкоиспользуемые действия привели к серьезным изменениям и на пару дней задал бы глубокую их проработку ботами… столько бы новых неизведанных уловок появилось. Хотя это… мм… слегка нарушило бы чистоту эксперимента =)
                                                        0
                                                        Верно, поэтому на месте разработчиков я бы отпарсил все случаи

                                                        Да не парсится никаких случаев. Сеть просто играет сама с собой и конец истории.

                                                          0

                                                          Они разве говорят, что задача — сделать "чистый эксперимент"? Задача — выиграть. Нейросети — это самый простой известный способ, который вообще позволит эту задачу решить (наверное). Мне навскидку кажется, что "парсинг редко используемых действий" — тупиковая ветвь (потому что ревард так и так покажет, что действие хорошее), но если они посчитают, что это выгодно — наверняка сделают.

                                                        0

                                                        Пространство возможностей не позволяет достигнуть результата случайным перебором. Фишка не просто в случайном действии, а ещё и в окружении. Я не думаю, что там случайный выбор действий.

                                                          0
                                                          Пространство возможностей не позволяет достигнуть результата случайным перебором.

                                                          У них же stohastic policy, то есть сеть выдает на самом деле не действие, а вероятностное распределение на возможных действиях. Потом на конкретном семпле сеть делает конкретное действие (бросая кубик и выбирая в соответствии с указанной вероятностью) и потом апдейтит веса в соответствии с ревардом за это действия так, что вероятность действия увеличивается в том случае, если оно дает больше реварда, с дополнительным рандомом для того чтобы не попасть в локальный оптимум.
                                                          В изначальном приближении, полагаю, распределение действий равномерное, то есть чисто случайно выбирается, что делать.

                                                            0

                                                            Согласен. На самой первой итерации — наверняка равномерное.


                                                            Но к тому моменту, когда бот смог добраться до вышки — уже нет. Т.е. если он хоть немного обучился, выбор действий всё же отличается от полного перебора. Нельзя сказать, что бот попробует все действия во всех ситуациях.

                                                              0
                                                              Нельзя сказать, что бот попробует все действия во всех ситуациях.

                                                              В случае когда для результата надо сделать несколько последовательных конкретных действий — это еще хуже, т.к. снижается вероятность того, что бот попробует какую-то "необычную" стратегию.

                                                        0
                                                        Так вот, для бота они не взаимозаменяемы. Если у бота есть две одинаково действующие абилки, которые ластхитят крипа, но при этом они у него обозначены как разные действия, то бот если научится пользоваться одной — то это ничего ему не даст в плане использования другой.

                                                        Насколько я знаю принципы нейросети у бота будет не "вариант 1 — 1я абилка, вариант 2 — 2я абилка", у него скорее всего есть параметры и их больше одного для каждой абилки и что использовать выбирается по ним. То есть если абилка наносит урон — значит бот может ее использовать для того чтобы нанести урон даже если в конкретно этой ситуации и конкретно для этой цели он такого никогда не делал. Не нужно прогонять все возможные сочетания, да и нереально это, как вы и сами говорите. Достаточно определить набор параметров для различных вещей/абстракций и сила бота будет именно в том, насколько сложные абстракции он может образовать.

                                                          0
                                                          > То есть если абилка наносит урон — значит бот может ее использовать для того чтобы нанести урон

                                                          Нет, не так. У бота просто «абилка1», «абилка2», етц.
                                                    0
                                                    Не считаю запихивание подмножества доты в огромнейшую нейросеть рокетсайнсом

                                                    Это так не работало даже на шахматах, не говоря уж о го. И это точно не будет так работать с дотой — слишком большое пространство вариантов. Никакие тысячи лет не помогут, из-за тумана войны. Он
                                                    Нейросеть именно что вычленяет варианты и стоит высокоуровневые признаки. Это не то же самое, что просто запомнить все варианты — это абсолютно точно невозможно.

                                                  0
                                                  Вы постоянно говорите про архитектуру, но основная проблема в том, что архитектура не статична. Нейросеть — это контейнер, аналоговый вычислитель эмулированный на ПК, если грубо.

                                                  Вообще-то она как раз статична. Не статичны веса.

                                                  Если очень грубо, то полноценный запуск всего цикла енва -> обс -> агент -> акт на каждый кадр это тоже самое, что если бы для вас останавливали время 30 раз в секунду.

                                                  Останавливали время 30 раз в секунду… на одну тридцатую секунды. Не забывайте, что ботам надо успеть отреагировать.
                                                  даже настолько простой, практически на коленке собранный способен демонстрировать практически неоспоримое преимущество перед людьми

                                                  Надеюсь, вы осознаёте, что это не «простой, на коленке собранный ИИ», а state-of-the-art в современном machine learning?
                                                  0
                                                  они не вступают в коммуникацию и не предсказывают действия друг друга

                                                  Вы в этом уверены? Я так полагаю, что все боты находятся под управлением одного инстанса, соответсвенно, все пять ботов в одной игре обладают общей «памятью», глобальной целью и стратегией, то есть вся коммуникация скрыта за единым общим процессом, управляющим всеми ботами одновременно. В частности, любой бот «в курсе» точного кулдауна всех перков любого другого бота и управляющий ими процесс использует сведения о доступности перков, как будто боты постоянно, автоматически, «докладывают» друг другу о применении перков даже когда они не видны тимейтам, и все боты скрупулёзно отсчитывают кулдауны тиммейтов.
                                                  Таким образом, помимо стабильной высокой реации, боты имеют преимущество в мгновенной коммуникации за счёт одного общего процесса, обладающего сведениями обо всех управляемых им ботами.
                                                    0
                                                    Вы в этом уверены? Я так полагаю, что все боты находятся под управлением одного инстанса, соответсвенно, все пять ботов в одной игре обладают общей «памятью», глобальной целью и стратегией, то есть вся коммуникация скрыта за единым общим процессом, управляющим всеми ботами одновременно.

                                                    Это логичный метод, но так решили почему-то не делать. Не знаю, почему. Возможно, чтобы получить 5в5 бота инкрементально из 1в1 бота, в предлагаемой схеме так бы не получилось.


                                                    В частности, любой бот «в курсе» точного кулдауна всех перков любого другого бота и управляющий ими процесс использует сведения о доступности перков

                                                    У любого бота есть полный доступ к стейту своих мейтов. То есть так же как игрок видит хп, положение и т.д., так и бот видит. Это просто часть информации, которая идет на вход сети. Но сеть у каждого отдельная и принимает решения независимо.
                                                    Кстати, на счет кд, в статье не указано, что они вообще трекаются. Для союзников все же, думаю, трекаются, а вот для врагов, походу, нет. В информацию предоставляемую апи доты это не входит, с-но нужен какой-то отдельный алгоритм трекинга, но он не описан. Так что скорее всего фактор кд противника вообще игнорируется, как не входящий в стейт.

                                                      –2
                                                      Но сеть у каждого отдельная и принимает решения независимо.

                                                      Вот это утверждение требует документального подтверждения. Я таки считаю иначе, потому что если бы это были действительно независимые сети, то в названии не было бы слова Five и не было бы ограничения 5х5, то есть матчи были бы и 8х8, ну, вплоть до максимума на карту. Но мы видим везде только формулу 5х5, что намекает на конструктивную особенность единого управляющего элемента для всей команды в 5 ботов.
                                                        +1
                                                        Вот это утверждение требует документального подтверждения.

                                                        Using a separate LSTM for each hero and no human data, it learns recognizable strategies.

                                                        ~180 years per day (~900 years per day counting each hero separately)

                                                        Достаточно просто открыть блогпосты OpenAI.
                                                          0
                                                          Отдельная LSTM сеть, которая как мы узнали из статьи, ответственна за поведение бота «здесь и сейчас» (краткосрочные решения), в то же время есть ещё нейросеть, ответственная за долгосрочное планирование игры. И здесь стоит вопрос — какая информация о действиях (статусе) LSTM-управляемых ботов уходит «наверх» и доступна для планирования совместных действий (и, соответственно, опосредственно уходит «вниз» как скрытая коммуникация).
                                                            0
                                                            Откуда информация про отдельную нейросеть, ответственную за долгосрочное планирование игры?
                                                              0
                                                              Это я так интерпретирую текст статьи:
                                                              API нужен для того, чтобы полученные данные прогонять через однослойную LSTM-сеть из 1024 блоков и получать, как итог, краткосрочные решения, которые согласуются с долгосрочными стратегиями, которыми располагает нейросеть.
                                                                0
                                                                Это я так интерпретирую текст статьи:

                                                                Это вы неправильно интерпретируете текст статьи.
                                                                Даже тут я не понимаю, как можно было сделать те выводы, которые вы сделали. А уж в оригинальных постах такого тем более не найти.
                                                                Каждый герой управляется одним отдельным инстансом сети.
                                                                  0
                                                                  Ну, в модели сети действительно отсутствуют связи между ботами, единственное что я там увидел — кулдауны глифов для каждого героя в игре.
                                                                  Окей, это более-менее честно для людей.
                                                                  0
                                                                  долгосрочные стратегии это наработанная база самого бота. Можете считать, что у всех ботов общая ДНК, но в конкретной игре — это 5 инстансов.
                                                            +1
                                                            Coordination
                                                            OpenAI Five does not contain an explicit communication channel between the heroes’ neural networks. Teamwork is controlled by a hyperparameter we dubbed “team spirit”. Team spirit ranges from 0 to 1, putting a weight on how much each of OpenAI Five’s heroes should care about its individual reward function versus the average of the team’s reward functions. We anneal its value from 0 to 1 over training.

                                                            https://blog.openai.com/openai-five/


                                                            там кстати классные картинки на счет того что бот получает на вход и что возвращает


                                                            то есть матчи были бы и 8х8, ну, вплоть до максимума на карту

                                                            Я вижу, вы в доту не играете :)
                                                            Дота — это только 5в5. Как баскетбол :)
                                                            Можно, конечно, играть в баскетбол и не 5в5, так и в доту — есть соло для тренировки, есть какие-то фановые режимы. Но это как бы будет не дота :)

                                                              0
                                                              Я вижу, вы в доту не играете :)

                                                              Играл ещё когда она была модом к варкрафту 3 :)
                                                              OpenAI Five does not contain an explicit communication channel between the heroes’ neural networks.

                                                              Тогда у людей есть шанс коммуникацией компенсировать стабильность реакции ботов.
                                                                0
                                                                Играл ещё когда она была модом к варкрафту 3 :)

                                                                И как там было с 8х8 в 5.84b? ;)


                                                                Тогда у людей есть шанс коммуникацией компенсировать стабильность реакции ботов.

                                                                Один бот имеет практически всю ту же самую инфу, что имеют другие боты. В этом плане с коммуникацией не проблема. Проблема тут в том, что один бот не знает что сделает другой, с-но не может планировать… но! Штука в том что бот не знает и то, что он сам сделает, с-но он и свои действия не может планировать :D
                                                                Что, вобщем-то, не мешает.

                                                                  +1
                                                                  матчи были бы и 8х8, ну, вплоть до максимума на карту

                                                                  Играл ещё когда она была модом к варкрафту 3 :)

                                                                  Насколько я помню, в варкрафте 3 было максимум 12 игроков до недавнего патча, и в доте использовались все: 10 слотов для игроков и 2 для Sentinel и Scourge.

                                                              +2
                                                              Потому что бота, который может управлять конкретным одним игроком, и взаимодействовать с другими игроками при помощи коммуникации, можно затем коммерчески продать той же valve.

                                                              Такой бот сможет дополнять команды играя вместе с людьми. Да и просто играть против людей в режиме PvB
                                                                0
                                                                Потому что бота, который может управлять конкретным одним игроком, и взаимодействовать с другими игроками при помощи коммуникации, можно затем коммерчески продать той же valve.

                                                                Поверьте, та игра, которую показывает этот бот — это ни то, что люди хотят смотреть, ни то, против чего они хотят играть :)
                                                                Так что коммерческая польза сомнительна будет.

                                                                  0
                                                                  Хороший бот — это отличный режим для начинающих, которые хотят научиться играть в MOBA игры, не читая с первой же минуты оскорбления и маты в свой адрес.
                                                                    0

                                                                    Существующие боты с этим прекрасно справляются.

                                                0
                                                Нет вы не правы, вард танкует 8 ударов, а вышка не переагривается сама по себе, если поставить четко по таймингу будет фора 8 ударов у крипов, если не четко меньше, причем на 7 ударов там времени секунда где-то, на 6 ударов 2 секунды, так что успеть можно, не говоря о том, что крипы идут линейно и предсказать это просто, так что тут не реакция нефига а просто действие заранее.
                                                  0
                                                  если все так просто почему это не делают на про сцене?
                                                    0
                                                    Теперь делают) После того, как боты это показали.
                                                      0
                                                      Ну моё имхо, так это сомнительная целесообразность, 8 ударов это не так много, а стоит 100 золота.
                                                        0
                                                        Тем не менее это интересная стратегия, которая в определенных случаях позволяет забрать вышку.
                                            0
                                            Робот же не может навредить человеку. но сколько же людей расстроятся из-за поражения своих любимчиков:) А если серьезно, то это безумно круто. удачи ботам:)
                                              0
                                              Робот же не может навредить человеку

                                              Это только по Азимову. Джеймс Кэмерон немного другого мнения. ;)
                                                +1
                                                Насколько я помню Азимова — все таки может. Просто неумышленно.:)

                                                Помню, например, рассказ где роботу приказали достать важные элементы без которых база на Меркурии(?) загнется. Но роботу не объяснили важность миссии. А ему оказалось «стремно». И он как то не торопился добывать элементы. Не поймали б робота — загнулась бы база вместе с людьми:)
                                                  +1
                                                  Кажется называется «Хоровод». Там еще несколько рассказов на тему, как не сработают Законы было
                                              0
                                              и да, все в комментариях что на реддите, что на профессиональных дота ресурсах, сошлись в том что последние игры 5х5 были… были слегка поддавками, как бы не отнекивались игроки, то, как мямлил шейкер про то, что «ну я не кастовал эхо слэм через шифт потому что подумал что лион в стане от фиссуры» четко показывает, что были дополнительные ограничения, о которых мы не знаем. Да что говорить, куча всего уже обговорено, начиная от того шейкера под лионом и заканчивая беготней по-одному всю игру, когда их боты выщелкивали. Если же еще и чейн способностей отсутствовал, всегда давая ботам «окно» для прокаста, это вообще чит)
                                                +6
                                                Последняя игра, в которую я играл более-менее, была Q2.
                                                Мне очень интересно следить за противостоянием белковых и кремниевых, и я бы с радостью посмотрел трансляцию…
                                                Но не буду.
                                                Уже пытался смотреть стримы, но всё равно ничего не понятно. Что произошло? Кто выиграл боестолкновение? Кто побеждает? Куда смотреть? А комментаторы только усиливают хаос, говоря на каком-то своем языке. С выражениями типа тех, что в комментариях выше
                                                лион в стане от фиссуры
                                                скомпенсировать траты на варды и плевать что он не в мете

                                                Кто-нибудь знает, где можно будет посмотреть игру так, чтобы было понятно простым смертным?
                                                  0
                                                  Вот это проблема для MOBA (та же, кстати, с которой сталкивается ИИ) — очень большой глоссарий базовых терминов, которые необходимо освоить, чтобы нормально понимать игру.

                                                  В общем, увы, нет, если основы не знаете, смотреть трансляцию довольно специфичного события (т.е. массово никто заморачиваться с адаптацией под новичков не станет) смысла нет, скорее всего.
                                                    +2
                                                    Ну естественно, зачем ради нас, не-дотеров, заморачиваться. Нас ведь так мало…
                                                      0
                                                      Проблема в том, что на это (для понимания на уровне «перестал теряться раз в 1-2 минуты при спокойном темпе игры и понимаю хотя бы 50% происходящего в более интенсивных ситуациях») реально надо будет угрохать раза в 2-3 больше времени, чем займёт сама игра, и это если довольно интенсивно подавать материал.

                                                      Это не столько «зачем заморачиваться ради чёртовых казуалов», сколько «зачем объяснять это им, если 90% не интересно, а кому надо — сами придут».
                                                        –3
                                                        Ну тогда молитесь, чтобы казуалам по прежнему было не интересно. Потому что если вдруг станет, то игра быстренько эволюционирует.
                                                        И будут комментаторы быстрые схватки на замедленных повторах анализировать, пока игроки отдыхают.
                                                          +2
                                                          Да ё-моё, мне совсем не жаль, я наоборот за широкую популяризацию разных форм киберспорта. Просто с мобами, особенно дотой, это довольно сложно делать — вникать тяжеловато. Это был единственный посыл — «я совсем не против, чтоб сюда приходили, но пожалуйста, готовьтесь, будет сложновато».

                                                          А после матчей комментаторы (а чаще выделенная студия аналитики уже, а не комментаторы) уже давно анализируют матчи, подмечая на повторах наиболее интересные, яркие или ключевые моменты, да. Это замечательно.
                                                        0
                                                        Я больше скажу — это как с шахматами, если у тебя ниже 1го разряда, то турниры с топовыми игроками можно не смотреть, потому что разрыв слишком большой. Вместо того чтобы чему-то научиться, ты просто сидишь и не понимаешь игру, даже несмотря на комментарии и разбор ходов.
                                                          0
                                                          Ну… не скажите.
                                                          Турниры турнирам рознь.

                                                          На набережной в Ялте одно время (возможно, и сейчас) летными жаркими вечерами собиралась тусовка шахматистов из местного клуба. Ниже 1го разряда у них никого не было. Ну чемпионов мира — тоже. Играли они преимущественно друг с другом, но иногда их можно было уговорить и на игру с прохожим.
                                                          Играли блицы. 5 минут на партию каждому игроку.
                                                          По началу действительно ничего не понятно. Не успеваешь.
                                                          Но некоторое время насмотревшись уже получалось найти ходы лучше чем игроки сыграли и увидеть где кто чего зевнул. И это в «онлайне».

                                                          Сам я даже до 3го в лучшие свои времена не дотягивал.
                                                            +1
                                                            В том и суть, что чемпионов мира не было. Если бы вы находили зевки или более лучшие ходы за Магнуса Карлсена или Владимира Крамника — тогда другое дело :)
                                                              0
                                                              Если бы они играли блицы по 20 штук за вечер и так каждый вечер, то думаю ходов по лучше хватило б на всех ;-)
                                                          0
                                                          Не обязательно быть дотером чтобы понимать, я СК2 люблю смотреть, хотя сам тока компанию играл.
                                                          Просто у доты относительно других игр большой порог входа, я вообще удивляюсь как у неё новые игроки появляются.
                                                          +4
                                                          Вот фраза из из eve-online, которая вовсе не MOBA:
                                                          На инсте гейта минусовый хуррик, в бубле, в агре.

                                                          перевод
                                                          В непосредственной близости от звёздных врат (то есть на таком расстоянии, что можно невозбранно пропрыгнуть) находится линейный крейсер класса «Хуррикейн», пилот которого является врагом нашей корпорации/альянса, в течение последней минуты совершивший акт агрессии против другого игрока, что не позволяет ему использовать звёздные врата по прямому назначению. Также крейсер находится в антигиперпрыжковом поле, что не позволяет ему использовать генератор гиперпрыжкового поля и уебать нахуй вглубь системы.


                                                          Похожие фразы можно найти и про wow, и про diablo2, starcraft, да вообще про что угодно.
                                                          Если включить радиотрансляцию с матча по футболу человеку, незнакомому с этой игрой (да, такого сложно найти), то он тоже мало что поймет.
                                                            0
                                                            Ну да, абсолютно, такие вещи очень много в каких играх с активным коммьюнити можно найти.
                                                            Просто скажем так, мне сложно представить обстоятельства, в которых кто-то стал бы транслировать EVE Online, ещё и с какими-то жёсткими рамками по времени, потому мобы с их соревновательной составляющей, которую как-то монетизируют и делают публичным развлечением, были более ярким примером. Да и в данном случае речь о Доте шла.
                                                              0
                                                              К тому-ж эпичные зарубы в EVE абсолютно не зрелищный, даже если понимаешь, что происходит. Трансляция экрана игрока-да, для понимающих зрелище захватывающее, но не любого игрока, и не одного игрока. Для «трансляции» боя требуется захват экранов всех участников, ну и переговоры желательны, потом ещё смонтировать-бы.
                                                                0
                                                                В EVE есть ежегодный турнир альянсов (недавно прошёл 16-й, поговаривают что последний из-за низкой популярности), который по сути представляет собой бой на арене между двумя околосбалансированными по силе кораблей командами. Очень специфичное зрелище, опять же без понимания игры половина движухи на арене будет непонятна.
                                                                  0
                                                                  Окей, спасибо (без сарказма, информация для меня новая, почему бы и нет). Кажется, мою мысль оно в целом подтверждает, я уже сказал, что просто речь идёт об определённом частном случае, о котором я в основном и вёл речь (но ни в коем разе не претендовал на его исключительность).
                                                                0
                                                                Хы, вспомнил времена, когда играл в WoW еще:
                                                                «2дд лфг цлк25 гс5.4 трини есть»
                                                              0
                                                              Знаете, в точности то же самое говорят и про Eve Online o)
                                                                +1
                                                                Испытываю те же проблемы в свои 34. Вроде и интересно (человеки пытаются победить роботов) и в целом принцип понятен, но начинаешь смотреть стрим и становится совершенно непонятно, что происходит на экране.
                                                                  +1
                                                                  Сравнение не совсем корректное, но «быстро объясните эти диф. уравнения что бы стало понятно человеку который когда то учил цифры и не хочет во все это вникать». Звучит как то так.
                                                                    +1
                                                                    1. Совсем не корректное;
                                                                    2. Не объясните, а покажите, куда смотреть;
                                                                    3. Думаю, я бы смог.

                                                                    Вот смотри: нужно, чтобы если вот эту фигульку пропустить вот через это преобразование, получилось бы то же самое, что и вот тут.
                                                                    Вот, пропускаем, складываем — сходится!

                                                                    А на С не смотри, оно не важно.
                                                                      0
                                                                      Только вот после этого объяснения, показав пару других типов диффуров, вам придётся заново объяснять, как эти преобразования работают на принципиально других аргументах (и работают ли вообще), и какие другие преобразования придётся использовать.
                                                                      А когда вы смотрите профессиональный матч, никто не станет «играть попроще», чтоб зритель-новичок понял. Люди деньги зарабатывают, наоборот, чем хитрее и тоньше, тем зачастую и лучше.
                                                                        +1
                                                                        Если бы было соревнование по решению дифуров на скорость, никто бы вам из комментаторов не объснял что такое частное решение и сколько бывает видов характеристического уравнения. Точно так же когда комментаторы на футболе кричат «Гол! А, нет, судья показывает оффсайд» никто вам в прямом эфире каждый раз разжевывать правила футбола не будет. И когда человек играет против компьютера в шахматы, никто вам шахматный учебник не пересказывает, и тем более не разжевывает почему конь может прыгать через фигуры, а слон нет, а король иногда. Подразумевается что вы это и так знаете.

                                                                        Хотите смотреть игру — учите правила. Ни в одном виде спорта комментаторы не разжевывают термины и правила для тех, кто впервые эту игру увидел. Почему киберспорт должен быть исключением?
                                                                          +1
                                                                          Довольно часто слышу как комментаторы не разжёвывают, но объясняют правила для тех, кто впервые увидел этот вид спорта, если он не очень популярный.
                                                                            0
                                                                            Спортивные правила обычно очень просты в сравнении с.
                                                                            0

                                                                            Простите, а когда король в шахматах ходит через фигуры?

                                                                              +1

                                                                              Наверное, рокировка, если делать ее через ладью, а не через короля.

                                                                                –1

                                                                                Ну тут сложно сказать кто через кого ходит, король через ладью, или она через него.

                                                                                  0
                                                                                  Если быть очень придирчивым, по правилам, рокировка всегда начинается с хода короля, вне зависимости от стороны, в которую выполняется.
                                                                          0
                                                                          Если нет проблем с английским, то есть стирим от valve для новичков:
                                                                          www.twitch.tv/dota2ti_newcomer
                                                                            0
                                                                            Можно попробовать посмотреть записи с первого интернешенела, там комментаторы именно таким образом рассказывали, что и как, в простой манере.
                                                                              –1
                                                                              Очень сложно. Сложно не из-за невозможности описания, а из-за того, что без сокращений и устоявшихся выражений, комментирование будет чудовищно медленным.
                                                                              Я мог бы вместо
                                                                              «лион в стане от фиссуры» написать «герой, имеющий возможность выключить противника из игры стоял в оглушении и игрок не рассчитывал, что противник выйдет из оглушения так быстро, поэтому не воспользовался методом, убирающим временной промежуток между способностями и гарантирующим что способность будет исполнена.

                                                                              Но если каждые 4 слова превращать в 35, описание матча превратится в лютую жесть.
                                                                                0

                                                                                О, так намного понятнее, спасибо за перевод

                                                                                0
                                                                                Раньше был стрим TI для новичков или тех, кто совсем не разбирается в игре.
                                                                                  0
                                                                                  Есть официальная трансляция для новичков — www.twitch.tv/dota2ti_newcomer.
                                                                                  Стоит отметить, что трансляция только на английском языке.
                                                                                    0
                                                                                    Это вам не футбол:)
                                                                                    Я долгое время смотрел стримы по Гвинту и таки да. Для непосвященного карточки меняются очень быстро, прочитать текст нереально, а уж комментарии целиком сленговые…
                                                                                      0
                                                                                      Да что там для непосвященного… Я играл в ХС с ОБТ и до начала 2018. Сейчас, пропустив 2 последних обновления, я захожу на стримы и не знаю, какие картонки что делают.
                                                                                      С Гвинтом попроще, хотя я его тоже забросил. Там банально меньше новых карт
                                                                                        0
                                                                                        Нагромождение сущностей не делает игру интересней, жаль, что дизайнеры карточных игр до этого никак не дойдут.
                                                                                          +1
                                                                                          Дизайнеры получают несколько другую задачу на вход:)
                                                                                          От них требуют чтобы игра приносила больше денег.
                                                                                          А «интересность» она даже не в первой тройке приоритетов.
                                                                                            0
                                                                                            Хотя «интересность» и прибыльность пытаются всеми силами отвязать друг от друга, пока они связанны неразрывно. Поэтому ведьмак взлетел, и гвинт в нём нравиться почти всем, а отдельный гвинт не так что-бы был хитом.
                                                                                              0
                                                                                              Ведьмак это исключение. Он именно потому и взлетел, что изначально закладывался как интересный. На фоне абсолютного большинства игр нынче, которые делаются как раз на выжимание денег Ведьмак полыхнул сверхновой.
                                                                                      0
                                                                                      Есть трансляция для новичков, если понимаете английский. https://www.twitch.tv/dota2ti_newcomer
                                                                                      Возможно, есть и русский стрим новичковый, но я не слышал.
                                                                                        0
                                                                                        Лион — имя персонажа
                                                                                        Стан — название эффекта под которое он попал
                                                                                        фиссура — название способности которая накинула этот эффект.
                                                                                        Куда проще? Это даже не сокращение или какие-то мудренные термины, а просто названия которые можно увидеть сыграв разок другой.
                                                                                          0
                                                                                          Правильно) только ситуацию это не объяснит. Потому что объяснить надо не лиона, стан и фиссуру, а почему шейкер не успел дать эхо слем и уехал в полиморф лиона (а для этого надо как минимум знать скилы лиона)
                                                                                            0
                                                                                            Потому что ошибся и не нажал эхо слем сразу, он же сам потом сказал ;)
                                                                                            0
                                                                                            Более того это просто англ слова, смысл которых можно спроецировать в игру.
                                                                                            0
                                                                                            Кто-нибудь знает, где можно будет посмотреть игру так, чтобы было понятно простым смертным?

                                                                                            Да нафиг это нам не нужно. Понимаете ли, с тех пор как дота стала отдельной игрой, при взгляде на неё, единственно что я вижу — сплошное мельтещение графических эффектов, поглощающее происходящее. Я просто не увижу то, что происходит, даже если мне это будут объяснять на понятном мне уровне.
                                                                                              0
                                                                                              Значит, не одному мне так показалось. После варкрафта действительно было ничего не понятно в замесах, одни огни мелькают. Может, конечно, это только из-за привычки к другой графике.
                                                                                                0

                                                                                                Просто УИ действительно перегружено, и тут ничего не сделаешь, механика такая. Я после первой доты тоже долго привыкал.

                                                                                                  0
                                                                                                  Да ничего не поменялось, как мне кажется. Просто к механике и графике вар3 ты привык уже, вот и кажется всё знакомым. После вар3 увидев мощный замес в дота 1 ты бы тоже офигел и ничего не понял, а потом привыкаешь уже и даже не видишь половину анимаций итд. Мозг как-то отфильтровывает.
                                                                                                    0
                                                                                                    Мозг видит всё, но вместо мусорной графики оценивает «ага, был скастован скилл Х».

                                                                                                    После анимаций первого варкрафта было очень тяжело: деревья сливаются друг с другом, ауры нужно прокликивать, многие анимации намного менее контрастные,… Нужно поиграть 20-30 игр чтобы привыкнуть, а после сотни игр начинаешь вычленять исключительно полезную информацию.
                                                                                                0
                                                                                                Уже пытался смотреть стримы, но всё равно ничего не понятно. Что произошло? Кто выиграл боестолкновение? Кто побеждает? Куда смотреть? А комментаторы только усиливают хаос, говоря на каком-то своем языке. С выражениями типа тех, что в комментариях выше


                                                                                                Форвард ударяет велосипедом, от чего мяч перелетает бетон и голкипер пропускает хет-трик.

                                                                                                Как вы думаете, ваша жена или любой другой человек незнакомый с футболом многое понял из этой фразы?

                                                                                                Сленг — норма любой специфической сферы деятельности. Для его разжевывания нужно быть погруженным, например играть в футбол, или в данном случае в доту.
                                                                                                  +2
                                                                                                  Я не поклонник футбола, но никогда не слышал подобную фразу от комментаторов. Никто не пропускает хет-трик, его делают. Про бетон и велосипед мне остается только догадываться.
                                                                                                –1
                                                                                                del
                                                                                                  +1
                                                                                                  Почему то не верю в людей.
                                                                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                      0

                                                                                                      Если будут такие же ограничения, то в первом матче преимущество будет в том, что люди в такую доту просто не играют, с-но некоторые решения которые верны в нормальной доте, тут будут ошибочными, и наоборот.

                                                                                                      0
                                                                                                      А зря. Команда, которая уже покинула ТИ даже на тех имеющихся ограничениях снесла ботов.
                                                                                                      Команды, которые остались думают сделают тоже самое. А если убрать ограничение по персонажам, то там вообще пока что у бота мало шансов
                                                                                                        0

                                                                                                        Вообще говоря, если бы они до этого не видели матч с ботами, то, вполне себе, проиграли бы. Потому что то как они играли с ботами — это сейчас не в мете. А если бы играли метово — маловероятно, что успели бы подстроиться под ботов.

                                                                                                          +2
                                                                                                          Типа давайте запретим кожаным игрокам учиться на чужих ошибкахиграх?
                                                                                                          Это наше эволюционное преимущество. Нефиг:)
                                                                                                            0
                                                                                                            Типа давайте запретим кожаным игрокам учиться на чужих ошибкахиграх?

                                                                                                            При чем тут обучение на чужих ошибках? Есть определенные правила проведения спортивных состязаний. Когда Каспаров проиграл DeepBlue то ему никто не предлагал сыграть еще n игр с целью поискать абузы и потом уже сыграть игру по-настоящему. Нет, он проиграл матч, и на этом машина победила человека в шахматы.


                                                                                                            Если бы тот АИ, о котором речь, участвовал в конкретном состязании под видом людей, то люди бы у него смогли выиграть? Не смогли бы, т.к. никто бы не дал им в рамках этого состязания сидеть и 6 часов алгоритм вскрывать. Вы в принципе не сможете это сделать против реального игрока. Он просто пошлет вас и не станет с вами играть :)

                                                                                                              0
                                                                                                              Вообще то могу. Достаточно посмотреть на ютубчике как он играл с другими противниками ранее ;-)
                                                                                                                0
                                                                                                                Вообще то могу. Достаточно посмотреть на ютубчике как он играл с другими противниками ранее ;-)

                                                                                                                Я вообще думал, этот тот же тред, что про quake и ответил не совсем про то :)
                                                                                                                Посмотреть-то в ютубчике вы можете, но это не даст вам больших знаний, чем в случае игры с обычным игроком.

                                                                                                                  0

                                                                                                                  Здесь, кстати, еще интересный момент — так же как люди не готовы к игре с ботом так и бот не готов к игре с людьми. То поведение, которое он выучил оптимальным в игре сам с собой, не всегда будет оптимальным в игре против людей.
                                                                                                                  Конкретный пример: вот в игре с PaiN вихо на аксе не упевал после блинка прожимать колл, т.к. бот всегда успевал отпрыгивать своим блинком. С-но, что выучит бот в игре с самим с собой? нет смысла пытаться поймать героя с блинком при помощи колла акса. И не будет это пытаться сделать в игре с людьми. Хотя люди прекрасно ловятся :)

                                                                                                                    0
                                                                                                                    Не уверен. Думаю бот выучит, что надо отпрыгивать.
                                                                                                                    Потому что положительное закрепление было именно на «отпрыгивание».

                                                                                                                    А отрицательного закрепления на «попытку блинка» — не было. Значит не должно быть забраковано.
                                                                                                                      +1
                                                                                                                      А отрицательного закрепления на «попытку блинка» — не было.


                                                                                                                      Конечно было. Бот тратил ресурсы на блинк, от которого чужой бот в 100% отпрыгивает.
                                                                                                                        0
                                                                                                                        Хм. Тогда таки да.
                                                                                                                        Не скоро людей обыграют:)
                                                                                                        0
                                                                                                        Слава роботам!!! Убить всех человеков!!!
                                                                                                          0
                                                                                                          Если без ограничений, то уверен, что люди порвут ботов. Если с ограничениями, то тут всё зависит исключительно от ограничений.
                                                                                                            +2
                                                                                                            Вот когда бот победит про-игрока 1 на 1, тогда поговорим.
                                                                                                            Вот когда команда ботов победит 5 на 5, тогда поговорим.
                                                                                                            === Вы находитесь здесь ===
                                                                                                            Вот когда команда ботов победит про-игроков 5 на 5, тогда поговорим.
                                                                                                            Вот когда команда ботов победит про-игроков 5 на 5 без ограничений, тогда поговорим.
                                                                                                            Вот когда команда ботов победит про-игроков 5 на 5 без ограничений и без использования API для ботов, только анализируя аудиовизуальный поток, тогда поговорим.
                                                                                                              +1
                                                                                                              Проблема только в том, что они немного в другую игру играют, не в доту, а почти в суровый такой кастом гейм на основе доты.
                                                                                                              При этом я мало сомневаюсь, что рано или поздно они научатся людей и в «полноценную» доту рвать, но пока не думаю, что скоро.
                                                                                                                0

                                                                                                                Думаю что боты в доте и Лоле уже давно играют.

                                                                                                                  0
                                                                                                                  Написанные заскриптованные боты — да.
                                                                                                                  Обученные сколько-то «честным» ML, и, как следствие, потенциально превосходящие человека не только реакцией, но и пониманием — точно нет.
                                                                                                                    0
                                                                                                                    Что есть понимание? Понимаем ли мы сами?
                                                                                                                    Совсем недавно была статья на хабре посвященная данной теме.
                                                                                                                    habr.com/post/420197
                                                                                                                      +1
                                                                                                                      В контексте у самого термина «понимание» есть относительно чёткая трактовка — умение делать наблюдения (как позитивные, так и негативные — Х присутствует/Х отсутствует), дополнять, уточнять и обновлять на основе этих наблюдений собственную ментальную модель происходящего в игре, и на основе этих дополнений принимать решения как тактические, так и стратегические, и на основе обратной связи (результат игры или отдельных её моментов) также обновлять модель принятия тактических и стратегических решений.

                                                                                                                      Пример банальной цепочки вещей, которые человеку приходят с опытом, и формируют маленький кусочек «понимания игры»:
                                                                                                                      — Мы хотим обладать максимумом информации о действиях и состоянии соперника
                                                                                                                      — Соответственно, мы хотим организовывать максимальный обзор на карте (ставить варды, например; различия в важности наличия вижена в разных участках карты в принципе и в разных игровых ситуациях оставим за кадром, это немного следующий уровень рассуждений)
                                                                                                                      — Когда мы имеем условно достаточный уровень обзора, мы можем делать выводы, как видя противника (можно наблюдать, какие действия на карте он производит, и строить прогнозы развития событий, и предпринимать решения — стоит ли пытаться его сейчас убить, например, или его можно условно игнорировать), так и не видя его (если мы видим большУю часть карты, и не видим противника, вполне вероятно, что он осознанно скрылся, и, возможно, предпринимает агрессивные действия, которых надо или избегать, или встретить готовыми всей командой, или предпринять ответную агрессию).

                                                                                                                      И так вот понемногу, по кирпичикам.
                                                                                                                –3

                                                                                                                Народ вы читайте сначала весь текст статьи. Играют именно на видеопотока распознавая картинку.

                                                                                                                  0
                                                                                                                  Я конечно не знаю, что такое «официальный API доты для ботов», но сомневаюсь, что в нем — просто картинка.
                                                                                                                  Логичнее было бы передавать как раз закодированное игровое поле примерно в таком виде, каким его распознает человек.
                                                                                                                  0
                                                                                                                  Вот когда команда ботов победит 5 на 5, тогда поговорим.

                                                                                                                  Боты на 5*5, причем без ограничений на весь пул героев в доте есть уже давным-давно, с разморозкой вас ;)
                                                                                                                  Вопрос именно в том, насколько они хорошо играют.

                                                                                                                    0
                                                                                                                    Пока на этом уровне и остались. Даже самую слабы команду-участницу ТИ боты не победили :(
                                                                                                                      +1
                                                                                                                      Самая слабая команда-участница ТИ это все же топ 20 команд всего мира. Нехило такое «лишь».
                                                                                                                        0
                                                                                                                        Они не топ 20. Паин отобрались с региональных квал. Многие команды из СНГ, Европы и Китая да и тот же регион юго-восток Азии обыграли бы их.
                                                                                                                          0
                                                                                                                          Не согласен, с приходом w33 они очень неплохо стали играть. В общем рейтинге DPC они заняли 16е место (если не считать дисквала из-за смены состава) и являются одной из 16 команд за этот год с призовым местом на мейджоре.
                                                                                                                      0
                                                                                                                      del
                                                                                                                      0
                                                                                                                      128 тысяч процессорных ядер Google Cloud.
                                                                                                                      256 GPU P100 NVIDIA

                                                                                                                      Какой-то дичайший перевес в сторону CPU. Они что, нейронку в основном на CPU тренируют?

                                                                                                                        0

                                                                                                                        На сколько я понимаю, CPU используются для симуляции параллельных игр, а GPU для обучения.

                                                                                                                      • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                          +1

                                                                                                                          Сильно ли отличается уровень, например, среднего музыканта, который тренировался 10 лет от того, кто тренировался 20? С какого уровня человек достигает предела, выше которого не растет.


                                                                                                                          Для нейросетей это так же верно. Любая архитектура имеет плато — там хоть сто лет, хоть сто тысяч, а качество расти перестает. Вот и ищут архитектуру, которая с одной стороны хорошо обучается, а с другой — имеет очень высокое плато.

                                                                                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                              0
                                                                                                                              Топ игроки Го с вами не согласны, причем в корне, чем сложнее среда, тем больше ИИ доминирует над людьми

                                                                                                                              У топ игроков го странное мнение, которое опровергается наблюдаемыми фактами.
                                                                                                                              Мне кажется, топ-игроки го имели ввиду что-то другое, не то, что вы сейчас говорите.

                                                                                                                                0

                                                                                                                                Можно пару фамилий? Или вы от их имени говорите?


                                                                                                                                Конечно ИИ будет переигрывать в доте. Но у конкретной архитектуры есть плато. И её можно хоть сто настоящих лет учить — плато останется. Если плато выше, чем навык людей — будет обыгрывать (если доучить до этого плато). Если плато ниже — будет проигрывать.


                                                                                                                                Конечно всегда можно взять более крупную архитектуру. У неё плато наверняка будет выше. Просто учить сложнее. Иногда настолько сложнее, что вообще не ясно — как.


                                                                                                                                Если интересно — посмотрите "график обучения нейронной сети", на них хорошо видно, что сеть постепенно идёт к определенному уровню.

                                                                                                                              0
                                                                                                                              > Квантовый компьютер
                                                                                                                              > Роботы-убийцы
                                                                                                                              > Мы все умрем

                                                                                                                              Вы точно в правильном месте решили начать писать про конец света и восстание машин?
                                                                                                                                0
                                                                                                                                Я думаю, forcam не про конец света и восстание машин, а про использование таких роботов человеком.
                                                                                                                                xkcd.com/1968image
                                                                                                                                0
                                                                                                                                Тренировка нейронки не бесконенчна, в итоге строится сеть тренирующая сеть (нашу нейронку) и эта тренировка сводится к упрощению внутреннего состояния «нашей нейронки», к отсечению лишних путей и в конце конце все упрощается до аналитического решения (если оно существует). Так действует человеческий мозг. Невозможно бесконечно улучшать законы Ньютона наблюдая за падающим яблоком.
                                                                                                                                0
                                                                                                                                По информации от разработчиков, все партии происходят с отрисовкой событий на карте с частотой в 30 FPS. Нейросеть OpenAI постоянно анализирует каждый кадр через LSTM, на основе результата которого принимает дальнейшие решения.

                                                                                                                                В этом контексте очень интересно, что будет, если скин карты внезапно сменить :)
                                                                                                                                Кроме того, похоже, можно делать какие-то абузы на стаке анимаций.

                                                                                                                                  0

                                                                                                                                  Таки исходя из оригинала боты видят не экранное изображение, а информацию о происходящем в чистом виде, в частности, например:


                                                                                                                                  For example, until recently OpenAI Five’s observations did not include shrapnel zones (areas where projectiles rain down on enemies), which humans see on screen. However, we observed OpenAI Five learning to walk out of (though not avoid entering) active shrapnel zones, since it could see its health decreasing.

                                                                                                                                  еще немаловажная вещь:


                                                                                                                                  We hardcode item and skill builds (originally written for our scripted baseline), and choose which of the builds to use at random. Courier management is also imported from the scripted baseline.

                                                                                                                                  разводка на лайны тоже осуществляется насильно:


                                                                                                                                  At the beginning of each training game, we randomly “assign” each hero to some subset of lanes and penalize it for straying from those lanes until a randomly-chosen time in the game.

                                                                                                                                  так что боты совсем не учатся "сами по себе".

                                                                                                                                    0
                                                                                                                                    разводка на лайны тоже осуществляется насильно:

                                                                                                                                    we randomly “assign” each hero to some subset of lanes and penalize it for straying from those lanes

                                                                                                                                    Как бы это не скриптинг. Просто они включили лайнапы в cost function обучения.
                                                                                                                                      0
                                                                                                                                      Как бы это не скриптинг. Просто они включили лайнапы в cost function обучения.

                                                                                                                                      Так и сборки — тоже не скриптинг, это просто способ показать сети, что "так можно", чтобы она вслепую не тыкалась миллион лет, подбирая осмысленные варианты наугад.
                                                                                                                                      Речь просто о том что, получается, боты не на 100% сами все узнают, а получают некоторую внешнюю информацию о том, как играть
                                                                                                                                      "можно собрать такой-то билд по итемам", "можно качать скиллы в таком-то порядке", "можно играть вот такой вот стратегией с расстановкой по лайнам".
                                                                                                                                      Что, вобщем-то, нарушает чистоту эксперимента.

                                                                                                                                        0
                                                                                                                                        Так и сборки — тоже не скриптинг, это просто способ показать сети, что «так можно», чтобы она вслепую не тыкалась миллион лет, подбирая осмысленные варианты наугад.

                                                                                                                                        Сборки — это скриптинг. Читайте внимательнее — ботам даётся несколько айтембилдов / скиллбилдов, и они выбирают случайный. ML никаким образом в этом не участвует.
                                                                                                                                        С лайнапами ситуация другая — ботам дают выбранные лайны и включают это в функцию потерь таким образом, чтобы боты меняли линии только тогда, когда это реально выгодно.

                                                                                                                                        Речь просто о том что, получается, боты не на 100% сами все узнают, а получают некоторую внешнюю информацию о том, как играть
                                                                                                                                        «можно собрать такой-то билд по итемам», «можно качать скиллы в таком-то порядке», «можно играть вот такой вот стратегией с расстановкой по лайнам».
                                                                                                                                        Что, вобщем-то, нарушает чистоту эксперимента.

                                                                                                                                        Чем это нарушает чистоту эксперимента? Machine learning — это не про blackbox. Вносить знания о домене в модель — это нормально.
                                                                                                                                          0

                                                                                                                                          Смотря какая задача у разработчиков. У DeepMind задача на играх научиться чему-то чтобы решить новую область задач с помощью AI. OpenAI похоже главное выиграть пусть с помощью скриптов и готовых алгоритмов.

                                                                                                                                            0
                                                                                                                                            У DeepMind задача на играх научиться чему-то чтобы решить новую область задач с помощью AI. OpenAI похоже главное выиграть пусть с помощью скриптов и готовых алгоритмов.

                                                                                                                                            Ну ок тогда. Мне просто казалось, что у OpeanAI та же задача.

                                                                                                                                            0
                                                                                                                                            Чем это нарушает чистоту эксперимента? Machine learning — это не про blackbox. Вносить знания о домене в модель — это нормально.

                                                                                                                                            Я полагал что поставленной задачей было продемонстрировать эффективность сетей определенного типа на определенных задачах. Если в сеть вносятся какие-то априорные знания о задаче, то это уже ничего не демонстрирует. Сейчас непонятно — если бы так не сделали, то сеть бы ничему не научилась и играть бы не смогла? или это оказало не существенное влияние? Непонятно.


                                                                                                                                            Сборки — это скриптинг. Читайте внимательнее — ботам даётся несколько айтембилдов / скиллбилдов, и они выбирают случайный.

                                                                                                                                            Это делается для эксплоринга, при тренировке, чтобы боты смогли научиться играть с конкретными осмысленными билдами, а не перебирали их рандомно. Непосредственно в игре, естественно, никаких предопределенных билдов нет.


                                                                                                                                            С лайнапами ситуация другая — ботам дают выбранные лайны и включают это в функцию потерь таким образом, чтобы боты меняли линии только тогда, когда это реально выгодно.

                                                                                                                                            Опять же — это тоже делается только в тренировочных играх, чтобы боты больше наиграли с адекватными расстановками по лайнам и потом повторяли это "закрепленное поведение" уже сами.

                                                                                                                                              0
                                                                                                                                              Если в сеть вносятся какие-то априорные знания о задаче, то это уже ничего не демонстрирует.

                                                                                                                                              Кхм, как бы feature engineering никто не отменял даже для нейросетей.

                                                                                                                                              Это делается для эксплоринга, при тренировке, чтобы боты смогли научиться играть с конкретными осмысленными билдами, а не перебирали их рандомно. Непосредственно в игре, естественно, никаких предопределенных билдов нет.

                                                                                                                                              Пруфы? В блоге написано про рандомный выбор среди заскриптованных билдов. То же самое озвучивал на стриме разработчик из OpenAI и говорил, что это одна из вещей, от которых они хотят избавиться в ближайшее время.

                                                                                                                                              Опять же — это тоже делается только в тренировочных играх, чтобы боты больше наиграли с адекватными расстановками по лайнам и потом повторяли это «закрепленное поведение» уже сами.

                                                                                                                                              Эээ, ну да, во время игры никаких cost function уже нет. Вернитесь к исходному аргументу: вы говорили, что лайнапы захардкожены, и боты по линиям разводятся насильно. Я же просто сказал вам, что это не так, и лейнинг является trainable параметром. Другое дело, что в него вносятся некие priors в виде того, что изначально боты распределяются по линиям, а потом уже решают, надо ли менять это.
                                                                                                                                                0
                                                                                                                                                Пруфы?

                                                                                                                                                Это написано в разделе про эксплоринг. Нет никакого повода полагать, что это происходит как-то иначе. Но окей, быть может, я понял неверно.


                                                                                                                                                Вернитесь к исходному аргументу: вы говорили, что лайнапы захардкожены, и боты по линиям разводятся насильно. Я же просто сказал вам, что это не так, и лейнинг является trainable параметром.

                                                                                                                                                Я и не говорил что он захардкожен, я говорил о том, что ботам "помогли" выучить некоторое наперед заданное поведение.

                                                                                                                                                  0
                                                                                                                                                  я говорил о том, что ботам «помогли» выучить некоторое наперед заданное поведение.

                                                                                                                                                  Нет, вы дословно сказали, что «разводка на лайны тоже осуществляется насильно», хотя по факту это просто было добавлено в cost function (как, наверняка, и ещё огромное количество других игровых элементов).

                                                                                                                                                  Это написано в разделе про эксплоринг. Нет никакого повода полагать, что это происходит как-то иначе. Но окей, быть может, я понял неверно.

                                                                                                                                                  Там написано:
                                                                                                                                                  We hardcode item and skill builds (originally written for our scripted baseline), and choose which of the builds to use at random. Courier

                                                                                                                                                  Мы хардкодим айтембилды и скиллбилды (это изначально было реализовано в рамках нашего заскриптованного бейзлайна) и случайным образом выбираем, какой из билдов использовать.

                                                                                                                                                  В интервью же разработчик говорил, что сейчас это заскриптовано, и они хотят в ближайшее время это устранить. Если бы это использовалось только во время обучения, зачем бы это надо было устранять? Так что как раз таки нет никакого повода полагать, что это происходит именно так, как вы описали.
                                                                                                                                                    0
                                                                                                                                                    Нет, вы дословно сказали, что «разводка на лайны тоже осуществляется насильно», хотя по факту это просто было добавлено в cost function (как, наверняка, и ещё огромное количество других игровых элементов).

                                                                                                                                                    Если я приставлю вам пистолет к голове и скажу съесть свой галстук, то я тоже "просто добавляю cost function". А вы оп! И едите галстуки теперь!


                                                                                                                                                    Если бы это использовалось только во время обучения, зачем бы это надо было устранять?

                                                                                                                                                    Резонно. А что за интервью?

                                                                                                                                                      0
                                                                                                                                                      Резонно. А что за интервью?

                                                                                                                                                      Интервью, которое было между картами бейзлайн-матча.

                                                                                                                                                      Если я приставлю вам пистолет к голове и скажу съесть свой галстук, то я тоже «просто добавляю cost function». А вы оп! И едите галстуки теперь!

                                                                                                                                                      Так с тем же успехом можно сказать, что боты вообще скриптованные. Ведь всё их обучение по большому счёту упирается в удачный reward для обучения.
                                                                                                                                                        0
                                                                                                                                                        Ведь всё их обучение по большому счёту упирается в удачный reward для обучения.

                                                                                                                                                        Если у вас стоит ревард только за победу, то никаких проблем. Это же и есть цель игры.
                                                                                                                                                        В нашем случае дают еще реварды за голду, уничтожение вышек, убийства, снижают за обратное — но это вещи вполне логично приводят к победе, доту не выиграть, не убивая, вражеских персонажей и не ломая здания. То есть это просто некоторая оптимизация алгоритма, боты к этому в любом случае придут, просто медленнее.
                                                                                                                                                        С другой стороны, расстановка по лайнам — это именно навязывание конкретных тактических решений. Таким ведь образом можно и конкретным пикам расставить реварды (или пикам, удовлетворяющим определенным условиям) и вообще любым действиям. Но в таком случае это уже не будет самообучаюшейся сетью, согласитесь.

                                                                                                                                                    0

                                                                                                                                                    Это тоже, что использовать базу эндшпилей для шахмат. Да, помогли, но это в целом нормально. И, кстати, может снизить качество, если эвристики не идеальны, просто обучать без них сложнее.

                                                                                                                                                  +1
                                                                                                                                                  Я полагал что поставленной задачей было продемонстрировать эффективность сетей определенного типа на определенных задачах.

                                                                                                                                                  Предположу, что как и в случае AlphaZero, первый этап — это решить задачу в принципе, без ограничений на априорные знания (без нейросетей задача выиграть у про игроков вообще не решается). То есть они не столько демонстрируют, сколько проверяют эффективность.

                                                                                                                                        0
                                                                                                                                        А мне интерестно, все-таки ботЫ, или это играет один бот?
                                                                                                                                        Разница во взаимодействии между персонажами — либо все знают в реальном времени про все, что видят/планируют другие персонажи (один бот), либо это как и у людей — пять разных ботов, которые должны передавать информацию друг другу, тогда им соответственно нужен свой язык для коммуникации.
                                                                                                                                          0
                                                                                                                                          А мне интерестно, все-таки ботЫ, или это играет один бот?

                                                                                                                                          Один одинаковый отдельный бот за каждого персонажа.

                                                                                                                                          0
                                                                                                                                          При этом бот для Dota 2 — это вам не бот для шутера уровня Quake
                                                                                                                                          При этом, (почти) обыгрывающие профессионалов боты для Го и Доты 2 есть, а для Quake — нет; лучшее достижении ИИ в кваке на сегодня — это умение играть в недо-CTF на плоских сгенерированных «картах» а-ля Wolf3D. Это по-своему круто и важно, но пока что далеко от настоящего Quake.

                                                                                                                                          Ботов в Quake/UT несложно научить идеально стрелять и доджиться, но лучшие игроки выигрывают не столько благодаря стрельбе (хотя стрелять в кваке, конечно, уметь надо, и желательно, хорошо), а за счет знания карт, умения слушать уровень, предугадывать действия и, наоборот, удивлять соперника. Говорят, мол, Quake неинтересен для ИИ, потому что компьютер всегда перестреляет человека, — имхо, интеллект в кваке проявляется всё-таки в другом, а вещи типа времени реакции, идеального тайминга или меткости как раз имеет смысл гандикапить.
                                                                                                                                          Кроме того, дота — игра с неполной информацией
                                                                                                                                          Как и Quake.
                                                                                                                                            0
                                                                                                                                            При этом, (почти) обыгрывающие профессионалов боты для Го и Доты 2 есть

                                                                                                                                            Вообще-то, нет.

                                                                                                                                              0
                                                                                                                                              Ну окей, пусть для доты пока нет, но в го AI, кажется, всех победил?
                                                                                                                                                +1
                                                                                                                                                Ну окей, пусть для доты пока нет, но в го AI, кажется, всех победил?

                                                                                                                                                В Го, конечно, победил. Но и квейк и дота сильно сложнее Го.
                                                                                                                                                Попробуйте выписать полные правила Го и полные правила доты/кваки и сравнить :)

                                                                                                                                                  0
                                                                                                                                                  Для кваки, где один против всех: убивай всех как можно чаще, умирай как можно реже? По-моему, предельно ясно.
                                                                                                                                                    +1
                                                                                                                                                    Для кваки, где один против всех: убивай всех как можно чаще, умирай как можно реже?

                                                                                                                                                    Вы, кажется, забыли описать механику передвижений, как минимум. Понятие трехмерного пространства, скорости, препятствий.

                                                                                                                                                      –2
                                                                                                                                                      К правилам это отношения не имеет. К алгоритмам — имеет, к АИ — имеет, но правила никак не регламентируют.
                                                                                                                                                        +2
                                                                                                                                                        К правилам это отношения не имеет.

                                                                                                                                                        Конечно, имеет! Правила игры — это описание игрового состояния, возможных действий игрока и того, как действия игрока влияют на игровое состояние.
                                                                                                                                                        Например: "вы можете идти вперед, тогда ваш персонаж будет двигаться вперед со скоростью Х, если не упрется в стену, а если упрется — то будет Y, вы можете менять угол обзора, отчего ваш персонаж будет поворачиваться" и т.д.
                                                                                                                                                        Это все часть правил.

                                                                                                                                                          0

                                                                                                                                                          Имеет. Просто в кваке типа обычный физический мир, к которому все привыкли (условно, конечно). Поэтому и правила, что можно делать в этом физическом мире, а что нельзя (ходить сквозь стены, например) — обычно не описывают, это и так ясно. Но боту-то не ясно, он по физический мир не в курсе, ему все эти правила надо рассказать. Ну или он может их сам изучить, случайно тыкаясь.

                                                                                                                                                            0
                                                                                                                                                            Представил себе в обычном физическом мире рокет-джамп.

                                                                                                                                                            Насколько я понимаю саму суть нейронной сети, что она случайно тыкаясь должна и рокет джампу выучиться. Тем не менее на лицо эпическое отставание от кожаных игроков. Кожаный игрок один раз подсмотрит у более опытного соперника — и готово.
                                                                                                                                                              0

                                                                                                                                                              Не должна. Может, да. Но ей можно это и задать как одно действие и она будет его использовать как одно действие (хотя на практике там несколько действий).


                                                                                                                                                              Отставание потому, что у нейросети нет модели реальности, а у нас есть. Эксперименты по one-shot learning ведутся, кстати. Я б на кожаных не стал ставить на отрезке в 20 лет, скажем.

                                                                                                                                                        0
                                                                                                                                                        убивай всех как можно чаще, умирай как можно реже

                                                                                                                                                        А вот чтобы это реализовать, надо декомпизировать еще тучу других «правил» (а затем их всех как-то «объяснить»).

                                                                                                                                                        Вы бы знали сколько у меня сил ушло (и лет) на то, чтобы тесты сами разбирались в каких-то простых случаях «сбоев» и не падали от этого (а сами разруливали конфликты на основе кучи правил).
                                                                                                                                                          +1
                                                                                                                                                          Ага, так и го можно описать одним словом — выиграй.
                                                                                                                                                          Только и в го есть правила ходов и набора очков и в кваке. Только в кваке добавляются модификаторы, разное оружие, каждое из которых требуется описать и пр.