Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 53
Не нашел в статье ограничений, а они очень многое говорят о «успехах»:
Mirror match of Necrophos, Sniper, Viper, Crystal Maiden, and Lich
No warding
No Roshan
No invisibility (consumables and relevant items)
No summons/illusions
No Divine Rapier, Bottle, Quelling Blade, Boots of Travel, Tome of Knowledge, Infused Raindrop
5 invulnerable couriers, no exploiting them by scouting or tanking
No Scan
Ограничения отнюдь не драконовские, раньше было намного хуже. Мне кажется, прогресс колоссально быстрый. Ощущение примерно такое же, как от прогресса AlphaGo пару лет назад.
Только вот в статье об этом не слова, статья делает вид что боты уже почти про уровень. А оказывается, что там 5 определенных героев, никаких вардов, личные курьеры и прочая прочая.
Инфа про 5к ммр конечно интересная, но тут то как раз и начинается самое скучное — нельзя компенсировать пик другим пиком — только эти 5 героев. А тогда в дело вступает хорошая реакция ботов, которая отлично проявляется на снайпере и вайпере, остальные не так интересны, имхо.
Инфа про 5к ммр конечно интересная, но тут то как раз и начинается самое скучное — нельзя компенсировать пик другим пиком — только эти 5 героев. А тогда в дело вступает хорошая реакция ботов, которая отлично проявляется на снайпере и вайпере, остальные не так интересны, имхо.
Ну так я про то, что максимум через год не будет уже никаких ограничений. А в статье да, информации совсем мало.
о вступает хорошая реакция ботов, которая отлично проявляется на снайпере и вайпере, остальные не так интересны, имхо.
Можно попробовать уйти в размен. На миду снайпер\вайпер, на топе вайпер+\снайпер+. Человеческий снайпер на миду сольет 2000, человеческий вайпер загнобит оппонента на топе на 1500.
Попробовать со стаками пошаманить (на забор триплой под святыней).
Рискнуть и уйти в мидасы.
Попробовать фаст-пуш.
Короче, даже тут вариативность имеется.
P.S. С основным тезисом не спорю, сравнивать условия с обычной дотой — некорректно.
P.P.S. Интересно, как боты реагируют на патчи?
Без контрпика и с такими ограничениями в чем вообще смысл? Ситуация совершенно синтетическая. Нет я понимаю, все растет и развивается, но ведь контрпик и связки, тимплей, это одно из самых интересных в Доте, то на чем и строится вся игра.
Не драконовские?
Нет мамонтов и иллюзий — минус доминион и манта. Собрать можно, но юзать нельзя
Нет инвиза — минус шадоу Блейд, который грейдится в сильвер едж и отрубает пассивку вайперу и для снайпера Вайпер уже не такой плотный, а сладкая булочка
Так же минус глиммер кейп — а это для саппорта типа цм чуть ли не Маст хэв, для юза ульты или сейва Керри своего.
Ну и варды — в игре 5 на 5 не иметь обзора это из базы не выходить
Ну и обратим внимание на пик — дизейбл в команде кто? Цмка с колбой? Два керри, два саппорта пятой позиции, и один ни туда ни сюда я за Некра говорю в этом пике. Контроля никакого. Тут чисто кто кого в чистом поле передамажит. Учитывая что боты играют по api у них нет реакции, прокликивания и на клацания кнопок. То ограничения ввели огромные.
Это как в шахматы просто забрать ферзя, слонов, коней, и одну ладью. И все остальное пешки. Это для человека, а AI — убрать все то же только плюс ферзь)
Нет мамонтов и иллюзий — минус доминион и манта. Собрать можно, но юзать нельзя
Нет инвиза — минус шадоу Блейд, который грейдится в сильвер едж и отрубает пассивку вайперу и для снайпера Вайпер уже не такой плотный, а сладкая булочка
Так же минус глиммер кейп — а это для саппорта типа цм чуть ли не Маст хэв, для юза ульты или сейва Керри своего.
Ну и варды — в игре 5 на 5 не иметь обзора это из базы не выходить
Ну и обратим внимание на пик — дизейбл в команде кто? Цмка с колбой? Два керри, два саппорта пятой позиции, и один ни туда ни сюда я за Некра говорю в этом пике. Контроля никакого. Тут чисто кто кого в чистом поле передамажит. Учитывая что боты играют по api у них нет реакции, прокликивания и на клацания кнопок. То ограничения ввели огромные.
Это как в шахматы просто забрать ферзя, слонов, коней, и одну ладью. И все остальное пешки. Это для человека, а AI — убрать все то же только плюс ферзь)
Нет сумонов и иллюзий — минус доминатор и минус манта стайл
В Dota2 так много сленга? Я честно почти ничего кроме выводов не понял, так как в Dota не играю, но было занятно почитать.
ну цм против того-же бкб бесполезна, а если ультанет в обратку — так и вообще сдохнет, да и некру не страшно пожертвовать косой для ескейпа ульты цм если в толпу залетела, и у снайпа, помоему, ренж превышает область ульты цмки… тоесть в таком пике — цм под бкб за 1сек вынести с руки, очень уж она тонкая, потому глимер дает цм 2-3 сек внести нормально демага, и часто весьма неожиданно…
Как насчёт разницы в стоимости? И того, что под бкб цмку снайпер развалит быстрее, чем она внесёт урон. Слишком она тонкая, бкб не даёт эскейпа, как глиммер, а учитывая что в этом пике нет дизейбла и контроля то под дизейбл она не может дать ульт
No warding No invisibility No Scan
Убираем все варианты в которых боты не определяют что они в зоне риска. Это предметы что влияют на «видимость». Без них боту легко просчитать виден он или нет, и определить наличие противника.
No Roshan No summons/illusions No Boots of Travel
Убираем варианты что «качают» линию.
No Bottle, No Quelling Blade No Tome of Knowledge No Infused Raindrop
Это всё усложняет боту расчёты рисков, внезапное для него восстановление ресурсов оппонентом.
No Divine Rapier
У ботов еще с прошлого года проблемы с определением лежащих на земле предметов.
В итоге прогресс нулевой. Игра сводится к «кто лучше будет убивать на линии крипов, и рассчитывать ресурсы. Свои и оппонента». В прошлом году бот OpenAI показал что он это делает лучше человека.
По аналогии:
Ставим робота-боксёра против боксёра-человека. И делаем условие — уклонятся только стоя на месте. И смотрим как они друг друга бьют. И делаем вывод что робот лучше, ведь он бьёт быстрее и точнее. И удар держит лучше.
P.S. Условия у ботов максимально тепличные.
Сколько в этих победах от тактики, а сколько от способности ботов точно прицеливаться и выдавать бешенный APM?
OpenAI Five averages around 150-170 actions per minute (and has a theoretical maximum of 450 due to observing every 4th frame).
APM вовсе не бешеный, короче говоря.
Как раз дело в тактике. Изучающие матчи отметили, что AI практически идеально комбинировали способности, но довольно плохо показали себя на стадии лайнинга (добивание крипов почему то им дается хуже, чем игроку, что довольно странно, учитывая как AI добивал на Shadow Fiend в шоуматче против Dendi)
Бот считывал игру по видеопотоку? Или ему давали чистые данные о положении всех обьектов и персонажей на карте? Потому что если бот знает наперед точное расстояние между персонажами, в какую сторону кто повернут, видит все обьекты одновременно(да, поднять немного камеру в доте даст большое преемущество в игре) — то игра выйдет немного не честной. Это как запустить в Counter-Strike ботов, которые видят сквозь стены. Если задача ставилась шире — парсить видео, быстро определять обьекты и с помощью курсора управлять героем — это оочень круто. Тут уже соревнование алгоритмов обработки, в игре решают доли секунды.
Тут вопрос, какая цель вообще стоит перед ботом. Парсить видео — это скучно. Нужно, перспективно и все такое, но скучно.
Боты считывает игру по api, но они не получают информации которую им знать не положено. Эти боты восхитительны тем, что работают в команде, и неплохо взаимодействую друг с другом.
Нейросетей пять. Да и даже если бы их не пять было, «командная работа» — это то, что показывают «марионетки», и она в любом случае есть. Просто обрабатывалась бы, грубо говоря, не взаимодействием пяти инстансов бота, а взаимодействием пяти сущностей внутри одного инстанса бота. От этого понятия все равно не уйти никуда.
От этого понятия можно уйти, если оставить по одному боту на сервере, поднять 5 таких серверов и заставить их координироваться согласно своим понятиям о игре.
Да, на соревнованиях 5х5 это совсем не нужно, так как там есть капитан, и надо победить. Но так не всегда бывает.
К примеру, в обычной игре, не на соревнованиях, есть игроки, которые пытаются просто набить больше фрагов. Или еще те, которые выполняют сезонные квесты. Или те, кто вообще обкатывают нового героя, исследуют тактики и т.д.
У ботов будет своя модель игры, возможно, если все пятеро будут играть с разными игроками.
Да, это может показаться занудством. Я просто хочу когда-нибудь зайти в доту, и увидеть, что за меня играет бот, и чтоб это было интересно следить за его игрой, коммуницировать с ним, предлагать нападение, или наоборот — отвечать когда он предложит. А если я его подставлю, то он бы обиделся и перестал мне помогать.
Да, на соревнованиях 5х5 это совсем не нужно, так как там есть капитан, и надо победить. Но так не всегда бывает.
К примеру, в обычной игре, не на соревнованиях, есть игроки, которые пытаются просто набить больше фрагов. Или еще те, которые выполняют сезонные квесты. Или те, кто вообще обкатывают нового героя, исследуют тактики и т.д.
У ботов будет своя модель игры, возможно, если все пятеро будут играть с разными игроками.
Да, это может показаться занудством. Я просто хочу когда-нибудь зайти в доту, и увидеть, что за меня играет бот, и чтоб это было интересно следить за его игрой, коммуницировать с ним, предлагать нападение, или наоборот — отвечать когда он предложит. А если я его подставлю, то он бы обиделся и перестал мне помогать.
Но есть разница. Например вы не видите фантомку пока она не попадает к вам на экран (её не видно на миникарте и поэтому её можно обнаружить только передвинув обзор экрана на место где она находится). Если бот видит всю карту одновременно это сразу ослабляет этот скилл фантомки.
Хотел бы обратить внимание на один важный момент который упускают авторы таких статей.
Шахматы или Го это игры намного сложнее МОБА игр. И вопрос в том, кто бы победил(человек, 5 человек или больше) не стоит в принципе, победила бы машина если бы не одно НО.
Основное отличие МОБА (или любых других игр отличных от шахмат, го и т.д.) в пока еще относительно сложной проблеме — описания модели для самой нейро-сети. В отличии от той же Го, где такой проблемы нет. То есть не в поиске самого алгоритма выигрыша — он на порядки проще тех же шахмат, а в описании условий поиска.
То есть, очень важно понимать, что в данном случае борьба идет не с «мозгом» который вырабатывает стратегии или тактики, но с алгоритмами которые пытаются описать окружающий мир для такого «мозга»
Шахматы или Го это игры намного сложнее МОБА игр. И вопрос в том, кто бы победил(человек, 5 человек или больше) не стоит в принципе, победила бы машина если бы не одно НО.
Основное отличие МОБА (или любых других игр отличных от шахмат, го и т.д.) в пока еще относительно сложной проблеме — описания модели для самой нейро-сети. В отличии от той же Го, где такой проблемы нет. То есть не в поиске самого алгоритма выигрыша — он на порядки проще тех же шахмат, а в описании условий поиска.
То есть, очень важно понимать, что в данном случае борьба идет не с «мозгом» который вырабатывает стратегии или тактики, но с алгоритмами которые пытаются описать окружающий мир для такого «мозга»
Авторы бота с Вами не согласны.
Там про сравнение с шахматами и го в разделе: «The problem»
Там про сравнение с шахматами и го в разделе: «The problem»
Возможно я Вас неправильно понял, но по Вашей ссылке, в разделе проблемы, описано именно то о чем я говорил. Проблем с построением сети нет, есть проблемы с описанием условий в которых сеть работает — скорость анализа, обьем поступающих входящих данных и т.д. Это все не вопросы к «мозгу» как побеждать, а вопросы к сенсорам — как обрабатывать и что обрабатывать.
Иначе говоря разрешают вопросы не того, как выиграть, а вопросы того как это сделать в условиях требуемой производиельности, а так же, в той форме предоставляемых данных которую дают условия игры.
Иначе говоря разрешают вопросы не того, как выиграть, а вопросы того как это сделать в условиях требуемой производиельности, а так же, в той форме предоставляемых данных которую дают условия игры.
А что как не энтропия входящих данных и количества возможных ходов из каждой ситуации является той самой сложностью? Вон в шашках ни одно, ни другое не является слишком большим, вот и решили шашки тупым перебором всех возможных ситуаций.
Да да, Вы безусловно правы. Только вот Го игра порядком сложнее шахмат (с точки зрения количества возможных комбинаций), и закончилось все для человека очень печально. Потому что алгоритмы играющие в Го, не оперируют количеством комбинаций, принцип совершенно иной.
Вернемся к Моба. Люди серьезно играющие в Моба игры думаю со мной согласится, когда я скажу, что в игре в сущности, не так много решений который нужно принимать. Я имею ввиду праивльных или неправильных решений приводящих к выигрышу — проигрышу. И очень многое зависит от реализации. Зачастую, уже на уровне драфта, все знают как, чем и кто будет играть, и ждут только того КАК это реализуют.
Так вот, вариантов игры в Моба очень немного, в сравнение с тем же Го. В играх подобной Моба — проблема не в вариантах, а в том как эти варианты описать, чтобы скормить сети.
То есть решают проблему не столько — как найти выигрышную стратегию, сколько проблему, как поступать и как описывать этот обьем данных, чтобы сеть с ней могла работать. Мы, люди, не анализируем 30 кадров в секунду и пиксели на тему куда повернуться — я вот о чем.
Вернемся к Моба. Люди серьезно играющие в Моба игры думаю со мной согласится, когда я скажу, что в игре в сущности, не так много решений который нужно принимать. Я имею ввиду праивльных или неправильных решений приводящих к выигрышу — проигрышу. И очень многое зависит от реализации. Зачастую, уже на уровне драфта, все знают как, чем и кто будет играть, и ждут только того КАК это реализуют.
Так вот, вариантов игры в Моба очень немного, в сравнение с тем же Го. В играх подобной Моба — проблема не в вариантах, а в том как эти варианты описать, чтобы скормить сети.
То есть решают проблему не столько — как найти выигрышную стратегию, сколько проблему, как поступать и как описывать этот обьем данных, чтобы сеть с ней могла работать. Мы, люди, не анализируем 30 кадров в секунду и пиксели на тему куда повернуться — я вот о чем.
Насколько я знаю, в Го используется тот же подход. Для Го нет выигрышных стратегий. Нейросеть анализирует действия сначала игроков, потом себя и отбирает выигрышные действия в той или иной ситуации.
То что вы называете вариантами в Доте — не совсем варианты. Варианты — кликнуть по координатам мышью, применить абилку и т.д. А если учесть, что всё это в реальном времени, то просчитать все варианты намного сложнее, чем в ГО.
Что в Го, что в Доте ИИ не «понимает», во что он играет) Нет связей между действиями, нет попыток анализа ситуации. По сути, нейросеть выполняет цепочки действий, которые с наибольшей вероятностью при текущих условиях приведут к победе.
А вообще, где там ИИ для старкрафт 2? Разрабатывать ИИ для игры, где на многое влияет реакция и точность клика? Они бы ещё для Квейка непобедимый ИИ написали.
То что вы называете вариантами в Доте — не совсем варианты. Варианты — кликнуть по координатам мышью, применить абилку и т.д. А если учесть, что всё это в реальном времени, то просчитать все варианты намного сложнее, чем в ГО.
Что в Го, что в Доте ИИ не «понимает», во что он играет) Нет связей между действиями, нет попыток анализа ситуации. По сути, нейросеть выполняет цепочки действий, которые с наибольшей вероятностью при текущих условиях приведут к победе.
А вообще, где там ИИ для старкрафт 2? Разрабатывать ИИ для игры, где на многое влияет реакция и точность клика? Они бы ещё для Квейка непобедимый ИИ написали.
Но есть проблема вида камень, ножницы, бумага. Вы стоите на линии и видите что два героя противника исчезли с обзора. Ваши действия — отойти к башне и потерять деньги и опыт или продолжать соревноваться на линии. И то и другое полезны в своих случаях — герои противника пошли к вам и вы правильно сделали что отошли, герои противника фармят лес и тогда потеря денег и опыта вами только приведет к увеличению отставания от противника. В случае же продолжения фарма на линии результаты будут наоборот вы умрете в случае если противника выдвинулись к вам и сохраните свое преимущество если герои фармили лес.
И это всего лишь одно из множества подобных ситуаций.
И это всего лишь одно из множества подобных ситуаций.
Вот цитата из статьи по ссылке:
...there are an average of ~1,000 valid actions each tick. The average number of actions in chess is 35; in Go, 250.
Ну инвиз вроде они тоже как-то обрабатывают, там на видео (в статье по ссылке) есть момент когда бот гонится за игроком и предсказывает примерно в каком месте тени игрок
Так не будет он прожевывать всю эту информацию. Тут можно ограничиться банальным высокоуровневым мап-контролем по типу того, что делает человек. Где герой замечен последний раз, куда шел, куда теоретически может выйти. Вы же не просчитываете каждую секунду все 1000 возможных действий возможных героев в возможном инвизе? Вот и ботам не нужно это делать.
Это не инвиз, а перемещение в тумане войны, боты знают что герой подошел к границе видимости и где он потенциально может находится. Обсчет инвиза это значит постоянно оперировать с вероятностями что вокруг вас нет ни одного героя и вдруг вы умираете так как прямо на вашем месте ультанул пришедший в невидимости СФ. При том что приходится оперировать с такими вероятностями что СФ не мог подойти к вам в невидимости так как у него нет и не должно быть денег на шадоу блейд, но совершенно случайно появилась руна невидимости которую вы не увидели и он её подобрал.
Ни шахматы, ни Го не идут ни в какое сравнение с МОБА играми в плане «количества возможных комбинаций». Игра усложняется еще и тем, что она командная — участвуют по 5 игроков в команде. Для полной синергии боты должны взаимодействовать, иначе люди победят слаженной командной игрой, а она даже у аматоров, которые играли против ботов, имеется.
>я скажу, что в игре в сущности, не так много решений который нужно принимать
Не соглашусь. В игре 115 героев, порядка 500 спелов, 200 предметов. Все это — куча комбинаций уже для одного выбранного героя, а когда их 10 на карте? Еще таланты добавленные не так давно. Это создает количество решений, стремящееся к бесконечности.
>я скажу, что в игре в сущности, не так много решений который нужно принимать
Не соглашусь. В игре 115 героев, порядка 500 спелов, 200 предметов. Все это — куча комбинаций уже для одного выбранного героя, а когда их 10 на карте? Еще таланты добавленные не так давно. Это создает количество решений, стремящееся к бесконечности.
глупый комментарий, вызванный вредной стетьейИзвините, но из этой статьи, кроме множественного упоминания OpenAI, ничего не указывает на ИИ, да и подробности вовсе за ширмой, по ссылке на блог разработчиков — тоже подробностей нет…
Бот, в моем понимании, программа, выходные данные которой зависят от входных… тоесть, не более чем заранее описанные правила поведения конкретными алгоритмами… Где здесь ИИ? куча лапши с перечнем базовых правил, о чем говорят ограничения в работе бота для доты2
ИИ, в моем понимании, программа, способна создавать определенные правила и поведения самостоятельно, на основании ранее полученных данных в результате обучения…
Собственно, вопрос: правомерно ли в статье и к боту приклеили OpenAI? 2мин погулил — ответа не нашел.
Сейчас это выглядит как: «OpenAI бот побеждает почти про игроков»… и все такие «Ай молодцы»… хвалят и т.п., может есть инфа у кого про подробности сего батла?
Бот, в моем понимании, программа, выходные данные которой зависят от входных… тоесть, не более чем заранее описанные правила поведения конкретными алгоритмами… Где здесь ИИ? куча лапши с перечнем базовых правил, о чем говорят ограничения в работе бота для доты2
ИИ, в моем понимании, программа, способна создавать определенные правила и поведения самостоятельно, на основании ранее полученных данных в результате обучения…
Собственно, вопрос: правомерно ли в статье и к боту приклеили OpenAI? 2мин погулил — ответа не нашел.
Сейчас это выглядит как: «OpenAI бот побеждает почти про игроков»… и все такие «Ай молодцы»… хвалят и т.п., может есть инфа у кого про подробности сего батла?
Вредная статьи, пока в 3 часа ночи писал коммент, нашел вот что:
OpenAI Five — кому интересна тема, описана в статье, сразу идите по ссылке, там хоть цифры есть и подробности, диаграмма даже есть…
Вроде звучит прикольно. Но мне кажется сложно будет как-то исправить ситуацию с тем что бота можно наебать. Ну вот допустим я на тини начну закидывать ботов на хг и рофлить. А дота только из наебалова и абузов состоит по большей части.
Я тут видео оставлю
www.youtube.com/watch?v=5sn_lVGULgA
www.youtube.com/watch?v=5sn_lVGULgA
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
OpenAI делает успехи в Dota 2: полупрофессиональные команды побеждены