Comments 54
В наших играх против TLO и MaNa, AlphaStar держал APM в среднем на уровне 280, что намного меньше чем у профессиональных игроков...
В наших играх против TLO и MaNa, AlphaStar держал APM в среднем на уровне 280, что намного меньше чем у профессиональных игроков, хотя его действия при этом могут быть более точными.
Но алгоритм расчета APM учитывает не все нажатия, а только «эффективные». То есть просто повторные клики в одной точке в APM не входят. Кроме того, алгоритм расчета APM немного меняется от патча к патчу, как раз учитывая, что именно считать действиями.
На видео хорошо видно, что во время сражений контроль юнитами со стороны AI осуществлялся с APM вплоть до 1500, в то время, как соперник выдавал «всего» около 400.
В других сражениях примерно также: APM в полтора раза выше, лучше микроконтроль юнитов.
При просмотре мне даже вспомнилось видео с читерами. Там тоже всю игру был «нормальный» APM, а во время боя начинался таакой микроконтроль, что прямо ах.
Это не очень существенно. Просто обгонять бесполезно, если действия глупы. Вот если действия умны — тогда скорость поможет. Существенно то, что действия умны. То есть идея алгоритма позволяет обучить на умные действия.
Да и при решении задач никто не придирается к APM. Если робомобиль с бешеным APM будет водить лучше людей — никто на этот APM жаловаться не будет. Или если робот будет посылки доставлять, реагируя быстрее человека — не проблема. Главное что б действия были не тупы.
Это не очень существенно.
Это очень существенно, т.к. то что показывает альфазеро — это то же самое, как если боксер даст шахматисту в челюсть и шахматист проиграет по времени. Формально — боксер вин, но по факту он играл не в шахматы, шахматы не о том, чтобы бить в челюсть. Это другая игра.
То есть идея алгоритма позволяет обучить на умные действия.
Когда сеть поставили в ситуацию, где ей надо было проявить умные действия — она проиграла, с-но.
то что показывает альфазеро — это то же самое, как если боксер даст шахматисту в челюсть
Это нарушение правил. Альфазеро выигрывает без нарушения правил, ваша аналогия странная и неуместная.
надо было проявить умные действия — она проиграла, с-но.
Одному из лучших на планете. Но её действия лучше, чем действия 99% прочих игроков.
Обратите внимание на саму суть разговора. Мы не обсуждаем, справляется ли сеть лучше, чем средний игрок, мы обсуждаем, является ли она лучшей. Это само по себе подтверждает, что справляется она хорошо. Возможно, в этом году прорывов по оффлайн задачам мы не увидим (ещё рановато), но поступательное движение будет бодрым.
Альфазеро выигрывает без нарушения правил, ваша аналогия странная и неуместная.
Так альфазеро нарушает правила. Правила старкрафта предполагают ограничения на человеческий апм, т.к. игра под него балансилась, апм выше ломает игру точно так же, как ее ломает удар шахматисту в челюсть. То есть это будет уже другая игра, аналогично, как если шахматисты будут друг друга бить в челюсть вместо того, чтобы двигать фигуры — это превратится их шахмат в бокс, ведь шахматы не про удары в челюсть.
Ну и, с-но, я уже упоминал — за успешную попытку помикрить сталкерами как альфазеро, вы поймаете бан.
Одному из лучших на планете. Но её действия лучше, чем действия 99% прочих игроков.
Нет никаких оснований полагать, что это так, еще раз. Альфазеро играл в другую игру с другими правилами и другим балансом. Игроки с бот-читами тоже могут довольно высоко по рейтингу подняться до процентов лучших, и при этом иметь крайне низкие навыки игры по факту, с-но мы можем сделать вывод, что альфазеро играет несколько лучше этих читеров, что не дотягивает и до среднего уровня.
Никакого особо сверхчеловеческого закликивания, кроме скачков сталкеров (или как это называется?) в одной из игр, вроде бы не обнаруживается. Предметных возражений на этот пост пока не последовало.
или как это называется?Блинк \ blink
Одному из лучших на планете. Но её действия лучше, чем действия 99% прочих игроков.
Давайте все-таки будем честно оценивать — такой матч был только один, и только с одним соперником, так что нельзя говорить о том, что она сильнее 99% остальных.
Может она и более слабому игроку проиграет с такими ограничениями, никто не проверял ведь. Давайте я проведу один матч против игрока, лидирующего в рейтинге (я никогда не играл в старкрафт). Я проиграю, но это не будет означать, что я сильнее чем 99% остальных игроков, поэтому нельзя судить по одной игре все-таки.
Альфазеро выигрывает без нарушения правил
То что ему было доступно для видимости все открытое пространство карты позволяло отдавать команды не передвигая камеру, и видеть ситуацию одновременно в противоположных концах карты… В подобных играх есть читы которые позволяют так далеко отодвигать камеру (чтоб и человеку такое было доступно), и за это банят, т.к. это нарушение правил.
Но даже если человеку позволить такое против альфастар, то с увеличением видимой площади у человека уменьшится точность кликов, а у ИИ такого нет…
Давайте все-таки будем честно оценивать
Давайте. Публичных матчей — 11. Соперников — 2.
это не будет означать, что я сильнее чем 99% остальных игроков
99% — это моя субъективная оценка исходя из игры.
позволяло отдавать команды не передвигая камеру
Передвижение камеры замедляет обучение, но это не меняет ситуацию в корне.
Суть не в том, выиграл ИИ или поиграл в данном случае. Суть в том, есть прогресс или нет. Относительно прошлых ботов прогресс существенный. Значит архитектура сети — перспективная. Именно это интересно. APM интересен (возможность выигрывать с более низким APM). А движение камеры или распознавание юнитов или, как ваше писали, игра через реальный механический контроллер — не интересны. Потому что эти задачи уже решены и сделать их — просто вопрос денег и коммерческого смысла. А вот, например, обыграть чемпионов, играя на 100 APM — это не вопрос денег. Не факт, что это вообще возможно.
Суть не в том, выиграл ИИ или поиграл в данном случае. Суть в том, есть прогресс или нет. Относительно прошлых ботов прогресс существенный. Значит архитектура сети — перспективная. Именно это интересно.
Это-то интересно, но печально, когда идут практически на подлог и намеренно скрывают реальные результаты ради того, чтобы хорошо отчитаться перед инвесторами.
APM интересен (возможность выигрывать с более низким APM).
АПМ альфазеро был в несколько раз выше, чем физически доступно человеку.
Давайте. Публичных матчей — 11. Соперников — 2.
Речь идет о последнем матче, в котором обзор у ИИ был так же как у человека ограничен «камерой». Такой матч был один, и в нем человек выиграл.
Остальный матчи были с другими агентами, которые пользовались «читами» если говорить утрировано.
99% — это моя субъективная оценка исходя из игры.
Суть в том, что я не вхожу в 100% игроков, которые вообще хоть раз запускали старкрафт, и я тоже проиграю MaNa. Так почему тот сетап Альфастар вы считаете играющим лучше чем я, если мы покажем одинаковые результаты по результатам одной игры? Мы не знаем насколько хорошо играет тот вариант, который неделю учился играть через камеру, а не через игровой АПИ. может он будет проигрывать и более слабым игрокам, а не только топовым.
Передвижение камеры замедляет обучение, но это не меняет ситуацию в корне.
Как-раз наоборот. когда ты видишь все что можно, то не приходится тратить время на лишний клик для смещения камеры. Если этого ограничения нет, то можно одновременно на трех разных направлениях отдавать приказы.
Если ты ограничен камерой, то на миникарте видишь только точку, сигнализирующую о враге, и ты вынужден:
1 — переместить туда камеру;
2 — опознать врага;
3 — переместить камеру к ближайшим юнитам;
4 — выделить их;
5 — переместить камеру назад;
6 — дать команду юнитам двигаться к обнаруженному врагу;
Когда камеру двигать не надо — ты сразу знаешь кто появился на другом краю карты, остается только:
1 — выделяешь юнитов (пункт 4 для игры с камерой);
2 — даешь им команду (пункт 6 для игры с камерой).
Внезапно — в три раза меньше действий, а следовательно и намного быстрее. При этом такое ИИ может делать практически одновременно на скольки угодно направлениях. Попробуйте микрить юнитами одновременно в трех-четырех местах карты, такое никакой чемпион не может, т.к. огранчиен камерой, которую ему приходится двигать и терять на этом время.
Человеку подобное доступно только с читами, которые увеличивают обзор (отодвигают камеру), за это людей банят.
Играя с камерой приходится выбирать приоритеты — микрить в одном бою и надеяться что на другом краю карты появился мелкий разведчик, или все бросать там, где ты сейчас управляешь (а соответственно уже микрить тут не сможешь) и идти разбираться с непонятной точкой, вдруг это передовой отряд десанта в тыл зашел — как по мне, очень сильно это на игру влияет, что собственно и было доказано — ИИ проиграл из-за этого, хотя без ограничения камеры выиграл 10 из 10.
Да, этот ИИ лучше чем те, что были раньше, но рано еще говорить что он уже сильнее человека, пока еще есть ограничения для игр с ним и есть ему поблажки.
почему тот сетап Альфастар вы считаете играющим лучше чем я
Потому что я смотрю не на 1 игру, а на 11. Вы же сначала все игры выбрасываете по вами придуманному критерию, потом удивляетесь — как же можно судить по одной игре? Так вы сами себе портите входные данные, я-то себе так не делал, поэтому могу оценить.
Если вы считаете по-другому — дайте свою оценку, на каком уровне сыграет Альфастар в условном "свободном плавании"?
опознать врага
Вы же понимаете, что все эти действия — мгновенны для бота? Да, нужно уложиться в APM, нельзя обкликать всю карту каждую секунду (хотя бот легко смог бы).
рано еще говорить что он уже сильнее человека
Любого человека? Нет, ещё не сильнее. Тем более это одна раса всего. Не факт, что у него было бы много шансов против зергов, например. Но протос-протос он уже сильнее основной массы игроков. Ставлю, что в этом году увидим игру за любую расу против любой на уровне топов (не буду предсказывать, кто выиграет).
Потому что я смотрю не на 1 игру, а на 11
А почему вы так выборочно смотрите? смотрите на все 100500 игр с другими ботами.
Вы почему-то сделали выборку из 10 игр которые провела одна версия ИИ, и одну игру — другая. Общего у них только название да разработчик, учились они в разных условиях и разным ограничениям.
Вы не хотите признать, что есть камера для бота или нет — имеет значение, но эти 11 игр как-раз очень хорошо показали, что наличие ограничения обзора имеет очень большое значение для ИИ, т.к. без такого ограничения результат 10 из 10 в пользу ИИ, а с ним ИИ сразу слился.
Шло обсуждение именно того варианта игры, в котором ИИ играл честно — т.е. с ограничением, которая накладывает камера, остальные 10 игр это игры в которых ИИ использовал читы (людям такое использовать не позволяют, значит и ИИ не должен был). Заметьте, я не говорю что люди не могут это использовать, могут, но получат за это бан, так о какой честной игре со стороны альфастар тогда можно говорить?
Вы утверждали что "Альфазеро выигрывает без нарушения правил" что является неверным! Нет ограничения камеры = использование читов, что никак не является честной игрой.
Честная игра была одна — последняя, и альфастар проиграл. Проиграл единственную игру, в которую играл честно! Вы предпочитаете учитывать игры, в которых ИИ использовал читы… Тогда в КС боты давно уже людей обыгрывать научились, разрешите только им сквозь стены раздавать 100% хедшоты (раз ботам можно читы использовать в одной игре, то почему нельзя в другой?).
Если вы считаете по-другому — дайте свою оценку, на каком уровне сыграет Альфастар в условном «свободном плавании»?
Мало данных чтобы делать какие-то выводы, я только и это пытался до вас донести. Большинство считает что честная игра была только одна, игры с
Пусть он проведет сотню честных игр с соперниками разных уровней — тогда можно будет судить о его примерном уровне, т.к. будет ясно какой уровень соперника он может обыграть, а какой нет.
Посмотрите на ДОТУ — там с ботом (первыми версиями, когда он только 1 на 1 мог играть) многие играли, и очень быстро научились его обыгрывать.
Может быть и вы окажетесь правы, и его могут обыгрывать только люди из топ10, или топ100, а может и каждый второй его сможет… я ставки делать не буду :)
Да даже пусть получает ранги так-же, как и простые люди, самое адекватное сравнение будет.
Даже если он будет играть только протос против протоса, на той единственной карте, которую знает, тогда хоть какое-то представление может быть о его скиле, но по одной игре судить нельзя как я и сказал.
Но протос-протос он уже сильнее основной массы игроков.
Но смог он это продемонстрировать только на одной карте да еще и с использованием читов (без них он ничего не смог)… Как по мне — это не является показателем того, что он сильнее.
Вы же понимаете, что все эти действия — мгновенны для бота? Да, нужно уложиться в APM, нельзя обкликать всю карту каждую секунду (хотя бот легко смог бы).
Но эту секунду он не мог бы уже микрить там, где идет сражение. А секунда это не так уж мало, темболее, если это будет каждая пятая секунда например. Если каждая 20я — то значит на появление врага в отличном от обзора месте он не будет реагировать 20 секунд — что тоже чревато. Вот и получается, что выбирать приоритеты куда смотреть ИИ еще не научился, пока только с читами он выигрывал.
мы изначально тестировали наших агентов в матчах против TLO
Я правильно понял, что ИИ специально затачивали под конкретного противника?
А теперь представьте, когда другая сильная команда выдвинет своего бота против AlphaStar. Вот тут и начнется настоящая битва умов с большой репутацией на кону. Ведь как это так, если вдруг какая-то малоизвестная команда вдруг обойдет DeepMind? Это что значит, что их базовые алгоритмы и архитектуры оказались эффективнее? Они там в небольшой команде нащупали что-то более крутое, чем несколько десятков PhD?
А вот то что стратегия игры AlphaStar действительно довольно примитивной остается — тут полностью согласен. Учитывая, что он проходил обучение на большом массиве реплеев — это наводит на два предположения. Либо такие микро-стратегии действительно оказываются более эффективными при их точном выполнении. Либо просто сам фундамент «глубокого обучения» не позволяет разворачивать во времени более сложные зависимости.
Отточив раннюю игру на протоссах через уничтожение экономики Oracle'ами и добивание Stalker'ами забраться достаточно далеко в ладдере старкрафта может даже очень средний игрок: мой приятель так покорил платиновую лигу, мне стало скучно намного раньше, максимальный АПМ у обоих не превышает 200, а эффективный и того меньше.
Сталкер сбалансирован с учётом человеческого уровня контроля, а вот в руках ИИ почти все остальные юниты становятся просто не нужны. Какие-то долбанутые стратегии использовало только 2 агента, да и то из тех, кто играл против TLO (Carrier'ы и Disruptor'ы), но ещё одна неделя тренировок эту дурь всю выбила — по чарту частоты использования разных юнитов в тренировке с вариантами себя всё видно.
У остальных рас просто нет юнитов с подобной (ограниченной только точностью и скоростью контроля) эффективностью, так что интересно как АльфаСтар сыграет на тех же терранах, например. Жду с нетерпением, потому что даже минувшие шоу-матчи было довольно-таки интересно смотреть.
Баланс всей игры под ИИ, конечно, переделывать не будут. Но как я писал выше уже, игра против людей и не так интересна, т.к. априори рано или поздно алгоритмы будут на порядок сильнее. StarCraft — это хоть и не детерминированное поле 8 на 8, но все равно вполне ограниченная цифровая среда. Поэтому по-настоящему интересны именно бои самых передовых ИИ-архитектур. И тут уж можно и на APM никакого ограничения не накладывать и камеру вообще убрать.
То, что ИИ будет обыгрывать даже самых продвинутых корейцев, по моему мнению, лишь вопрос времени.Пусть так, но до этого еще довольно далеко. Как и в доте с квакой, нынешние боты выигрывают у людей за счет моторики (aka микро), в стратегии они пока толком не умеют.
А вот то что стратегия игры AlphaStar действительно довольно примитивной остается — тут полностью согласен. Либо такие микро-стратегии действительно оказываются более эффективными при их точном выполнении.Таки да, оказываются более эффективными, alex_blank (рекомендую почитать все его комментарии по теме) уже давал ссылку на хороший пост [reddit.com]: “When the game is played with inhuman speed and accuracy, abusing superior control is very likely to be the best and most effective and correct way to play the game. As disappointing as that sounds.” Что, в свою очередь, подводит нас к неутешительному выводу, что боты играют в некую другую игру, похожую на оригинал только внешне. В это можно позалипать пару минут и подивиться сумасшедшей скорости и точности компьютера, а потом продолжить играть с другими людьми и/или смотреть обычные «человеческие» демки, которые пока намного интереснее и разнообразнее.
Плюс нужно учесть, что в западном сообществе репутация — это всё. И если коллеги заметят какое-то неадекватное поведение нетипичное, то это может очень сильно подмочить репутацию и даже разрушить карьеру в киберспорте.
«TLO — зерг»
Я вообще первый раз его оффрейс увидел, вы о чем?
Люди в оффрейсе бывает вообще на элементарных вещах сыпятся.
MaNa — другое дело. В первых матчах были совершенно тупые косяки, позволить сопернику по рампе подняться, например.
Но в целом не было ощущения игры в поддавки все равно.
Потому что статья — это пресс релиз который выложили обновременно с конференцией на которой был 6ой матч. Она написана до этого матча.
Но Мана каким-то образом сумел поставить его в тупик. ИИ просто не знал, как реагировать на такую тактику и продолжал топтаться на месте.
Что и решило матч.
Под игрой я не имею в виду подбрасывание монеты и т.п., разумеется.
Вероятно, это должна быть игра, в которой меняются правила.
Возможно, отгадывать закономерности в последовательностях карт ИИ сможет хорошо, но в этой игре надо ещё и придумывать правила выкладывания. Причём они не должны быть ни слишком простыми, ни слишком сложными — это учитывается системой подсчёта очков.
И еще: ru.wikipedia.org/wiki/Fluxx
Думаю, с ними ИИ будет гораздо сложнее справиться.
Интересно, можно ли создать в принципе игру, в которой у ИИ не будет преимущества?
Это любая игра при балансе которой не учитываются человеческие ограничения. С-но, те же шахматы или го — у ИИ в этих играх нет никаких преимуществ по сравнению с человеком.
Если у человека есть что-то такое, что для ИИ невозможно (душа, например), то да. Иначе нет, только временно. В ближайшие годы ИИ обучится чему угодно, если хватит железа.
1) Каждый из них видел всю карту сразу глазами всех своих юнитов и зданий, в то время как у человека обзор ограничен миникартой и 1 камерой сверху.
2) В старкрафте в ключевых моментах 1 секунда может решить всю игру. БУКВАЛЬНО. Альфастар в эту секунду использует нечеловеческие 1500 эффективных действий в секунду, а для того, чтобы средних действий в секунду было меньшее 300, до этого момента старается сильно его не завышать. На этом моменте ИИ и строит свою стратегию. Это чит.
3) Последний Агент имел очень мало опыта, в районе 20 лет по моему, поэтому он тупил иногда. Если б ему дали 200 лет, проблем бы не было. Я думаю, этого агента плохо готовили потому, что перед событием разработчики закладывались что ИИ проиграет людям все равно даже с такими послаблениями.
В целом результат от ДипМайнд все равно впечатляет, ИИ играет явно лучше 99% остальных игроков на конкретной карте и против конкретной рассы. Это эпик вин для дип майнда.
Несмотря на это я считаю, что если ИИ дать аналогичный интерфейс, что и у человека (ограничить АПМ до 300 внутри каждой секунды и обзор карты через камеру+миникарту) у ИИ будут серьезные проблемы в поздних стадиях игр. Однако люди очень многое возьмут от ИИ так же как произошло в игре GO
Несмотря на это я считаю, что если ИИ дать аналогичный интерфейс, что и у человека (ограничить АПМ до 300 внутри каждой секунды и обзор карты через камеру+миникарту)
И выделять рамкой/биндами, а то сейчас он просто берет и выделяет группой любых юнитов каких хочет. Это, кстати, вообще технически невозможно в обычном старкрафте, то есть прямой чит.
AlphaStar — новая система искусственного интеллекта для StarCraft II от DeepMind (полный перевод)