Pull to refresh

Comments 147

Как в старкрафте — опять без ограничений по количеству кликов в секунду, обзором всей карты и дичайшим микроконтролем? Не поймите превратно, но как можно говорить «о превосходстве машины над игроками», когда ей дана невероятная фора?
С другой стороны, люди сделали компьютер, чтобы он быстро думал, а теперь оказалось, что он думает слишком быстро.
В старе боту специально зажали клики так, что в среднем они кликают медленнее людей. Микро у него офигенный, да, но это раскачиваемый навык с одной стороны и бед дикого спилклика люди могут им овладеть. Обзор всей карты — да. Но туман войны на месте, так что сложно говорить что тут есть какая-то большая фора.
Даже на хабре был разбор тех матчей. То, во что играл бот было чем угодно, но только не старкрафт.

Разумеется он победил, но это как сравнивать игру, допустим в квейк, только один игрок играет с клавиатурой и мышкой, а второй — только с клавиатурой.
По какому из параметров? Я скорее склонен считать что нечестно — это тысячи лет опыта. Мы бы за такое время стали играть ещё круче.
Речь не о честности, а о содержании мероприятия. Задача была построить бота, который «думает» как люди, но вместо этого он просто перекликивал. При это заявлено было ограничение АПМ, которое, по сути, было лапшой.
который «думает» как люди

Эту задачу вы придумали сами. Разработчики разве где-то говорят, что ставили перед собой такую задачу?


К тому нет задачи показать, что роботы круче. Это и так понятно, что в перспективе круче.


Есть задача реализовать бота, который обыграет людей. Часто кликать — не чит. Но, вполне можно поставить задачу обыграть людей, кликая не чаще Х раз в секунду. Я думаю, поставят, кому интересно будет.

> Разработчики разве где-то говорят, что ставили перед собой такую задачу?
Да: www.youtube.com/watch?v=UuhECwm31dM
Начиная с 1:39, там еще упоминается «800 полезных кликов в минуту», что какбы тоже бред.
К тому же, это все же компания по разработке ИИ, а не бота на СК.

Посмотрел видео и ответ нет. Задача построить бота, который «думает» как люди, не ставилась. Если вы увидели в видео другое, можно цитату?


При этом я согласен на счёт кликов — они, скажем так, ввели в заблуждение. Кликов у бота больше, чем у людей, а микроконтроль даёт существенное преимущество. Но не решающее. Насколько я знаю, до сих пор бота, который мог бы перекликать про с результатом, никто не делал.


По итогу — отличная веха в развитии. Отличное достижение.

Но не решающее.

Тогда как бот выиграл? :)
Если бы микро не давало решающее преимущество, то и выиграть за счет микро, существенно проигрывая стратегически, было бы нельзя. А со стратегией у бота совсем швах — стоит посмотреть на статистику использования юнитов при обучении. Там бот со временем становится все тупее и тупее (а не умнее, кек), что демонстрирует, что в балансе ск быстрые руки в итоге оказываются полезнее "ума". Если, конечно, они действительно быстрые. И бот, с-но, то, что полезнее, то при обучении и затачивает.


Это в общем-то логично все, если у тебя есть когти и клыки — не нужно оружие, есть теплая шкура — не нужна одежда, и т.д..


Без ограничений на "грубую силу" нет никакого профита развивать в сколько-нибудь обозримой перспективе интеллект.

Стратегии у него действительно нет. Но тактика есть. И без тактики микро не поможет (другим ботам же не помогает). У бота просто получилось неглубокое видение будущего. Ограничить клики раз в десять действительно было бы интересно, результат был бы другой.

Это вопрос определений. Компания, занимающаяся исследованием ИИ декларирует цель победить человека в СК «правильно», то есть не за счет механики и читов. Тогда за счет чего? Но даже если моя интерпретация неверна, заявленная цель все равно не была достигнута, а вместо этого зрители были введены в заблуждение.
Прогресс впечатляет, да, с этим мало кто спорит. Но изначально ветка начиналась с того, зачем боту вставлять искуственные палки в колеса и зачем нужна «честная» победа. А затем, что иначе нельзя будет говорить о существенном прогрессе именно в построении ИИ (а не ботов в СК)
К сожалению, построение любых специализированных (ака бот в СК) форм ИИ мало приближает нас к построениею сильной (универсальной) формы ИИ. Возможно это вообще движение в препендикулярном направлении.

Но практический выхлоп здесь и сейчас может быть, тем не менее, не малый. Собственно и дипмайнд и OpenAI придумывают как научить систему решать задачу, которую мы сами не знаем как четко сформулировать. И тут прогресс на лицо.
  1. Бот видел всю карту одновременно, ему не требовалось перемещать камеру для обзора, более того, ему не требовалось перемещать камеру даже для осуществления некоторых действий.
  2. Бот кликал идеально, не совершая ошибочных кликов, которые так свойственны обычным игрокам (в последней игре, до этого у него были паразитные клики, но достаточно немного). Однако, даже при этом он показывал средний АПМ не меньше, а мгновенный АПМ — в разы больше, чем у игроков.
  3. Нельзя сказать, что это проблема бота (люди конечно несовершенны), но бот способен обнаружить дарков по малейшим искажениям текстур — очевидно, человеческое зрение на такое не способно.
  4. Бот победил во всех играх за счет лучшего микро, а не лучшего понимания игры. Например, контролил одновременно несколько групп блинк-сталкеров в разных частях карты. (потому что ему не требовалось для этого перемещать камеру). Кроме того, эффективно расчитывал DpS для своих юнитов и распределял залпы по разным юнитам противника. Впрочем, насчет этого пункта можно спорить, ведь ни один человек так не умеет, но это не значит, что он не может научиться.
  5. Последняя игра с Маной — просто позорнейший слив, показавший всю суть бота — он не способен стратегически мыслить, а лишь механически действует эффективнее человека.
Эдак можно дойти до того, что «Вот когда они сделают human-like робота, который сядет за комп и руками на мышке и клавы выиграет, вот тогда это будет честно».

Лично для себя я увидел несколько вещей которые, сделай их про-игрок, взрывали бы зал в клочья (то как мансила цм от снайпера или когда свен блинканулся раньше шейкера в то место куда шейкер скорее всего бы блинканулся)

А о понимании игры можно судить по уверенности бота в победе. Даже когда игра казалась ровной, боты говорили что шанс победы 97%. Вот если бы это было опровергнуто проигрышем или хотябы небольшим камбэком…
Лично для себя я увидел несколько вещей которые, сделай их про-игрок, взрывали бы зал в клочья

Но это именно потому, что про-игрок — человек. Если человек в уме многонцатьзначные цифры перемножает, то тоже зал рвется в клочья, хотя для калькулятора это изи задача.


Т.е. зал рвут сложновыполнимые задачи. В случае человека — это какие-то микромувы, а в случае компуктера — как раз наоборот.

UFO just landed and posted this here
бот способен обнаружить дарков по малейшим искажениям текстур — очевидно, человеческое зрение на такое не способно.
Как раз распознавание образов, особенно в динамике — сильная сторона человеческого мозга. И вроде у данного бота на входе не изображение, а сигналы специального API.
Бот победил во всех играх за счет лучшего микро, а не лучшего понимания игры.
Насколько я знаю, обычные алгоритмические боты
вчистую сливают про-игрокам, даже имея сверхчеловеческий микро.
Как раз распознавание образов, особенно в динамике — сильная сторона человеческого мозга.

Там дело было в нескольких пикселях, на долю секунды мелькнувших на краю области обзора.
Это не говоря уже о том, что в случае человека в 99 случаях из 100 просто камера будет в другом месте, а значит он даже шанса не получит что-то там увидеть.


вчистую сливают про-игрокам, даже имея сверхчеловеческий микро.

Ну с-но говоря микро (как осмысленный микроменеджмент) и исполнение определенных технических приемов — существенно разные вещи. Вот второе у "обычных" ботов на высоте, но они слишком тупые, чтобы планировать хотя бы на короткую перспективу и не могут эти приемы нормально использовать. Сеть же достаточна умна, чтобы решать краткосрочные тактически задачи. Взять то самый, уже ставший классикой, пример с микро несколькими группами сталкеров — это вроде бы микро, но повторить подобные ни один "простобот" не сможет, хотя идеально прыгать сталкерами он может вполне себе.
С-но то, что нейросеть умеет в микро именно как в осмысленную деятельность (как в ск, так и в доте) — это уже весьма существенный прогресс, но вот вопрос в следующем качественном скачке (а он тут именно качественный, того же уровня, как переход от "простоботов" к нынешнему OpenAI).


Опять же, как минимум — подобного рода сети можно и использовать в качестве таких вот "микрорешателей", оставляя человеку глобальное планирование. Уже профит.
Возможно мы и в играх спустя какое-то время такое увидим — какие-то глобальные стратегии, где игрок будет решать общие вопросы, а нейросеть — эффективно справляться с микрозадачами. Сейчас с этим проблема, т.к. компуктер сильно тупой и отдавать ему исполнение микрозадач обычно сильно невыгодно, приходится либо мириться с этим либо микроменеджить самому. А вот с такой сетью — было бы круто.

Вы играли в старкрафт? Невидимые юниты отлично видны, если они движутся, более того, отлично понятно по очертаниям какие это юниты. Дарка с обсервером не перепутаешь никогда. А вот тот факт, что для того, чтобы этого юнита засечь, а него надо смотреть — много решает. Живой игрок не имеет возможности видеть всю карту сразу, у него вместо этого миникарта, на которой невидимые юниты не обозначены.
Вы играли в старкрафт? Невидимые юниты отлично видны, если они движутся, более того, отлично понятно по очертаниям какие это юниты.

Вы просто немного не в теме. В данном случае юнит мелькнул на долю секунды на границе тумана войны, а не бежал бодро через весь экран. Там даже если знать, в какую точку смотреть, разглядеть было что-то непросто.

Там даже если знать, в какую точку смотреть, разглядеть было что-то непросто.
Для ИИ на современном уровне технологий адекватно выделить всю нужную информацию из гигапикселей в секунду (которые даёт непрерывный обзор всего игрового поля) — это тоже совсем непросто (если вообще реально).
Для ИИ на современном уровне технологий адекватно выделить всю нужную информацию из гигапикселей в секунду (которые даёт непрерывный обзор всего игрового поля) — это тоже совсем непросто (если вообще реально).

Это как раз элементарно — движение есть, а на миникарте юнита нет.
Это в принципе задача несложная и даже без нейросетей решается прекрасно.


Ну и в чем смысл — для ИИ-то без разницы долю секунды оно мелькнуло или час, на границе — или в середине экрана.

Выделить область изменений — это очень-очень просто. Даже ИИ не нужен, подсветка движения существует десятки лет. Просто вычитаются два соседних кадра и вместо миллиардов пикселей остаются тысячи областей с движением.


В этом-то компьютер без сомнений на голову лучше людей.

движение есть, а на миникарте юнита нет. Это в принципе задача несложная
вместо миллиардов пикселей остаются тысячи областей с движением.
Сколько там анимаций снарядов, заклинаний, пассивных юнитов, фона? Тысячи, в реальном времени. Их все адекватно распознать — очень непростая, и сравнительно малоинтересная задача. Поэтому бот получает инфу из API. Не представляю, как там невидимые юниты отображаются.
Никак. Было интервью с ботостроителем (обычные боты, через официальное API) одним, он говорил что у его ботов огромные проблемы с дарками. Звуков бот «не слышит», картинки у него тоже нет, API невидимых юнитов не транслирует — по входящемо дамагу видно только, что кто то нарезает.
Эти нейросети используют специальную модификацию«компанейского» AI, у которого информация по карте вообще вся. Для сетей его урезали, чтобы выдача шла с учётом «тумана войны», но невидимок не порезали полностью, в том числе и потому что, проф. игроки инвизов видят. Но ограничение там, естественно, «тупое»: сколько-то там секунд вне тумана войны без учёта того что ещё происходит на экране/ в игре.
Ну если даже так то получается, что сеть невидимок по картинке научилась видеть. Там был момент когда дарк появился вне тумана войны буквально на пару кадров и тут же была реакция.
он там был секунды две-три. Границы тумана войны — они там где совсем чернота. Там где для человека плавный переход клеток в 5 — у бота там полное виденье.
ЕМНИП, бот вообще не смотрел на карту, а получал информацию по АПИ и известный ютуб-комментатор здесь ошибся. Так что бот «увидел» бы дарков даже если бы они вообще не мелькнули. А это, получается, вообще банальный чит.
А боту из API идет информация про невидимых юнитов? Она может там быть, но это не значит что она там точно есть, иначе это уничтожает весь смысл невидимости вообще. Я бы предположил что там есть только намеки, что-то вроде «есть невидимый юнит где-то» или что-то похожее.
я не знаю деталей, точно известно две вещи: бот получает инфу по АПИ и он точно реагировал на дарков до их прихода на базу. Значит какая-то информация про них точно есть и это действительно смахивает на читерство. С другой стороны «где-то там есть дарки» не сильно лучше полной инфы, я даже как-то сходу и не придумаю, как это можно сделать +- адекватно
она там точно есть. 100%. Просто потому что это информация есть у живых игроков.
Не так. Она там должна быть чтобы у бота были аналогичные реальным игрокам возможности. Но это не значит что она там есть. Скорее всего есть, так как видимо бот на них реагировал. Но просто логика «у игроков есть, значит есть и у бота» не работает. Бот итак может легко получить преимущество, его можно лишить какой-то фичи просто потому что ее не удалось внятно ему дать.
фичи разумнее ограничивать чем-то, что не может влиять на баланс. А абсолютная невидимость юнитов — это большое влияние на баланс. А так да, логика не безупречна, со 100% погорячился. Скорее 99,9%.
Боту из API идёт полная информация о невидимых юнитах с флажком «они невидимы». Только там есть условие, что-то вроде, только после N секунд в поле зрения.
Звучит разумно. Вопрос только в том на какую область распространяется «поле зрения». На всю карту без тумана войны или только на экран, где ведется микроконтроль.
На всё, что не в тумане войны. У бота нет «экрана». Оно вообще никаких изображений не «видит». Он играет почти как в FAV (Total Commander).
AI самого Старкрафта (ну там компания и проч.) специально притворяется, что не видит невидимые юниты.
Было зявлено, что контроль юнитов осуществляется только в области, ограниченной рамкой, аналогичной доступной для камеры игрока. Т.е. видит он все, а микрит только там где якобы камера в данный момент. Перемещение камеры — отдельная операция.
Вот отсюда и вопрос: API передает инфу о невидимых юнитах сразу со всей открытой карты или только с той области, где ведется контроль.
API — он един для всех ботов. И видит именно на всей карте.

Да и никто не ограничивал бота от «сканирования» своим «экраном» всех или просто ключевых участков карты. Т.е. идёт три сражения — бот за два «командных такта» передвигает между ними по циклу экран и отдаёт по команде
распознавание образов, особенно в динамике — сильная сторона человеческого мозга

Уже нет. То есть уровень человека не поменялся, конечно, но уровень ИИ вырос настолько, что это уже нельзя считать существенным преимуществом человека.

для осуществления действий экран перемещать было таки нужно. Микроконтроль был только в области, ограниченной рамкой камеры обычного игрока. А вот с обзором всей карты — это да, огромная фора.
Обзор всей карты — да. Но туман войны на месте, так что сложно говорить что тут есть какая-то большая фора.

Ну да, в одном из боев что лично пересматривал несколько раз, всего лишь в углу карты пробегает вражеский невидимый юнит и самым краешком цепляет видимую область бота, на 1 кадр виден blur от его движения(кто не знает, сами юниты невидимы, но когда они двигаются, на их месте как бы чуть-чуть размывается картинка, не всегда сходу можно заметить даже когда всматриваешься), бот сразу начинает ставить туррели и заказывает юнитов для обнаружения невидимых юнитов. Там 20 раз перематывая и всматриваясь в эту точку то не сразу удалось увидеть что там и правда видно на 1 кадре это размыливание, а боту просто пришла инфа что там было размыливание, значит невидимый юнит.
Да, это очень впечатляет, но понятно что у ИИ скорость обработки информации выше чем у человека. Он может очень быстро итеративно прокликивать всю карту и обнаруживать аномалии, а человек пока что так не умеет. Но, опять-таки, 45000 лет опыта. За это время и люди могли научиться видеть примерно так же, протсо мы столько не живём. Но у людей есть свои уникальные преимущества, у роботов свои. Мы можем общаться голосом, давить на психику. А боты умеют очень быстро на карту смотреть и детектить аномалии. Мне кажется тут паритет.
Но, опять-таки, 45000 лет опыта. За это время и люди могли научиться видеть примерно так же

Это каким образом? У глазного нерва есть ограничения на пропускную способность.

За 45к лет эволюция может заточить нас под выполнение этой задачи, например. Ну и там 25 кадров в секунду мы воспринимем, надо научиться их обрабатывать.
За 45к лет эволюция может заточить нас под выполнение этой задачи, например.

45к лет для эволюции вообще не срок.

Есть ещё селекция, она позволяет создавать новые породы за десятки лет.
Есть ещё селекция, она позволяет создавать новые породы за десятки лет.

Чем вид сложнее, тем менее эффективна селекция. А на специфические признаки — вообще неээфективна. Вы очень долго будете клубнику с геном лосося пытаться отселекционировать.

Эволюция — это не когда людям просто что-то нужно, это когда фактор влияет на размножение. Если зрительный нерв чуть короче (=чуть быстрее) — это сразу трое детей, а чуть длиннее — это с гарантией бездетный, тогда за 45к лет появляется шанс закрепить какую-нибудь мутацию. Если она вдруг произойдет у кого-то.


Сама по себе необходимость "нас" не затачивает. Эволюция — это шанс на выживание потомков. И больше ничего.

Не делаешь бота в одном проценте случаев? Извини, дорогой, сегодня у нас ничего не будет. Встретимся через год.
Для этого надо селекционировать самок, которых возбуждает в-основном доминация в старкрафте.

Для этого нужно, что бы потомство самок, которых не возбуждает доминация в старкрафте не выживало.

Это сложно. Где-нибудь в Корее я еще могу себе такое представить, но не во всем мире.
Там на самом деле все проще, он играет в эту игру через API/движок/сам сервер, просто прописано что там где туман войны, данные боту не отправляются, он даже не смотрит сам куда-то, ему просто приходят данные что в такой-то точке враг, там-то появился blur от невидимого юнита и так далее. Разработчики конечно пытаются сделать чтобы это выглядело максимально правдоподобно, но когда одновременно камера у бота в одном месте, выделяются юниты в другом месте, а команда(, постройка здания, которую обычный игрок еще и не может отдать нажатием на миникарте, только непосредственно с экрана) отдается другим юнитам в третьем, это фиаско.
я тоже могу выделять юнитов или здания, которые вижу. Другое дело, что перечень этих юнитов/зданий ограничен хоткеями.
Мы можем общаться голосом, давить на психику.

Робота можно этому научить.

Люди всегда так. Сначала они говорят, что Х для робота слишком сложный и не сможет обойти людей. А когда робот людей обходит — ну да, он же слишком быстрый, быстрее кликает.

Ну в случае со Старкрафтом скорее быстрее вызывает напрямую API — в последнем обзоре от Alex 007 он показал, что бот стал строить базу, даже не кликая на пробку.
На официальном сайте OpenAI есть информация, что время реакции ботов — 200 ms. Да и дота не старкрафт, о каком микроконтроле может идти речь, когда бот играет одним героем? Вот был бы там мипо или иллюзионисты — тогда да, к бабке не ходи, против такого лучше даже не пытаться играть.
Ну когда идёт 5 на 5, грамотно по очереди вместе зафокусить противника — не каждая топ-супер-мега-про команда справится.
+ точные тайминги, но это уже вполне доступно и людям.
Апм бота в старкрафте был ниже чем пиковый апм у человека. А вот с обзором карты с высоты птичьего полета — это огромная фора. Потому что людям даже нормального разрешения на широкоэкранные мониторы до сих пор не завезли, ибо баланс попортится.
Где то была информация что производительность человека 1 операция в секунду а процессоры выполняют миллиард операций в секунду.
Правда, воскрешать тех, кто пал, было можно.

плюс курьер OpenAI Five не обладал неуязвимостью

шта?
ИИ начал игру с выбора режима, при котором команда может запрещать противнику выбирать тех героев, которые были выбраны ею. По мнению экспер.ютов, такая стратегия дает возможность использовать сильные стороны персонажей практически без оглядки на слабые.

какая стратегия? что за бред в этих двух несвязных предложениях?.. да еще и с ошибками.
шта?

Про курьера еще можно расшифровать, предыдущие правила openai: 5 invulnerable couriers, no exploiting them by scouting or tanking
видимо сейчас это отменили. Остальное все какой то буллшит который писался без малейшего понимания игры и наспех.
Чтобы несведующие понимали — после прошлой игры с полу-про игроками, где боты проиргали в сухую, все смеялись с ботов. После этих игры, все в шоке от игры которую проводили боты. Например местами боты реально предугадывали следующие действия игрока, в ситуации где никакой нормальный игрок бы этого не сделал.

Но вообще, мне показалось что основная сила этих ботов в том, что они больше не тупые, а так же прекрасно знают сколько урона они могут получить или выдать в секунду времени. То есть у них всё ещё есть (и они пользуются) преимуществом над людьми в той части, в которой люди просто слабее.
Но OG при этом играли на мой взгляд ради фана. Не было видно никаких попыток вернуться в игру, мидер заливает мид — ну и бог с ним.

И главный для меня минус — пик очень ограничен героями. В игре были герои, которых в типичной игре OG и не увидишь особо.
Первая игра очень показательная была, мне кажется. Она была равной до первой драки 5х5, в которой боты показали свою главную сильную сторону — феноменально проводить массфайты. Вообще, даже при виде небольших стычек меня посещало странное чувство обреченности: понимание того, что раз боты влезли в эту драку, то они знают, что с большой вероятностью получат от этого выгоду. Иначе бы драки просто не случилось.
Я в первой игре запомнил только драку под т2, где рики мертв и OG играют 4х5, что явно не добавляет шансов.

И да, мне файты от ботов не показались феноменальными. Возможно так кажется только со стороны, сесть и покадрово разобрать игру мне пока лень =)
Первая игра очень показательная была, мне кажется. Она была равной до первой драки 5х5

Вот как раз очень показательная драка. Потому что ни в каком серьезном матче драки бы этой просто не было бы. Там за буквально три минуты столько дичайших ошибок от OG, что это без смеха смотреть сложно (хотя мидовый рики который на 23 дофармил диффуза это в общем-то уже тт, как в общем и невер с арканами и аганимом).


понимание того, что раз боты влезли в эту драку, то они знают, что с большой вероятностью получат от этого выгоду

Это, вообще-то говоря, и для человека верно, просто боты и человек по-разному оценивают ту самую вероятность и выгоду :)

Стало любопытно насчет фразы


Например местами боты реально предугадывали следующие действия игрока, в ситуации где никакой нормальный игрок бы этого не сделал.

Есть информация на тему того, использовали ли боты "скрипты" (типа такого), т.е. получали ли они информацию визуально — т.е. точно так же, как игроки или пользуясь информацией, предоставленной движком ( скажем, в кого кликнули атаковать еще до того, как герой дошел и совершил атаку ), но еще не отражаемой визуально?


Разумеется, интересно в первую очередь потому, что игроки с помощью соответствующих утилит тоже могут "предугадывать действия игроков, в ситуации, где никакой нормальный игрок бы этого не сделал".


Развивая мысль, если информация действительно от движка, было бы интересно посмотреть, как повлияла бы возможность использовать "скрипты" обоюдно. Т.е. и со стороны игроков.

Скажем так, есть и обычные алгоритмические боты, не нейронные сети, которые по началу обыгрывали даже чемпионов (в т.ч. и за счёт "нечестных" реакции, вижена, микро и апм). Однако люди их быстро "раскусывали". Хотя эти боты среднего казуального игрока и сейчас уделают, даже будучи урезанными.


Собственно чём тезис: у ботов был аналог 47 тыс лет для того чтобы обучится игре против себя и человека. А у людей сколько было времени, чтобы научится играть против таких ботов? Правильно, ноль.
Т.е. нечестность здесь не даже не в кликах и микро, а в том, что люди играли с котом в мешке, который играет не как человек, не имея возможности потренероваться, обсудить, выработать стратегии.

1)Что за боты такие? А то я на своём казуальном уровне могу разложить 1vs5 нечестных ботов(двойное золото, двойной опыт, мапхак и прочее), включая улучшайзеры. А пятерых таких как я разложить может любой из OG в одиночку просто фанясь.
2)У Ботов не было ни одного матча против человека, они долго и старательно играли исключительно между собой. Поэтому у обоих было по 0 опыта друг против друга.

Количество лет не существенно, глобально соревнование идёт на другом уровне. Когда бот займет ваше рабочее место, потому что он дешевле, довод "а он учился дольше" не будет ничего значить.


Тем не менее, возможность потренироваться против бота была бы интересна, что бы посмотреть, насколько устойчив результат. Нет ли в обучении "дырок" которые легко эксплуатировать.

1) Имелось ввиду старик, конечно. В доту ботов не знаю (совсем казуал).
2) У ботов были матчи человек-человек для анализа и набора статистики. Т.е. как там это делается: сначала бота учат повторять то что делал в матче человек (первые «несколько тысяч лет») а затем натравливают друг на друга (оставшиеся «десятки тысяч лет»). Затем идёт тестовая разыгровка с «заводской командой». Кто ж будет нетещённый продукт на публику выставлять?
Да в этой статье утверждается, что боты начинали со случайных значений. Но далее там же упоминается, что боты много и долго играли с людьми, причём много и долго проигрывали, пока разработчики их не «натаскали» играть именно против людей.
Тезис остаётся в силе.

Ну, в общем-то, все как и ожидалось после матчей предыдущего года — сеть уперлась в потолок, и лишний год обучения практически не сказался на уровне игры. Пул героев увеличить не смогли, в лейте сеть как тупила так и тупит, стратегическое мышление на нуле. Ну а тактика как была годная так и осталась (хотя, OG, как видно по первой игре, и тактически ботов переиграли, хотя в 2019 это команда уже не первого тира).


По результатам — с-но, нормально OG играли первую половину первой игры. Все, что было дальше — это явное 322 или полное раздолбайство.

Согласен, однако
> в лейте сеть как тупила так и тупит

В большинстве игр даже люди не знают, что делать в лейте, как его выигрывать. Один раз ошибаются и проигрывают.

Здесь немалая проблема как раз в пуле героев. С-но, даже с не так уж большими патчами мета может существенно меняться, а тут пул из пары десятков героев — это стратегически совсем другая дота. И сеть, например, как не понимала концепции керри, так ее и не понимает (при этом вполне возможно, что как раз для данного пула игра в керри действительно просто невыгодна, как минимум тут нету практически нормальных сейвов). Проблема то есть не в ошибках, а вообще в тотальном непонимании эндгейма.
С-но, был бы рики нормальный, с диффузами на 15, он бы просто начал бегать по карте и взрывать ботам пердаки. И в итоге мы бы увидели в конце что-то вроде того как закончилась последняя игра в прошлом году.

Похоже, нынче устраивать соревнования вида «ИИ vs человек» становится бессмысленно, потому что приходится вводить разного рода ограничения для ИИ, чтобы игра проходила более или менее на равных.

На мой взгляд, если хочется продемонстрировать возможности своего ИИ, надо делать это в матчах против другого ИИ. Или ещё вариант — собирать смешанные команды из людей и машин. В случае доты, например, в команде может быть четыре игрока и один ИИ (ну или 3 + 2). Таким образом и на ИИ-микроконтролёра найдётся управа.
Похоже, нынче устраивать соревнования вида «ИИ vs человек» становится бессмысленно, потому что приходится вводить разного рода ограничения для ИИ, чтобы игра проходила более или менее на равных.

В рамках доты на данный момент ограничений сильно больше у человека, т.к. сильно зарезан пул героев.

В рамках доты пока да, обратил внимание, но опять же «пока», это тоже дело обозримого будущего.

Кстати, а ведь ограничения для ИИ начали вводить давным-давно — имею в виду игровых ботов с настраиваемым уровнем сложности.
Сомневаюсь, что это дело обозримого будущего. Как и все нейронки эти боты просто опыт в чистом виде, они не думают. Увеличить пул героев до текущей сотни с мелочью и боты просто вообще не будут знать, что им делать, тк они не будут знать, какой путь ведет к победе.

Игра в компании с людьми это отлично показала, боты нормально играли только с ботами, кооперация с людьми стремилась к нулю либо приводила к печальным последствиям.
Как и все нейронки эти боты просто опыт в чистом виде, они не думают.
Да, потому и не интересно смотреть. А ограниченный пул героев — это, как мне кажется, простое следствие нехватки времени на прокачку. Пишут же, что бот тренировался в течение 8 месяцев. Возможно, ему требуется больше.

По поводу кооперации с людьми: из статьи непонятно, в данном случае было пять независимых ботов или один ИскИн управлял всеми пятью. Вообще, если в кооперации с людьми использовать ИИ второго типа, то понятно, почему кооперация не удаётся — ИИ попросту не умеет в неё, она никогда ему не требовалась. А если первый, то всё должно получиться, ведь в процессе обучения боты должны догадаться, что один в поле не воин.
простое следствие нехватки времени на прокачку

Ну да. 20 лет реального времени не хватило. Зависимость же нелинейная.


Играет пять отдельных ботов (5 одинаковых сетей), openai рассказывали в том году. Но для кооперации это не поможет, потому что бот рассчитывает на определенное поведение соседа (до мельчайших действий). Сосед же твоя копия, а значит можно точно знать, что он сделает. С соседом человеком так не сработает.

Сосед же твоя копия, а значит можно точно знать, что он сделает
Ну если у них так реализовано, то понятно. А если, скажем, боты изначально ничего друг о друге не представляют, то у них получилась сыгранная, слаженная команда за счёт многократных повторений, поэтому они точно знают, кто что и когда должен сделать. И исходя из этого можно предположить, что продолжительная практика с человеком, по максимуму сферическим в вакууме, тоже принесёт результат.

В теории — согласен. На практике они отыгрывают тысячи лет. Текущие алгоритмы обучения просто не дадут сыгранности, если поиграть с человеком какую-то тысячу часов.

Самое весёлое, что игра постоянно обновляется и меняет механики способностей. То есть опыт бота полугодовой давности может быть плохо применим в текущей версии игры.
игра постоянно обновляется и меняет механики способностей
Точно же. Может, потому пул и ограничили конкретными 17 (или сколько их там) героями, что все остальные патчились на протяжении обучения ботов.
UFO just landed and posted this here

Тоже помню, но тут есть разница. OpenAI, если они не готовят тайно другую сеть, на полном пуле точно не выиграют. Предел именно этой сети мы увидели, она качалась много месяцев и стать резко лучше уже не сможет. Больше железа тоже не поможет — там будут уж совсем неприличные суммы.


Вот неожиданный конкурент от неизвестной компании — это было бы интересно.

Как и все нейронки эти боты просто опыт в чистом виде, они не думают

А чем это отличается от человека? Ну грубо, таже наработка опыта с такими же людьми.
В рамках доты пока да, обратил внимание, но опять же «пока», это тоже дело обозримого будущего.

Ну вот год прошел, а воз и ныне там. Есть очевидные фундаментальные проблемы в расширении пула.

в старкрафте игровые боты приличной сложности раньше были читерами: полный обзор, безлимит ресурсов.

Они не хотят урезать ИИ, что бы игра проходила на равных. Они хотят показать достижения. На текущий момент это лучший бот и лучший алгоритм обучения. И как это продемонстрировать, как не в игре против про?

Бесспорно, достижения в развитии алгоритма налицо. И согласен, что игра против про вполне может быть мерилом крутости алгоритма. Но что дальше, в каком направлении его улучшать — вот в чём вопрос.
Они не хотят урезать ИИ, что бы игра проходила на равных. Они хотят показать достижения.

Урезать ИИ необходимо по причинам обозначенным мной выше. Если вы не урежете сети микро в игре в которой оно сильно влияет на результат, то сеть не будет учиться мыслить стратегически, а будет задротить микро.
Я бы вообще возможности микро сети урезал по максимуму, до уровня калеки, и так тренировал в играх против сети с неурезанным.
И пусть выворачивается как хочет :)

С такой логикой согласен. Но мне вообще подход и архитектура openai больше нравится, чем deepmind.

Да, давайте сократим микро до уровня Direсt Strike или Auto Chess… хотя постойте, DeepMind в игре без микро уже выигрывал, Го, помните?:)
Да, давайте сократим микро до уровня Direсt Strike или Auto Chess… хотя постойте

Так речь не о том, чтобы убрать микро из игры, а о том, чтобы ограничить микро сети. По крайней мере до того уровня, чтобы баланс игры не ломался, а то некоторые юниты рассчитаны на то, что ими будет микрить человек, с-но при микро машины они становятся слишком эффективными.


хотя постойте, DeepMind в игре без микро уже выигрывал, Го, помните?:)

Разница в размерности пространства между ск2 и го примерно такая же, как между го и крестиками-ноликами. А если кто-то выигрывает в крестики-нолики, то это ничего не говорит о возможности выиграть в го :)

«размерность пространства го настолько больше шахмат, что просчитать его невозможно», говорили они, «машина никогда не выиграет у человека в го», говорили они…

Дык когда-нибудь, наверное, выиграет.
Но явно не эта :)


Ну и еще раз — скачок сложности от го к ск2 сильно больше, чем от шахмат к го. В случае доты — еще больше.


И не забывайте, что не все удачно скелйится.

Ну если эта не выиграла (дискусионный момент, но пусть так), то конечно не выиграет уже, ИИ сам по себе, без человеческой помощи, не развивается. Опять же, полка обучения уже достигнута (иначе бы смысла не было показывать), дальше надо еще тюнить структуру/фичи, а значит это будет уже другая сеть. Вопрос сколько это займет, лично я ставлю на пару лет, если они не бросят этим заниматься.

A бросить могут, т.к. с их точки зрения формальная цель достигнута, денег больше могут не дать, так что можно выпустить научные работы по результатам и пойти заниматься другими интересными делами.
Ну если эта не выиграла (дискусионный момент, но пусть так)

Тут никаких дискуссий быть не может. Эта не только не выиграла, но и не играла. А выиграть, не играя, нельзя :)


Опять же, полка обучения уже достигнута

Я говорю не конкретно про эту сеть, а скажем так, про серию :)
Надо существенно (видимо) увеличивать размер сети, с-но затраты в выч. технике. Понятно бабла сверхмеры вливать уже никто не будет — оно и так очень дорого стоит, с-но надо ждать пока вырастет производительность выч. техники, а ей пока расти не с чего, так фактически уже достигнут предел текущей элементной базы. И не факт что какая-то другая база в принципе будет.


A бросить могут, т.к. с их точки зрения формальная цель достигнута

Это какая?

Тут никаких дискуссий быть не может.


Это ваше оценочное суждение, как говорится. Я не обязан ему верить:)
А своего у меня нет, т.к. я в доту не играю и обсуждаемых игр не видел. Но хорошо вижу, что мнения разделились:)

надо ждать пока вырастет производительность выч. техники


Не нужно ничего ждать, нужно искать другие подходы. Шахматы были решены методом грубой силы, уже Го так решить нельзя было в принципе.
Так что решением скорее всего будет изменение формы сети и отбор и подготовка фич на входе. Или может быть изобретут какой то новый метод обучения или его вариацию.

Это какая?


Авторы, вероятно, считают, что игра была и они победили. Будет ли что то дальше и что именно, будет зависеть не от вашего или моего мнения, а от того, согласятся ли с этим их спонсоры и остальное научное сообщество.
UFO just landed and posted this here
Я вижу тут некоторую проблему — а именно комбинаторный взрыв, т.к. «в лоб» надо учить играть во всех комбинациях героев (и со всеми комбинациями), что конечно не реально. Но возможно у них есть какие то мысли на эту тему, которыми они со мной не делятся. Я надеюсь, что есть, иначе и браться не стоило:)
Учитывая что нынешний пул героев равен 17 и каждый дополнительный требует переучивания всей нейросети, я бы предположил что полный пул героев они осилят примерно через год

У них тот же пул был год назад. Почти наверняка, что в текущей конфигурации сети они его не осилят никогда, то есть сеть дошла до своего предела, ничему больше ее уже не научить. Нужна бОльшая сеть, а чтобы учить бОльшую сеть — нужны большие на порядок затраты.

Это ваше оценочное суждение, как говорится.

С каких пор констатация факта стала оценочным суждением? :)


А своего у меня нет, т.к. я в доту не играю и обсуждаемых игр не видел.

А их и смотреть не надо. Там ограничения на пул героев и механики, то есть то, во что играли — это не дота.
Ну вы же не будете называть шахматами некую условную игру, в которой есть только король и пешки? Тут та же самая ситуация.


Не нужно ничего ждать, нужно искать другие подходы.

А какие альтернативы? Напоминаю, что успехи опенАИ объясняются почти исключительно ростом вычмощностей. А так это те же самые сети, что были 50 лет назад.
Тогда технология дошла до своего предела и имела определенное, весьма ограниченное применение. Добавили мощностей — пул задач, которые смогли решить сети, увеличился. Ждем следующего прорыва в росте производительности, а до тех пор — ничего не будет.


Авторы, вероятно, считают, что игра была и они победили.

Не, ну какая-то игра определенное была, только к доте она имеет весьма отдаленное отношение. Ну и авторы уже не в первый раз, скажем так, лукавят ради хорошего отчета перед инвесторами.

На одну позицию сдвинулись.
Вот когда бот победит про-игрока 1 на 1, тогда поговорим.
Вот когда команда ботов победит 5 на 5, тогда поговорим.
Вот когда команда ботов победит про-игроков 5 на 5, тогда поговорим.
=== Вы находитесь здесь ===
Вот когда команда ботов победит про-игроков 5 на 5 без ограничений, тогда поговорим.
Вот когда команда ботов победит про-игроков 5 на 5 без ограничений и без использования API для ботов, только анализируя аудиовизуальный поток, тогда поговорим.
На одну позицию сдвинулись.

Нет, все еще тут:


Вот когда бот победит про-игрока 1 на 1, тогда поговорим.
=== Вы находитесь здесь ===
Вот когда команда ботов победит 5 на 5, тогда поговорим.
Вот когда команда ботов победит про-игроков 5 на 5, тогда поговорим.
Вот когда команда ботов победит про-игроков 5 на 5 без ограничений, тогда поговорим.
Вот когда команда ботов победит про-игроков 5 на 5 без ограничений и без использования API для ботов, только анализируя аудиовизуальный поток, тогда поговорим.

Странная шутка. Увидеть победу ботов и утверждать, что это не победа, "потому что" — как-то не серьезно.

Странная шутка. Увидеть победу ботов и утверждать, что это не победа, "потому что" — как-то не серьезно.

Это победа, но не в доту, а в какую-то другую игру.
Если бы сеть победила в го профессионала на поле 5*5 никто же бы не кричал "О БОГИ, СЕТЬ ВЫИГРАЛА ПРОФЕССИОНАЛА В ГО!!!1!". Нет, об этом стали говорить, когда сеть победила по классическим правилам го. Аналогично с шахматами, ИИ не играет в шахматы, например, только пешками.


Тут еще не надо забывать, что подобное ограничение пула не только дает бонус сети, но и ограничивает существенно возможности игроков. Они-то привыкли к другой доте и к другой мете. Даже бан манты из-за запрета на иллюзии уже существенно меняет игру.


Это представим как если натренировать сеть на большем пуле, а потом заставить такую новую сеть сыграть с текущей но с ограничением пула. Тогда новая сеть сольет же с треском, даже если будет больше, эффективнее и лучше обучена (до определенных пределов).

Но про режим Limited Heroes никто не говорит, что это не дота.


Про падение эффективности вы говорили и позапрошлый раз, когда 1v1 было. Теперь 5v5, в таком с сравнении рост качества игры на лицо.


Конечно, им потребуется какой-то серьезный рывок, что бы сделать полный пул. Просто увеличить размер сети и количество железа в 100 раз не получится, слишком дорого. Так что эта игра показала скорее предел их текущей архитектуры. Но рост с прошлого раза — значительный.

Но про режим Limited Heroes никто не говорит, что это не дота.

Никто и не спрашивает. Точно так же никто не говорит о том, что го с форой — не го. Но по факту есть определенные правила игры. И ладно еще если опускаются какие-то малороляющие нюансы (вроде куры с инвулом), но ограничение пула принципиально меняет всю игру. С-но с патчем мета может кардинально меняться, а в патче изменений в сотни раз меньше по сравнению с "уберем-ка три четверти всех героев".


Про падение эффективности вы говорили и позапрошлый раз, когда 1v1 было. Теперь 5v5, в таком с сравнении рост качества игры на лицо.

Я говорил тогда о том, что в 5в5 мидер играет хуже, чем мидовый невер в 1в1 играл. Это и сейчас верно.


Но рост с прошлого раза — значительный.

А в чем рост заключался? Те же ограничения, тот же уровень игры. Я лично не увидел сколько-нибудь существенного прогресса по сравнению с прошлым годом.

В прошлый раз проиграли, в этот выиграли. И улучшения в деталях заметны. Ботов нельзя уже так легко эксплуатировать.


Я думаю мы увидимся в комментариях в следующем году, когда будет пул из сотни героев.

В прошлый раз проиграли, в этот выиграли.

На результат смотреть не надо, ОГ делали полную дичь, и если бы это был какой-то серьезный матч уже все сообщество бы кричало про 322. Тем более что там были некоторые моменты, которые даже рофляночкой объяснить трудно.
Смотреть надо на игру ботов и игра эта сколько-нибудь существенно не отличается от того, что нам показывали год назад.


Я думаю мы увидимся в комментариях в следующем году, когда будет пул из сотни героев.

Вроде в прошлом году то же самое было :)
Ну подождем, чего ж еще :)

Кстати, Alex007 делал обзор игры AlphaStar (там где ИИ обыграл чемпиона по Старкрафт). Так вот он измерял скорость реации ИИ и она составляет 2-3 кадра (менее 0.1 секунды) при условии что активные действия проводились в другой части карты. И Алексом сделан вывод, что человеку такая скорость реакции недоступна.
А еще разработчики ИИ схитрили и ограничили средний АПМ, тогда как в самые отвественные моменты он подымался почти до 1000.
А еще разработчики ИИ схитрили и ограничили средний АПМ, тогда как в самые отвественные моменты он подымался почти до 1000.

habrastorage.org/webt/yb/ff/t2/ybfft2qosdpv9jvjvhpc4shxvda.png
Как раз из видео этого Alex007
Не уверен что можно хотя бы просто бессмысленно нажимать 24,35 раза в секунду, даже нажимая обеими руками.
17 героев? ЛОЛШТО? Так-то в доте 120 героев. И я скажу как эксперт как в программировании, так и в доте, боты НИКОГДА НЕ ПОБЕДЯТ человека в равных условиях. Дайте мне панду или визажа против этого бота. Он отлетит от меня 0:30. А так, конечно. Легко с безногими в беге соревноваться, только что это доказывает?
UFO just landed and posted this here
UFO just landed and posted this here
Слышал я такие мнения и про шахматы, и про го. Только вот в итоге выяснилось, что люди «безноги» все по своей природе и что машины в итоге (при условии, что цивилизация не закончится) научатся раскатывать людей во всех формализованных ситуациях при честной борьбе.
«gyro is killed and immediately buys back even though the base isn’t under attack» — переведите кто-нибудь человеку, не игравшему в Доту
В доте, если твой герой умер — можно за определённое количество монет сделать выкуп(buy back) и твой герой воскреснет на стартовой точке твоей стороны. Обычно в играх это делают в нескольких случаях: когда идёт файт и ты должен вернуться, чтобы поддержать команду, когда начинают ломать твои строения на базе. В простых моментах практически никогда не выкупаются.
И, видимо, бот выкупался просто так(не чтобы вернуться в файт, не чтобы защитить свои строения. А просто так, потому что может), что не свойственно игрокам в обычных играх. Я не нашел цитату, которые вы написали, но судя по тексту статьи — боты именно выкупались в моменты, которые с точки зрения игроков были глупыми и бессмысленными.
И, видимо, бот выкупался просто так(не чтобы вернуться в файт, не чтобы защитить свои строения. А просто так, потому что может), что не свойственно игрокам в обычных играх.

Там скорее всего штука такая, что бот думает что нафармит больше чем стоимость выкупа, если выкупится, вот и выкупается. При этом то, что байбек — стратегический ресурс, он видимо не особо понимает. Кулдаун байбека 8 минут, а на такие долги перспективы бот практически не загадывает.

Ну так если базу не ломали, и башни стояли, значит угроза раннему проигрышу нет, байбек стоит дёшево, почему бы и не выкупаться? 8 минут кулдаун откатится довольно быстро, явно до того, как он понадобится.
Ну так если базу не ломали, и башни стояли

Как показывает практика, 8 минут вполне достаточно, чтобы неосторожно умереть сразу после бубека и потом отдать и т2 и т3 и бараки из-за того, что бубека нет.

Это действительно так, если уже 40+ минута игры, и все герои настолько сильные, что способны очень быстро сломать базу. Здесь же всю игру закончили до 30й.
Это действительно так, если уже 40+ минута игры, и все герои настолько сильные, что способны очень быстро сломать базу.

Большинство пиков на 20 минуте вполне добирается за минуту-полторы от т2 до бараков, если не мешать.
Но мешать, конечно, будут. Но если пытаться чересчур активно мешать без керри, который сидит мертвый без бубека — это чревато отдачей всех остальных.
Смысл в том, что ситуация когда керри сидит мертвый, байбека нет, а там еще и дебаф на время респа — это очень плохая ситуация, которой не следует допускать.

на 20 минуте… без керри
Керри на 20й минуте ничего не сделает.

Ну если это чото типа рики собирающего на 23 диффуза то да. А нормальный — сделает вполне.

UFO just landed and posted this here
20 минута — самый разгар игры, время когда все приобретают самый драгоценный шмот, а тимвайп не настолько страшен, как на 40+ минуте. В это время у большинства членов команды просто нет денег на выкуп, потому-что они втаривают свой первый шмот, т.к. боятся потерять деньги от случайной смерти. Деньги на выкуп начинают оставлять на 40+ минутах игры.
В это время у большинства членов команды просто нет денег на выкуп

Наоборот, на 20 минутке бабло на выкуп есть почти всегда.

UFO just landed and posted this here
Заголовок спойлера

Ну вот вам пример обычной турнирной игры, 23я минута. Байбек только у половины. Один веду, другие нет, но все-равно нет четкого правила, что «у всех должен быть байбек».
Вы либо давно не играли, либо я вас не понял. На последнем крупном турнире средняя продолжительность игр составила 36 минут. В общем сейчас очень критично, если тебя убили после байбека, даже не потому, что у тебя упадет база пока ты в таверне, а потому что ты нарушишь все тайминги приобретения итемов и скорее всего проиграешь.
спасибо, да не по-человечески.
цитата из твиттера.
Ну скорее всего поэтому и победил что агрессивный стиль. Надо было это учесть, видимо, разработчикам. Чисто мое мнение: Человек за компьютером не может быть слишком агрессивным — нет обратной связи (боли, например)
Как по мне, так очень хороший результат. ИИ обучалось 8 месяцев на 17 героя, есть ли хоть одна команда из 5 человек в мире, которые за 8 месяцев могут с нуля сыграть с OG достойно в доту?
Есть и причем на всех правилах и дешевле чем стоит облако.
Я очень сомневаюсь, иначе это был бы слишком легкий бизнес проект. Мы говорим о людях не знакомых с дотой? Конечно, собрать хорошо сложенную команду из 5-7 человек возможно, но это не тоже самое что и натренировать людей с нуля
Sign up to leave a comment.

Other news