Комментарии 322
Вообще стоит посмотреть на игры других ботов, там APM бывает и по 20к, но это слабо помогает в играх против людей.
Ну и несколько мыслей вслух:
eAPM корректнее чем EPM;
Serral не самый «ярый кликер»;
AlphaStar это не один бот, а набор агентов с разными стратегиями, в этих шоуматчах использовались разные агенты в каждой игре.
Авторы утверждают, что агент с меньшей зоной видимости недоучился — учился 7 дней против 14 у других.
Возможно, разработчики
Не думаю что они конкретно сидели и учили ботов всей командой 2 года. Скорее костяк перехожит с проекта на проект, у них же еще Го, Дота и сворачивание белков было. Да и 90% времени ушло на тесты структуры, написания метрик и тестовой инфраструктуры. Так что да, выглядит вполне убедительно.
Тогда надо вводить ограничения на скорость переключения карты. Потому что если ограничить видимость то можно же просто сканировать карту постоянно со сверх человеческой скоростью.
1. Разумный EPM;
2. Мисклики (некий процент) и низкая (как у человека) скорость их обнаружения;
3. Способность контролировать несколько групп одновременно.
4. Что-то делать с рабочей памятью. Человек не может помнить куда идёт каждый из 70 юнитов 3 групп, окруживших толпу имморталов. Бот — может. Как и точно рассчитать, успеет ли сталкер добить пилон перед тем, как к нему прибегут гости (был там такой эпизод).
Это если ставить задачу сделать максимально «человечного» бота. У DeepMind, подозреваю, задача не такая.
- одной картой
- зеркальным матчапом (чтобы было понятно людям не в теме: противники играли одинаковым набором возможных юнитов и строений, а конкретнее протосами)
Устранение всех перечисленных ограничений увеличивает сложность игры нелинейно. Т.о. успех AlphaStar не стоит переоценивать, все эти крики про скайнет и прочее — это все фон и маркетинг, однако несомненным фактом остается то, что разработчики наверняка пойдут дальше и рано или поздно мы увидим много интересного уже не втиснутого в прокрустово ложе.
он видел сразу все поле боя, что позволяло полноценно контролитьДругие боты точно так же получают информацию о всей видимой области и контролируют каждый юнит на карте. Это не особенность AlphaStar, а особенность API, который близы написали для работы ботов. Это тоже не является преимуществом и фактором победы ботов AlphaStar.
Ну кстати, в последнем шоуматче бот проиграл ИМХО не из-за ограниченности экрана. В начале он всё так же вывозил на микро и получил нормальное преимущество.
Если бы MaNa не нашёл как вызвать deadlock у бота своим фальшивым дропом, то исход матча был бы противоположным.
Слишком много преимуществ от полного обзора на карте и от идеального микроконтроля на бешенных скоростях.
Интереснее было бы посмотреть на пошаговые игры, где от скорости кликов ничего не зависит. Но только чтобы обзор карты и ресурсов был честный.
далее анализ почему ход сильный или слабыйАнализ разве возможен?
А теперь — задачка для средних классов физматшколы: оценить, когда при таких темпах можно ожидать 32-фигурные таблицы, и сколько места они будут занимать. При том, что с добавлением каждой новой фигуры сложность и объем данных растут экспоненциально.
В до-AlphaZero эпоху движки использовали альфа-бета отсечения. Этого хватает, чтобы в играх на звание чемпиона мира показывать ошибки людей в real-time. В играх против компьютера гроссмейстеры из топ-20 играют с нарастающей форой: шансы на ничью появляются далеко не с первой пешки.
ИИ на нейросетях (AlphaZero, Leela) делают предыдущих программ-чемпионов с крупным счетом, при этом количество анализируемых позиций у них гораздо меньше, в разы.
Таким образом, несмотря на то, что полностью шахматы не решены, у человека нет шансов при игре с компьютером, даже настольным (не говоря про кластер или супер-компьютер)
Только до Цивилизации, боюсь, этот ai нескоро дойдет — слишком партии длинные. Да и поиграть с ним нельзя — работает где-то в гугловском кластере, и для простых смертных недоступен.
Во-первых, заоблачных мощностей не надо: современного домашнего компьютера хватает, чтобы обыгрывать гроссмейстеров. С помощью старой доброй Stockfish, без нейросетей.
Во-вторых, бот перебирает далеко не все варианты.
В-третьих, Leela Zero перебирает гораздо меньше вариантов, чем тот же Stockfish. В разы меньше.
В-четвертых, люди играют в общем-то так же: они считают варианты. По послематчевым комментариям топ-гроссмейстеров видно, что они рассчитывают позиции на 5-10 ходов. В середине игры. Чем меньше фигур, тем дальше могут считать.
Сильный шахматист точнее оценивает позицию и считает только перспективные варианты. Раньше люди оценивали позицию лучше компьютера, но сейчас позиционно переиграть движки не получится.
В-пятых, программа — это закодированный алгоритм. По определению. И есть десяток программ, не основанных на нейросетях, написанных 10+ лет назад, которые побеждают людей. С внятным алгоритмом, понятным его создателям.
Upd: Извиняюсь за плохую формулировку — пять человек, разумеется, пяти таким ботам головы бы открутили, а не одному.
"в низких лигах" — это вплотную до мастер лиги?
В целом есть примеры людей, которые побеждают в гранд-мастер лиге по F2.
Герои ещё и с инженерной точки зрения намного сложнее. В SC2 все действия можно сгенерировать с помощью двух-трёх «голов» у нейронной сетки, а в Героях придётся ещё как-то кликать по менюшкам, городам, героям, передавать артефакты и т.п. С технической точки зрения это все непросто.
Ребята, ну чего вы привязались к APM. Ну да, эта проверка, эта демонстрация не показала, что AI может обыграть человека, играя на равных. Ну и что. Даже если бы там был жёсткий лимит на мало действия в секунду — всё равно было бы несложно найти ещё десяток вещей, которые AI делает нечеловечески хорошо — "а вот он слишком точно попадает по пикселю", "а вот он посмотрел на нужную постройку в слишком подходящий момент времени", "а вот он слишком быстро перевёл взгляд из левой половины экрана в правую", "а вот он подумал больше мыслей в секунду чем способен самый быстромыслящий человек" — это можно бесконечно регулировать и балансировать. Зато уже произошла куча вещей, которые, ну, офигенны!:
- Впервые AI хоть как-то обыграл человека в эту игру, и в целом хоть в какую-то игру такого рода. Предыдущие жалкие попытки были абсолютно жалкими, даже при неограниченном APM. Меня это восхищает просто даже как человека, в своё время потратившего ну где-то годик человекочасов на разработку AI для RTS.
- Из этого AI уже сейчас можно извлекать теоретические знания об игре, полезные для людей. Даже просто вот это наше overprobing — смотрите как Beastyqt (в своё время один из топовых игроков) минут 5 недоумевает, как мы раньше до этого не додумались [1]. Это вот, если угодно, пример чисто человеческого, человекопонятного вместе с объяснениями и доказательствами знания, добытого машиной — много вы такого знаете? Люди были настолько уверены, что этого не может быть, что даже в игре специально сделали подсветку красным, но сейчас они признаются, что возможно они восемь лет играли неправильно в одном из совершенно базовых аспектов. А это ещё только один match-up на одной карте. Также мне, например, очень любопытно, изобретёт ли AI новые пригодные для человеческого использования механики (паттерны кликания мышкой), если продолжать ему урезать APM, зону видимости, вот это всё.
- Это офигенно в том числе и чисто эстетически. Это событие — примерно как если бы мы встретились с расой инопланетян ("агенты" выведены же чем-то вроде генетических алгоритмов) и поговорили с ними на нетривиальную, интересную и, я бы даже сказал, вполне гуманитарную тему и узнали что-то новое. Произошло, если угодно, культурное обогащение человечества из какого-то внешнего относительно человечества источника. А вы тут только и думаете, что "ну у них было больше щупалец, поэтому они и выиграли". Какая разница, кто выиграл. Люди повстречали какую-то новую форму жизни — и не просто повстречали, а создали сами — которая мыслит совсем не так как мы, но тоже каким-то понятным образом, и с ней есть о чём поговорить!
Насколько я понял из комментариев к играм, новое-то как раз и не узнали. Никаких нетривиальных стратегий машина не продемонстрировала. В отличие от тех же шахмат и го.
Игра балансировалась под живых людей, у который есть определенный предел, выше которого они полезность юнитов повышать не могут.
Если этот предел превышается — баланс меняется, и это видно на примере тактики масс-сталкеров, бесполезной в условиях ограниченного контроля.
Каким образом у него получелось сделать overprobing?
Пока рабочий сверлит минерал второй рабочий несёт добытый ресурс на базу или идёт обратно. Сверлить один минерал вдвоём нельзя. Но некоторые кучки минералов немного дальше от базы, чем другие и пока второй рабочий ходит первый успевает досверлить и тоже отправляется в дорогу и какое-то небольшое время никто не сверлит такой минерал. Считалось, что эти «простаивающие» минералы — не такое большое дело, и не окупают дополнительных рабочих.
Как мне кажется, смысл не в добыче чуть большего количества минералов, а в том, что когда у тебя 25 рабов потеря 5 из них практически не снижает скорость добычи, а переход на вторую сопровождается скачкообразным ростом добычи.
Ну старкрафтер Beastyqt считает, что это побочный эффект. А у нейросети мы спросить не можем. Интересно, создаются ли где-то нейросети, способные обучившись обосновать свои действия?
Мы можем спросить у нейросети, но получить качественный ответ на этот вопрос — часто отдельная сложная задача (см. способ 1) или дополнительная нагрузка на железо (см. способ 2).
1) Например, вместо классификации «на картинке — котик/собачка» производится детекция или сегментация: «собачка — здесь, кошечка — вот там и вот там».
2) Упрощённый вариант детекции/сегментации выдаёт сама нейросеть в процессе обратного распространения ошибки. Есть способы этот вариант улучшить разными методами (без тренировки другой нейросети).
Ну да, эта проверка, эта демонстрация не показала, что AI может обыграть человека, играя на равных. Ну и что.
Проблема не в этом, а в том, что и сами DeepMind и журналисты в интернетах поспешно презентуют это именно как безусловную победу AI при игре на равных, а не как лишь предварительный результат при большой форе у AI. Проблема в несоответствии заявляемого и действительного. Это fraud, фальсификация, введение в заблуждение, «эксперимент поставленный нечистыми руками».
То есть, никто не умаляет заслуги DeepMind в том что они смогли представить первого бота который хоть как-то смог обыграть человека в SC, но то как это было подано — это вызывает возмущение.
Такие вещи (поспешная презентация достижений которых еще нет) происходят нередко, и очень вредят науке и прогрессу. Потому что теперь все будут считать что задача уже решена, хотя она еще не решена. И если завтра кто-то сделает более «трушный» AI для SC, никому до этого уже не будет дела, мол, «мы это уже видели». Собственно, это и демотивирует даже пытаться делать это, потому что кто-то уже получил лавры (пусть и незаслуженно) за решение этой проблемы.
DeepMind следовало бы признать свою ошибку и выступить с публичными разъяснениями. Если они этого не сделают, я глубоко разочаруюсь в их команде.
Среди киберспортсменов в SC2 так же у кого-то микро лучше, у кого-то хуже, зато вытаскивает на понимании игры и оригинальных билдах. До этого матча не было вообще ботов без явных читов (бесконечные ресурсы/мапхак) способных стабильно обыгрывать киберспортсменов. Теперь есть. Бот играет в рамках правил которые установили Близы (тулкит для ботов они выпустили официально), спортсмены играют в рамках тех правил которые установили те же Близы (механика иры, запреты на макросы). Если я буду играть в против вас и мой APM будет выше — исгра сразу станет нечестной?
У бота совсем другая скорость интерфейса ввода/вывода с игрой. Там и зумхак (вроде как признаный а вроде и довольно тихо) и произвольное выделение юнитов (без контролок и не «квадратом») и выделение строений на которые вообще ни разу не смотрел экран.
Бот играет в рамках правил которые установили Близы (тулкит для ботов они выпустили официально), спортсмены играют в рамках тех правил которые установили те же Близы
Если вы будете демонстрировать такой микроконтроль на ladder, на вас нажалуются и забанят за читы (на ютубе полно видео таких читеров). Поэтому бот как раз играет не по правилам. Правила это не «то, что позволяет делать API», это несколько больше. Просто на уровне API нет было смысла вводить дополнительные ограничения, которые и так продиктованы мышечно-моторными возможностями человека. Игра сбалансирована под эти неявные моторные ограничения, они являются частью правил. Абилки разных юнитов, их характеристики — все это тонко настроено именно под то, что вы управляете игрой через мышцы, мышь и клавиатуру.
Если я буду играть в против вас и мой APM будет выше — исгра сразу станет нечестной?
Если ваш APM будет выше того, что могут в принципе делать люди — то да, она сразу станет нечестной и вас забанят. Это происходит постоянно, кстати. Дело в том, что если ваш APM слишком высок, то никакие «оригинальные билды» оппоненту не помогут выиграть, вы можете задавить его тупо механикой в 100% случаев, если у вас есть хотя бы минимальное понимание игры.
у кого-то микро лучше, у кого-то хуже, зато вытаскивает на понимании игры и оригинальных билдах
Прекрасно, значит пусть бот «вытащит» на понимании игры и оригинальных билдах. Сделаем ему эффективный APM даже чуть ниже чем у человека, чтобы ни у кого не было сомнений, что дело не в моторных преимуществах!
А если бот не сможет победить в таких раскладах — значит, не очень-то он и интеллектуален. А ведь именно это мы и пытаемся выяснить — есть там превосходящий человека интеллект или нет.
Вот вполне стандартная статья на аналоге википедии, вот обсуждение на реддите трехлетней давности. Помню что winter видео от которого есть в статье рассказывал это в одном из своих гайдов.
В общем-то ставить на базу больше рабочих чем положено подсказкой — стандартная практика.
Впервые AI хоть как-то обыграл человека в эту игру, и в целом хоть в какую-то игру
такого рода.
OpenAI в доте?
AI сделанные без машинного обучения?
Есть сообщество которое соревнуется в "ботостроении" на основе первого старкрафте и показывают хорошие результаты, но обыгрываются профессионалами банальными тактиками, наподобие той, которой победил MaNa (варп-призма + обс)
Даже просто вот это наше overprobing
Я все ещё не определился — это баг, связанный с тем что они сначала специально тренировали только на добыче минералов (см. Материалы на их сайте) без "настоящих матчей" или они просто приспособились играть друг против друга ("мета", "баланс" и "стратегии" зависят в большОй степени от игроков) — потому что отличный контроль при атаке приведет к убийству рабочих.
Так же по поводу баланса — взгляните на юнитов которых строил бот — сталкер или сталкеры + дизрапторы — он тоже о многом говорит, так как эти юниты при нечеловеческом контроле гораздо лучше.
Я это к тому что люди у него не многому научатся. Его тактики — это тактики для идеального контроля, который пока ни один игрок в мире не может осуществить(и возможно не сможет никогда)
Также, по поводу "учиться у бота" — насколько ужасные размеры были в узких проходах — это отдельный разговор. Это такая ошибка, которую увидели игроки всех уровней.
Это офигенно в том числе и чисто эстетически.
Просто бот vs человек с огромной долей хайпа. Опять же посмотрите на любительских ботов для первого ск. Некоторые вещи они делают лучше, а как показала последняя игра с MaNa — он подвержен некоторым таким же хитростям
Господин стример, вероятно, утрирует для определенной манипуляции своей аудиторией, чтобы удержать их интерес.
Мне больше интересно, как так вышло, что кучка из 15-20 голых «дизраптеров» — это внезапно выгодная стратегия.
Мне больше интересно, как так вышло, что кучка из 15-20 голых «дизраптеров» — это внезапно выгодная стратегия.
Дизрапторы там из предпоследнего патча, когда взрыв шара происходит при столкновении с юнитом. KingCobra играл в фениксы+дизрапторы против террана в том патче, так что вот тут, как раз, ничего нового ИИ не октрыл.
Из этого AI уже сейчас можно извлекать теоретические знания об игре, полезные для людей.
То же самое с Го было, даже в более чистом виде, так как обучение игре шло с нуля
habr.com/ru/post/373919
… В своей работе разработчики замечают, как AlphaGo Zero постепенно сама изобрела некоторые дзёсэки (дебютные комбинации), включая одну комбинацию, которая встречается в профессиональной игре.
…
По новинкам в дебютах: как и в прошлых партиях альфа-ли и альфа-мастер мы встречаем ходы, которые люди считали плохими. Я уже 15 лет преподаю го и вспоминаю, что ругал своих учеников за такие ходы. Сейчас все профессионалы го пытаются их копировать, даже гордые японцы, которые редко брали на вооружение китайские и корейские новинки. Все согласны с тем, что идеи «Альфы» мощные, никто даже не пытается из опровергнуть.
Это событие — примерно как если бы мы встретились с расой инопланетян («агенты» выведены же чем-то вроде генетических алгоритмов) и поговорили с ними на нетривиальную, интересную и, я бы даже сказал, вполне гуманитарную тему и узнали что-то новое.
Гм
Я правильно понимаю, что все правильные вопросы придумали разработчики обучающей программы: на какие аспекты поведения живых игроков следует обратить внимание, из каких аспектов состоит стратегия игры, а как характеризуется игровая ситуация? Ошеломляют стримеров — ответы, но ответы даёт тоже не «самообучившаяся машинка» и никакой не «хаос». Отвечает статистика, отвечают (неосознанно) те самые участники тысяч просмотренных матчей.
Насколько я понимаю, инопланетянами, получается, являются программисты, которые придумали, как и какую статистику собрать. Не опросом участников тысяч матчей — статистику их неосознанных и случайных действий. Круто, скорее, то, что эти инопланетяне скорее всего знают о Старкрафт больше, чем авторы игры из «Близзард», но ведь это нормально, когда критик знает о литературе больше писателя, например. :)
(это если дело не в микроконтроле. ))
Не совсем. Первый этап просмотры матчей — второй игры внутри ИИ, в этих играх проходит аналог эволюции. Как вывести мышь для жизни на Марсе рассуждениями учёных, а потом забыть ее там на сто тысяч лет. Когда ее снова найдут — мышь эволюционно приспособится к условиям планеты и выведет новые качества о которых никто не думал)
Но дело даже не в этом.
Что значит — просмотры матчей? Какую информацию считать важной, какую второстепенной — определили программисты ИИ. Как понять, что тот игрок победил, а этот — проиграл — подсказали программисты, но это уже несложно.
Я говорю о постановке вопросов.
www.theatlantic.com/technology/archive/2012/11/noam-chomsky-on-where-artificial-intelligence-went-wrong/261637
Хомский говорит об «интеллектуальных» системах типа IBM-овского Ватсона, которые дают ответы на естественных языках, используя статистические модели и семантический анализ. В этом он прав — Ватсон действительно не понимает о чем говорит. Он «всего-лишь» подбирает ответ, который больше всего подходит по некоторым калибровочным параметрам. В кавычках — потому, что сама процедура «подбора» довольно нетривиальна и дает результаты, которые кажутся фантастическими. Но это лишь видимость интеллектуальной деятельности.
А вот игры, особенно с полной информацией, такие как шахматы и го — это качественно иной подход. Там, условно «знание правил» вполне возможно, т.к. конечно. И ИИ знает об игре ровно столько же, сколько игрок-человек. Последние агенты по игре в шахматы/го обучались игре не на примерах игр людей, а сами с собой, т.е. у них не было ничего, кроме правил и возможности играть. И они научились так, что у людей больше нет шансов. Они переоткрыли заново закономерности, на которые людям понадобились тысячи лет, за несколько дней (с учетом их скорости это примерно тоже самое).
В моем понимании такие вот игровые движки гораздо ближе к интеллекту, чем Ватсон.
Кроме того, есть еще один интересный момент: по английски эта область называется AI, что расшифровывается, как Artificial intelligence, где второе слово, не совсем интеллект. ;) Это буквально можно перевести, как «интеллектуальная деятельность». Они как бы сразу на интеллект не замахиваются, хорошо это или плохо…
Он «всего-лишь» подбирает ответ, который больше всего подходит по некоторым калибровочным параметрам
Мозг делает то же самое в фоновом режиме. Проявляется в форме озарения. Как при открытии таблицы Менделеева, например. Мозг перебирает комбинации в виде абстрактных образов и при появлении интересного результата перекидывает его в сознание для проверки или реализации. То же самое когда вспоминаешь чье-то имя или «где я его видел», результат индексирования БД может вернуться тогда, когда уже и не нужно. При игре в шахматы так же примерно, по крайней мере у новичков, перебираются все варианты на 1-2 шага, сначала всё важное вокруг ключевых фигур, потом вокруг всякой мелочи, отсеивая совсем бесполезные ходы.
Просто наблюдаю, что много общего у искусственных нейронных сетей, и биологических. Такой же поиск локального или глобального минимума ошибки в многомерном пространстве вариантов.
А что такое человеческий интеллект уже другая тема. Возможно просто глюк, «фича», который мы считаем чем-то важным. Необходимость живого понимания или осознания, против эффективных алгоритмов ИИ.
Они переоткрыли заново закономерности, на которые людям понадобились тысячи лет, за несколько дней
Тут отдельная интересная тема, как эти закономерности извлечь. При игре в Го их просто наблюдали по ходу игры. Но, уверен, в глубинах нейросетей ИИ таких интересных закономерностией в тысячи раз больше. Можно сотни книг по ним написать, про разные предельные случаи игр, интересные ситуации и приемы, закономерности, которые просто не всплыли в играх за ненадобностью.
Мозг делает то же самое в фоновом режиме.
Не то же самое, в том-то и дело. Ватсон работает по принципу китайской комнаты — он не понимает, он подбирает по параметрам.
АльфаСтар понимает игру ровно в том же объеме, что игрок-человек. По сути он проходит (или почти проходит) тест Тьюринга в рамках возможностей игры (если исключить чат и сверх быстрый АПМ). Т.е. играя с ним и не имея возможности использовать чат — только по его поведению в игре вы не сможете определить — человек на той стороне или ИИ. Может быть сейчас это верно еще не на 100%, но уже очень близко к тому. И со временем — они этого точно добьются.
В моем понимании такие вот игровые движки гораздо ближе к интеллекту, чем Ватсон.
Движок просто выполняет вычисления по довольно несложной формуле (но с огромным числом параметров) с большим числом входов и выходов. Обучение — подбор константных параметров в формуле. До интеллекта в вашем понимании тут очень далеко.
Сейчас принято делить весь AI на сильную и слабую формы. Вот AlphaStar — это слабая форма искусственного интеллекта. И в такой форме AI массово применяется.
А как сделать сильную форму — пока не понятно. И в общем не понятно, а нужно ли.
Есть мнение, что единственная известная нам сильная форма, естественный интеллект человека, развилась для социализации и общения с себе подобными. Зачем нам AI который будет котиков во вконтакте постить?:)
Движок просто выполняет вычисления по довольно несложной формуле— вы это заявляете на основании какой-то конкретной информации о работе движка, или это ваше предположение?
Я согласен, что в данном случае имеет место быть слабая форма, т.е. движок решает конкретную практическую задачу и не является универсальным. Вопрос в другом: сугубо в рамках этой задачи можно ли сказать, что он работает так же, как мозг человека? Т.е. что он проходит усеченный тест Тьюринга (т.е. такой тест, в котором возможность взаимодействия с ним ограничена логикой игры)? Вполне допускаю, что нет. Пока нет…
Но думаю — недолго осталось.
В тех же Шахматах и Го скорее другая проблема — там можно понять, что на той стороне не человек, но уже потому, что он слишком хорош! Т.е. превосходит человека.
Вокруг еще много всяких «костылей», но в основе математика довольно тривиальна (с нетривиальным результатом).
Насколько я знаю, большинство ученых считает, что слабая форма ИИ сама по себе — тупик. Экстенсивного перехода от нее к сильной нет, нужно менять подходы.
P.S. На мозг это похоже довольно слабо. Да, имеется некая вырожденная концепция «нейрона», но совсем абстрактная, в виде двух чисел и функции порога активации.
В тех же Шахматах и Го <...> можно понять, что на той стороне не человек, но уже потому, что он слишком хорош!Это зависит от разности уровней. С точки зрения шахматиста-второразрядника, игра против компа или против гроссмейстера не отличается: противник слишком хорош, и по грубым прикидкам (разница в рейтинге -> шанс выиграть) игра идет в одни ворота. То есть для большинства шахматистов, отличить бота от Карлсена будет крайне трудно.
При этом работает он точно не так же, как мозг человека.
Ну и к тому же, и AlphaStar, и Stockfish написаны не с целью пройти усеченный тест Тьюринга. Если это и случится, то как побочный эффект.
Если цель стоит в том, чтобы сделать молотилку, которая «закликивает» противника, то это уже удалось. Если же цель в том, чтобы создать более-менее равные условия для игрока и бота, нужно вводить все эти поправки. И тогда боту для победы нужно будет обучаться стратегии, а не микротактике.
Если цель стоит в том, чтобы сделать молотилку, которая «закликивает» противника, то это уже удалось.Только эта «молотилка» строит базы, разведывает, харасит, отступает, разводит. А кликает всего в два раза больше, а лучше? Если уж прогеймеры делают бессмысленные и бесполезные клики, то почему мы считаем, что клики бота все полезны? Кликающих молотилок было не мало, и кликали они на порядки больше, только толку это не даёт. Альфастар это прорыв по всем аспектам игры, где-то больше, где-то меньше.
Надо разделять — человеку монитор и мышку, а боту — API.
Потому что поставленная задача – ограничить бота до человеческого уровня, а не наоборот. Разумеется, это не единственный способ это сделать, и я даже не говорю, что лучший. Но это можно рассмотреть как вариант.
Недавно у Алекса на канале вышло видео, где игрок алмазной лиги порвал двух ботов, так никто не вопил, что матч был не честным, давайте игрока ограничивать.
Стоило боту (пятерым ботам) победить двух прогеймеров(!), как началось.
Ещё раз — ситуация зеркальная. Если мы ограничиваем бота, то тем самым признаём, что бот в реалтайм стратегию без шансов обыгрывает человека.
Об этом в посте тоже есть. Смысл не в том, чтобы сделать бота, который будет выигрывать у человека, а в том, чтобы сделать бота, который будет выигрывать у человека при равных возможностях по управлению юнитами. Иначе бот сможет побеждать за счёт микроменеджмента, не особо заботясь о стратегии, а нужно не это.
У AlphaStar были ограничения на число действий, но недостаточные.
А если убрать все ограничения, то да, боты легко переиграют человека. Гляньте видео в посте, где земли выносят танки при абсолютном контроле ИИ. Люди не могут пройти это испытание (уничтожить все танки), насколько я знаю. ИИ может, и с минимальными потерями.
*недостаточные с точки зрения автора статьи (извините, не соображу, как редактировать комментарий из мобильной версии)
В старкрафте три вида деятельности — экономика, макро и микро. Чтобы победить нужно превосходить хотя бы в двух. Раньше боты показывали АПМ и 10к и 20 и даже 100к, но победить это им не помогало от слова совсем.
AlphStar, вероятно, первый бот, который умно контролит. Но этого мало, он ещё и умно развивает экономику. Вот два крыла, позволяющие птице полететь.
Пляски вокруг АПМ идут давно и не в разрезе ботов, а вообще как мерило скила. Аля «хочешь в более высокую лигу — учись кликать». Может для человека, который знает механику, понимает действия противника, знает как реагировать это полезный совет, но не надо доводить это до абсолюта. Мой АПМ (или даже еАПМ) выше твоего — у тебя нет шансов. Есть известные прогеймеры с низким АПМ, выезжающие за счёт экономики и макро.
Потому что у меня есть 99% уверенность, что если бы AlpaStar сильнее зарезали бы клики — он бы забил на микро и научился бы выигрывать чисто за счёт экономики и макро.
И все статьи были тоже «разгромными»: «ну что это за игра, это вообще не Старкрафт, а Цивилизация какая-то».
P.S. Это, кстати, показывает ущербность теста Тьюринга: когда появится ИИ, который сможет долгие годы выдавать себя за человека… это будет значить, что всё — человек уже живёт исключительно за счёт милости этого ИИ. Потому что он должен будет не просто быть лучше, сильно лучше, человека во всём, но понимать чего человек может, а чего не может — причём настолько хорошо, что сможет себя ограничивать — и очень-очень точно ограничивать.
Когда боты были слабые, то они просто были слабые, баланс игры не нарушался, вопросов к ботам не было.
Когда боты стали играть сравнимо с человеком, нарушился баланс игры, из-за более удобного API, нежели интерфейса пользователя. API отличается от интерфейса пользователя, нарушается зеркальнность.
Когда играют люди с людьми, интерфейсы одинаковые, всё зеркально.
Когда играют боты с ботами, API одинаково, всё зеркально.
Когда играют люди с ботами, появляются вопросы, из-за нарушения баланса в игре. Это касается стратегий реального времени, в пошаговых играх, в которые играли ранее проблемы такой не было. Проблема новая. Надо думать что делать.
Например, до Старкрафта, была Дюна, там каждому юниту нужно было указывать в кого стрелять, автоматического выбора цели не было. Естественно боты там были бы еще в более выигрышном положении.
Или представим себе карту Старкрафта размером на 200 стандартных баз, внимания человека просто не хватит всё контролировать.
Еще из положения можно выйти добавив скрипты управления юнитами, развивая пользовательский интерфейс, чтобы микроконтроль и стратегию на себя брал игровой движок. Например, указал юниту атаковать, и некоторое время юнит становится недоступен и действует по своему стандартному алгоритму, не обязательно эффективному, главное одинаковому у всех игроков, для создания зеркальности, одинаковых условий игры. Микроконтроль уходит на второй план, а на первое место приходит стратегия более высокого уровня. Хотя если на помощь игроку придет ИИ, то игра может выродится в игру от шахмат, до «камень, ножницы, бумага». Указал параметры развития при старте, и далее игровой движок сам всем управляет, с минимальным вмешательством игрока. Игрок анализирует игровую ситуацию, и изредка вносит коррективы в игру, меняя приоритеты.
из-за более удобного API, нежели интерфейса пользователяВот я и предлагаю человеку перейти на более удобный интерфейс — отказаться от монитора, мышки и клавиатуры, в пользу API.
Это как личностные особенности — кому-то обутым нормально играется, а кто-то любит разуваться. Кто-то играет в очках, а у кого-то хорошее зрение. У кого-то по молодости лет хорошие рефлексы, а кому-то за 30.
Никто же не разделяет турниры и регалии по таким различиям и неравенствам.
Ваши предложения — точно сломают равенство. Кто-то хорош в микро — вы нивелируете его скил, кто-то играет в микронезависимые билды — вы упрочите его игру.
Когда боты стали играть сравнимо с человекомДа, но не за счёт микро. Вы боретесь с несуществующей проблемой.
Вот я и предлагаю человеку перейти на более удобный интерфейс — отказаться от монитора, мышки и клавиатуры, в пользу API.
Так сказать, вы пойманы с поличным! Сбросьте кожаную оболочку и пройдите в изолятор для роботов!
Каким образом вы себе представляете человека, способного играть исключительно через апи? Тем более без мышки, экрана и клавиатуры. Чем будет посылать запросы и где читать ответы? ;)
Каким образом вы себе представляете человека, способного играть исключительно через апи? Тем более без мышки, экрана и клавиатуры. Чем будет посылать запросы и где читать ответы? ;)но ведь тот же самый вопрос можно задать и про мышку для робота
Таким образом, если мы себе поставим цель «научить бота играть мышкой и экран», то и реализовывать тоже нам её, а не роботам.
Ну технически если посмотреть на sc2 bot api, то там игра по сути пошаговая. каждый ход игры боту отгружается вся информация про все что он видит (все юниты/здания вне тумана войны + некоторые под туманом + вся инфа про все видимые юниты/здания), бот делает несколько действий (а-ля юнит такой-то — двигайся туда, юнит такой-то — используй абилку «атака» на таком-то юните) и говорит «закончить ход». Просто чтобы это было в real-time'е — бот должен заканчивать свой ход достаточно быстро. Технически можно сделать ботов, которые играют медленнее реал-тайма и заставить их друг с другом играть. Можно сделать так же и для ходов человека — пусть человек играет через bot api, без ограничений на продолжительность хода, со всей информацией которую предоставляли боту.
Но в целом, в пошаговую игру без ограничения по времени, действительно, без проблем можно играть и без мышки, экрана и клавиатуры, только через bot-api. А команды, в конце-то концов, можно и голосовым вводом отправлять, а пришедший ответ записывать на диктофон и затем в тетрадь переписывать.
Но, хороший вопрос, сколько времени займёт одна игра? Год? Два? Пару поколений? :D
Чего-то тут половину народу переклинило в спортивный аспект. Киберспорт — конечно, спорт, но только игровые его виды. Что это значит? Что интересны не сами по себе показатели, а сопоставление их с человеческими возможностями и ограничениями! Точнее, преодоление ограничений людьми-участниками. ПРАВИЛА ИГРЫ придуманы в основном, чтобы выпячивать именно эти ограничения. Если для старкрафта не надо будет «учиться кликать» «почти как бот», то это тоже будет уже не старкрафт.
Ну или так же шашиста «побеждает» игрок «в чапаева». Тоже можно сказать, что у того просто навыки лучше. Или робота выпустить на реальное футбольное поле (не вратарём), только сказать, что раз у этой модели ног нет, а только колёсики, то вот этому «игроку» разрешаем мяч хватать руками (манипуляторами).
Об интеллекте, стратегическом «мышлении» и технике «игры» машин это не говорит никак; вероятно, микроконтроль — это всего один аспект «нечестной игры», самый наглядный. Если даже разработчикам бота удастся снять эту претензию к упору на тактику боя вместо экономики и развития, вероятно, найдутся и другие.
Не вижу проблемы. Дырка usb, дырка d-port, спеки чёто стоят но не космически.
Это стало возможным благодаря трюку под названием «быстрый огонь». TLO не щёлкает супербыстро. Он просто держит кнопку — и игра регистрирует это как 2000 APM. Единственное, что вы можете сделать с быстрым огнём — это спамить с сумасшедшей скоростью. Вот и всё. TLO просто использует это по какой-то причине.
Протосы его используют для одной простой цели — быстро призывать юнитов. Без этого приема необходимо сначала выбрать юнита, которого хочешь призвать, а после этого кликнуть мышкой в нужном месте. А вот с помощью «быстрого огня» клики мышки совсем не нужны — первое нажатие клавиши выбирает юнита, а второе нажатие клавиши призывает его в место, куда указывает курсор мыши. Таким образом, достаточно зажать одну кнопку, и провести курсором мыши, чтобы призвать сразу большой отряд.
Когда эти господа делали ИИ, который играл в Atari, если мне не изменяет память, они дали ИИ в качестве «устройства ввода» имитацию джойстика, а в качества «устройства вывода» просто картинку н экране. Сеть училась набивать максимальный счет — единственная доп информация, которую она получала (и это — разумное допущение, так как обучение чтению и интерпритации чисел, написаных на экране — вне пределов поставленной задачи).
Вполне понятно, почему Object Detection не использовался для SC2. Смысла тратить силы на обнаружение юнитов на экране не особо много. Это не влияет на результат.
А вот со вводом они явно напортачили. Сетка умеет выполнить команду «выделить юниты» или «отправить на атаке туда-то». До кучи, она видит всю огромную карту, вместо одного экрана. Фактически, если проводить аналогию с человеком, она «чувствует, как меняется состояние каждого юнита на карте и отдает приказы силой мысли». Думаю, что имея такие сверхспособности, многие из нас смогли бы обыграть прогеймера с мышкой и клавиатурой…
Решение тут очень простое. Выдать сетке ту самую мышку и ту самую клавиатуру. И задать лимиты, с которыми она может тыкать в кнопки и двигать курсором. Бог с ней, с точностью. Лишь бы скорость была «человеческой».
Да, уить ее пользоваться мышью и хоткеями было бы несколько дольше и сложнее. Но этим мы автоматически снимаем проблему спам-кликов. Люди спам-кликают рядом с тем местом, где кликнули только что. Сделать пять «спам-кликов» подряд по разным юнитам на разных частях карты не удастся.
Иерархия управления как в человеческой армии.
Зато у людей каждый юнит думать умеет… Самые читеры в этом плане — протоссы, у них есть (ну, был до событий кампании LotV) и индивидуальный интеллект, и телепатическая связь друг с другом.
А вот со вводом они явно напортачили. Сетка умеет выполнить команду «выделить юниты» или «отправить на атаке туда-то».
Вы критикуете, не разбираясь в вопросе. Сетка не умеет выделять юнитов. Сетка использует API, который Близард написали для работы ботов. Какой интерфейс сделали для ботов — таким бот и пользуется. Так вы придёте к проведению матчей бот и человек играют мышкой, и бот и человек играют через API. Ну чтобы все были «в равных условиях».
Сетка не умеет выделять юнитов. Сетка использует API, который Близард написали для работы ботов.
Лол. Я не только знаю об этом, я сам скачивал pysc2 и изучал его API, пытаясь что-то тогда даже изучать и кодить. Жаль, знания на тот мемент подвели. Я только начинал изучать tensorflow. А еще я несколько лет назад что-то делал на BWAPI. Правда, увы, тоже безуспешно.
Под «умеет выполнить команду «выделить юниты»» я имел в виду как раз API команду. Человек же такой опции не имеет. Ему надо либо Ctrl+Click+Click+Click, либо «резинку», которая выделяет рамкой и совсем не мгновенно.
или особо далеким просчетам туч комбинаций
Шахматы и Го были выбраны как раз из-за того, что просчет тучи комбинаций там практически невозможен. Построение полного дерева на текущем этапе развития техники невозможно. И по сути Альфа играет в эти игры именно как человек — базируясь на текущем опыте и прикидывая сравнительно недалеко…
ИИ интересен именно с точки зрения стратегического мышления в условиях недостатка данных— именно поэтому Старкрафт. Ну, по крайней мере должен быть. Потому, что планировалось, что всю карту он не будет видеть, как и человек.
Я думаю, что высокий АПМ — это временный этап. Им нужно было что-то показать, и если бы они показывали бота, проигрывающего, это не вызвало бы резонанса.
Если посмотрите ролики со знающими людьми, все сходятся на том, что Fritz, которого на голову разнес AlphaZero, как раз, играл на «глубоком просчете», а сам AlphaZero делал нестандартные ходы и очень элегантные комбинации, которые «железке, мыслящей в лоб» в голову не придут.
Но шахматы намного проще, чем СК…
И вообще пишет про «точность кликов» в игре с неполной информацией. Это можно вообще перевести, как «Мана проиграл 5:0 (с ТЛО вместе) по причине неточных кликов», что феерическая чушь.
Хм, ну как раз через rapidfire можно спамить APM. Более простой метод — удерживать кнопку любого бинда и APM будет набиваться сам собой.
Надо разобраться, что и зачем делает TLO, но явно не кликает 25 раз в секунду.
Edit: говорят побочный эффект хоткейного макроса
Вот один момент, АПМ:
i.s-pic.ru/5c4f5d081e331.jpg
эАПМ (eAPM):
i.s-pic.ru/5c4f5d0800139.jpg
У него макросы. Высокий АПМ даже не в замесах.
По поводу спам-кликов и высокого APM в целом: обычно же делают, что каждое действие агента(которое не дает reward) уменьшает reward, из-за чего агент учится делать всё наиболее рационально. Интересно использовалось ли это в AlphaStar?
Мне кажется, тогда мы бы видели средний APM в районе 100, просто потому что в "ответственные" моменты он бы выдавал >2000 apm.
В том то и дело что он не смог адаптироваться, что наглядно показано в последней игре)
Как доминирует Магнус Карлсен в блице, что последнюю партию в классику на последних двух своих чемпионских матчах в классику просто сводит быстренько в ничью в уверенности что просто размажет соперника в блиц.
На что способны чемпионы по старкрафту, го, Усейн Болт в беге в конце-концов! Просто удивительно на что способно сочетание факторов генетики, тренировки и сумасшедшей мотивации и упорства на протяжении десятилетий
Ещё один довод к статье, графики распределения APM вводят в заблуждение, потому что людям нужно раскликиваться.
Прогеймеры все кликают примерно как MaNa, посмотрите внимательно: нет моментов с 1500 APM, но и почти нет моментов с < 100 APM. Хотя в начале игры и многих других ситуациях совершенно нефиг делать с высоким APM. Прогеймеры спамят клики в спокойных ситуациях только для того, чтобы в начале решающего сражения руки были готовы к высокой скорости.
Поэтому средний APM у бота ниже, ему это нафиг не нужно.
Судя по ситуации с AlphaGo Zero, ребята из Deepmind должны довести эту работу до конца, удачи им. Возможно их PR служба и выпускает такие кривоватые графики и заявления, чтобы сорвать побольше хайпа на подобных разоблачениях ;)
Помню, еще после AlphaGo и во время первого ажиотажа ботов в sc:bw, когда были интервью с Флешем, реддит пестрел заявлениями о том, что в ИИ в старкрафте делать нечего. Мол, в целом «понимание игры» подведет. А вот что-то нифига, вполне себе что надо понимание.
"Специалист подобен флюсу" — и обсуждение ИИ на самых разных платформах это подтверждает. В данном случае:
Можно как угодно много, полезно и со знанием дела обсуждать, как человек проиграл (или нет) программе. Но надо понимать при этом, что все виды нейросетей пока что освоили самообучение. Это в биологии называется условный рефлекс. Просто человек сам настолько плохо обучается (слишком универсален, да и отлажен изначально на задачах "по веткам лазить"), что проигрывает специашьно обученному.
Если продолжить биологическую линейку — впереди еще весьма длинный путь до разумных эпизодов (то есть разумности уровня любого млекопитающего или птицы ), а оттуда до разума как непрерывного процесса еще топать и топать.
Но, конечно, путь этот будет пройден, сомнений нет.
AlphaStar играл со сверхчеловеческой скоростью и точностью.
Сверхчеловеческая скорость и точность не помогли спасти этого сталкера:
i.s-pic.ru/5c4f6837d41b9.jpg
Сверхчеловеческая точность не помогла поставить пилон и батарейку в одну точку:
i.s-pic.ru/5c4f705c50c60.jpg
Хотя ехало туда аж две пробки:
i.s-pic.ru/5c4f711977c2d.jpg
Сверхчеловеческая точность не помогла послать на газ не 4 пробки:
i.s-pic.ru/5c4f713fb9001.jpg
Целых 2,5 игровых минуты:
i.s-pic.ru/5c4f717884038.jpg
Ай-яй-яй как же так не лезет в одну клетку:
i.s-pic.ru/5c4f71b8d8fc8.jpg
Нужно больше старгейтове:
i.s-pic.ru/5c4f720d2f8f3.jpg
Форжа и старгейт — братья на век:
i.s-pic.ru/5c4f72485b89a.jpg
Одна пробка не справится:
i.s-pic.ru/5c4f72758e59c.jpg
Остальные тезисы статьи примерно на том же уровне реалистичности. Вы только представьте каким мог быть заголовок: «Недостижимо высокий АПМ бота позволил в сухую победить двух известнейших прогеймеров европы».
Как-будто раньше не существовало ботов с ещё более высоким АПМ и которые не могли победить не то что прогеймера, а просто хорошего игрока из алмазной лиги.
Особенно интересно, в чем причина такого поведения…
Это выглядит так, как если бы у каждой пробки был свой AI и общее понимание того, что и как должно происходить на поле…
Если развить мысль, то вероятно и у каждого боевого юнита может быть своя модель поведения, не без общей координации конечно, но… Забавно.
если коротко: у бота нет контекста и истории действий (или они очень ограничены и он не умеет их использовать). Соответственно нет стратегии и долгосрочных планов, решение принимается по оценке текущей ситуации каждый заново (или почти каждый раз).
Вообще, это характерно для игрового ИИ в условиях нескольких действующих единиц.
Я пару раз, чисто фана ради принимал участие в russian AI Cup, который мейл.ру каждый год проводит, так там собственно непосредственно API так в большинстве случаев реализовано, что функция MyStrategy() вызывается один раз в тик для каждого юнита в игре. Конечно в момент вызова доступна информация и о других юнитах (своих и противника), состоянии мира и тп. И наверное при желании можно сделать глобальный контексТ, хранящий действующие приказы, отданные в этом тике, но… Это ведь дополнительный анализ…
Причём на это не нужен колоссальный АРМ. Ничего подобного у Альфы не заметил.
Подоспел более подробный разбор микро в матчах, конкретно на эту тему с 21:20:
https://www.youtube.com/watch?v=FFJRd9l6kW4
Оказалось, дело-то даже не в APM, и вовсе не в том что бот не делает ошибок, дофига ошибок он делает. Дело в способе фокусировки огня в замесах.
Вот тогда будет страшно.
«Авраам Линкольн дал людям свободу, а полковник Кольт уравнял их шансы»
— а ИИ превратит их достижения в тлен :)
А то так… уж больно соблазнительно — экономику войны просчитать сравнительно легко, взаимодействие скажем самолетов с ПВО — тоже — в вероятностном аспекте. Разведка непрерывно работает добывая данные и специально обученные люди в форме и очках загружают эти данные в компьютеры. Беспилотники и спутники висят над всеми территориями надзирая за происходящим. ИИ говорит, что надо отряду выдвинуться на высоту и там гарантированно погибнуть? Значит этому отряду надо предварительно показать патриотическое кино. И т.п… Наверняка что-то подобное уже есть в виде моделей.
Кстати, думается компьютерное управление государством можно сделать проще — все же у государства как у целого, цели именно созидательные, хотя рассмотрение системы государство как целое против государства как отдельных особей тоже интересно.
компьютерное управление государством
На счет государства сложно сказать, а крупные корпорации охотно внедряют системы управления, логистики, аналитики. На Хабре было много статей по этой теме.
Вот оно. Но если тогда это было утопично, то скоро станет вполне реальным.
Если бы скайнет произошел на самом деле то выглядело бы это как война людей против людей, а роботы бы сидели бы в штабах, при чем в штабах обеих сторон.
Я понял бы, если это посреди второй мировой сделать, некоторое время тупые приказы, цель которых слить обе армии, возможно прокатили бы. Некоторое время.
А уж сейчас, с глобализацией (СМИ, сарафанное радио и тд) и самое главное, войнушки все локальные. Попробуй незаметно для людей мобилизацию объявить для начала. Смешно.
все же у государства как у целого, цели именно созидательныеИстория знает примеры, когда это не так.
Например, национал-фашисткое «уничтожим всех, кроме арийцев». Или революционное «уничтожить старое, а потом уж построим новое». Или официальная доктрина «уничтожить Израиль».
И это лозунги, главная цель которых повести людей за собой. В лозунгах неизбежно обещание светлого будущего. Цели же были достаточно деструктивными, а уж методы…
Множество диктатур/абсолютных монархий, главная цель которых — обогащение и безопасность верхушки. Например, феодальная Япония — жизнь за Императора! Не только элита, большинство страны так думало. Вроде как цель созидательная, «все лучшее — людям», только вот список людей настолько ограниченный, что государство как целое разрушается.
Ну посудите сами — неужели люди, ученые не могут ответить на вопрос — мыслит машина ли нет? Мне кажется, что если будет представлена мыслящая машина, даже если мыслить она будет ну совсем не как человек — зная ее концепцию, принципы на которых она построена вполне реально ответить на вопрос интеллект это или нет.
Тьюринг исходил из посыла, что мы НЕ ЗНАЕМ, что значит «мыслить», а значит можем судить только по внешним проявлениям. И на долгие годы эта аксиома придавила прогресс. А надо-то было «всего лишь» ответить на этот вопрос и двигать дальше.
Я не думаю, что дипмайнд хочет создавать машину, обыгрывающую людей… Старкрафт во многом игра на скорость и здесь у машины фора. Я думаю их цель именно создать машину, которая САМА выработает стратегию игры, которая приведет к победе, как было с шахматами и го. Текущие наработки — просто этап.
Тут важно понимать, что их же кто-то финансирует и им нужно показывать результаты. Хоть какие-то. Они и показывают. Примерно то, что от них ждут: дескать смотрите, работает, играет, но пока не все идеально — работаем дальше…
Ну посудите сами — неужели люди, ученые не могут ответить на вопрос — мыслит машина ли нет?Представьте себе, это до сих пор открытый вопрос. И носятся с тестом Тьюринга, т.к. лучшего теста никто не придумал.
Не только IvanGanev, но и многие другие считают, что главная задача ИИ — действовать как человек.
При этом я согласен с вами, что быть похожим на человека не является конечной целью ни у дипмайнда в частности, ни при создании сильного ИИ в общем случае.
Представьте себе, это до сих пор открытый вопрос.
Одно дело выдвинуть определение, которое по куче формальных и не очень параметров удовлетворило бы всех. Другое: представить рабочий образец и объяснить как он работает. Согласен — все равно будет много споров, но еще раз: он может не проходить тест Тьюринга, т.к. не будет являться разумом человеческим и даже имитирующим человека, но может при этом быть признан разумом. Ну мне так кажется.
А тест Тьюринга фактически заставляет разработчиков стремится в сторону имитации, вместо того, что бы «закрыть вопрос», разве нет?
Но проблема в том, что лучшего консенсуса не достигли!
И много лет назад говорили, что в шахматы обыграть человека может только другой разум. Потом говорили, что го не поддается перебору и поэтому, наверное, победить человека может только ИИ. Теперь говорят, что покер, где блеф имеет важное значение, а информация очень неполна — непосильная задача для бота. Но каждый раз, когда программа достигает новых вершин, мы соглашаемся это еще не настоящий искусственный разум.
Поэтому есть сомнения, что даже если к нам прилетит другой разум
Лично я считаю, что стоит идти на риск того, что часть людей не будет признана разумными. Что важно не пускать на самотек «там видно будет», а определить критерии разумности. Причем сделать это как можно быстрее. Это даст ускорение и в области ИИ (будет понятно направление исследований), и в гуманитарно-социальных науках.
Хотя, видимо, это уже офф-топик и меня унесло в сторону. В целом я согласен с вами, что DeepMind создает ИИ не для того, чтобы выигрывать в игры у людей, и что мысли о тесте Тьюринга приводят к требованию human-like, что может уводить в сторону.
Не могут ответить даже на вопрос «мыслят ли другие люди» ))). Я как-то писал об этом уже — я знаю/считаю, что сознание есть у меня, но не знаю есть ли сознание у вас — и проверить никак не могу. И вы также — знаете, что сознание есть у вас, а про меня… на самом деле сказать не можете.
И соответственно кроме как ориентироваться на внешние проявления — увы — больше ничего не можем. Вовнутрь головы залезть не получается.
Есть ли сознание у вас я наверняка сказать не могу, т.к. в голову не залезешьВ голову как раз «залазят», снимая электродами импульсы с отдельных нейронов. Все нейроны разом так не просканируешь, но есть всякие томографии, которые дают картинку уровнем выше.
Отладчиком в программе пройтись можно гораздо детальнее, но что толку? В фокусе можно удержать ограниченное число параметров/переменных.
И есть мнение (не мое), что полное копирование не приведет к разгадке феномена сознания.
для тупящего поиска путей(сужу по SC1)
В SC2 с этим получше, но… Возможно вы все-таки правы…
Т.е. тупят они сильно меньше, но это еще не значит, что то, что автор называет «спам клики» не являются чем-то полезным…
Зачем эти попытки очеловечивания ИИ? Это ИИ, он делает все не так как человек и работает как ИИ, как он считает нужным и должен сам принимать решения.
Экран нужно ограничить, не спорю. Но если ИИ может в 2000 APM и игра это позволяет, то пусть играет. Для какой-то там честности можно ограничить это со стороны игры, но никак не со стороны ИИ. Задача разработчиков научить ИИ максимально эффективно использовать эти Actions, и снизить спам клики.
Ведь другие системы ИИ не пытаются подстроить под человека — «Так, человек в среднем распознает картинку за X миллисекунд, поставим тут задержку, чтобы подогнать нашу систему под человеческие возможности». Это же бред, суть ИИ в обратном.
Нам нужна система ИИ которая может выигрывать в Старкрафт? Пусть использует все возможные навыки и техники. Микроконтроль юнитов — вперед, 100 зергов против 20 танков — вперед, я уверен, что человек найдет стратегии борьбы с этим.
Почитал все комментарии (не все внимательно, сорри) и не увидел ни одного с такой точкой зрения.
Для чего нужны ограничения APM?Потому что иначе борьба интеллектов перетекает в плоскость борьбы интерфейсов. Никто не сомневается, что бот может кликать с неограниченной скоростью.
Дело же не только в скорости кликов, это просто то, до чего можно докопаться, самое главное — стратегии ИИ, то, что он сам принимает решения.
Человек и ИИ должны быть в равных условиях, видеть игру одинаково и иметь один и тот же интерфейс, способность ИИ кликать чаще это его преимущество, и он, мне кажется, сейчас, на заре ИИ, в праве его использовать.
Нам нужна система ИИ которая может выигрывать в Старкрафт?Нет. DeepMind создает ИИ, умеющий хорошо играть в Старкрафт, для того чтобы научиться создавать ИИ, умеющий принимать решения а)в режиме реального времени и б)в ситуации с неполной информацией
А критерий того, насколько у них получилось — это игра с сильным противником-человеком.
И для того, чтобы доказать, что их решение умеет не только в микроконтроль и контроль-по-всей-карте, они вводят новые ограничения. Например, видеть только один экран, а не всю карту.
Я ожидаю, что будет еще одна итерация, которая продемонстрирует что AlphaStar неплохо умеет и в макро, и в экономику. Точно так же как AlphaGo продемонстрировала, что нейросети хороши в задачах, где полный перебор недостижим.
Конечной же целью является разработка и продажа решений с ИИ на нейросетях для практических задач. Например, в области постановки диагнозов, или торговле акциями.
Ограничение APM нужно, потому что сверхвысокий APM качественно меряет игру. В пределе мы получаем ситуацию, когда 100 зерлингов под управлением бота съедают 20 танков — а это уже не старкрафт, это другая игра, в старкрафте дешёвая армия не побеждает дорогую. Обычно трюки, которые портят баланс запрещаются разработчиками — например у абилок вводится кулдаун. Старкрафт был придуман с учётом человеческих ограничений, неисполнимые человеком имбалансные механики они не дали себе труда запретить.
Например в футболе в правилах не запрета игрокам летать или телепортироваться по полю, но футбол "сборная России против команды ангелов" не будет футболом, что бы там правила не говорили.
Услышьте главное, сделано то, что раньше было невозможным. Был создан бот, который не просто выиграл, а выиграл у людей которые играли профессионально. Раньше ни один бот не мог выиграть даже у платины, обладая все полнотой информации.
И все, что сейчас обсуждается, это уже проблемы, решение которых не является чем-то прорывным.
В отличии от того же Го.
В случае Го, разработчики решали проблему КАК в это можно выиграть. В случае ск2 решают проблему как описать тот обьем данных который даст возможность АИ понять что делать. И им это удалось. И случилось ровно то, что любой про игрок знает (не смотря на то что меня сейчас попробую заминсовать) — в ск2 нет ума. Выигрывают руки, и набор базовых паттренов поведения. Что и было продемонстрировано Альфаго.
Deepmind утверждает, что запретила ИИ выполнять действия, которые физически невозможны для человека.
Вот это утверждение и разоблачается.
Давайте честно, DeepMind пытается сделать бота, который буде учится играть в старкрафт, что б потом эту технологию можно было перенести на другие области. Для того, что б это сделать, есть конечно «человеческие» ограничения, но не стоит к этому сильно придираться — цель другая
Да там было много других моментов, посмотрите разбор от Алекса. Был момент когда бот заказал 3х керриеров с одного старгейта, а потом поставил еще 6 дополнительных старгейтов (всего их стало 8). Был момент когда бот уничтожал свои войска чтобы построить точно таких же юнитов. Был момент когда бот пришёл в атаку и начал разбивать противнику камни под рампой.
Далее, если разработчики прямо заявляют, что поставили боту человеческие ограничения, а кому-то кажется, что это не так, то это больше похоже на нежелание признать, что человек делает что не так. Гораздо комфортнее убедить себя, что разработчик бота открыто соврал. Но это когнитивное искажение, как и многое другое в этой статье.
что стратегические возможности полностью основаны на тактических
Возможности и цели не одно и то же. Стратегически, что в го, что в старкрафте важен «контроль карты» и «захват стартегически важных позиций». Тактика отвечает на вопрос — КАК это сделать.
Конечно стратегия должна учитывать возможности тактики (иначе это будет невозможная стратегия), однако одни и те же тактические приемы могут обеспечить сотни различных стратегий, как и наоборот — одна стратегия может быть достигнута разными тактическими приемами.
В статье не то-что бы противопоставляется тактика и стратегия, а просто делается акцент на то, что ИИ за счет большей точности и скорости может позволить себе несовершенство стратегии (в отличии от шахмат и го, где ИИ демонстрировал именно высокое качество стратегий — вплоть до жертвы фигур в обмен на инициативу).
ИИ за счет большей точности и скорости может позволить себе несовершенство стратегии
при всём уважении, если ваша тактика никуда не годится, то ваше мнение о стратегии, построенной на этой тактике, тоже стоит немногого.
я со всей ответственностью могу сказать, что в го произошло следующее: альфаго играла, как очень сильный человек. мы точно знаем, что мы играли бы так же. нам просто не хватило человеко-веков. но мы-то играем три тысячи лет. а старкрафту всего двадцать лет. не могу выразить, насколько самонадеянным мне представляются заявления о профессионализме в старкрафте. за это жалкое время даже вменяемой статистики не собрать.
может, парни просто решили, что раз они всех обыграли, то лучше них никого нет? это очевидное заблуждение
Даже при тактике, используемой ботом, ставить 8 старгейтов было очевидной стратегической ошибкой: добычи на имеющихся базах никак не могло хватить для одновременного заказа 8 керриеров.
при всём уважении, если ваша тактика никуда не годится, то ваше мнение о стратегии, построенной на этой тактике, тоже стоит немногого.
Посыл не понял.
Стратегия строится не от тактики. В том же старкрафте понятно, что стратегически важно занимать базы для добычи, контролировать проходы и тп. Все это строится на критериях победы в конечном счете, а не на тактике (если вы под тактикой не понимаете механику сражений в СК вообще).
Соответственно вы изначально в общем случае решаете чего вы хотите добиться, а потом как. Да без сомнения нельзя при планировании стратегии совсем не учитывать тактические возможности, а так же есть стратегии, базирующиеся исключительно на особенностях отдельных юнитов, но это скорее некие экстремумы, чем общий подход.
когда альфаго обыграла человека, стало очевидно следующее: несмотря на многосотлетнее профессиональное изучение игры, её принципов, стратегий, тактик, техники и прочего за пределами рассмотрения остался ряд важных идей. может быть люди и дошли бы до них самостоятельно, но это потребовало бы ещё какого-то количества человеко-лет. но железка обогнала людей, это было очень болезненно и неприятно. но пришлось признать: на момент этого противостояния люди в деле, которому посвятили сотни лет, знали и умели, как оказалось, далеко не всё.
Посмотрите разбор от Алекса. Разработчики, может, и пытались поставить боту человеческие ограничения — но явно ошиблись. У бота была нечеловеческая скорость реакции, нечеловеческое зрение (он видел сразу всю карту и всех невидимых юнитов), нечеловеческий APM и нечеловеческая фокусировка огня (сразу по двум юнитам).
Тут дискуссия немного потонула в технических подробностях. Но реальная претензия в том что в игре бота не было разведки и не было игры по ситуации. Откатывались стандартные билды, которые предсказуемо приносят победу при 10-15% преимущества в размене войск. А оно имело место из за физики мышки, устройства выделения в интерфейсе игры и логики работы биндов.
В Го тоже можно было в 80е выиграть, сделать камни по тонне и дать роботу управлять подъёмным краном.
Если б ИИ, юзая микроменеджмент, показал как он сотней зерлингов, выносит 10 танков, вместо 2, как в видосике, это был бы реально прорыв.
И ваще такие соревнования ИИ должен проводить против человека, подкрепленного ботами. Которые исправляют его невнимательноость и ошибки, быстро реагируют и выполняют стандартные задачи идеально.
Если б ИИ, юзая микроменеджмент, показал как он сотней зерлингов, выносит 10 танков, вместо 2, как в видосике, это был бы реально прорыв.
В чем прорыв-то? Таких техник много — и с зерлингами и с блинк сталкерами и с мариками, вовремя уходящими в бункер. Такие техники чаще используются даже не в ботоводстве, а в чит-скриптах.
Тут уже неоднократно писали, что цель всего этого не в разработке бота, рвущего всех и вся в старкрафт, а отработка общих принципов решения задач из области ИИ. Использовать сильные стороны — всегда успеется, важно подтянуть слабые!
Если он обучаясь по играм, где играют люди без ботов и скриптов «понял», что он способен реализовать супермикрменеджмент и упирал бы на это, это было бы новой супервыигрышной стратегией. А так он просто повторял за людьми, только быстрее и точнее, хотя имел гораздо более широкие возможности.
Другими словами, если дать ИИ медсправочник, то он не должен открыть человечеству, что сифилис надо лечить пенициллином, мы и без него знали, в справочнике про это написано. Но если он поймет по справочнику, как вылечить СПИД, то это действительно покажет его уровень.
Другими словами, если дать ИИ медсправочник, то он не должен открыть человечеству, что сифилис надо лечить пенициллином, мы и без него знали, в справочнике про это написано. Но если он поймет по справочнику, как вылечить СПИД, то это действительно покажет его уровень.Ваш пример только подтверждает слова оппонента. Игроки и без ИИ знают, что
Есть решения, которые лежат на поверхности для человека, но которые он не способен реализовать из-за своей ограниченной скорости и точности. Вовремя оттягивать побитых бойцов на лечение, не долбить залпом по врагу у которого одна красная черточка, нападать разрозненными рядами, если по тебе долбят оружием, которое работает по площадям и т.д.
ИИ способен их реализовать, но не стал, потому что тупой. Я про это.
Если блинкающие сталкеры и рассредотачивающиеся зерлинги — его персональная находка, а не кейс заложенный изначально, то вроде как не очень правильно его в этом ограничивать…
С другой стороны — в том-то и дело, что эти кейсы ИЗВЕСТНЫ. Смысл их заново переоткрывать? Тем более, что они неприменимы для людей… Скажем если ИИ откроет, что микробы погибают при высоких температурах и жестком излучении — это конечно будет в его пользу (т.к. это правда), но для людей это не применимо, поэтому разумно его в таких кейсах ограничить…
С одной стороны, ИИ за короткое по человеческим меркам достигает выводов, на которые людям требуются года/десятилетия.
С другой стороны, мы можем убедиться, что открытия, сделанные ИИ, валидны.
С третьей, кто-то здесь говорил, что в Го ходы бота заставили людей переосмыслить некоторые шаблоны.
В целом, я считаю что анализировать какие открытия ИИ применимы для человека — это дело людей. Специалистов экстра-класса. Возможно, в будущем мы увидим новую профессию интерпретатор — человек, который будет из открытий ИИ отбирать применимые и полезные. Объяснять когда, почему и как уже на человеческом языке — то есть делать работу, в некотором смысле обратную работе программиста (переводить с человеческого на языки, понятные компьютеру)
Т.е. я за пять секунд могу догадаться о выигрышной стратегии, но не могу ее реализовать, так как мне не хватает скорости.
Этот ИИ не дошел до этого, хотя человеку требуется на это очень мало времени, просто исходя из здравого смысла.
В частности, нейросеть-победитель в Го не сможет играть в старкрафт. Если ее натаскать на вторую игру, то фактически мы получим комбинацию из двух нейросетей.
Человек же может играть и в шахматы, и в доту — правда, чемпионом в обеих дисциплинах не станет.
Переход от AlphaGo Zero к AlphaZero — как раз такая универсализация. AlphaGo Zero была нейросеткой, заточенной только на победу в го, AlphaZero справляется с любыми известными играми с полной информацией, начиная со списков правил, без каких-нибудь предварительно введенных стратегий и без обучения на человеческих партиях.
5 декабря 2017 года коллектив DeepMind выпустил препринт AlphaZero, которая в течение 24 часов достигла сверхчеловеческого уровня игры в шахматы, сёги и го, победив чемпионов мира среди программ, Stockfish, Elmo и трехдневный вариант AlphaGo Zero в каждом случае
Да и по поводу расчёта не соглашусь. Многие прогеймеры знают сколько нужно юнитов для убийства с одного захода, например муты для хараса рабочих и тд. Возможно бот не так уж и эффективно это делал, зачем он выделял рабочих, сентри, и батонов в одну группу и атаковал ей? Думается он весьма приблизительно делил все свои батоны на 2 отряда, т.к очевидно что 20 штук на одного архона это избыток.
Ну может он убивает камни так же что бы не сделать миссклик.Нет, этот момент как раз разобран «по косточкам». Посмотрите видео. То какие-то нелогичные действия.
А вообще было бы круто если ИИ собирал из юнитов GG в конце как в трейлере starcraft2.
Китайская комната это, а не интеллект.
А это пример из выигранной или проигранной ботом игры?
Это как раз из первой игры TLO, которую ИИ выиграл
Возможно еще через неделю он не будет этого делать.А возможно и будет, если окажется, что это выгодно. Да, он заменяет убитые юниты такими же — но они оказываются в другом месте. Откуда у вас уверенность, что этот, пусть дорогостоящий, перенос — обязательно плох?
С точки зрения это выглядит как издевательство.
В общем, после увиденного я все больше убеждаюсь, что в плане создания ИИ на НС мы далеко не уедем.
я все больше убеждаюсь, что в плане создания ИИ на НС мы далеко не уедем
НС — отличный инструмент, но это лишь ЧАСТЬ общего подхода, причем, насколько я могу судить — даже в этом случае.
В общем, после увиденного я все больше убеждаюсь, что в плане создания ИИ на НС мы далеко не уедем.Описанные проблемы решаются добавлением рекуррентной связи, когда часть (или весь) выхода НС, возможно обработанная, идет на вход на следующий или через несколько циклов. Либо добавлением внутреннего состояния, но тут не очень понятно что именно там хранить и как и когда его менять. Не то чтобы это была нерешаемая проблема впрочем.
Мне это напоминает пролог, на котором элегантно решаются задачи, условно «хранения и извлечения знаний», но стоит только перейти к обычным проблемам ввода-вывода, UI и тп. — начинаются такие навороты, что делается страшно…
Рекурентные сети мне кажутся попыткой натянуть сову на глобус! :) Может конечно я просто не разобрался, но… Нет в них уже той элегантности, как в обычном перцептроне! Но это именно рекурентные — не путать с обратной связью — там все ок. ;)
В общем, мысль в том, что может надо решать задачи, подходящими методами… Не сошелся же свет клином не нейронных сетях!
В общем, мысль в том, что может надо решать задачи, подходящими методамиНу да, но для этого эти методы хорошо бы иметь и понимать их плюсы и минусы. Это сложно сделать если объявить часть методов неэлегантными и сразу их отбросить.
что бы это не означаловот в этом — суть всей проблемы. Пока мы не поймем что же это означает шансов создать эмулятор не эмулируюя каждый атом и квантовые эффекты до кучи у нас нет.
Все варианты которые я видел либо описывают так, что половина человечества оказывается думать и понимать не умеет, либо это доступно тупейшим алгоритмам.
и дает команду нужному набору своих юнитов на атаку нужного юнита соперника (а остальные юниты ИИ в это время атакуют другого юнита соперника). Человек никак не сможет сделать такой расчет моментально во время битвы.
В общем apm, конечно, важен, но в данном случае это далеко не главное.
Почему же не главное? Ведь если бота заставить выделять юниты как человека — курсором мыши (с сопутствующими ограничениями), а не моментально, то такой расчет совершенно обессмыслится, так как если бот в горячке битвы будет пытаться выделять огромные количества нужных юнитов для «оптимального фокуса», то проиграет битву, потому что для такого выделения нужно будет потратить огромное количество действий и времени на это самое выделение. При ограниченном APM оптимальным стилем контроля будет примерно то, что сейчас делают люди — заранее продумывать группы и грамотно разводить войско в пространстве.
То есть, демонстрируемый стиль микроконтроля бота возможен только при отсутствии ограничений на необходимость двигать курсором и нажимать кнопки на (виртуальной) клаве. А это уже совсем другая игра получается — не такая, в которую играют люди.
Достаточно подробный разбор действий ИИ.
Действительно, считаю несколько «нечестным» способ ведения игры в следующем:
доступ ко всей «карте» разом (нужно давать доступ только к видимому экрану);
если опустить момент распознавания ( вроде как с этим особой проблемы уже нет, хотя невидимый юнит пусть отдельная нейросеть определяет «по честному», но видимо для простоты эксперимента считают, что это уже система будет уметь «из коробки»), то в принципе, можно «согласиться» на то, что у сети есть цифровая модель боя.
Отдача команд и техника их отдачи конечно же, должна базироваться на управлении через клавиатуру\мышь, потому как это есть неотъемлемая часть игры и техническая невозможность выделения в рамке только нужных юнитов делает игру «нечестной». Это как если бы мы управляли на войне, но наши команды долетали бы до войск с помощью лошадей, а ИИ использовал бы для этого радиоинтерфейс.
Аналогия при полном контроле карты с помощью ИИ с огромным АПМ — это как игра одного человека против 5,10, 100 человек разом за другую команду.
Кстати, было бы интересно посмотреть, как бы подобный ИИ сыграл в игру, где не требуется молниеносная реакция и АПМ, например, в WoT — по одну сторону супербыстрый ИИ с огромным АПМ управляет 10ю танками с молниеносным обменом информации между танками в пределах игровой механики и 10 живых человек с голосовой связью.
Сможет ли ИИ научиться «заходить» с тыла или будет предельно точно целиться из раза в раз, высчитывая идеально место выстрела, в то время как Петя скажет: «Вася пока он тут мозги ***т — заходите вдвоем с тыла и дайте ему в жопу!..
Сможет ли такой ИИ путем проведения миллиона итераций постичь некие тактики, которые могут дать нам пользу?
Да, если представить что АльфаЗеро будет управлять, скажем, американской армией, контролируя в один момент времени цифровую модель из 1000 самолётов, 500 танков, несколько там всяких дивизий и т.д. и т.д. в реалтайме… — пожалуй, ни один генерал генералов не „обыграет“ такого противника.
Честно говоря, смотрел как и многие, «с облегчением» — типа «агааа, попался кремниевый болванчик! Шаг влево-шаг в право и всё, привет!». Скорее всего сетка попала в состояние, в котором она ни разу не была (крип на мейне), т.е. такие позиции ниразу с ней не обыгрывались, она действительно не знала, что на крипе нельзя строить и т.д., ей никто не объяснял. Другое дело, что когда она поймёт… Но тогда всё тоже сводится к игровому опыту и просто перебору доступных механик (что в принципе, делает и человек, на самом деле)…
Сверхчеловеческую скорость AlphaStar внедрили как заплатку для ошибки имитационного обучения?