Обновить

Комментарии 18

Мне шахматы всегда напоминают Черкизовский рынок. Теснота, все толкаются, и все мухлюют.

Это вы не шахматы описали, а жизнь вообще.

Уже три десятилетия в шахматах используется искусственный интеллект, превосходящий человеческий, — с тех пор как в 1997 году Гарри Каспаров потерпел поражение от программы Deep Blue от IBM.

Знатоки, поправьте меня, но о каких трех десятилетиях с ИИ тут пишут? В описании Deep Blue вижу алгоритмы. В Stockfish с 2020 стали использовать ИИ, судя по Википедии.

Еще в 2018г сыграли кучу ничей, но виноват в этом ИИ. Не покидает ощущение натягивания совы на глобус, ради хайповой темы.

Компьютерные шахматы становяться всё лучше и лучше, а игра людей становится всё более компьютерной потому как нету лучшего тренера чем более сильный шахматист

А в компьютерных шахматах друг против друга, уже давно кризис ничьих и полный дисбаланс в пользу белых

Знатоки, поправьте меня, но о каких трех десятилетиях с ИИ тут пишут? В описании Deep Blue вижу алгоритмы. В Stockfish с 2020 стали использовать ИИ, судя по Википедии.

Стокфиш тоже использует алгоритмы. И только вместо оценочной функции небольшую нейросетку устаревшей полносвязной архитектуры. Она конечно гениально адаптирована под векторную структуру современных CPU. Но вопрос - можно ли считать ИИ систему, которая задействуя только центральный процессор просматривает сотни миллионов позиций в секунду, во многом зависит от принципов вопрошающего.

На моем убер-рейтинге игра в шахматы все равно больше похожа на игру в кости, чем на то, что описано в статье.

В общем, игры в которых отсутствует элемент случайности - это не игры вовсе, а упражнения для компьютеров, кремниевых или биологических.

Ничего подобного, шахматы тому пример. Даже если некоторые дебютные линии просчитаны на 10-15 ходов вперёд, это не отменяет, например, миттельшпиля. Не говоря уже о том, что "первая линия стокфиша" совсем не обязательно ведёт к победе.

В "Deep Blue" искусственного интеллекта было не больше, чем в калькуляторе. Т.е. не было совсем.

В его основе был переборный алгоритм с альфа-бета отсечениями и оценкой позиций. Т.е. ровно то, что и в шахматных программах 60-х годов. Только создателям этого шахматного суперкомпьютера удалось достичь большей глубины перебора за отведенное время.

Первым ИИ в шахматах, действительно, можно считать "Alpha Zero", использующем ИНС на основе обучения с подкреплением.

Отличие "Alpha Zero" от "Deep Blue" не количественное, а качественное. Она уступает в тысячу раз по количеству рассматриваемых позиций, но при этом более качественно отсеивает из них бесперспективные.

Этому "Alpha Zero" никто не учил - она сама выработала для себя систему оценок позиций в результате многократной игры сама с собой. Поэтому её и можно считать ИИ. А "Deep Blue" - нет.

В настоящее время принято сводить отсутствие или наличие ИИ к нейросетям. Наверное это правильно применительно к современной ситуации. Но в историческом контексте, поступая так, мы автоматически отбрасываем целый пласт исследований, которые опирались на многие альтернативные методы. В те годы ничего не было очевидным. И алгоритмические методы и экспертные системы, все работали в области ИИ.

С Дип Блю же ситуация неоднозначна не только в этом смысле. В настоящий момент проводится финал неофициального чемпионата мира среди движков. И его разыгрывают системы считающие подобно Дип Блю сотни миллионов позиций в секунду (Mnps). А система наследующая структуру Альфа Зеро впервые не попала в финал: https://tcec-chess.com/

За эти годы "Deep Blue" развивалась хотя бы аппаратно. Количество Mnps увеличилось втрое.

"Alpha Zero" же застыла на том же уровне. И это объяснимо: после достижения предела обучения продолжать обучать ИНС - только портить.

Надо просто создавать новую версию, но не просто на самообучении, а создать несколько вариантов и устроить между ними состязательный генетический отбор.

Кожаные (т.е. Мы) - Красавчики!

Причём этот способ работает не только в шахматах! В Го мастера используют такие же подходы: сделать ход, который удивит/собъёт-с-толку/усложнит-игру противника. И это не обязательно самый лучший ход.

---

По поводу: является ли Deep Blue искусственным интеллектом или нет - [то согласно википедии] Является! Т.к. это комплекс инструментов, решающих задачи (конкретно - принятие решений) уровня человеческого интеллекта (игра в шахматы - это ведь оно?).

Иску́сственный интелле́кт (англ. artificial intelligence; AI), также ИИ, искусственный ра́зум, в самом широком смысле — комплекс инструментов, позволяющих решать задачи уровня человеческого интеллекта (такие как восприятие, обучение, рассуждение, решение проблем и принятие решений) и реализованных машинами, в частности компьютерными системами[1].

https://ru.wikipedia.org/wiki/Искусственный_интеллект?ysclid=mnbg5tuk3436767221

Скорее всего, через некоторое время определение поменяется и Deep Blue перестанет быть ИИ. Но пока ...

Да, это определение сильно устарело ...

Возьмём обычный калькулятор. Он может выполнять арифметические операции, т. е. занимается "решением проблем" для человека. Продвинутые инженерные калькуляторы уже лет 40 назад могли решать уравнения, находить оптимумы функций и т.д. Т.е., пусть и не напрямую, но участвовали в "принятии решений".

Но при этом калькулятор не обладал собственным интеллектом. Он действовал строго в рамках программ и кодов, созданных человеческим естественным интеллектом. Ничего самостоятельно он открыть или изобрести не мог.

Так и "Deep Blue" следовал алгоритмам, созданным не самостоятельно, а человеческим интеллектом. Разумеется, со всеми корявостями и ошибками.

В этом и была его слабость - его возможности были ограничены возможностями его создателей. Пусть он считает в миллионы раз быстрее и побеждает самых сильных кожаных шахматистов играючи. Все равно за рамки перебора с альфа-бета отсечениями он выйти не может. Как не может самостоятельно изменить оценочную функцию позиции. Что заложили в него разработчики - то в нём и заложено. Таким образом, это не ИИ, а просто продолжение ЧЕИ (человеческого естественного интеллекта).

И теперь переходим к самому интересному (и хорошо коррелирующему с темой статьи):

"Deep Blue" следовал алгоритмам ... Что заложили в него разработчики - то в нём и заложено.

Ок, согласен ...

"Alpha Zero" никто не учил ... Поэтому её и можно считать ИИ.

А тут можно сказать осторожные "Ха-ха-ха". Далее будет рассмотрена ситуация с ИИ в игре Го (потому что есть наглядный пример).

И это даже лучше шахмат, так как Го - сильно сложнее шахмат.

Итак (референс: "10 глупых вопросов учителю го" https://vkvideo.ru/video-211153737_456239836?t=1s метка времени от 12:50 и далее):

... в 2017 году компания Гугл ... программа AlphaGo ... обыграла [вообще всех] ...

Но через 5 лет человек обыграл эту нейронную сеть (которая стала ещё сильнее).

Нашли стратегию ... на сотни ходов ... при помощи которой можно победить эту программу. И игрок уровня 1-го разряда может эту стратегию разыграть и победить.

Самое интересное:

Стратегия - известна, написаны статьи/исследования. И ... нейросеть ничего не может противопоставить.

Точнее так: в игре ничего не может противопоставить.

Но нейробот научился жаловаться администраторам, что против него используют выигрышную стратегию. И администратору проще забанить игрока, чем улучшить игру ИИ.

И где здесь ИИ?

Например, человеку когда скажут: вот стратегия, она выигрышная, у неё есть маркеры. Человек при такой стратегии будет пытаться поменять игру, делать нестандартные ходы.

А что ИИ? А ИИ - ничего.

Ну, во-первых, речь идет, в первую очередь о том, является ли переборный алгоритм ИИ?

Во-вторых, у каждого подхода есть свои слабые стороны и ограничения. Для переборных алгоритмов их производительность (и сила) ограничены мощностью "железа", т.к. алгоритмические "улучшайзинги" уже исчерпаны. Может быть, возможен еще прорыв, но как-то мало в это верится.

Для ИИ на основе ИНС с подкреплением слабые стороны тоже известны. Прежде всего, это сваливание в локальный оптимум и переобучение. Эти два фактора мешают найти глобальный оптимум (что и произошло). Некоторый выход может быть основан на комбинированных методах, например, внедрением генетического алгоритма. Но это сильно увеличивает время обучения и, самое главное, работает только в простейших случаях, вроде "порхающих птичек" и "прыгающих динозавриков". Если ИНС становится действительно сложной, такой подход может превысить все разумные временные границы.

Вот что говорит сам ИИ по этому поводу:

История, о которой идет речь в видео, абсолютно реальна и стала очень громким событием в мире искусственного интеллекта и игры го в конце 2022 — начале 2023 года.

​Вот подробная информация об этой выигрышной стратегии и том, как развивалась ситуация.

​Кто и кого обыграл

​Американский игрок-любитель Келлин Пелрин (Kellin Pelrine) смог разгромно обыграть одну из сильнейших в мире нейросетей для игры в го — KataGo (программу с открытым исходным кодом, которая считается равной или даже превосходящей ту самую AlphaGo от Google). Пелрин выиграл 14 из 15 партий, играя самостоятельно, без использования подсказок компьютера в реальном времени.

​В чем заключается стратегия

​Стратегию помогла найти калифорнийская исследовательская компания FAR AI. Они создали специальную программу-тестировщика, которая сыграла более миллиона партий против KataGo, чтобы нащупать «слепые зоны» алгоритма (так называемые состязательные атаки — adversarial attacks).

​Найденная стратегия получила название «циклическая атака» (cyclic attack) или стратегия «кольца/петли»:

  1. ​Построение огромного кольца: Игрок-человек начинает медленно и аккуратно выстраивать из своих камней гигантское кольцо, цель которого — взять в масштабное окружение большую группу камней искусственного интеллекта.

  2. ​Отвлекающие маневры: Параллельно с этим человек делает совершенно абсурдные и глупые с точки зрения классического го ходы в других углах доски.

  3. ​«Слепота» ИИ: Нейросеть отвлекается на локальные стычки в углах доски и в упор не замечает глобальной угрозы. Компьютер не видит, что его центральная группа камней находится в смертельной опасности, даже когда кольцо почти замкнулось. Алгоритм до самого конца уверен, что его шансы на победу близки к 100%.

​Человеку (даже любителю) эта ситуация кажется очевидной. Любой игрок уровня 1-го кю или 1-го дана моментально заметит, что его камни берут в гигантское кольцо. Но сверхмощный алгоритм оказался к этому слеп.

​Почему всесильный ИИ попался на этот трюк?

​Это фундаментальная уязвимость архитектуры современных нейросетей (в том числе ChatGPT). ИИ обучается, анализируя миллионы партий профессионалов и играя сам с собой. Проблема в том, что ни один профессиональный игрок в здравом уме не будет строить такое нелепое, огромное кольцо на полдоски, тратя на это десятки ходов, пока противник забирает очки в других местах.

​Поскольку нейросеть никогда не видела подобной ситуации в своих тренировочных данных, она просто не может ее правильно оценить. Алгоритмы мыслят паттернами, а не концептуальными обобщениями. Как только человек вывел ИИ за пределы привычных шаблонов, «гениальный» мозг программы сломался.

​Про «жалобы» ботов и баны администраторов

​То, что упомянуто в видео («нейробот научился жаловаться администраторам»), — это очень точное, хотя и слегка ироничное описание реальной серверной практики.

​На популярных серверах (например, OGS — Online Go Server) боты физически не пишут тексты жалоб, но происходит следующее:

  • ​Когда человек применяет такую циклическую атаку, алгоритм бота сходит с ума. Бот начинает делать странные ходы, пасовать в неадекватных ситуациях или система фиксирует аномальное время завершения партии.

  • ​Партия автоматически помечается как подозрительная (bot exploit / bug abuse).

  • ​Правила многих онлайн-серверов прямо запрещают намеренно использовать баги ботов. В го-сообществе это приравнивается к неспортивному поведению («троллингу» или искусственной накрутке рейтинга).

  • ​Приходит живой модератор, видит, что вы не играете в «нормальное го», а издеваетесь над программой, и выписывает вам бан.

​Почему проще забанить человека, чем починить ИИ? Чтобы залатать эту дыру и научить нейросеть распознавать такие кольца, недостаточно написать пару строчек кода. Нужно перестраивать архитектуру алгоритма, тратить огромные вычислительные мощности (сотни тысяч долларов) и месяцами переобучать нейросеть с нуля на новых примерах. А забанить игрока-человека — это дело одного клика.

​Поэтому автор видео абсолютно прав: выигрышная стратегия существует, она описана в научных статьях (исследование «Adversarial Policies Beat Superhuman Go AIs»), любой толковый любитель может её выучить, но применять её в онлайне бессмысленно — система вас просто забанит.

Нейросеть не может ничего противопоставить, потому что опять ее обучать на данных, включающих adversarial attacks, дорого и нецелессобразно. А вовсе не потому, что это невозможно.

В принципе, Вы описали более развернуто то, что я писал несколько ранее:

  1. ИНС изначально была обучена на ограниченной выборке партий (т.е. на партиях с "разумной стратегией" без учета возможности глупых ходов).

  2. В процессе самообучения этот перекос был закреплен (произошло переобучение).

  3. Дообучение на реальных партиях было либо не реализовано, либо невозможно из-за сильной устойчивости полученных стратегий.

Проблемы известные. Просто, в этот раз они проявились таким забавным способом.

Лучше поясните мне тупому, как обучить ИНС вычислять смешанные стратегии в играх с неполной информацией?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации