Комментарии 11
AI — Abominable Intelligence, самая страшная тех-ересь которая возможна в WH40k.
Ох, дико интересно. Но самое сложное пока не раскрыто, да и я вообщем не датасаентист, но дико интересно
Функция вознаграждения. Надо как-то переобучать нейросеть с учетом распространения вознаграждения на предыдущие шаги. Как делать функцию вознаграждения для неправильных ходов. Или, например, перебирать шаги до возникновения правильного.
Как оцифровать текущее состояние? То есть это похоже что свертка, но как именно цифровать, нужна ли нормализация ввода
Конфигурация нейросети. Как определить сколько слоев, нужны ли LSTM слои или достаточно только текущего состояния
А для развертывания и игры кажется что лучше тренировать 2 нейросети.
Ох, слава Богу Императору, наконец-то про Warhammer40K)))))))
А потом эту нейросеть возьмут на вооружение настоящие военные..
Бог-Император конечно велел прогрессировать и всё такое, но вот использовать нечестивые технологии Изуверского Интеллекта (ИИ) и прочие техноереси - не велел.
Весьма символично, что ИИ применён в статье именно для Вахи, да. Оценил. Хочется продолжения...
Но для пущей атмосферности еще и бы и терминологию надо адаптировать - только угодные Омниссии духи машин, авгуры, ауспексы и когитаторы! Ибо техноересь может привести к очищению сознания и корректирующий реинграммации с предварительной конфискацией имущества!
p.s. Трогая тему WH40K приходится учитывать, что есть аудитория, для кого это не просто "какая-то настолка", и сказанное выше - не просто набор непонятных слов. Это ж еще хорошо, что аудитория тут понимающая, на другом ресурсе и сжечь бы могли (причём иногда создаётся ощущение, что не только в переносном смысле :), так что подколы про техноересь были ожидаемы еще после прочтения заголовка)
Кажется кто-то нашел чертежи темной эры технологий)
Санация действий выглядит вполне годным вариантом. Опыта создания RL для игр у меня мало, но есть опыт эволюционного обучения стратегиям, и там санация работала хорошо.
Ну то есть берём необученную нейросеть, какие-то её выходы интерпретируем как действия. Так как есть много контекстов, то большинство действий в большинстве контекстов неприменимы, подменяем их на нулевое действие. Прогоняем игру, записываем счёт. Считаем, что есть единая функция, где на входе параметры сети, а на выходе счёт в игре. У этой функции ищем максимум - например, эволюцией, градиентным спуском или каким-нибудь другим статическим оптимизатором (на практике обычно сочетаются эти два алгоритма). Через несколько дней получается относительно работоспосбная стратегия.
Насчёт именно RL - обычно он требует бигдаты. Например, Dreamer, который очень серьёзный RL, начинает в игре Pong делать что-то лучшее, чем рандом, на 150 примерно игре. Каждая игра - это ситуация, когда набрано 21 очко, это порядка 1000 кадров.
С другой стороны, у меня есть RL для мелкой стратегической игрушки... Там RL занимался только верхнеуровневыми вопросами: куда вкладывать деньги, каких юнитов нанимать, куда их ставить. И работал он на knn. Вот этот RL отработал довольно неплохо, и учился довольно быстро
Потом, вопрос формализации входа. Если у вас настолка, то RL должен будет действовать в сцепке с computer vision, а это довольно непросто. Проще было бы, если бы был эмулятор вахи на компе, и в RL приходили бы сразу какие-нибудь высокоинформативные сводки, написанные вручную. Например "число танков у противника", "плотность войск в квадрате таком-то", "число нашего оружия против тяжёлой пехоты", "число оружия против тяжёлой пехоты, пригодного к быстрой переброске"
А как же миссии? Стратагемы? Синергия аур? Где вот это вот все? Овервотч убирается, он теперь переехал в стратагемы. Как результат - переосмыслить все заново и переписать концепцию.
Очевидно, что здесь надо будет полностью воссоздавать среду - стол для Warhammer, в том числе террейн, и все правила для игры. А это и так огромная задача с точки зрения программирования, учитывая, что куча разных неоцифруемых правил. Так что для них, кмк, придется что-то придумывать свое, даже возможно отдельный ИИ, который через NLP будет эти правила пережевывать.
Таким может быть ИИ для Warhammer 40k