Как я оптимизировал AlphaZero для Connect4: 1600 симуляций в минуту на GTX 1650 и 95% точности за полчаса обучения

[eugenk]

Замышляю нечто подобное с игрой flood-it. О ней уже писали на хабре

https://habr.com/ru/articles/136380/

https://habr.com/ru/articles/129117/

Ещё больше материалов в сети. В начале 10-х игра была очень популярна. Сейчас несколько подзабыта. Является NP-полной. Так что идеального солвера нет и не предвидится. За разумное время и деньги во всяком случае. Есть неплохие (хотя и не идеальные) алгоритмы, существенно превосходящие человека.

Вопрос у меня следующий. Сгенерированную и решенную головоломку можно рассматривать как размеченные данные. И использовать для обучения нейронки с учителем. Причем что важно, КАЧЕСТВО разметки можно МЕНЯТЬ. Тот же жадный алгоритм работает хуже если глубина просмотра невелика и лучше если велика (разумеется будет работать дольше и жрать больше памяти).

Спрашивается, если взять тот же жадный алгоритм с небольшой глубиной просмотра и обучить на нём нейронку, сможет ли она этот алгоритм превзойти ??? Проверить это будет легко. Скажем если 1000 игр алгоритм решает в среднем за 20 ходов, а нейронка за 19.5, значит ученик превзошел учителя. Вопрос интересный и думается важный. Ответа на него я не знаю, и по-моему никто не знает. Вот и хочу проверить это экспериментально.