Исследователи компании Open AI научили искусственный интеллект играть в Minecraft. Нейросеть обучали с помощью видеороликов с игровым процессом. В итоге нейросеть смогла найти необходимое количество ресурсов и изготовить алмазную кирку.
Для обучения нейронной сети инженеры разработали метод предварительного видеообучения (Video PreTraining, VPT), позволяющий использовать большой объём неразмеченных данных. При этом искусственный интеллект использовал эмуляцию стандартной мыши и клавиатуры для игрового процесса, что, как считают специалисты, поможет в будущем обучать нейросеть пользоваться компьютером без дополнительных связующих интерфейсов.
На первом этапе обучения инженеры использовали размеченные видеоролики игрового процесса Minecraft общей длительностью в 2 тыс. часов. Для разметки использовали данные о клавишах, которые пользователи нажимали во время игры. На выходе у исследователей получилась нейросеть, которая могла самостоятельно обрабатывать видеоролики, угадывать нажатия клавиш и записывать их. С помощью этой нейросети в автоматическом режиме разметили ещё 70 тыс. часов геймплея из открытых источников.
В итоге нейросеть научилась выполнять не только базовые действия в Minecraft, но и довольно сложные, требующие последовательного принятия решений. К примеру, нейросеть способна добывать ресурсы и изготавливать из них предметы, бегать, плавать, обходить препятствия, охотиться на животных в поисках еды и поедать пищу, восполняя шкалу голода. Также искусственный интеллект научился, подпрыгивая, ставить блоки под персонажа, что позволяет подниматься на возвышенности.
После этого исследователи решили более точно настроить нейросеть и для этого попросили пользователей, принимающих участие в проекте, создать новый мир в игре, собрать все необходимые ресурсы для старта и изготовить из них предметы первой необходимости. При этом пользователи записывали игровой процесс, а полученные данные использовались для обучения. На выходе нейросеть научилась правильно стартовать в игре и уже не бесцельно бродила, а стремилась сделать верстак, с помощью которого можно изготавливать игровые предметы. Также некоторые пользователи во время записи данных строили базовые убежища, и искусственный интеллект перенял этот навык.
Далее инженеры для настройки нейросети использовали метод обучения с подкреплением, который в итоге позволил искусственному интеллекту самостоятельно изготовить алмазную кирку. Весь путь для получения инструмента разбили на шаги. Нейросеть вознаграждали за каждый пройденный этап. В итоге искусственному интеллекту удалось выполнить эту задачу.
Инженеры Open AI считают, что метод можно использовать для быстрого и качественного обучения нейросетей с помощью видеороликов. При этом метод предварительного видеообучения даёт устойчивую базу, которую можно доучивать и настраивать с помощью других доступных методов. Пока исследователи испытали работоспособность нейросети только в Minecraft, но считают, что такой способ поможет обучить искусственный интеллект пользоваться и другим компьютерными программами с помощью клавиатуры и мыши.
Учёные опубликовали подробное исследование и выложили исходный код проекта. Также команда разработчиков Open AI анонсировала конкурс MineRL NeurIPS, участники которого могут воспользоваться нейросетью для решения более сложных задач в Minecraft.
