В последние годы искусственный интеллект (ИИ) значительно продвинулся в области
генерации творческого контента, охватывая тексты, изображения и даже видео.
Однако недавний прорыв в этой области открывает совершенно новое направление:
создание интерактивных миров на основе одного единственного изображения.
Специалисты DeepMind — принадлежащей Google лаборатории искусственного
интеллекта — объявили о разработке новой нейросети Genie («Джинн»),
представляющая собой фундаментальную ИИ-модель для создания 2D игровых миров.
Genie — это модель с 11 миллиардами параметров,
обученная на анализе более чем 200 000 часов видео с играми в 2D-платформеры.
Эти видео, не содержащие инструкций по управлению или действиям в игре, позволили Genie самостоятельно научиться пониманию основ игрового процесса и физики.
Genie использует изображения, с которыми он ранее не сталкивался, включая фотографии реального мира или эскизы, для генерации интерактивных виртуальных миров.
Это стало возможным благодаря обучению без меток действий на большом наборе
видео из интернета, включая видеоигры в жанре 2D-платформер и робототехнику.
Методы, используемые Genie могут быть легко масштабированы,
что открывает путь к созданию бесконечного множества виртуальных миров.
Особенностью Genie является способность интерпретировать и преобразовывать
в игры не только тексты и наброски, но и фотографии реального мира.
Несмотря на текущие ограничения — игры имеют разрешение 160x90 пикселей
и длительность всего 16 секунд при частоте обновления в 1 кадр в секунду —
это только первые шаги в развитии технологии. DeepMind планирует дальнейшее
развитие Genie, стремясь улучшить качество и сложность генерируемых игр.
Еще одна отличительная черта Genie - возможность изучать тонкости управления,
опираясь исключительно на видео из интернета без указания действий.
Нейросеть учится определять, какие части изображения можно контролировать,
и выводит разнообразные скрытые действия, которые остаются согласованными
в различных сгенерированных средах.