Корпорация Google заявила о начале работы над проектом из сферы ИИ, в рамках которого корпорация планирует создавать комплексные нейросети. Они, по словам разработчиков, смогут одновременно работать над решением тысяч или даже миллионов разных тасков одновременно. Проект получил название Pathways.
В общем-то компьютерные системы некорректно сравнивать с мозгом человека, но сами разработчики заявили о том, что принцип работы Pathways несколько похож на принцип работы мозга человека. Под катом - подробности проекта.
Особенности Pathways
Чаще всего нейросети "затачивают" на решение одной специализированной задачи. Как только эта задача выполнена, нейросеть можно обучить по-новому для решения другой задачи. После обучения она напрочь "забывает" о своей предыдущей специализации. Pathways же сможет работать параллельно над решением самых разных задач, "помня" обо всех своих специальностях.
Вице-президент Google Джефф Дин (Jeff Dean) заявил следующее: "Сейчас именно так обучается подавляющее большинство моделей машинного обучения. Мы на увеличиваем количество задач, которые решают отдельные модели, вместо этого разрабатываются тысячи уникальных моделей. Соответственно, обучение каждой новой задаче требует времени и большого количества данных".
По его словам, новая модель может все изменить - нейросети могут справляться с решением разных задач, как и говорилось выше, тысяч и миллионов уникальных тасков. Более того, "опыт", полученный нейросетью в ходе решения одной из задач, может быть скомбинирован с "опытом" решения другой. И, соответственно, такой комплексный подход даст возможность решить третью, более сложную или специфическую задачу.
Джефф Дин сообщил, что компания планирует сосредоточить усилия не только на параллельном обучении нейросетей, но и на возможности создания моделей с "комплексным" опытом. В качестве примера можно привести работу модели, которая определяет неровности ландшафта по аэрофотоснимкам. Получив дополнительные данные, такая модель сможет спрогнозировать направление движения потоков воды.
Команда разработчиков сравнивает особенности своей модели с процессами обучения млекопитающих. Получая все больше разнородных данных, мозг комбинирует их и помогает решать более сложные задачи, которые уже не имеют отношения к предыдущему опыту, либо этот опыт косвенный.
Перспективы модели
Команда проекта планирует достичь такого уровня развития Pathways, что модель сможет обучаться на самых разных данных, включая визуальную, акустическую и текстовую информацию. Если упрощенно, то модель сможет определить концепцию леопарда по произнесенному слову, записи звука рычания животного или по его изображению, статическому или динамическому.
Схожесть принципов работы нейросети от Google с работой мозга человека еще и в том, что для решения разных задач модель будет использовать не все ресурсы, а лишь их часть - те, что непосредственно имеют отношение к решению таска. Такая особенность работы модели дает возможность экономить ресурсы системы, которые, конечно же, не бесконечны.
Базовые возможности "разреженной нейросети" уже опробованы в таких проектах, как Google Switch Transformer, Gshard и прочих. Как видим, корпорация тоже использует предыдущий опыт для новых вызовов. Тесты указанных моделей уже показали, что такие системы расходуют в десять раз меньше энергии, чем обычные нейросети.
По мере развития модели разработчики планируют подключать все новые подсистемы. В конечном итоге авторы идеи рассчитывают на появление нейросетей, которые в состоянии решать сотни тысяч и даже миллионы похожих и не очень задач, комбинировать данные и опыт и находить решение быстрее и эффективнее, чем современные нейросети. Эру однозадачных нейросетей разработчики хотят оставить позади, создав многозадачные комплексные нейросети, работа которых хотя бы немного напоминает работу мозга млекопитающих.
Понятно, что задача, которую поставили перед собой разработчики, чрезвычайно сложная и ресурсоемкая. Но Google - не самая маленькая компания, у нее есть ресурсы, и их должно быть достаточно для достижения поставленной задачи.
"Мы, люди, познаем мир благодаря нашим органам чувств. Это очень отличается от того, как его "познают" современные цифровые системы. Большинство из них получают информацию только в каком-то одном виде - изображение, текст или звук. Других вариантов либо нет, либо их очень мало. И это причина, по которой мы создаем Pathways. Новые нейросети смогут выполнять тысячи и миллионов задач, "понимать" разные типы данных и работать с выдающейся эффективностью", - заявил Джефф Дин.
По мнению экспертов, если Google удастся создать многозадачную нейросеть, то это приблизит нас к разработке уже общего искусственного интеллекта. Сейчас же ИИ существует только в виде так называемой слабой формы. Ранее представители DeepMind, известной компании, которая разрабатывает роботов и ПО для них, заявили, что создание нейросетей с реляционными суждениями - это, фактически, почти что создание цифрового мозга. Но эта задача настолько сложная, что, по мнению DeepMind, разработать подобную систему либо невозможно, либо очень сложно.