Юлий Цезарь в мире ИИ: Google разрабатывает многозадачную ИИ-модель Pathways

[raamid]

Вот кстати и ответ в соседнюю ветку, где жалуются по поводу кризиса в жанре фантастики. Просто "старая" фантастика становится реальностью, а для "новой" у нас не хватает фантазии, поскольку появление сильного ИИ - это сравнимо с перезагрузкой цивилизации.

[Nehc]

Статья ни о чем… Никаких технических деталей, нюансов реализации — как будто не для Хабра писалось, а для Рен-ТВ…

[neuroonet]

Если бы Google предоставил технические детали, они бы были в статье. Иногда подробностей нет просто потому, что их нет, а не потому, что их поленились описать.

[Nehc]

Мне даже не отсутствие технических деталей не понравилось, а сама стилистика… Кликбейтный заголовок, общие размытые формулировки за которыми может стоять что угодно… Впрочем, если вы считаете, что именно такие статьи должны быть наполнением вашего корпоративного блога и так реагируете на критику — это ваше вправо. ;)

[phenik]

Если бы Google предоставил технические детали, они бы были в статье.

В таких случаях это все же больше новостное сообщение, и соответственно его нужно было поместить в раздел новостей.

[phenik]

Эру однозадачных нейросетей разработчики хотят оставить позади, создав многозадачные комплексные нейросети, работа которых хотя бы немного напоминает работу мозга млекопитающих.

Если рассматривать на уровне архитектурных решений, то судя по описанию модель по прежнему статическая, а у млекопитающих мозг, вся совокупность взаимосвязанных внутренних моделей, принципиально динамические. По современным представлениям роль активирующей системы принадлежит ретикулярной формации (грубая аналогия — задающий, тактовый генератор мозга). Благодаря этому модели всегда активны, хотя бы частично, даже если информация из вне не поступает. Также нейроны в мозге обмениваются в импульсном режиме. Это связано не только с их биологической природой, но и требованиями энергоэффективности. Судя по описанию тоже отсутствует в проекте. Про динамические модели, что имеется в виду, на примере «нейрона бабушки» подробнее в этом коменте.

[phenik]

Ну теоретически (и насколько сам могу понимать), эту функцию можно будет выполнить добавлением еще одной нейросети (или в этом случае «задачи»), которая будет в режиме ожидания выполнять приблизительно те же функции что и живой мозг

Функции активирующей системы более глубокие, нежели поддержание режима сна-бодрствования, см. вики:

4. Sleep and consciousness – The reticular formation has projections to the thalamus and cerebral cortex that allow it to exert some control over which sensory signals reach the cerebrum and come to our conscious attention. It plays a central role in states of consciousness like alertness and sleep. Injury to the reticular formation can result in irreversible coma.
5. Habituation – This is a process in which the brain learns to ignore repetitive, meaningless stimuli while remaining sensitive to others. A good example of this is a person who can sleep through loud traffic in a large city, but is awakened promptly due to the sound of an alarm or crying baby. Reticular formation nuclei that modulate activity of the cerebral cortex are part of the ascending reticular activating system.[9][7]

Ее «отключение» при нарушении работы ретекулярной формации приводит к коматозном состояниям зависящим от степени нарушения, кот. могут закончиться смертью, если жизнь не поддерживать искусственно:

Clinically, a coma can be defined as the inability consistently to follow a one-step command.[3] It can also be defined as a score of ≤ 8 on the Glasgow Coma Scale (GCS) lasting ≥ 6 hours. For a patient to maintain consciousness, the components of wakefulness and awareness must be maintained. Wakefulness describes the quantitative degree of consciousness, whereas awareness relates to the qualitative aspects of the functions mediated by the cortex, including cognitive abilities such as attention, sensory perception, explicit memory, language, the execution of tasks, temporal and spatial orientation and reality judgmentFrom a neurological perspective, consciousness is maintained by the activation of the cerebral cortex—the gray matter that forms the outer layer of the brain and by the reticular activating system (RAS), a structure located within the brainstem.[5][6]

Причин возникновения таких состояний много, но связанная с РФ является первопричиной подобно тому, как отключение генератора тактовой частоты процессора приведет к остановке исполнения инструкций, и соответственно исполнения всех программ. Аналогию можно продолжить — процессор может усыпляться, или замедлять исполнение кода при перегреве благодаря механизму троттлинга, вплоть до приостановки, для предотвращения повреждений. Последнему соответствует кратковременная потеря сознания, в тяжелых случаях вплоть до возникновения комы, например, во время солнечного удара, и может рассматриваться, как защитная реакция организма. Однако в возникновении этих состояний принимает участие не только РФ, но и другие структуры мозга относящиеся к активирующей системе, в частности, гипоталамус. В обоих случаях, и поведение организма, и работа процессора определяется физическими ограничениями.

В одной из публикаций автор предложил другую аналогию функций РФ. Он сравнил их с функциями регуляции яркости изображения и громкости звука в телевизоре. Телевизор показывает изображение и воспроизводит звук, но их уровень определяется регуляторами, кот. неспецифично действуют на них. Интересно, что функцию локальной регуляции подсветки (локального затемнения) в современных телевизорах можно соотнести с привыканием и активацией коры в ответ на появление нового стимула (п.5 в цитате выше). Действительно, если в изображении появляется очень яркий локальный источник, то увеличивается уровень подсветки всего экрана.

Каким образом РФ добивается такого всеохватного действия, и почему эволюционно сложилась такая организация функционирования мозга? Ответ на первый вопрос состоит в обширной иннервации вышележащих структур мозга восходящими активирующими и тормозными путями. Это хорошо проиллюстрировано в этом фрагменте издания «Клиническая нейроанатомия и неврология» (2018). Имеются три основных пути, два из которых — дофаминергический и норадренергический являются активирующими, и серотонинергический тормозным. Их действие носит неспецифический характер. На второй вопрос ответ, вероятно, состоит в том, что несмотря на обширные связи нейронов в различных структурах мозга их недостаточно для активации связанной только с восходящими (афферентными) потоками сенсорной информации, из-за их возрастающего количества в коре. Возникла необходимость в их дополнительной активации. В этой статье приводятся некоторые идеи о происхождении и роли активирующей системы в восприятии и поддержании сознания.

Ну вроде даже довольно очевидное решение, если речь пойдет все же о создании «полноценного ИИ», а мне кажется то что описано в статье, это может быть +1 шаг к этому.

Если говорить о моделировании активирующей системы, то это не очевидное решение, т.к. оно затрагивает фактически всю модель, все задачи, и не понятно, как обучать эту «задачу», функционал кот. носит внутренний характер. В каком объеме реализация такой системы полезна в разработке ИИ, включая описанную в статье? Она необходима для поддержания динамического, асинхронного режима функционирования сети. В частности, в такой сети могут присутствовать генераторы паттернов, особенно если речь идет о задачах связанных с реализацией двигательной активности, примером может служить ритмозадающий генератор дыхательной системы. Красивая схема приведенная в начале статьи демонстрирует обычную архитектуру дополненную разделением на отдельные задачи. А если на вход информация поступать не будет, случай своеобразного аналога сенсорной депривации, что будет генерировать модель? Мозг в этом случае по прежнему активен, полной депривации трудно достичь даже в специальных камерах. Возникают галлюцинации и измененные состояния сознания. При глубокой и длительной депривации у человека могут возникнуть необратимые расстройства психики. Это может понадобиться в реализации ИИ? Есть информация на входе — модель выдает результат, нет находится в состоянии ожидания, как это делается сейчас. Описанное следствия биологического организации мозга, его принципиально динамической природы, параллельного, асинхронного функционирования, кот. возникает в необычных условиях, редко встречающихся в природе. В естественных условиях, из-за чередования времен суток, подобное состояние возникает во время сна, когда органы чувств отключаются, и возникает частичная сенсорной депривация. Эволюция приспособила это состояние для своих нужд, для процессов восстановления в мозге, а также сортировки, поиска и запоминания информации. Это может сопровождаться сновидениями аналогично тому, как возникают галлюцинации в случае целенаправленной депривации. Можно ли в нейросетевом подходе к ИИ обойти эти особенности биологической реализации? И создать при этом ИИ сравнимый по эффективности с интеллектом человека, а в перспективе превосходящий его? В каком виде в нем должен быть реализован аналог активирующей системы мозга без побочных эффектов присущих биологической реализации? С другой стороны воспроизведение этих особенностей интересно с исследовательской точки зрения, моделирования условий возникновения патологических состояний и поиска способов их устранения. Возможно решение этих задач, как для практического применения, так и исследований будет достигнуто с помощью нейроморфных технологий, наиболее адекватно воспроизводящих функционирование биологических нейронов и сетей.

[phenik]

ADD. В связи с упоминавшимся в коменте вопросе о целесообразности реализации каких-либо функций активирующей системы мозга, связанной с регуляцией циклов сна-бодрствования, ссылка на исследовательскую разработку в области нейроморфных импульсных сетей, в кот. для повышение эффективности обучения используется периодическая активация состояния сети являющегося некоторым аналогом сна у человека (науч-поп., статья). Для обычных ИНС эта проблема известна, как катастрофическое забывание, при непрерывном обучении, над решением кот. ведутся работы.