Перевод статьи "Natural and Artificial Intelligence: A brief introduction to the interplay between AI and neuroscience research", опубликованной в сентябре 2021 года.
Оригинал статьи
Исходно перевод делался на скорую руку, для собственных прикладных задач и не для открытой публикации, поэтому материал вышел в черновом виде со множеством возможностей для коррекции и адаптации. Прикладные задачи здесь - нейропсихология, психиатрия, психология и решения в области ИИ.
В таком виде его и публикую. Надеюсь, что окажется полезен как для профессионалов, так и для всех интересующихся темой.
Краткий обзор результатов взаимодействия между нейронауками и индустрией искусственного интеллекта.
Abstract
Нейронауки и область исследования искусственного интеллекта (ИИ, AI) имеют давнюю совместную историю. Достижения в области нейронаук, наряду с впечатляющим ростом производительности вычислительных систем за последние несколько десятилетий привели к появлению нового поколения нейронных сетей, которое было вдохновленно открытиями в области исcледований мозга и реализовано благодаря возможностям компьютерного моделирования (In silico). Новые системы искусственного интеллекта обладают сегодня многими передовыми перцептивными и когнитивными способностями биологических систем, включая возможности по распознаванию объектов и функциями принятий решений. Более того, в настоящее время ИИ все чаще используется в качестве инструмента для исследований в области нейронаук, что способствует развитию нашего понимания принципов функционирования самого мозга. В частности, метод глубокого обучения использовался для моделирования того, как сверточные слои и рекуррентные связи в коре головного мозга управляют важными функциями, включая визуальную обработку, память и контроль моторики. Интересно, что применение искусственного интеллекта, использующего наработки из нейронаук, также открывает большие перспективы для понимания взаимосвязи между изменениями в нейронной структуре мозга и психопаталогиями. Эти открытия имеют большое значение для медицины. В этой статье представлены последние достижения из четырёх областей исследований, где взаимодействие нейронаук и индустрии ИИ принесло наиболее впечатляющие результаты:
(1) ИИ-модели рабочей памяти,
(2) визуальная обработка на базе ИИ
(3) ИИ-анализ больших наборов данных в нейробиологии
(4) вычислительная психиатрия (computational psychiatry)
Ключевые слова:
Artificial intelligence, Neuroscience, Neural imaging, Visual processing, Working memory, Computational psychiatry
1. Введение
Традиционное определение интеллекта в значительной степени основывается на возможностях развитых биологических организмов, в первую очередь человека. Это обусловило направление исследований в первую очередь на создание системы общего искусственного интеллекта (AGI), способного имитировать основные способности человеческого разума, таких как восприятие, обучение и мышление. Ещё одно определение для реализации подобной модели – искусственный интеллект с тестом Тьюринга.
Учитывая эти задачи, неудивительно, что ученые, математики и философы, работающие в области ИИ, черпали вдохновение в изучении принципиальных механизмов работы мозга, его структурных и функциональных свойств.
Начиная с 1950-х годов, предпринимались попытки моделирования процессов обработки информации нейронами. Это в первую очередь касалось разработки перцептрона (Rosenblatt, 1958), высоко редукционистской модели нейронной передачи сигналов, в которой отдельный узел, получающий значимые входные данные, мог генерировать двоичный выходной сигнал, если суммирование входных данных достигало порогового значения. Одновременно с когнитивной революцией, начавшейся в 50-х и 60-х годах и продолжавшейся, по крайней мере, до 90-х годов, первоначальное развитие искусственных нейронных сетей наталкивалось на существенное противодействие со стороны индустрии ИИ и когнитивных наук (Fodor and Pylyshyn, 1988, Mandler, 2002, Мински и Паперт, 1969). Однако к концу 1980-х развитие многослойных нейронных сетей и популяризация метода обратного распространения ошибки позволили устранить многие ограничения ранних перцептронов, включая их неспособность решать задачи нелинейной классификации, такие как обучение простой логической функции XOR (Rumelhart, Hinton , & Уильямс, 1986). Нейронные сети теперь могли динамически изменять свои собственные соединения, вычисляя функции ошибок сети и передавая их обратно через составные уровни. Это обеспечило старт новому поколению ИИ, способного к интеллектуальным навыкам, включая распознавание изображений и речи (Bengio, 1993, LeCun et al., 2015, LeCun et al., 1989). На сегодняшний день метод обратного распространение ошибки по-прежнему широко используется для обучения глубоких нейронных сетей (Lillicrap et al., 2020, Richards et al., 2019). Интеграция этих возможностей с методом обучения с подкреплением обеспечило возможность создания продвинутых систем обучения, способных соревноваться и превосходить человека в стратегических играх, включая Chess (Silver et al., 2018), Go (Silver et al., 2016, Silver et al., 2018), покер (Moravčík et al., 2017) и StarCraft II (Vinyals et al., 2019).
Тем не менее биологическая правдоподобность (biological plausibility ) современной версии ИИ, несмотря на нейронаучное происхождение последнего, вызывает много вопросов. В самом деле, существует не так много свидетельств того, что алгоритм обратного распространение ошибки присущ процессам модификации синаптических связей между нейронами. (Crick, 1989, Grossberg, 1987); Вместе с тем, нужно отметить, что недавно выдвинутые гипотезы декларируют некоторую вероятность существования такой возможности. (Lillicrap et al., 2020, Whittington and Bogacz, 2019). Хотя создание нейроморфных моделей явно не является необходимым для достижения всех целей ИИ, основным преимуществом биологически правдоподобного ИИ является его польза для понимания и моделирования процессов обработки информации в мозге.
Кроме того, мозг можно рассматривать как эволюционно выверенный шаблон интеллекта с опытом развития своих адаптивных качеств, производительности и энергоэффективности в миллионы лет. Таким образом, увеличение интеграции алгоритмов, полученных на основе результатов изучения мозга, может помочь в дальнейшем улучшении возможностей и эффективности ИИ.
В совокупности эти идеи способствовали развитие устойчивого интереса к созданию искусственного интеллекта, основанного на изучении мозга, и еще больше укрепили партнерство между индустрией искусственного интеллекта и нейронауками. В последнее десятилетие было предложено несколько биологически правдоподобных альтернатив методу обратного распространения ошибок, включая прогнозирующее кодирование (Bastos et al., 2012, Millidge et al., 2020), согласованную обратную связь (Lillicrap, Cownden, Tweed, & Akerman, 2016), равновесное распространение (Scellier & Bengio, 2017), обучение на базе правил Хебба (Krotov and Hopfield, 2019, Miconi, 2017) и zero-divergence inference learning (Salvatori, Song, Lukasiewicz, Bogacz, & Xu, 2021). Аналогичным образом, другие недавние усилия по преодолению разрыва между искусственными и биологическими нейронными сетями привели к развитию нейронных сетей, способных аппроксимировать стохастическую связь между нейронами на основе потенциалов (Pfeiffer & Pfeil, 2018), а также к созданию алгоритмов, ориентированных на реализацию функций внимания, включая трансформирующие архитектуры (Vaswani et al., 2017).
Взаимодействие между нейронауками и сферой ИИ имеет характер продуктивной обратной связи, и теперь ИИ стремительно становится бесценным инструментом в нейронаучных исследованиях. Модели с элементами ИИ, разработанные для выполнения задач, основанных на принципах естественного интеллекта, предоставляют новые гипотезы о том, как те же процессы регулируются ну уровне самого человеческого мозга. Например, работа над распределенным обучением с подкреплением в ИИ недавно привела к предложению новой теории вероятностных распределений для связей на основе допаминовой регуляции (Dabney et al., 2020). Аналогичным образом целевые модели глубокого обучения для визуальной обработки использовались для оценки структурных свойств зрительной системы мозга и точного прогнозирования паттернов нейронной активности (Yamins & DiCarlo, 2016). Кроме того, последние достижения в области алгоритмов глубокого обучения вкупе с новыми уровнями производительности вычислительных систем позволяют теперь проводить высокопроизводительный анализ крупномасштабных наборов данных, в том числе полные изображения мозга животных и человека, ускоряя прогресс исследований в области нейронаук (Thomas et al., 2019, Todorov et al., 2020, Zhu et al., 2019). Модели глубокого обучения, обученные декодированию данных нейронной визуализации, могут создавать точные прогнозы для задач принятий решений, выбора действий и поведения, помогая нам понять функциональную роль нейронной активности - ключевую цель когнитивной нейронаук (Batty et al., 2019, Musall et al., 2019). Интересно, что подходы машинного обучения и глубокого обучения теперь также применяются в новой развивающейся области - вычислительной психиатрии. Новые возможности используются здесь для моделирования нормальных и дисфункциональных состояний мозга, а также для выявления аберрантных паттернов мозговой активности, которые могут применяться в качестве надежных классификаторов нарушений мозга (Cho et al., 2019, Durstewitz et al., 2019, Koppe et al., 2021, Zhou et al., 2020).
В последние годы было выпущено сразу несколько обзоров, исследующих длительную и многогранную связь между нейронауками и ИИ (см. Hassabis et al., 2017, Hasson et al., 2020, Kriegeskorte and Douglas, 2018, Richards et al., 2019, Ullman, 2019). В этой статьей мы постарались дать краткое введение в то, как сотрудничество между нейронаукой и индустрией искусственного интеллекта стимулировало прогресс в обеих областях. Основное внимание в текущем обзоре направлено на четыре важнейшие темы из докладов, представленных на симпозиуме «ИИ для нейронаук и нейроморфных технологий», состоявшегося в рамках программы Международной конференции по искусственному интеллекту и науках о мозге в 2020г:
(1) ИИ-модели рабочей памяти,
(2) визуальная обработка на базе ИИ
(3) ИИ-анализ больших наборов данных в нейронауке
(4) вычислительная психиатрия (computational psychiatry)
В частности, мы сосредоточимся на том, как недавние подходы, вдохновленные нейронаукой и использующие принципы работы живого мозга, приводят к созданию новых решений для сферы ИИ. Благодаря этой комбинации новые системы способны не только демонстрировать многие возможности из сложных задач мозга, но и расшифровывать нейронную активность самого мозга, точно прогнозировать общее поведение и поведение мозга, его ментальное содержание. Эти результаты включают в себя моделирование импульсных (SNN) и рекуррентных нейронных сетей (RNN) рабочей памяти, основанных на изучении стохастической модели динамики импульсов биологических нейронов и их непрерывной активации во время операций сохранения памяти. Мы рассмотрим основные достижения в области изучения нейросетевых моделей обработки визуальных данных на базе свёрточных слоёв, которые в свою очередь основаны на некоторых принципах работы зрительной коры головного мозга. Кроме того, мы обсудим, как ИИ становится все более мощным инструментом для нейроучёных и врачей-клиницистов, находя применение в качестве средств диагностики и даже терапии, а также способствуя исследованиям принципов работы мозга, включая обработку информации и устройство памяти.
2. Искусственная рабочая память и открытия в нейронауках
Одним из основных препятствий на пути создания нейроморфных систем искусственного интеллекта была проблема моделирования рабочей памяти, важного компонента интеллекта. Сегодня в большинстве систем, реализованных благодаря возможностям компьютерного моделирования, используется форма рабочей памяти, известной как оперативная память (RAM), которая действует как кэш для данных, необходимых для работы центрального процессора, и отделённых от долговременного хранилища памяти на твердотельных или жестких дисках. Однако эта архитектура значительно отличается от принципов работы мозга, где рабочая и долговременная память, по-видимому, задействуют, по крайней мере, частично одни и те же нейронные субстраты, преимущественно неокортекс (Baddeley, 2003, Blumenfeld and Ranganath, 2007, Rumelhart and McClelland, 1986, Shimamura, 1995) и гипоталамус (Bird and Burgess, 2008, Eichenbaum, 2017). Эти данные свидетельствуют о том, что в этих регионах рабочая память, вероятно, реализуется с помощью определенных функций мозга, которые обеспечивают быстрый и краткосрочный доступ к информации.
Исследование принципов функционирования рабочей памяти у человека и приматов показало, что повышенная и постоянная активность внутри клеточных ансамблей префронтальной коры, а также других областей неокортекса, гиппокампа и ствола мозга может иметь решающее значение для задач сохранения информации в рабочей памяти (Boran et al., 2019, Christophel et al., 2017, Fuster and Alexander, 1971, Goldman-Rakic, 1995, McFarland and Fuchs, 1992, Miller et al., 1996, Watanabe and Niki, 1985). Было предложено несколько вариантов объяснений такой постоянной активности нейронов (см. Durstewitz, Seamans, & Sejnowski, 2000). К ним относятся - рекуррентные возбуждающие связи между сетями нейронов (Hopfield, 1982, O’Reilly et al., 1999), клеточная бистабильность (cellular bistability), при которой внутренние свойства нейронов могут вызывать состояние непрерывного импульса потенциалов (Lisman et al., 1998, Marder et al., 1996, O’Reilly et al., 1999) и синхронная цепочка активации (synfire chains), где активность поддерживается в синхронно запускаемых петлях с прямой связью (Diesmann et al., 1999, Prut et al., 1998). Из них наиболее широко исследовались модели постоянного возбуждения в рекуррентно связанных нейронных сетях. Эти модели описывались функциями простых сетей, таких как сети рекуррентных аттракторов, где дискретная рабочая память представляет собой результат активации т.н. аттракторов - стабильных паттернов активности в сетях нейронов, взаимно связанных сильными синаптическими весами. Последние формируются посредством правил обучения Хебба (Amit et al., 2003, Amit and Brunel, 1995, Durstewitz et al., 2000). Афферентный вход в эти сети, достаточно сильный, чтобы при достижении порогового значения стимулировать рекуррентное возбуждение, вызывающее надпороговую активацию, которое сохраняется даже при удалении стимула и обеспечивает сохранение самого стимула в рабочей памяти. Последующие и более сложные вычислительные модели продемонстрировали, что повторяющиеся сети, соединяющие кору, базальные ганглии и таламус, способны поддерживать функции рабочей памяти и могут объяснять паттерны нейронной активности, наблюдаемые в нейрофизиологических исследованиях этого типа памяти (Beiser and Houk, 1998, Botvinick and Plaut, 2006, Hazy et al., 2007, O’Reilly et al., 1999, Zipser, 1991).
Упомянутые выше исследования в биологии и вычислительной психиатрии сделали возможным проектирование искусственных рекуррентных нейронных сетей (RNN) на основе модели рекуррентных связей между нейронами в коре головного мозга. Дальнейшие исследования продемонстрировали, что такие RNN сети способны выполнять широкий спектр когнитивных задач, требующих участия рабочей памяти (Botvinick and Plaut, 2006, Mante et al., 2013, Rajan et al., 2016, Song et al., 2016, Sussillo and Abbott, 2009, Yang et al., 2019). Совсем свежие исследования были обращены к новому поколению импульсных рекуррентных нейронных сетей (SRNN), где решается задача воспроизведения свойств стохастической импульсной активности биологических цепей. Эти работы должны были продемонстрировать продуктивность SRNN сетей для решения когнитивных задач, сопоставимую с возможностями continuous-rate RNN (Kim et al., 2019, Xue et al., 2021, Yin et al., 2020).
Новые импульсные сети не только нацелены на достижение большей энергоэффективности, но также реализуют большее соответствие реальным биологическим структурам и обеспечивают преимущества для моделирования, включая наше улучшенное понимание о функционировании рабочей памяти (Diehl et al., 2016, Han et al., 2016, Pfeiffer and Pfeil, 2018, Taherkhani et al., 2020). Действительно, в недавнем исследовании было обнаружено, что сеть SRNN, обученная на задачах рабочей памяти, демонстрирует удивительно похожие временные параметры работы с аналогичными характеристиками работы отдельных нейронов в префронтальной коре головного мозга у приматов (Kim & Sejnowski, 2021). Дальнейший анализ модели выявил существование растормаживающей микро цепи, которая действует как критический компонент для долговременной нейронной активности, задействованной в обеспечении функционирования рабочей памяти в реальных и смоделированных сетях (Chaudhuri et al., 2015, Wasmuht et al., 2018). Авторы предполагают, что рекуррентные сети с подобными ингибирующими микро цепями могут быть общей чертой корковых областей, задействованных в механизмах кратковременной памяти. Это интересное направление исследований для нейробиологов, изучающих механизмы рабочей памяти в головном мозге.
Наконец, важно отметить, что, хотя есть четкие биологические доказательства импульсной активности во время периодов сохранения памяти в задачах с рабочей памятью, в большинстве исследований, сообщающих о постоянной активности в эти периоды, рассчитывалась усредненная импульсная активность по испытаниям, что потенциально маскировало важную динамику импульсов внутри самих измерений (Lundqvist, Herman, & Miller, 2018). Интересно отметить, что недавний однократный анализ задач с рабочей памятью продемонстрировал, что нейросети лобной коры демонстрируют редкие временные скоординированные всплески пиковой активности, а не постоянную активацию (Bastos et al., 2018, Lundqvist, Herman, Warden, et al., 2018, Lundqvist et al., 2016). Такие паттерны нейронной активности могут быть объяснены моделями временной (transient ) пиковой активности - такими как модель «синаптического аттрактора». В этом случае рабочая память формируется благодаря импульсам, сгенерированными с помощью синаптической пластичности Хебба, т.е. в промежутках между скоординированными по времени всплесками активности (Fiebig and Lansner, 2017, Huang and Wei, 2021, Lundqvist, Herman, and Miller, 2018, Mongillo et al., 2008, Sandberg et al., 2003). Эти модели предполагают, что синаптическая пластичность может позволить временно сохранять рабочую память энергоэффективным способом, который также менее восприимчив к помехам. В это же время всплески импульсов могут способствовать быстрому считыванию информации при необходимости (Huang and Wei, 2021, Lundqvist, Herman, and Miller, 2018). Дальнейшее исследование рабочей памяти в биологических исследованиях с использованием анализов отдельных испытаний, а также основанных на нейробиологии моделей искусственного интеллекта, обученных задачам с рабочей памятью, может помочь выяснить, когда и каким образом мозг использует импульсную активность нейронов и процессы, основанные на нейропластичности.
Выше мы обсудили, как открытия нейробиологии за последние несколько десятилетий сделали возможными создание вычислительных моделей рабочей памяти человека и человекоподобных обезьян. Эти исследования впоследствии послужили основой для создания искусственных нейронных сетей, предназначенных для моделирования структуры и функций нейронных сетей мозга, включая вложенные рекуррентные связи между нейронами и начальное моделирование импульсных свойств нейронов. Взаимодействие между нейронауками о мозге и индустрией искусственного интеллекта совершило полный круг, а недавние модели на основе сетей типа SRNN теперь способствуют созданию новых теорий о механизмах мозга, лежащих в основе рабочей памяти (Kim & Sejnowski, 2021). В следующем разделе мы продолжим изучение преимуществ партнерства между нейронауками и исследованиями искусственного интеллекта, обсуждая, как изучение и открытие принципов строения мозга вдохновляет разработку моделей искусственной визуальной обработки и как технологии и данные визуализации мозга помогают изучать процессы зрения и зрительного восприятия.
3. Декодируя зрительные системы мозга
Задача по созданию искусственных решений, способных имитировать биологическую систему зрительного восприятия, очень внушительна. Однако недавние попытки понять и реконструировать вентральный зрительный путь мозга, включающий серию взаимосвязанных корковых ядер, ответственных за иерархическую обработку и кодирование изображений в явные нейронные представления, показали большие перспективы в создании надежных систем ИИ. Возможности этих систем включают способность декодировать и интерпретировать процессы визуальной обработки в мозге, а также выполнение сложных навыков визуального интеллекта, включая распознавание изображений (Federer et al., 2020, Verschae and Ruiz-del-Solar, 2015), распознавание движения (Manchanda and Sharma, 2016, Wu et al., 2008) и отслеживание объектов (Luo et al., 2020, Soleimanitaleb et al., 2019, Zhang et al., 2021).
В попытках понять и измерить зрительное восприятие человека, модели машинного обучения, включая сети опорных векторов, были обучены декодировать простимулированные паттерны активности, которые аппараты фМРТ диагностировали в кортикальной области V1. Эти модели помогли сделать визуальную реконструкцию сопоставления локально представленных изображений (стимулов) и внутренних мысленных образов (Kamitani and Tong, 2005, Miyawaki et al., 2008). Аналогичным образом модели, обученные декодировать стимульную активность в высших зрительных областях коры головного мозга, смогли идентифицировать семантическое содержание образов сновидений (Horikawa, Tamaki, Miyawaki, & Kamitani, 2013). Результаты показывают, что визуальные качества как воспринимаемых, так и ментальных образов представлены в одних и тех же нейронных субстратах (нижние и верхние визуальные области для низкоуровневых перцептивных и высокоуровневых семантических признаков, соответственно). Это подтверждает предыдущие данные исследований на базе визуализации мозга с помощью ПЭТ, в котором визуальные ментальные образы активируют топографически организованную первичную зрительную кору - область, необходимую для зрительного восприятия (Kosslyn et al., 1993, Kosslyn et al., 1995). Кроме того, эти исследования дополняют данные из растущего количества публикаций об эффективности ИИ в декодировании данных визуализации мозга для объективного изучения процессов зрительного восприятия человека (Kamitani and Tong, 2005, Nishimoto et al., 2011). Наконец, помимо методов машинного обучения, использование сети глубокого генератора (DGN) в методе распознавания изображений с помощью очень глубокой сверточной нейронной сети (CNN) позволило использовать уровни иерархической обработки CNN таким же полным образом, как и при зрительном восприятии человека. При этом новый подход улучшает качество распознавания изображений на основе воспринимаемых или мысленных образов по сравнению с тем же CNN, но без DGN (Shen, Horikawa, Majima, & Kamitani, 2019).
Примечательно, что нейронные сети, обученные выполнять определённые зрительные задачи, часто, как сообщалось, приобретали свойства и возможности, аналогичные тем областям зрительной системы мозга, которые необходимы для решения тех же задач (Nonaka et al., 2020, Yamins and DiCarlo, 2016). Сообщалось в частности, что сети CNN, включающие иерархические уровни обработки, подобные слоям вентрального зрительного пути, и обученные задачам распознавания изображений, могут точно предсказывать нейронные реакции в нижневисочной (НВ) коре головного мозга, самой высокой области вентрального зрительного пути у приматов (Cadieu et al., 2014, Khaligh-Razavi and Kriegeskorte, 2014, Yamins et al., 2014). Более того, высокопроизводительная вычислительная оценка возможных моделей CNN выявила сильную корреляцию между способностью модели распознавать объекты и ее способностью прогнозировать нейронную активность НВ-коры (Yamins et al., 2014). Аналогичным образом, недавние исследования показали, что использование компонентов, которые точно предсказывают активность первичной зрительной коры (область V1), повышает точность сетей CNN за счет снижения их восприимчивости к ошибкам, возникающих из-за искажений изображения, т.н. white box adversarial attacks (Dapello et al., 2020). Хотя эти исследования, по-видимому, подтверждают достоинства brain-like систем ИИ для визуальной обработки, до недавнего времени не существовало метода объективного измерения этого подобия. Для решения этой задачи эту были предложены два новых показателя - Brain-Score (BS) (Schrimpf et al., 2020) и brain hierarchy (BH) score (Nonaka et al., 2020), ориентированные на оценку функционального сходства между моделями ИИ и зрительной системы человека. В частности, метрика BS измеряет способность моделей прогнозировать активность и поведение мозга, тогда как метрика BH предназначена для оценки степени иерархического сходства между слоями нейронных сетей и областями мозга (Nonaka et al., 2020, Schrimpf et al., 2020). Интересно, что хотя сравнение нескольких широко используемых моделей визуальной обработки AI выявило положительную корреляцию между BS и точностью распознавания изображений (то есть нейронные сети, подобные мозгу, работали лучше), при использовании метрики BH был получен противоположный результат (Nonaka et al., 2020, Schrimpf et al., 2020). Хотя эти результаты, по-видимому, противоречат друг другу, недавно разработанные высокопроизводительные нейронные сети, как правило, имели более низкий показатель BS, что позволяет предположить, что зрение на базе ИИ может сейчас отличаться от зрения человека (Schrimpf et al., 2020). Следует учитывать, особенно для работы с метрикой BS, что, хотя способность модели прогнозировать активность мозга может указывать на ее функциональное сходство, это не обязательно означает, что модель имитирует реальные механизмы мозга. Фактически, статистики уже давно подчеркивают важность различия между объяснительным и прогнозным моделированием (Shmueli, 2010). Таким образом, если мы намерены использовать системы ИИ для моделирования процессов зрения и развития нашего понимания о том, как устроено зрение у человека, важно, чтобы мы продолжали увеличивать структурное и механистическое соответствие между моделями ИИ и нейробиологическим существом дела, а также развивать метрики для измерения этого соответствия. Действительно, учитывая известную сложность зрительной системы мозга, включая существование нескольких типов клеток (Gonchar et al., 2008, Pfeffer et al., 2013) которые регулируются различными нейротрансмиттерами, (Azimi et al., 2020, Noudoost and Moore, 2011) вполне вероятно, что сравнительно упрощенные искусственные нейронные сети еще не приблизились к возможностям полного моделирования множества процессов, участвующих в биологическом зрении и зрительном восприятии.
Наконец, в дополнение к той пользе, которую нейронные сети, созданные благодаря изучению мозга, демонстрируют для задач распознавания изображений, эти же сети также начинают использоваться для инновационных и практических применений для исследований в области нейробиологии зрения. Один из примеров здесь - недавнее использование искусственной нейронной сети для создания точных зрительных образов, которые можно проецировать непосредственно на сетчатку приматов и обеспечивать, таким образом, контроль активности отдельных нейронов или групп нейронов вентрального пути (область V4) (Bashivan, Kar, & DiCarlo, 2019). Эти результаты указывают на потенциал этого метода для неинвазивного контроля нейронной активности в зрительной коре головного мозга - мощного инструмента для нейробиологов. В следующем разделе мы дополнительно опишем, как ИИ в настоящее время все чаще используется для развития исследований в области нейробиологии, в том числе, для объективного анализа поведения животных и его нейронных основ.
4. ИИ для анализа поведения и его нейронных коррелятов
Понимание взаимосвязи между нейронной активностью и поведением - важнейшая цель для нейронаук. Недавно разработанные крупномасштабные методы нейровизуализации позволили собрать огромное количество данных, связанных с решением поведенческих задач у животных (Ahrens and Engert, 2015, Cardin et al., 2020, Weisenburger and Vaziri, 2016, Yang and Yuste, 2017). Вместе с тем, учитывая количество и скорость отдельных движений животных, выполняемых во время поведенческих задач, а также сложность идентификации отдельных нейронов среди больших и перегруженных наборов данных нейровизуализации, исследователям было сложно эффективно и объективно проанализировать поведение животных и их точные нейронные корреляты (Berman, 2018, Giovannucci et al., 2019, von Ziegler et al., 2021).
Чтобы решить проблемы, связанные с маркировкой поведения животных, исследователи обратились за помощью к ИИ. За последние несколько лет было разработано несколько наборов программных инструментов с открытым исходным кодом, основанных на глубоком обучении, и предназначенных для трехмерной безмаркерной оценки позы для нескольких видов и типов поведения животных (Arac et al., 2019, Forys et al., 2020, Graving et al., 2019, Günel et al., 2019, Mathis et al., 2018, Nath et al., 2019, Pereira et al., 2019). Вероятно, наиболее широко используемой из них была DeepLabCut, глубокая нейронная сеть, которая включает в себя детекторы функций из DeeperCut - модели оценки позы для разных людей. Эта сеть способна при минимальном обучении точно оценить позы нескольких животных, которые часто используются в лабораторных исследованиях (Lauer et al., 2021, Mathis et al., 2018, Nath et al., 2019). Полученные таким образом данные, описывающие позы, затем можно комбинировать с различными инструментами контролируемого машинного обучения (с учителем), включая JAABA (Kabra, Robie, Rivera-Alba, Branson, & Branson, 2013) и SimBA (Nilsson et al., 2020), которые, в свою очередь, позволяют автоматически идентифицировать определенные типы поведения, отмеченные людьми, такие как уход (grooming), замирание и различные виды социального поведения. Было продемонстрированно, что комбинирование подобных инструментов может соответствовать человеческим возможностям для точной количественной оценки нескольких типов поведения и может превзойти коммерческое ПО для отслеживания (треккинг) животных (Sturman et al., 2020). В дополнение к контролируемому машинному обучению для анализа данных о поведении животных было разработано несколько инструментов неконтролируемого машинного обучения (без учителя), в том числе MotionMapper (Berman, Choi, Bialek, & Shaevitz, 2014), MoSeq (Wiltschko et al., 2015) и совсем недавно uBAM (Brattoli et al., 2021). Эти методы неконтролируемого машинного обучения позволяют объективно сегментировать весь дипазон поведения животных и потенциально могут выявить тонкие поведенческие черты, которые могут быть упущены людьми (Kwok, 2019).
Как и в случае с данными о поведении животных, анализ и описание данных нейровизуализации животных занимает много времени и в значительной степени страдает от большой вариативности описаний различных авторов (Giovannucci et al., 2019). Такие сложности, как пример, характерны для задач классификации типов отдельных нейронов, где применяются методы крупномасштабной регистрации нейронной активности. Подобные исследования могут быть выполнены с помощью визуализации in-vivo и использовать в качестве маркеров активности индикаторы кальция (Pnevmatikakis, 2019). Наиболее широко использовались подходы неконтролируемого машинного обучения (без учителя), использующие алгоритмы сегментации на основе типов активностей, включая анализ главных и независимых компонентов (PCA / ICA) (Mukamel, Nimmerjahn, & Schnitzer, 2009), изменчивость ограниченной неотрицательной матричной факторизации (CNMF) (Friedrich et al., 2021, Guan et al., 2018, Pnevmatikakis et al., 2016, Zhou et al., 2018) и словарное обучение (Giovannucci et al., 2017, Petersen et al., 2017) для извлечения сигналов интересующих нейроноподобных областей из общего фона.
Хотя эти методы и обладают преимуществом в том, что они не требуют обучения и, следовательно, могут применяться для анализа различных типов клеток и даже для получения изображений дендритов, они часто страдают от ложноположительных результатов и не могут идентифицировать нейроны с низкой активностью. Это затрудняет продольное отслеживание активности нейронов – тех из них, которые могут быть временно неактивными в определенных контекстах (Lu et al., 2018). Чтобы устранить это ограничение, было разработано несколько контролируемых методов глубокого обучения, сегментирующих нейроны на основе характеристик, извлеченных из специально помеченных наборов данных визуализации на основе кальция (Apthorpe et al., 2016, Denis et al., 2020, Giovannucci et al., 2019, Klibisz et al., 2017, Soltanian-Zadeh et al., 2019, Xu et al., 2016). Многие из этих инструментов, включая U-Net2DS (Klibisz et al., 2017), STNeuroNet (Soltanian-Zadeh et al., 2019) и DeepCINAC (Denis et al., 2020) обучают сети CNN сегментировать нейроны в 2D или 3D измерениях. Также было продемонстрировано, что эти инструменты способны обнаруживать нейроны с точностью, близкой к человеческим возможностям, и превосходить возможности других методов методов, включая PCA / ICA, обеспечивая точное, быстрое и воспроизводимое обнаружение и классификацию нейронов (Apthorpe et al., 2016, Giovannucci et al., 2019, Mukamel et al., 2009).
Наконец, в настоящее время предпринимаются усилия по объединению анализа поведения животных на базе ИИ и данных нейровизуализации не только для автоматического соотнесения поведения и его нейронных коррелятов, но и для прогнозирования и моделирования поведения животных на основе проанализированных данных нервной активности.
Одним из таких недавно разработанных решений является BehaveNet, вероятностная структура для неконтролируемого анализа (unsupervised analysis ) видеозаписей поведения с полу-контролируемым декодированием нейронной активности (Batty et al., 2019). Полученные на базе подобных решений генеративные модели способны декодировать данные о нейронной активности животных и создавать вероятностные видео-симуляции поведения животных в полном разрешении (Batty et al., 2019). Дальнейшее развитие технологий, предназначенных для автоматизации сопоставления паттернов нейронной активности с поведенческими мотивами, может помочь выяснить, как отдельные паттерны нейронной активности связаны с конкретными движениями (Musall et al., 2019). Помимо представленных здесь исследований, которые описывают подходы к анализу и моделированию здорового поведения и здоровой активности мозга у животных, также изучалось использование ИИ для понимания и выявления аномального функционирования мозга. В следующем разделе мы обсудим основанные на ИИ подходы к объективной классификации психических расстройств и то, как подходы глубокого обучения использовались для моделирования таких расстройств в искусственных нейронных сетях.
5. Связь между индустрией ИИ и психиатрией
Несмотря на существование принятых стандартизированных диагностических критериев в клинических руководствах, таких как Руководство по диагностике и статистике психических расстройств (DSM) и Международная классификация болезней (ICD), психические расстройства и нарушения развития по-прежнему в первую очередь идентифицируются на основе субъективных поведенческих симптомов пациента и на основе тестов, опросников. Однако эти методы часто оказываются ненадёжными из-за их фактора субъективности (Wakefield, 2016), а также они формируют интерпретационный разрыв между феноменологией и нейробиологией. Вместе с тем, за последние несколько десятилетий огромные достижения в области вычислительной техники, наряду со сбором больших массивов данных нейровизуализации, позволили исследователям начать восполнять этот пробел, используя ИИ для выявления, моделирования и, возможно, даже лечения психических расстройств и нарушений развития.
Одним из самых многообещающих направлений исследований становится использование ИИ для объективной идентификации заболеваний головного мозга. Благодаря использованию методов машинного обучения, стало возможным построение классификаторов для прогнозирования диагностических признаков психических расстройств и нарушений развития (Bzdok and Meyer-Lindenberg, 2017, Cho et al., 2019, Zhou et al., 2020 для обзора). Результаты, полученные с помощью этих вероятностных классификаторов, обеспечивают определенную степень достоверности классификации, которую можно интерпретировать как нейрональную предрасположенность к расстройству, и представляют новые биологические системы определения расстройств. Однако хотя многие из этих классификаторов, в том числе для шизофрении (Greenstein et al., 2012, Orrù et al., 2012, Yassin et al., 2020) и РАС (расстройств аутистического спектра, Eslami et al., 2021, Yassin et al., 2020), и способны точно идентифицировать предполагаемое расстройство, основная критика заключалась в том, что они часто подтверждаются только в одной выборочной группе. Чтобы решить эту проблему, в последнее время были предприняты попытки создать надежные классификаторы с использованием более крупных и разнообразных выборочных данных. Это привело к идентификации классификаторов для РАС и шизофрении, которые можно было бы обобщить на независимые выборочные группы независимо от этнической принадлежности, страны и производителя МРТ, и при этом продемонстрировать точность классификации от 61% до 76% (Yamada et al., 2017, Yoshihara et al., 2020). Помимо машинного обучения, также применялись методы глубокого обучения нейросетей для классификации психических расстройств и нарушений развития (Durstewitz et al., 2019, Koppe et al., 2021). Основным преимуществом глубоких нейронных сетей является то, что их многослойный дизайн делает их особенно подходящими для изучения высокоуровневых представлений на основе сложных необработанных данных. Сравнивая с методами машинного обучения, такой подход позволяет извлекать информацию из данных нейровизуализации, обладающих гораздо меньшим количеством параметров (Durstewitz et al., 2019, Jang et al., 2017, Koppe et al., 2021, Plis et al., 2014, Schmidhuber, 2015). Сравнительно недавно были опубликованы данные о том, что несколько глубоких нейронных сетей эффективно классифицируют нарушения мозга на основе данных нейровизуализации, включая шизофрению (Oh et al., 2020, Sun et al., 2021, Yan et al., 2019, Zeng et al., 2018), аутизм (Guo et al., 2017, Heinsfeld et al., 2018, Misman et al., 2019, Raj and Masood, 2020), СДВГ (Chen, Li, et al., 2019, Chen, Song, and Li, 2019, Dubreuil-Vall et al., 2020), и депрессию (Li et al., 2020, Uyulan et al., 2020). Дальнейшая разработка моделей искусственного интеллекта дименсиональной психиатрии на основе анализа цифровых данных, вероятно, поможет решить текущие недостатки диагностики на основе категориальных критериев.
Помимо классификации расстройств на основе данных нейровизуализации, ИИ также все чаще используется для моделирования различных психиатрических расстройств и нарушений развития (Lanillos et al., 2020). Эта работа в основном началось в 1980-х и 90-х годах с исследований, моделирующих шизофрению и РАС с использованием искусственных нейронных сетей (Cohen, 1994, Cohen and Servan-Schreiber, 1992, Hoffman, 1987, Horn and Ruppin, 1995). Многие из этих моделей были вдохновлены биологическими доказательствами структурных и синаптических аномалий, связанных с конкретными симптомами психического расстройства. Например, признаки снижения метаболизма во фронтальной коре головного мозга (Feinberg, 1983, Feinberg et al., 1965, Feinberg et al., 1964) и аберрантная синаптическая регенерация аномальных структур головного мозга (Stevens, 1992) побудили учёных к созданию нейронных сетей, предназначенных для моделирования того, как синаптическое сокращение (прунинг, Hoffman & Dobscha, 1989) и реактивная синаптическая реорганизация (Horn and Ruppin, 1995, Ruppin et al., 1996) могут объяснить бред и галлюцинации у больных шизофренией. Точно так же нейросети для избыточных или ослабленных нейронных связей (Cohen, 1994, Cohen, 1998, Thomas et al., 2011) помогли смоделировать биологические наблюдения аномальной плотности нейронов в кортикальных, лимбических и мозжечковых областях (Bailey et al., 1998, Bauman, 1991, Bauman and Kemper, 1985). Предполагается, что именно они способствуют регрессу развития психики при РАС. Применение компьютерных моделей, разработанных в когнитивной науке, к психическим расстройствам было признано важным подходом к пониманию когнитивных механизмов, лежащих в основе психиатрических симптомов. Интересно, что в последнее время модели на базе глубокого обучения, включая многомерные модели с использованием сетей RNN для шизофрении (Yamashita & Tani, 2012, Idei et al., 2017, Idei et al., 2018) начали внедряться в роботов (humanoid robot), что позволяет осуществлять прямое наблюдение и сравнение смоделированного поведения с поведением пациентов.
Наконец, в ближайшем будущем ИИ может начать играть важную роль в лечении психических расстройств и нарушений развития. Сейчас для лечения подобных расстройств, включая депрессию и тревогу, начинает тестироваться метод компьютерно-ассистирующей терапии (Computer-assisted therapy , CAT) включающий применение чат-ботов с ИИ для проведения когнитивно-поведенческой терапии (Carroll and Rounsaville, 2010, Fitzpatrick et al., 2017, Fulmer et al., 2018). Хотя применение подобных CAT-систем все еще находится в зачаточном состоянии, решения подобного уровня потенциально способны предложить очевидные преимущества с точки зрения цены и доступности в сравнении с методами лечения под руководством человека. Вместе с тем, их эффективность по сравнению с используемыми в настоящее время терапевтическими методами еще предстоит тщательно изучить. Кроме того, определение классификаторов психических расстройств на основе методов нейровизуализации (описанных выше) сделало возможным запуск технологии типа нейрофидбэк (нейротерапия на основе биологической обратной связи, БОС-терапия) с применением ресурсов фМРТ в реальном времени с помощью которой, пациенты пытаются нормализовать свой собственный паттерн нейросвязей в мозге с помощью технологии нейрофидбэк. Мета анализ таких исследований показал, что лечение с применением технологии нейрофидбэк приводит к значительному облегчению симптомов нескольких расстройств, включая шизофрению, депрессию, тревожное расстройство и РАС, что предполагает потенциальную пользу от дальнейшего использования таких цифровых методов лечения (Dudek and Dodell-Feder, 2020, Schoenberg and David, 2014).
6. Заключение
С момента начала исследований ИИ в середине прошлого века мозг служил основным источником вдохновения для создания искусственных систем интеллекта. Это в значительной степени основано на том, что мозг является доказательством концепции существования универсальной и всесторонней интеллектуальной системы, способной к восприятию, планированию и принятию решений, и, следовательно, предлагает привлекательный шаблон для разработки ИИ. В этом обзоре, основанном на темах, представленных на Международном симпозиуме по искусственному интеллекту и науке о мозге 2020 года, мы обсудили, как разнообразные открытия в нейронауках используются для создания новых и оптимизации существующих систем ИИ. В частности, это привело к развитию многомерных глубоких нейронных сетей, которые часто включают иерархические архитектуры, созданные на базе аналогичных иерархических структур мозга. Такие решения способны на настоящие интеллектуальные подвиги, включая распознавание визуальных объектов и решение когнитивных задач на основе памяти. Достижения в области искусственного интеллекта также помогли ускорить прогресс в общих нейронауках. Здесь мы привели данные, как использование машинного обучения и нейронных сетей для автоматизированного анализа больших данных произвело революцию в поведенческом анализе животных и нейровизуализационных исследованиях, а также стало применяться для объективной классификации психических расстройств и нарушений развития.
Важно отметить, что, хотя в текущем обзоре это не обсуждалось подробно, следует учитывать, что отношения между ИИ и нейронаукой не просто двусторонние, но также, по всей видимости, включают области когнитивной науки ((see Battleday et al., 2021, Cichy and Kaiser, 2019, Forbus, 2010, Kriegeskorte and Douglas, 2018 ). Действительно, на протяжении многих лет большая часть исследований искусственного интеллекта основывалась на теориях функционирования мозга, разработанных учеными-когнитивистами (Elman, 1990, Hebb, 1949, Rumelhart and McClelland, 1986). Например, сверточные нейронные сети, обсуждавшиеся ранее в этом обзоре (в разделе о визуальной обработке), частично были вдохновлены вычислительными моделями разума, включая такие принципы, как нелинейные карты характеристик и объединение входных данных (pooling of inputs), которые в свою очередь получены из нейрофизиологических исследований животных (Battleday et al., 2021, Fukushima, 1980, Hubel and Wiesel, 1962, Mozer, 1987, Riesenhuber and Poggio, 1999). В свою очередь, нейронные сети использовались для создания новых когнитивных моделей интеллектуальных способностей, включая восприятие, память и язык, что привело к развитию направления коннекционизма в когнитивной науке (Barrow, 1996, Fodor and Pylyshyn, 1988, Mayor et al., 2014, Yamins and DiCarlo, 2016). Если мы собираемся использовать ИИ для моделирования и потенциального объяснения функционирования мозга (основного направления когнитивной науки) важно, чтобы мы продолжали использовать не только биологические данные из исследований в нейронауках, но и когнитивные модели. Такой подход позволит создавать более продвинутый дизайн искусственных нейронных сетей для всех его основных составляющих - архитектура, механизмы и алгоритмы.
Несмотря на свои достижения и кажущуюся сложность, современные системы искусственного интеллекта все еще заметно уступают нативным нейросетевым возможностям мозга и в большинстве случаев всё еще не имеют возможности точно моделировать функции мозга (Bae et al., 2021, Barrett et al., 2019, Hasson et al., 2020, Pulvermüller et al., 2021, Tang et al., 2019). Основное ограничение состоит в том, что, как правило, современные модели все еще не могут моделировать мозг на нескольких уровнях: от синаптической реорганизации и влияния нейромодуляции нейромедиаторов, а также гормонов на возбудимость нейронов - на микроуровне, до крупномасштабной синхронизации пиковой активности и глобальной взаимосвязанности - на макроуровне. Фактически, интеграция различных моделей функционирования мозга, в том числе для моделей коры головного мозга, описанных в этом обзоре, а также для моделей других областей мозга, в том числе лимбической и моторной (Kowalczuk and Czubenko, 2016, Merel et al., 2019, Parsapoor, 2016), остается одной из самых больших проблем при создании общей системы искусственного интеллекта (AGI), способной моделировать работу всего мозга. Несмотря на эти трудности, ясно, что продолжающееся взаимодействие между нейронауками и индустрией ИИ, несомненно, ускорит прогресс в обеих областях.