Нейросети и глубокое обучение: онлайн-учебник, послесловие: существует ли простой алгоритм для создания интеллекта?

В данной книге мы фокусировались на основных деталях устройства нейросетей: как они работают, как их можно использовать в задачах распознавания последовательностей. Этот материал возможно непосредственно применять на практике. Но, конечно, одна из причин интереса к НС – надежда, что когда-нибудь они смогут выйти за пределы простого распознавания последовательностей. Возможно, их, или какие-то другие подходы на основе цифровых компьютеров, в итоге можно будет применять для создания думающих машин, способных поспорить с человеческим интеллектом или превзойти его? Эта идея выходит далеко за пределы обсуждаемого в книге материала – или ноу-хау любого человека на планете. Но порассуждать на эту тему всегда интересно.

Было очень много споров по поводу того, могут ли компьютеры в принципе достичь уровня человеческого интеллекта. Я не буду рассматривать этот вопрос. Несмотря на дебаты, я считаю, что не существует серьёзных сомнений в возможности создания разумного компьютера – хотя эта задача может оказаться чрезвычайно сложной, и, возможно, выйти далеко за пределы существующих технологий – а текущие критики однажды окажутся в положении виталистов прошлого.

Вместо этого я хочу изучить другой вопрос: существует ли простой набор принципов, которые можно использовать для объяснения такого явления, как интеллект? В частности, более конкретно, существует ли простой алгоритм для создания интеллекта?

Идея существования поистине простого алгоритма для создания интеллекта довольно смелая. Она, вероятно, звучит слишком оптимистично для того, чтобы быть правдой. У многих людей есть стойкое интуитивное ощущение того, что у интеллекта есть значительная сложность, которую невозможно упростить. Они так впечатлены потрясающим разнообразием и гибкостью человеческой мысли, что делают вывод о невозможности существования простого алгоритма для создания интеллекта. Но, несмотря на эту интуицию, не думаю, что стоит делать поспешные выводы по этому вопросу. История науки заполнена примерами того, как явление, изначально казавшееся чрезвычайно сложным, позднее было объяснено простым, но мощным набором идей.

Рассмотрим, к примеру, ранние дни астрономии. С древних времён было известно о наличии в небе целого зверинца разных объектов: солнце, луна, планеты, кометы, звёзды. Эти объекты ведут себя совершенно по-разному: звёзды, к примеру, движутся по небу величаво и регулярно, кометы же появляются будто бы из ниоткуда, пролетают по небу, и исчезают. В XVI столетии лишь наивный оптимист мог бы представить себе, что все движения этих объектов можно будет объяснить простым набором принципов. Но в XVII веке Ньютон сформулировал теорию всемирного тяготения, которая объяснила не только всё это движение, но и земные явления, такие, как приливы и поведение снарядов, связанных с Землёй. В ретроспективе наивный оптимист XVI века кажется пессимистом, просящим слишком малого.

Конечно, в науке есть гораздо больше подобных примеров. Рассмотрим мириады химических веществ, из которых состоит наш мир, так красиво объясняемых периодической таблицей Менделеева, которая в свою очередь строится по нескольким простым правилам, которые можно получить из квантовой механики. Или загадка сложности и разнообразия биологического мира, чьи истоки, оказывается, лежат в принципе эволюции через естественный отбор. Эти и многие другие примеры говорят, что было бы неразумно исключать наличие простого объяснения работы интеллекта на основе того, что, что делает наш мозг – и то, что в настоящее время представляет собой наилучший пример интеллекта – выглядит очень сложным.

В данном послесловии я предполагаю, что компьютер можно считать разумным, если его возможности совпадают или превосходят возможности мышления человека. То есть, вопрос существования алгоритма интеллекта – это вопрос существования алгоритма, способного думать примерно так же, как человек. Стоит заметить, что в принципе могут существовать формы разума, не включающие в себя мысли, подобные человеческим, и при этом каким-то интересным образом превосходящие разум людей.

С другой стороны, несмотря на все эти оптимистичные примеры, логически говоря, возможно, что интеллект можно объяснить только через работу большого количества фундаментально различных механизмов. В случае с нашим мозгом такие механизмы могли возникнуть, как реакция на множество различных запросов от естественного отбора в ходе эволюции. Если верна эта точка зрения, то интеллект включает в себя неустранимую сложность, и создать простой алгоритм интеллекта невозможно.

Какая из двух этих точек зрения верна?

Для углубления в этот вопрос давайте зададим тесно связанный с ним, но другой – есть ли простое объяснение принципов работы человеческого мозга? В частности, изучим способы количественной оценки сложности мозга. Первый подход – изучение мозга с позиций коннектома. Речь идёт непосредственно о связях: сколько нейронов в мозге, сколько нейроглий, сколько связей между нейронами. Вы, наверно, сталкивались с этими цифрами и ранее: в мозге находится порядка 100 млрд нейронов, 100 млрд нейроглий и 100 триллионов связей между нейронами. Эти цифры потрясают. И устрашают. Если нужно разобраться в деталях всех этих связей (не говоря уже о нейронах и нейроглиях) с тем, чтобы разобраться в том, как работает мозг, то у нас определённо не получится простого алгоритма для интеллекта.

Есть и вторая, более оптимистичная точка зрения на мозг – с позиций молекулярной биологии. Идея в том, чтобы спросить, сколько генетической информации нужно для описания архитектуры мозга. Чтобы понять это, начнём с рассмотрения генетических различий между людьми и шимпанзе. Вы, вероятно, сталкивались с расхожим утверждением о том, что «человек на 98% шимпанзе». Иногда цифры варьируются от 95% до 99%. Эти вариации случаются потому, что изначально цифры сравнивали через сравнение частичных проб генома человека шимпанзе, а не геномов целиком. Однако в 2007 году геном шимпанзе был секвенирован полностью, и теперь мы знаем, что ДНК человека и шимпанзе отличаются примерно в 125 млн спаренных оснований ДНК. Это из 3 млрд спаренных оснований в каждом геноме. Так что нельзя говорить о том, что человек на 98% шимпанзе – правильнее будет говорить о 96%.

Сколько информации содержится в 125 млн спаренных оснований? Каждое спаренное основание можно пометить одной из четырёх возможностей – «букв» генетического кода, оснований аденин, тимин, гуанин и цитозин. Так что каждую пару можно описать двумя битами информации – как раз чтобы определить одну из четырёх меток. Так что 125 млн спаренных оснований эквивалентны 250 млн бит информации. Такова генетическая разница между людьми и шимпанзе!

Конечно, эти 250 млн бит отвечают за всю генетическую разницу между людьми и шимпанзе. А нас интересует только разница, связанная с мозгом. К сожалению, никто не знает, какая доля генетического различия сможет описать разницу в мозгах. Но, допустим, просто для ясности, что примерно половина из 250 млн бит отвечает за эту разницу. Получается 125 млн бит.

125 млн бит – впечатляюще большая цифра. Посмотрим, насколько это много, переведя её в более понятные термины. В частности, насколько большим был бы эквивалентный текст на английском языке? Оказывается, что информационное содержимое английского языка соответствует примерно одному биту на букву. Звучит, как довольно низкая оценка – ведь в алфавите же 26 букв – однако в английском тексте содержится огромное количество избыточности. Конечно, можно утверждать, что и в геноме есть избыточность, и что два бита на спаренное основание – это перебор. Но мы это проигнорируем, поскольку в худшем случае это значит, что мы переоценим генетическую сложность мозга. Предположив всё это, мы увидим, что генетическая разница между нашим мозгом и мозгом шимпанзе эквивалентна 125 млн букв, или 25 млн английских слов. Это примерно в 30 раз больше, чем содержится в Библии короля Якова.

Большой объём информации. Но не непостижимо большой. Он попадает в масштабы человеческого разума. Возможно, ни один человек не сможет понять всего, что записано в этом коде, но группа людей, возможно, сможет коллективно понять его, пользуясь подходящей специализацией. И, хотя, это большой объём информации, он оказывается крохотным по сравнению с информацией, необходимой для описания 100 млрд нейронов, 100 млрд нейроглий и 100 триллионов связей, существующих в мозге. Даже если бы мы использовали простое и грубое описание – допустим, 10 чисел с плавающей запятой для описания каждой связи – это потребовало бы 70 квадриллионов бит. Это значит, что генетическое описание в полмиллиарда раз менее сложное, чем описание полного коннектома человеческого мозга.

Из этого понятно, что геном никак не может содержать детального описания всех наших нейронных связей. Ему приходится описывать только общую архитектуру и базовые принципы, лежащие в основе мозга. Но этой архитектуры и этих принципов оказывается достаточно для того, чтобы гарантировать, что люди, вырастая, станут разумными. Конечно, тут не без подвохов – растущим детям требуется здоровое и стимулирующее окружение и хорошее питание, чтобы достичь интеллектуального потенциала. Однако, если мы вырастаем в разумной среде, то у здорового человека появляется поразительный интеллект. В каком-то смысле информация в наших генах содержит суть того, как мы думаем. Более того, принципы, содержащиеся в этой генетической информации, вероятно, доступны нашему пониманию.

Приведённые цифры – это очень грубые оценки. Возможно, что 125 млн бит окажется чрезмерным преувеличением, и что существует гораздо более компактный набор ключевых принципов, лежащих в основе человеческого мышления. Может быть, большая часть из этих 125 млн бит – просто подстройка относительно второстепенных деталей. А, возможно, мы слишком консервативно подходим к вычислению этих цифр. Было бы здорово, если бы это было именно так! Для наших текущих целей ключевым моментом будет следующий: архитектура мозга сложна, но не настолько, как вы могли бы подумать, оценивая количество связей в мозге. Взгляд на мозг с точки зрения молекулярной биологии говорит о том, что люди однажды смогут понять базовые принципы, лежащие в основе архитектуры мозга.

В последних параграфах я проигнорировал тот факт, что 125 млн бит описывают лишь генетическую разницу между мозгом человека и мозгом шимпанзе. Не все способности нашего мозга существуют благодаря этим 125 млн бит. Шимпанзе и сами неплохо умеют соображать. Возможно, ключ к интеллекту лежит в основном в тех умственных способностях (и генетической информации), которые есть и у шимпанзе, и у человека. Если это так, то мозг человека может быть просто небольшим апгрейдом мозга шимпанзе, по крайней мере, в терминах сложности базовых принципов. Несмотря на общепринятый человеческий шовинизм, касающийся наших уникальных возможностей, это не так уж невероятно: генетические линии развития человека и шимпанзе разошлись всего 5 млн лет назад, мгновение по эволюционным масштабам. Однако, в отсутствие более убедительных аргументов, я остаюсь на стороне общепринятого человеческого шовинизма: думаю, что самые интересные принципы, лежащие в основе человеческих мыслей, содержатся в этих 125 млн битах, а не в той части генома, которая у нас с шимпанзе общая.

Принятие точки зрения на мозг, присущей молекулярной биологии, даёт нам уменьшение сложности нашего описания примерно на девять порядков. Это вдохновляет, но не говорит нам о том, возможно ли создать поистине простой алгоритм для интеллекта. Можем ли мы и дальше уменьшать сложность? И, что более важно, можем ли мы решить вопрос возможности создания простого алгоритма для интеллекта?

К сожалению, пока не существует достаточно убедительных свидетельств для того, чтобы решить этот вопрос. Позвольте мне описать некоторые из имеющихся свидетельств с тем подвохом, что обзор этот будет кратким и неполным, и призван лишь дать вам представление о некоторых недавних научных работах, а не полностью описать всё, что известно на данный момент.

Среди свидетельств, говорящих о возможности существования простого алгоритма для интеллекта находится эксперимент, о котором сообщали в журнале Nature в апреле 2000 года. Команда учёных под руководством Мриганки Сур «перепрошила» мозг новорожденных хорьков. Обычно сигналы из глаз хорька передаются в часть мозга, известную под названием зрительной коры. Но у этих хорьков учёные перенаправили сигнал так, чтобы он шёл в слуховую кору, то есть, тот участок мозга, который обычно используется для слуха.

Чтобы понять, что произошло после этого, нужно немного разобраться в зрительной коре. Зри тельная кора содержит множество ориентационных столбиков [orientation columns]. Это небольшие пластинки из нейронов, каждая из которых реагирует на зрительную стимуляцию с определённого направления. Их можно представить в виде крохотных датчиков направления: когда кто-нибудь светит ярким светом с определённого направления, активируется соответствующий ориентационный столбик. Если свет движется, активируется другой ориентационный столбик. Одна из наиболее важных высокоуровневых структур зрительной коры – ориентационная карта, на которой размечено расположение ориентационных столбиков.

Учёные обнаружили, что если зрительный сигнал из глаз хорька перенаправлять на слуховую кору, то слуховая кора изменяется. В слуховой коре начинают появляться ориентационные столбики и ориентационная карта. Она получается менее упорядоченной, чем ориентационная карта в зрительной коре, но совершенно ясно, что это именно она. Более того, учёные провели простейшие проверки реакции хорьков на зрительные стимулы, тренируя их реагировать по-разному, когда свет возникал с разных направлений. Судя по тестам, хорьки всё ещё могли «видеть», по крайней мере, рудиментарно, используя слуховую кору.

Это потрясающий результат. Он говорит о том, что в основе того, как разные части мозга учатся реагировать на сенсорные данные, лежат общие принципы. Такая общность даёт аргументы в пользу идеи существования в основе разума набора простых принципов. Однако не стоит обманывать себя, полагая, что зрение хорьков в этих экспериментах было очень хорошим. Тесты на поведение проверяли только грубые аспекты зрения. Конечно, мы не можем спросить хорьков, «научились ли они видеть». Поэтому эксперименты не доказали, что перепрошитая слуховая кора давала хорькам высококачественное зрение. Поэтому эти эксперименты дают очень ограниченную поддержку идеи о том, что в основе обучения разных частей мозга лежат сходные принципы.

Какие существуют свидетельства, опровергающие наличие простого алгоритма для интеллекта? Некоторые из них происходят из областей эволюционной психологии и нейроанатомии. С 1960-х эволюционные психологи обнаружили широкий спектр человеческих универсалей, моделей поведений, свойственных всем людям, во всех культурах и разного воспитания. Среди них – табу на инцест матери и сына, использование музыки и танцев, а также более сложные лингвистические структуры, вроде использования бранных слов (т.е. запрещённых слов), местоимений, и даже таких базовых структур, как глаголы. Эти результаты дополняет большое количество свидетельств из нейроанатомии, из которых следует, что многие закономерности поведения людей управляются определёнными частями мозга, и что эти части мозга похожи у всех людей. Всё вместе это говорит о том, что многие очень специализированные закономерности поведения прошиты в определённых частях нашего мозга.

Некоторые люди делают из этих результатов выводы о том, что для этих многих функций мозга требуются отдельные объяснения, и что в результате деятельность мозга нельзя упростить, то есть, нельзя дать простое объяснение того, как работает мозг (и, возможно, создать простой алгоритм для интеллекта). К примеру, один известный исследователь ИИ, придерживающийся такой точки зрения – это Марвин Минский. В 1970-х и 1980-х годах он разработал свою теорию «Общества разума», на основе идеи о том, что человеческий разум – это крупное сообщество простых, но очень разных вычислительных процессов, которые он назвал агентами. В своей книге, описывая теорию, Минский суммирует всё, что он считает преимуществом такой точки зрения:

Какой фокус делает нас разумными? Фокус в том, что фокуса нет. Мощь разума произрастает из нашего большого разнообразия, а не из какого-то одного простого и идеального принципа.

Отвечая на обзоры своей книги, Минский далее порассуждал о мотивации для написания книги, приводя похожий на предыдущий аргумент на основе нейроанатомии и эволюционной психологии:

Теперь мы знаем, что сам мозг состоит из сотен различных участков и ядер, у каждого из которых имеются значительно отличающиеся архитектурные элементы и свойства, и что многие из них участвуют в реализации явно разных аспектов нашей умственной деятельности. Современный комплекс знаний показывает, что многие явления, обычно описываемые такими общепринятыми понятиями, как «интеллект» или «понимание» на самом деле представляют собой сложные аппаратные комплексы.

Минский, конечно, не один придерживается подобной точки зрения; я привожу его в качестве примера, стоящего на стороне подобных аргументов. Я нахожу такие аргументы интересными, но не считаю, что свидетельства в их пользу достаточно убедительны. Действительно, мозг состоит из большого количества разных участков, выполняющих разные функции, но из этого не следует, что невозможно дать простое объяснение работы мозга. Возможно, эти архитектурные различия возникают на основе общего основного принципа, так же, как движения комет, планет, Солнца и звёзд возникают из единой силы притяжения. Ни Минский, ни кто-то ещё не смогли убедительно доказать отсутствие таких принципов.

Я предубеждён в пользу существования простого алгоритма для интеллекта. В основном эта идея, несмотря на неубедительные аргументы, приведённые выше, нравится мне потому, что она оптимистична. В деле научных исследований неоправданный оптимизм обычно оказывается более продуктивным, чем обоснованный пессимизм, поскольку у оптимиста достаёт смелости пытаться пробовать что-то новое. Это путь к открытиям, даже если вы открываете не то, на что надеялись изначально. Пессимист может оказаться более «правым» в узком смысле, но откроет меньше, чем оптимист.

Эта точка зрения резко контрастирует с тем, как мы обычно оцениваем идеи, пытаясь понять, правильные они или неверные. Это разумная стратегия при работе с повседневными или небольшими исследованиями. Однако, возможно, оценивать таким способом большие и смелые идеи, определяющие целую программу исследований, будет неверно. Иногда по поводу правильности идеи у нас есть лишь слабые свидетельства. Мы можем смиренно отказаться следовать ей, и всё своё время потратить на тщательное изучение доступных свидетельств, пытаясь понять, какие из них правдивы. Или мы можем просто принять, что пока никто точно не знает, и активно поработать над развитием большой и смелой идеи, понимая, что, хотя у нас нет гарантий успеха, только таким образом мы можем расширять границы нашего понимания.

Учитывая всё это, в наиболее оптимистичном его виде, я всё же не верю, что мы когда-нибудь найдём простой алгоритм для интеллекта. Точнее говоря, я не верю, что мы когда-нибудь найдём возможность написать на python (или на C, или на Lisp, или на чём-то ещё) очень короткую программу — допустим, вплоть до тысячи строк кода – реализующую искусственный интеллект. И я не думаю, что мы когда-нибудь найдём очень просто описываемую нейросеть, способную реализовать ИИ. Но я верю, что стоит действовать так, будто мы можем найти такую программу или сеть. Таков путь к идеям, и идя по нему, мы можем однажды понять достаточно для того, чтобы написать более длинную программу, или создать более сложную сеть, демонстрирующую интеллект. Поэтому стоит действовать так, будто существует чрезвычайно простой алгоритм для интеллекта.

В 1980-х выдающегося математика и специалиста по информатике Джека Шварца пригласили на дебаты между сторонниками и скептиками ИИ. Дебаты вышли из-под контроля, сторонники начали делать чрезмерные заявления по поводу потрясающих вещей, которые уже вот-вот появятся, а скептики лишь усиливали свой пессимизм, заявляя, что ИИ просто невозможно создать. Шварц присутствовал вне дебатов, и молчал, когда дискуссия накалялась. Во время затишья его попросили высказаться и описать свои мысли по поводу обсуждаемой темы. Он сказал: «Что ж, до некоторых из этих идей, возможно, случится ещё сто нобелевских премий». По-моему, это идеальный ответ. Ключ к ИИ – это простые и мощные идеи, и мы можем, и должны оптимистично искать их. Но нам потребуется множество подобных идей, и нам ещё предстоит ещё очень долгий путь!