Мы уже писали об учителе, который повлиял на развитие языка Си, а сегодня рассказываем о когда-то учительнице математики Мелани Митчелл, десятилетиями она работала над цифровым мышлением и считает, что ИИ никогда по-настоящему не будет похож на наш интеллект, пока не научится проводить аналогии. К запуску флагманского курса по Data Science, где мы учим понимать данные, делимся интервью и краткой биографией профессора. Интересно, что к моменту начала стажировки Мелани Митчелл прошла всего несколько курсов Computer Science.
Книга «Гёдель, Эшер, Бах», получившая Пулитцеровскую премию, в 1979 году вдохновила легионы компьютерщиков, но лишь немногие вдохновились столь же сильно, как Мелани Митчелл.
Прочитав том из 777 страниц, Митчелл, учительница математики средней школы в Нью-Йорке, решила, что ей «необходимо» заниматься искусственным интеллектом. Вскоре она разыскала автора книги, исследователя ИИ Дугласа Хофштадтера, и уговорила его взять её на стажировку.
Тогда Митчелл прошла всего несколько курсов по информатике, но Хофштадтер был впечатлён её смелостью и не беспокоился об академических знаниях.
В последнюю минуту она подготовила заявление в аспирантуру и поступила в новую лабораторию Хофштадтера Мичиганского университета в Анн-Арборе. Следующие шесть лет Митчелл и Хофштадтер провели в тесном сотрудничестве, работая над Copycat — компьютерной программой, которая, по словам её соавторов, была разработана, чтобы «обнаруживать проницательные аналогии, делая это реалистично с точки зрения психологии».
Аналогии, придуманные Copycat, проводились между простыми узорами из букв, подобно аналогиям в стандартизированных тестах (standardized tests).
Пример: если строка «abc» меняется на строку «abd», то на что меняется строка «pqrs»? Хофштадтер и Митчелл считали, что понимание когнитивного процесса аналогии — того, как люди устанавливают абстрактные связи похожих идей, восприятием и опытом, — будет иметь решающее значение в создании искусственного интеллекта, подобного человеческому.
Митчелл утверждает, что аналогия может быть гораздо глубже, чем просто подбор шаблонов в стиле экзамена. «Это понимание сути ситуации через её сопоставление с другой ситуацией, которая уже понятна», — говорит она.
Если вы расскажете мне историю, а я скажу: «О, со мной произошло то же самое», то в буквальном смысле со мной произошло не то же самое, но я могу сделать отображение, и ситуации станут похожими. Так мы, люди, делаем постоянно, даже не осознавая, что делаем это. Мы постоянно плаваем в море аналогий».
Будучи профессором в науке о поведении сложных систем в Институте Санта-Фе, Митчелл вывела свои исследования за пределы машинного обучения. Сегодня она возглавляет проект SFI «Основы интеллекта в естественных и искусственных системах», в рамках которого в течение следующего года будет проведена серия междисциплинарных семинаров, посвящённых изучению того, как биологическая эволюция, коллективное поведение (социальных насекомых, например муравьёв) и физическое тело способствуют развитию интеллекта.
Роль аналогии в её работе велика как никогда, особенно в области искусственного интеллекта — области, основные достижения которой за последнее десятилетие в значительной степени обусловлены глубокими нейронными сетями, технологией, имитирующей многоуровневую организацию нейронов в мозгу млекопитающих.
«Современные нейронные сети очень хорошо справляются с определёнными задачами, — говорит Митчелл, — но они очень плохо переносят то, чему научились в одной ситуации, на другую ситуацию — в этом суть аналогии».
Митчелл считает, что проведение аналогий, позволяя системам искусственного интеллекта применять существующие знания к новым проблемам, поможет им по-настоящему понять данные.
Quanta Magazine поговорил с Митчелл о том, как ИИ может проводить аналогии, что в этой области известно сегодня и куда нужно двигаться дальше. Интервью было сокращено и отредактировано для ясности.
— Почему проведение аналогий так важно для ИИ?
— Это фундаментальный механизм мышления, он поможет ИИ прийти в необходимое нам состояние. Некоторые люди говорят, что ключевой для ИИ является способность прогнозировать будущее, или обладание здравым смыслом, или же способность восстанавливать воспоминания, полезные в текущей ситуации. Во всех этих направлениях аналогия занимает очень важное место.
Например, мы хотим иметь автомобили с автономным вождением, но одна из проблем заключается в том, что если они сталкиваются с ситуацией, хоть немного отличающейся от той, на которой автомобили обучались, то машины не знают, что делать. Откуда мы, люди, знаем, что делать в ситуациях, с которыми раньше не сталкивались? Мы используем аналогии с предыдущим опытом. И это то, что нам понадобится, чтобы системы искусственного интеллекта могли делать то же самое в реальном мире.
— Но вы также писали, что аналогия является «недостаточно изученной областью в ИИ». Если она настолько фундаментальна, почему это так?
— Одна из причин, по которой люди не слишком изучали её, заключается в том, что не признавалась её существенная важность для познания. Ранний ИИ был сосредоточен на логике и программировании правил поведения и работал благодаря им.
В последнее время люди сосредоточились вокруг обучения на большом количестве примеров, а затем предположили, что можно провести связанное с результатами наблюдения обобщение на данные, которых раньше не видели, при помощи только статистики в уже изученных данных. Люди надеялись, что способность обобщать и абстрагироваться словно вытекает из статистики, но она не работает так хорошо, как мы надеялись.
Например, вы можете показать глубокой нейронной сети миллионы фотографий мостов, и она, вероятно, сможет распознать новую фотографию моста через реку или что-то в этом роде. Но она никогда не сможет абстрагировать понятие «мост», скажем, от нашего понятия наведения мостов в проблеме гендерного разрыва. Оказывается, глубокие нейросети не учатся абстрагироваться. Чего-то не хватает, и люди только сейчас начинают понимать это.
— И они никогда не научатся абстрагироваться?
— Есть новые подходы, например мета-обучение, когда машины «учатся учиться» лучше. Или обучение без учителя, когда такие системы, как GPT-3, учатся заполнять предложение одним из пропущенных слов, что позволяет им генерировать очень, очень убедительные предложения. Некоторые люди могут утверждать, что подобные системы со временем, при наличии достаточного количества данных, научатся абстрагироваться. Но я так не думаю.
Вы описали это ограничение как «барьер смысла» — системы ИИ могут имитировать понимание при определённых условиях, но становятся хрупкими и ненадёжными вне этих условий. Почему вы думаете, что аналогия — решение проблемы?
Я чувствую, что для решения проблемы хрупкости потребуется смысл. Именно он в конечном счёте и вызывает проблему хрупкости: системы не понимают данные, с которыми имеют дело, в каком-либо человеческом смысле.
Слово «понимать» — одно из тех слов-чемоданов, о которых нет единого мнения, что оно на самом деле означает — почти заглушка обозначения пока необъяснимых психических явлений. Но я думаю, механизм абстракции и аналогии — ключ к тому, что мы, люди, называем пониманием. Аналогия — механизм, при помощи которого происходит понимание. Мы можем взять что-то уже известное и сопоставить с чем-то новым.
— Значит, аналогия — это способ, с помощью которого организмы сохраняют когнитивную гибкость, а не ведут себя как роботы?
— Думаю, в какой-то степени да. Аналогии проводят не только люди. Многие животные — своего рода роботы, но некоторые виды способны воспринимать предыдущий опыт и накладывать его на новый. Возможно, это один из способов наложить спектр интеллекта на различные виды живых систем: какой степени абстракции достигают их аналогии?
Одна из теорий о том, почему люди обладают именно таким интеллектом, указывает на нашу социальность. Одно из самых важных умений для нас — моделировать то, о чем думают другие люди, понимать их цели и предсказывать их действия. И это то, что вы делаете, когда проводите аналогию. Вы можете поставить себя на место другого человека и как бы наложить свой собственный разум на его разум. Эта теория разумa — то, о чём постоянно говорят люди, занимающиеся искусственным интеллектом. По сути, это способ провести аналогию.
— Ваша система Copycat была ранней попыткой сделать это с помощью компьютера. Были ли другие попытки?
— Работа «Структурное отображение» в области ИИ была сосредоточена на логически обоснованных представлениях ситуаций и создании отображений между ними. Кен Форбус и другие использовали знаменитую аналогию Солнечной системы с атомом, [проведённую Эрнестом Резерфордом в 1911 году].
В работе был набор предложений [в формальной нотации, называемой логикой предикатов], описывающих эти две ситуации, сопоставляющихся не на основе содержания предложений, а на основе их структуры. Это понятие очень сильное, и я думаю, что оно правильное. Пытаясь понять смысл сходства, мы больше сосредоточены на отношениях, чем на конкретных объектах.
— Почему эти подходы не прижились?
— Вопрос обучения в значительной степени остался за рамками этих систем. Структурное отображение брало слова, которые были очень, очень нагружены человеческим смыслом — например, «Земля вращается вокруг Солнца» и «электрон вращается вокруг ядра», — и накладывало их друг на друга, но не было внутренней модели того, что означает «вращается вокруг». Это был просто символ. Copycat хорошо работал с буквенными строками, но нам не хватало ответа на вопрос, как это масштабировать и обобщить на домены, которые нас действительно интересуют.
— Глубокое обучение, как известно, хорошо масштабируется. Стало ли оно эффективнее в создании осмысленных аналогий?
— Есть мнение, что глубокие нейронные сети как будто творят магию между входным и выходным слоями. Если они могут лучше людей распознавать различные породы собак (а это так), то они должны быть способны решать простые задачи по аналогии. Поэтому люди создают один большой набор данных для обучения и тестирования своей нейронной сети и публикуют работу, в которой говорится: «Наш метод на 80 % справляется с этим тестом». А кто-то другой заявляет: «Подождите, ваш набор данных обладает странными статистическими свойствами, которые позволяют машине научиться решать их, не будучи способной к обобщению. Вот новый набор данных, с которым ваша машина справляется ужасно, а наша — отлично». И так далее, далее, далее.
Проблема в том, что вы уже проиграли битву, если вам приходится обучать его на тысячах и тысячах примеров. Абстракция не об этом. Суть в том, что люди, занимающиеся машинным обучением, называют «обучением на нескольких примерах», то есть на небольшом количестве. Вот для чего на самом деле нужна абстракция.
— Так чего же ещё не хватает? Почему мы не можем просто собрать эти подходы, как Lego?
— У нас нет инструкции, как это сделать! Но я думаю, что мы должны собрать их. Проблема находится на границе данного исследования: что во всём этом является ключевым, и как подходы могут дополнять друг друга?
Многие люди интересуются корпусом абстракции и рассуждений [ARC], — это очень сложная задачу обучения с несколькими примерами, построенную вокруг «базовых знаний», с которыми человек, по сути, рождается.
Мы знаем, что мир состоит из объектов, знаем кое-что о геометрии пространства: например, один предмет находится над или под другим. В ARC есть одна сетка цветов, которая меняется на другую сетку цветов таким образом, что человек может описать её в терминах основного знания, например, «все квадраты одного цвета идут направо, все квадраты другого цвета идут налево». Он даёт вам такой пример, а затем просит вас сделать то же самое с другой сеткой цветов.
Я считаю, что это вызов аналогии. Вы пытаетесь найти некое абстрактное описание изменений от одного изображения к другому, но не можете изучить никаких странных статистических корреляций: всё, что у вас есть, — это два примера. Как заставить машины учиться и рассуждать с помощью этих основных знаний, которые есть у ребёнка? Это то, чего не может ни одна система, о которых я говорила до сих пор. Вот почему никакая из них не может работать с этим набором данных. Такая работа немного похожа на святой Грааль.
— Если дети рождаются с такими «базовыми знаниями», значит ли это, что для того чтобы ИИ мог проводить подобные аналогии, ему также необходимо тело, как у нас?
— Вопрос на миллион. Очень спорный вопрос, по нему у сообщества ИИ нет единого мнения. Моя интуиция подсказывает, что да, мы не сможем добраться до человекоподобной аналогии [в ИИ] без какого-то воплощения. Тело может оказаться очень важным, потому что некоторые из перечисленных визуальных задач требуют, чтобы вы думали о них в трёх измерениях. А это для меня связано с тем, что я живу в этом мире, двигаю головой и понимаю, как всё связано в пространстве. Я не знаю, должна ли машина пройти через этот этап. Думаю, что, скорее всего, так и будет.
Путь в сферу ИИ открыт не только математикам: мы обучали музыкантов, людей из гуманитарных профессий, а самому возрастному участнику потоков сейчас более 80 лет. Если у вас есть желание, например, работать с данными, вы можете присмотреться к курсу по Data Science или по аналитике данных. Также вы можете узнать, как освоить другие профессии с чистого листа или вывести ваши навыки в них на новый уровень:
Data и Machine Learning
Python, веб-разработка
Мобильная разработка
Java и C#
От основ — в глубину
А также:
