В 1951 году Марвин Минский построил первую в мире работающую нейросеть, а через восемнадцать лет он написал книгу, которая убила все финансирование нейросетей на полтора десятилетия. Кстати, эту книгу он посвятил человеку, которого, собственно, она уничтожила.

И это, дорогой Хабр, не то что бы метафора.

Итак, в начале 1940-х по коридорам нью-йоркской Bronx High School of Science ходили два юноши. Одного звали Марвин Минский, второго - Фрэнк Розенблатт. Минский был на класс старше. Спустя пятнадцать лет эти двое возглавят два главных лагеря в вычислительной науке, и каждый будет искренне убежден, что другой занимается шарлатанством.

Та самая нейросеть, которую Минский построил в Принстоне, называлась SNARC. Триста вакуумных ламп, гироскопы от автопилота бомбардировщика B-24, механизм, который имитировал синаптические веса. Машина самостоятельно находила выход из виртуального лабиринта и подстраивая коэффициенты в процессе работы.

Минский посмотрел на результат и разочаровался.

Его логика была такой, мол, если мы не можем формально доказать, почему именно эти веса приводят к правильному выходу - это не наука. Не алгоритм. Просто нащупывание в темноте. Мышление - это манипуляция символами по строгим правилам, иначе никакого понимания нет, есть только видимость. Так и оформился символический подход, который потом назовут GOFAI - Good Old-Fashioned AI.

А вот Розенблатт думал ровно противоположное. В 1957 году в Корнелле он представил Mark I Perceptron - шкаф с моторами и потенциометрами, где 400 фотоэлементов передавали сигналы на веса, а веса физически крутили маленькие электромоторчики. Никаких правил туда не закладывали. Никакой логики. Машина сама подбирала коэффициенты по сырым картинкам, и Розенблатту это казалось единственным честным способом работать - не притворяться, что понимаешь структуру задачи заранее.

Летом 1958-го Нью-Йорк Таймс написала со слов военных, что перцептрон станет зародышем машины, которая научится ходить, говорить и осознавать собственное существование.

После чего, товарищи символисты в MIT пришли в ярость. Дешевый балаган, решили они. Выбивание грантов у Пентагона через прессу.

Война началась.

К концу 1960-х это уже не был научный спор.

Понятное дело, что бюджеты на исследования были конечными, оба лагеря тянули их в свою сторону, и символисты решили закрыть вопрос раз и навсегда. В 1969 году Минский вместе с Сеймуром Пейпертом выпустил книгу "Перцептроны" - строгий математический разбор, который доказывал, что однослойный перцептрон не способен решить XOR, простейшую логическую функцию, где точки двух классов нельзя разделить одной прямой. Ну и чисто технически - это была правда.

И отдельно забавно, что Минский и Пейперт посвятили эту книгу Фрэнку Розенблатту. На странице с посвящением.

Но в тексте была еще одна фраза - аккуратно спрятанная среди математики, не вынесенная в заголовок. Авторы выражали сомнение, что для многослойных сетей когда-нибудь найдется эффективный алгоритм обучения. Не доказательство. Просто сомнение двух авторитетных людей.

DARPA прочитало именно это. Финансирование нейросетей закрыли практически в ноль. Лаборатории свернули проекты. Статьи со словом "neural" в заголовке перестали принимать на ведущих конференциях без объяснений. Редакторы просто возвращали их авторам.

Первая зима.

Спустя два года, в день своего 43-летия, Фрэнк Розенблатт погиб на паруснике в Чесапикском заливе. Обстоятельства - несчастный случай. Свидетели того периода его жизни часто вспоминали подавленное моральное состояние и перепады настроения. Увы, его подход к тому моменту уже официально считался научным тупиком, и никто особо не торопился пересматривать этот вывод.

Следующие пятнадцать лет символисты не знали отказа.

Логика экспертных систем выглядела надежной (как швейцарские часы). Берешь отраслевого специалиста, несколько месяцев извлекаешь из него правила - "ЕСЛИ температура выше 38 И сыпь на коже, ТО корь", упаковываешь в базу знаний, запускаешь логический вывод. Система решает задачу так же, как эксперт, только быстрее и не уходит в отпуск. Стартап Symbolics продавал специализированные LISP-машины по 100 тысяч долларов за стойку и не успевал выполнять заказы. 

В 1982 году правительство Японии запустило государственный проект "ЭВМ пятого поколения" - около 500 миллионов долларов на суперкомпьютер, основанный на языке Prolog, который должен был рассуждать как человек. В Техасе открыли проект Cyc: армия операторов годами вручную вбивала в базу очевидные факты - "деревья не умеют ходить", "у большинства людей две ноги", "огонь горячий" - в надежде, что когда база станет достаточно большой, из нее вырастет здравый смысл.

Но к концу 1980-х все это рухнуло. Экспертные системы прекрасно работали в узких, четко ограниченных условиях. Но стоило пациенту написать "голова немного кружится" вместо "головокружение" - система зависала или выдавала мусор. Чем больше правил добавляли, тем активнее они начинали противоречить друг другу. Базы знаний вырастали до таких размеров, что их переставали понимать даже те, кто их создавал. Ханс Моравек сформулировал так. Задачи, кажущиеся людям сложными (например, шахматы, формальные выводы) - компьютер решает легко. А то, что человек делает не задумываясь - видеть предметы, понимать контекст, брать чашку со стола - почти невозможно запрограммировать правилами.

Symbolics обанкротилась. Японский мегапроект закрыли без единого коммерческого результата. Cyc существует до сих пор - как музейный экспонат с 25 миллионами вручную введенных фактов, которые никому не нужны.

Вторая зима.

В 1986 году Джеффри Хинтон вместе с Дэвидом Румельхартом и Рональдом Уильямсом опубликовал в Nature короткую статью. Они показали, как метод обратного распространения ошибки - позволяет обучать многослойные сети. То самое сомнение Минского, на котором держался весь приговор 1969 года, перестало быть сомнением.

Хинтон, праправнук логика Джорджа Буля и убежденный пацифист, в 1987 году отказался брать деньги DARPA - в разгар рейгановской программы "Звездных войн" он не хотел работать на военные бюджеты - собрал вещи и уехал в Канаду. Университет Торонто, небольшой фонд CIFAR, гранты без требования немедленных коммерческих отчетов. Там же оказались Ян Лекун и Йошуа Бенджио. Троица собиралась на закрытых воркшопах, публиковалась в малотиражных журналах и продолжала работу, пока весь остальной мир считал направление закрытым.

В 1990-х их попытались списать еще раз - теперь уже математики. Владимир Вапник создал метод опорных векторов, SVM - строгая выпуклая оптимизация, гарантированный глобальный оптимум, понятные теоремы. На этом фоне нейросети снова назвали грязной эвристикой без математических гарантий, где параметры крутят наугад и молятся.

Они продолжали. Двадцать лет.

Осенью 2012 года аспирант Хинтона Алекс Крижевский купил две домашние игровые видеокарты GeForce GTX 580 - по три гигабайта памяти, по 500 долларов каждая - и написал сеть AlexNet на чистом CUDA-коде вручную.

На конкурсе ImageNet AlexNet дала ошибку 15.3%. Лучшая классическая система, которую годами собирали команды с куда большими ресурсами по всем правилам математического анализа признаков, дала 26.2%. Разрыв в 10.9 процентного пункта в задачах компьютерного зрения - это не улучшение результата. Это смена подхода. Конкурсная комиссия сначала решила, что в результатах ошибка.

Но ошибки не было, а уже в 2018 году Хинтон, Лекун и Бенджио получили премию Тьюринга - высшую награду в информатике. В 2019-м Рич Саттон опубликовал "The Bitter Lesson". Труд про то, что семьдесят лет истории ИИ дают один вывод - методы, которые масштабируются за счет вычислений и данных, всегда в итоге обгоняют методы, куда люди вложили собственные представления о структуре задачи. Всегда. Без исключений.

Минский умер в 2016 году, за два года до премии Тьюринга.

Хинтон ушел из Google в 2023-м - не за лучшим предложением. Он сказал, что хочет говорить свободно об опасности того, что сам построил. Минский был уверен, что нейросети опасны, потому что работают непонятно. И хоть Хинтон выиграл спор - теперь говорит примерно то же самое.

Если материал зашёл — вот ещё несколько текстов, которые я прочитал с удовольствием и рекомендую: