Виват, математики
Про Лобачевского слышали даже далекие от математики. Те, кто к ней поближе могут назвать таких титанов отечественной матшколы как Колмогоров. Ну ещё Григорий Перельман отметился в коллективном бессознательном, правда в основном как «тот чудик, отказавшийся от миллиона«.
Но в плеяде блестящих русских умов горит еще одна звезда — или даже планида — имя которой Андрей Андреевич Марков (1856 — 1922). И сейчас это имя имеет особое значение, потому что именно его открытия в последствии станут катализатором новый Эры, в которой мы оказались — Эры Искусственного Интеллекта.
Детство, отрочество, бунтарство
Рязань славна не только есенинскими местами, михайловским кружевом и грибами с глазами. Ещё здесь берет начало род Марковых и как это зачастую бывало для дореволюционной интеллигенции, связан он с духовенством.
Андрюша Марков появился на свет 2 июня 1856 года. Его батюшка — Андрей Григорьевич — “дьяков сын”, служил в Лесном департаменте, который ему пришлось покинуть из-за одной скандальёзной ситуации.
Дело в том, что коллежский советник Марков разоблачил коррупционные схемы на местных лесозаготовках и это ставило под удар как первые чины департамента, так и некоторых влиятельных лиц города.
Человек по натуре принципиальный, он отказался “давать заднюю” под давлением чиновничьей мафии и в итоге потерял хлебное место. Кстати, эта черта по наследству перейдет и к Андрею, который будет яростно сопротивляться всему, что покажется ему неправильным.
Источник: ryazpressa.ru
Ребенком Андрюша был болезненным, но энергичным как камышовый кот. До 10 лет ему приходилось пользоваться костылями из-за туберкулеза в колене. Но иногда, устав от постылых деревяшек, он бросал их и прыгал на одной ноге: мог доскакать хоть до булочной за булкой подового, хоть ринуться в салки. На одной ноге он умудрялся даже играть в горелки, что задача не совсем тривиальная даже для здорового человека.
Гимназистом Марков был себе на уме. Поступив в Петербургскую 5-ю гимназию, он сразу дал понять, что видал ненавистные латынь и греческий в царстве Аида, как и типичную школьную муштру того времени. По многим предметам у Андрюши проскакивали тройки и колы. И лишь в математике он блистал, неизменно получая оценку 5-й степени.
Не расставаясь с записной книжкой пестревшей формулами, юный Андрей однажды поверил, что сделал научный переворот. Эврика! Новый метод интегрирования обыкновенных линейных дифференциальных уравнений с постоянными коэффициентами найден и теперь ему светят золотые лавры…
Однако, он получил ответы от тогдашних звезд математики Золотарева и Коркина, а также вице-президента Академии наук Буняковского: ваш метод труден, а проблема давно решена более простым способом. Но все равно дерзайте!
Экстраординарный профессор и «Евгений AI.негин«
После гимназии Марков поступает в Петербургский университет. Наконец-то свобода: никаких карцеров, комендантских часов и отнятых в наказание булок с изюмом. В университете он начинает блистать уже в полную силу.
Этому способствует пул его наставников: теорию чисел он изучал под руководством еще одного титана отечественной матшколы Пафнутия Чебышёва, а неорганическую химию вел сам Дмитрий Менделеев. Кстати, Менделеев поставил Маркову единственную четверку по точным наукам за всю жизнь.
В 1880 он защитит знаменитую магистерскую диссертацию «О бинарных квадратичных формах положительного определителя». А через год будет защищена уже докторская на тему «О некоторых приложениях алгебраических непрерывных дробей». Карьера развивается быстро: уже в 1886 Марков становится экстраординарным профессором.
Марков успевает отметиться во многих областях математики, но настоящий прорыв его ждет с открытием класса стохастических процессов с дискретной и непрерывной временной компонентой — марковских процессов.
В 1906 году он опубликует работу «Распространение закона больших чисел на величины, зависящие друг от друга». Ее основная мысль заключается в том, что будущее состояние последовательности случайных величин определяется только настоящим состоянием, а не всей предысторией состояний как таковой.
Иными словами, грядущую вероятность возможно предугадать, делая всего один шаг назад. Чтобы доказать это, Марков провел беспрецедентный эксперимент: он диссектировал 20 000 букв из «Евгения Онегина», чтобы выявить математическую вероятность появления гласных и согласных в тексте романа.
Это выглядело так.
Сначала подсчет букв:
Вычисление базовых вероятностей их появления:
Вычисление условных вероятностей для буквенных пар:
Вычисление условных вероятностей для буквенных троек:
Формулы для вычисления недостающих вероятностей:
А вот так выглядит вычисление коэффициентов η и ε
Доклад появился в Известиях Императорской Академии Наук в 1913 и опередил свое время лет, этак, на сто. Марков доказал, что события можно относительно легко прогнозировать, не заглядывая слишком далеко в прошлое. И, вероятно даже сам не догадываясь, он высек первую искру огня математических абстракций, которые постепенно приведут нас к Искусственному Интеллекту.
Кстати говоря, работая над экспериментом с «Онегиным», Марков спонтанно открыл методику предобработки данных (data cleaning), которая сейчас используется для препарации тренировочных датасетов. Предобработка удаляет лишние шумы из массива тренировочных сэмплов, чтобы нейро-модель не запоминала ложные закономерности. В противном случае это может привести к ошибкам и галлюцинациям — то есть их будет ещё больше, чем обычно.
Чтобы получить наиболее адекватную статистику, Марков удалил из текста знаки препинания, пробелы и буквы нерусского алфавита. Даже твердый и мягкий знак были на время отправлены в отставку:
«МОЙ ДЯДЯ САМЫХ ЧЕСТНЫХ ПРАВИЛ КОГДА НЕ В ШУТКУ ЗАНЕМОГ ОН УВАЖАТ СЕБЯ ЗАСТАВИЛ И ЛУЧШЕ ВЫДУМАТ НЕ МОГ» (Бонусные очки, если прочитаете это с грузинским акцентом).
Впрочем, лучше познакомиться с первоисточником:
А что было дальше?
Бушевал пожар революции, отгремела гражданка. Профессор Марков стойко переносил лишения — порой у него не было даже нормальной обуви. Но все же возраст и здоровье дали о себе знать. Гениального математика не стало в июле 1922 года после операции аневризмы на ноге.
Однако для описанных им алгоритмов все только начиналось. В 1948 году Клод Шеннон выпускает прорывную статью «Математическая теория связи», в которой описывает, среди прочего, рудиментарную языковую модель, вдохновленную идеями Маркова.
По Шеннону, система может предугадать какое слово последует за определенной цепочкой других слов. К примеру если написать:
«Корсиканец Наполеон»
То система предположит, что следующим словом будет Бонапарт. Но если написать:
«Наполеон начиняется…»
То система предложит, что речь идет о заварном креме и может даже добавит glace plombières в конце, чтобы очаровать нас эрудицией. Этот принцип построен на распределении вероятностей для последующих слов, на основе уже полученных и изученных языковой моделью токенов: слов, символов, эмодзи.
Шеннон, кстати, развил идею Маркова ещё глубже и предположил, что уровень избыточности в человеческом языке позволяет сжать его в компактную структуру, похожую чем-то на нейронную сеть. Здесь он провел аналогию с кроссвордом: чтобы угадать слово, нужно знать всего лишь несколько «базовых« букв:
«Я ум…ю на р…те»
Букв нет, а о чем идет речь понятно.
Если бы ИИ не умел играть в такую “угадайку” с помощью N-граммной модели и сжимать данные, не запоминая каждое отдельное слово + его вариации, то компьютеру бы понадобилось иметь токенов больше, чем атомов в обозримой вселенной: двести тысяч в стомиллионной степени (200 000 ^ 100 000 000), если быть точным.
Remarkable Марков
Вклад Маркова в то, как современные роботы мыслят колоссален. Они научились вести осмысленную беседу и понимать контекст благодаря скрытым марковским моделям (Hidden Markov models), рисовать картинки с помощью диффузионного принципа и добавлять в СМС слово «поздно« во фразе «Я буду…»
Но на ИИ их полезность не заканчивается. С помощью марковских процессов можно выжать много КПД, обслуживая производственные линии, прогнозируя биржевые котировки, моделируя темп роста сельхозкультур или ранжируя страницы в Гугле.
ИИ сейчас окружает много шумихи и противоречий. Мы научили машины глубокому мышлению и теперь это чуть-чуть пугает нас. Но будущее с ИИ не обязательно должно быть дистопически мрачным, если мы позаботимся об этом сегодня. И поэтому хотелось бы закончить статью принципом, который открыл наш великий соотечественник:
«Что будет дальше, зависит только от того, что есть сейчас».
