Искусственный интеллект

(Часть 1, Часть 2) В прошлый раз я преждевременно упомянул токенизацию; теперь можно поговорить и о ней, а заодно и о маркировке частей речи (POS tagging).

Предположим, мы уже выловили все ошибки (какие догадались выловить) на уровне анализа текста регулярными выражениями. Стало быть, пора переходить на следующий уровень, на котором мы будем работать с отдельными словами предложения. Разбиением на слова занимается модуль токенизации. Даже в столь простой задаче есть свои подводные камни. Я даже не говорю о языках вроде китайского и японского, где даже вычленение отдельных слов текста нетривиально (иероглифы пишут без пробелов); в английском или в русском тоже есть над чем подумать. Например, входит ли точка в слово-сокращение или представляет собой отдельный токен? («др.» — это один токен или два?) А имя человека? «J. S. Smith» — сколько здесь токенов? Конечно, по каждому пункту можно принять волевое решение, но в дальнейшем оно может привести к различным последствиям, и это надо иметь в виду.

Примерно так я рассуждал на начальных этапах нашего проекта, теперь же склоняюсь к тому, что в задачах обработки текстов частенько приходится подчиняться решениям других людей. Это будет уже ясно на примере маркировки частей речи.

(Часть 1) Сегодня мы поговорим об уровнях понимания текстов нашей системой, о том, какие ошибки правописания отловить просто, какие не очень просто, а какие запредельно сложно.

Начнём с того, что текст можно рассматривать с двух точек зрения: либо как простую последовательность слов, пробелов и знаков препинания, либо как сеть связанных между собой синтактико-семантическими зависимостями понятий. Скажем, в предложении «я люблю больших собак» можно расставить слова в любом порядке, при этом структура связей между словами будет одна и та же:

Читавшие мои предыдущие публикации знают, что пишу я достаточно редко, но обычно сериями. Хочется собраться с мыслями на заданную тему и разложить их по полочкам, не втискивая себя в прокрустово ложе одной короткой статейки.

На сей раз появился новый повод поговорить об обработке текстов (natural language processing то бишь). Я разрабатываю модуль проверки правописания для одной конторы. На выходе должна получиться функциональность, аналогичная встроенной в MS Word, только лучше :) Не могу пока назвать себя крупным специалистом в этой области, но стараюсь учиться. В заметках постараюсь рассказать о том, куда движется наш проект, как устроен тот или иной этап обработки текста. Может, в комментариях услышу что-нибудь новое/интересное и для себя. Если проекту с этого будет польза — прекрасно. Как минимум, устаканю данные у себя в голове, а это тоже неплохо.

Победителем в конкурсе чатботов 2010 года и обладателем премии Лёбнера стал чатбот Suzette. Как всегда, соревнование проходило в формате стандартного текстового теста Тьюринга. Судьи должны были вести беседу, не видя собеседников, а затем огласить своё мнение: кто из них является чатботом, а кто — человеком, а также проставить оценки каждой программе.

В этом году лучший чатбот даже смог обмануть одного судью, который принял его за человека.

Судя по всему, качество чатботов улучшается с каждым годом. Например, трёхкратный победитель прошлых лет A.L.I.C.E уже не особо конкурентоспособен. По словам автора программы Suzette, его чатбот победил в квалификации с большим отрывом (11 баллов против 7,5 у ближайшего конкурента).

Попробую нарушить последовательность повествования, которую планировал изначально. После описания «Эмоционального компьютера» я хотел написать об устройстве ассоциативной памяти, но по комментариям я так понимаю, что читатели уже устали от скучных лекций и ждут экшена.

Сначала расскажу историю. Был у меня приятель, талантливый программист.

Что такое коартикуляция

Жуткий зверь по имени «аллофон»

Произнося слова и составляющие их звуки, мы никогда не задумываемся о том, что физически они из себя представляют. Сколько из говорящих на разных языках разумных земных существ пытались записать свою речь и исследовать её на графиках, спектрограммах? Понять и изучить её особенности, выделить закономерности и вообще, узнать о речи больше? Думаю, совсем немногие — в процентном отношении.

Мы просто пользуемся! Причём пользуемся неосознанно.

Мы интуитивно делим речь на звуки, которые записываем буквами, и нам кажется, что звук «а» — это всегда «а», а в слово «мама» есть два абсолютно одинаковых звука «а».

А вот и нет!!! Проведите эксперимент: запишите слово «мама», а потом, с помощью средств обработки аудиозаписи поменяйте слоги местами…

Начнем издалека. Представим себе, что ученые девятнадцатого века неким волшебным образом получили современный компьютер. Они стали бы изучать его работу, создали бы целую науку, описывающую свойства операционной системы и установленных программ. Затем они вскрыли бы этот компьютер и попытались описать его основные узлы, понять их назначение. Потом они стали бы измерять напряжение в различных точках. Возникли бы различные теории о циркулирующих внутри компьютера потоках информации. Возникло бы учение о его кремниевой основе. Кто-нибудь получил бы Нобелевскую премию за открытие принципов работы полупроводникового вентиля. Но самое главное, что сложность устройства современного компьютера затруднила бы тем ученым, путь к пониманию достаточно простых принципов лежащих в основе любой вычислительной техники. Эти принципы были сформулированы в «машине Тьюринга» и не изменились по сей день, и неважно собран ли компьютер на лампах, транзисторах или микросхемах. Любой компьютер имеет память, систему команд, процессор, который умеет эти команды выполнять, программы, состоящие из последовательности команд и устройства ввода вывода, позволяющие взаимодействовать с внешним миром. Остальное «навороты», возникшие в результате эволюции вычислительной техники, хотя и многократно увеличивают возможности компьютера, не отменяют эти принципы.

Написав «Возможный путь создания сильного ИИ» я, конечно, понимал, что краткость изложения не позволила объяснить существенные моменты и уж тем более их обосновать. Попробую теперь сделать несколько постов, в которых остановлюсь на самых существенных идеях.

Первое с чем я всегда сталкиваюсь – это достаточно смутное понимание, даже у специалистов, роли эмоций у человека и того как эмоции управляют поведением.

Представьте, что каким-то чудесным образом нам явился компьютер внеземной цивилизации. Мы его нашли, и увидели, что там есть программа, выводящая на экран «Hello, world!».

Нам очень понравилась эта программа, и мы тут же решили написать такую же. Бились-бились, программировали-программировали, все языки и платформы перепробовали — не получается. А на вражеской железяке, как назло, никаких USB-портов нет и никакие отладчики-декомпиляторы не запустишь.

И тогда мы решили: зайдем, так сказать, брутфорсом. Привезли кучу аппаратуры и начали инопланетную технику изучать. Ну там, наводки разные, рентгеном просвечивать. Вроде бы уже вот-вот наконец составим полный список команд вражеского процессора, изучим всю архитектуру, и…

А что «и»? Ну даже составим-изучим — как это поможет написать «Hello world»? Если мы со своими .NET-ами и ведванолями не смогли его написать — чем нам список микрокоманд инопланетного процессора поможет?

И, если что, сложность работы программы «Hello world» относится к сложности изучения неизвестной архитектуры бесконтактными методами примерно так же, как сложность работы человеческого интеллекта к сложности моделирования человеческого мозга целиком.

Об экспресс-свиданиях (speed-dates) на Хабре уже писали. Вкратце, собирается группа участников, они беседуют в парах примерно по 5 минут, затем меняются собеседниками. Каждый участник про каждого из своих партнёров отмечает, насколько сильно он ему понравился; если симпатия окажется взаимной, организаторы передают обоим контакты друг друга.

Группа исследователей из Стэнфордского университета занимается анализом человеческих диалогов, пытаясь распознать как намерения говорящего, так и восприятие речи слушателем. Несоответствие между подразумеваемым и воспринимаемым — закономерное свойство естественной речи. Для анализа использовались стенограммы с экспресс-свиданий, на которых каждая сторона оценивала «заигрывающесть» партнёра, и отмечала свою. Построенной системе автоматического распознавания флирта удалось верно определять намерения говорящего в 71.5% случаев; это превзошло точность оценок самих участников экспресс-свиданий. Как выяснилось, люди в большей степени проециируют на собеседника собственные ощущения, чем анализируют его речь.

Ниже я опишу путь (основные принципы), который позволяет создать ИИ, способный пройти тест Тьюринга, то есть общаться с человеком не «механически», а «понимая» суть беседы. Этот интеллект во многом будет аналогичен человеческому, он будет «испытывать» те же эмоции, что и человек, он будет иметь память, он будет «мыслить». Я буду описывать процессы и механизмы, свойственные реальному мозгу, но указывать на способы реализации доступные при компьютерном моделировании, не утверждая, что они «похожи» на то, как природа решила аналогичные задачи.

В этой статье я хотел бы рассказать вам о нашем проекте.

ЗАДАЧА

Проект посвящен созданию действующей трехмерной компьютерной модели нематоды C. Elegans, то есть модель, включающую сенсорную, нервную и мышечную системы, взаимодействующие между собой и рассматриваемые в физическом окружении. Фундаментальная проблема, на решение которой направлен проект — выяснить, возможно ли на основе современных моделей биологического нейрона воспроизвести поведение виртуального организма, близкое к оригиналу. Модельным организмом, как уже было сказано выше, был взят C.Elegans (свободно живущая нематода). Наш выбор пал именно на этой нематоде, не просто так, C. Elegans — наиболее изученный многоклеточный организм, на сегодняшний день есть данные не только обо всех нейронах, но и о связях между ними (302 нейрона, более 5000 синапсов, более 2000 нейромышечных соединений и 95 мышечных клеток, осуществляющих движение, весь организм состоит из 959 клеток). В этой связи нематода C. Elegans представляется не просто одним из возможных объектов исследования, а ключом к проблеме интеллекта, поскольку обладает рядом уникальных свойств – инвариантностью строения нервной системы, упрощающей задачу наблюдения за состояниями нейронов в живом организме, предельно высокая изученность строения на сегодняшний день, и достаточно сложный спектр поведенческих реакций при относительной простоте нервной системы. Создание полнофункциональной виртуальной копии C. Elegans позволит заложить фундамент для изучения нервной системы значительно более сложных существ, а также существенно расширить возможности проектирования искусственных нейронных сетей, используя выявленные механизмы и паттерны, присущие биологическим нейронным сетям, что представляет исключительный интерес как для нейробиологии, так и для областей знаний, связанных и искусственным интеллектом.

Робот Ibin Sina (был назван в честь персидского ученого) был создан в UAE University. Он «понимает» два языка: английский и арабский. Разработчики говорят, что он в будущем сможет отвечать на вопросы в социальных сетях.

Балуясь с нейронными сетями и алгоритмами самообучения для них, столкнулся с мыслью, что алгоритм обучения с учителем вполне мог бы быть отнесен к категории самообучения, если бы учителя заменили «эмоциональными» нейронами. Такие нейроны, по сути, являются просто датчиками «хорошо/плохо», а при соединении с обычными нейронами создают определенные связи, гасящие либо возбуждающие в зависимости от типа датчика.

Прочитав недавно опубликованную статью «Обзор современных проектов крупномасштабного моделирования мозговой активности», хотелось бы рассказать о другом подобном проекте, проводимом научной группой Манчестерского Университета в Великобритании под руководством профессора
Стива Фурбера (Steve Furber), создателя BBC Microcomputer и 32-битного ARM RISC микропроцессора, а также основателя компании ARM.

Введение

В этот раз я хочу рассказать вам об одной из самых важных вех в развитии как нейрофизиологии, так и непосредственно кибернетики. Сейчас я говорю с одной стороны про формулировку первого работающего правила обучения искусственных нейронных сетей, а с другой стороны про попытку приблизиться к тайнам обучения живых существ.

Сегодня мы пройдем путь от изначального вида постулата Хебба к его непосредственному применению, а также попробуем обсудить возможность его применения для моделирования обучения в системах искусственного интеллекта.

К написанию данной статьи меня побудили комментарии к моим предыдущим топикам, в которых мне было необходимо выражать свое отношение к обучению за счет изменения силы синаптической связи. Поэтому я решил один раз разобрать все подробно, в том числе для самого себя.

Введение

В данном топике я хочу рассказать о модели необычной нейронной сети, в разработке которой мне посчастливилось участвовать. Данная модель была разработана около года назад (про авторство написано в последнем разделе), однако исследование ее после этого прекратились из-за совершенной нехватки времени (занятости в своих собственных проектах). Тем не менее я опишу ее здесь в надежде на то, что некоторые мысли покажутся читателям интересными и дадут ростки возможных дальнейших исследований в данном направлении.

Сразу оговорюсь, что эта модель не претендует никоим образом на прототип ИИ. Мы скорее хотели исследовать возможность самоорганизации и перспективы возникновения целостного целенаправленного поведения в динамической системе «эгоистичных» (гомеостатических) нейронов.
Как мне кажется, для более полного понимания логики работы модели будет полезно прочитать мой топик про Теорию функциональных систем, однако опять же это на ваше усмотрение.

Поехали!

Аннотация

Используя нейронную сеть, мы хотим, чтобы транспортное средство управляло собой само, избегая препятствий. Мы добиваемся этого путем выбора соответствующих входов/выходов и тщательного обучения нейронной сети. Мы скармливаем сети расстояния до ближайших препятствий вокруг автомобиля, имитируя зрение водителя-человека. На выходе получаем ускорение и поворот руля транспортного средства. Нам также необходимо обучить сеть на множестве стратегий ввода-вывода. Результат впечатляющий даже с использованием всего лишь нескольких нейронов! Автомобиль ездит, обходя препятствия, но возможно сделать некоторые модификации, чтобы это программное средство справлялось с более специфическими задачами.

Введение

Идея в том, чтобы иметь транспортное средство, которое управляет собой само и избегает препятствий в виртуальном мире. Каждое мгновение оно само решает, как изменить свою скорость и направление в зависимости от окружающей среды. Для того чтобы сделать это более реальным, ИИ должен видеть только то, что видел бы человек, если бы находился за рулем, так что ИИ будет принимать решения только на основе препятствий, которые находятся спереди транспортного средства. Имея реалистичный ввод, ИИ мог бы быть использован в реальном автомобиле и работать так же хорошо.
Когда я слышу фразу: "Управление транспортным средством с помощью ИИ", я сразу же задумываюсь о компьютерных играх. Многие из гоночных игр могут использовать эту технику для контроля транспортных средств, но есть целый ряд других приложений, которые ищут средство управления транспортом в виртуальном или же реальном мире.
Так как же мы это будем делать? Существует множество способов реализации ИИ, но ведь если нам нужен "мозг" для управления транспортным средством, то нейронные сети подойдут как нельзя лучше. Нейронные сети работают так же, как и наш мозг. Они, наверное, и будут правильным выбором. Мы должны определить, что будет входом, а что выходом нашей нейронной сети.

В последние годы область крупномасштабного моделирования мозговой активности стала активно развиваться и все большее количество математиков и нейробиологов вовлекается в нее. В данном обзоре я проведу краткий обзор наиболее известных и удачных проектов в этой области. Также в заключении опишу мои мысли по поводу перспективы и полезности дальнейшего развития проектов подобного рода.

Где-то в архивах этого блога можно найти статью про тетрадь в клеточку и ее душевные переживания. Содержание у этой статьи скорее философское, чем прикладное. Но вот сама идея изобразить работу мозга с помощью карандаша и тетради в клеточку показалась мне довольно интересной. Как заметил автор той статьи, работу любой программы можно изобразить на бумаге. Будь то стек вызовов или регистры процессора – их легко можно изобразить с помощью клеточек.

Но это все низкоуровневые процессы. Возможность изобразить их на бумаге скорее теоретическая. На практике от нее мало пользы. Вот если бы можно было с такой же легкостью описывать более высокоуровневые процессы…