Искусственный интеллект

Многим знакомы фильмы, в которых искуственный интеллект, порожденный человеком, покушался на жизнь или контроль над своим создателем. Данный вывод может быть абсолютно закономерен для ИИ. Мало того, создание ИИ, подобного человеку, невозможно, а точнее сказать глупо, потому как это будет подобно созданию велосипеда на квадратных колесах, взамен известному классическому. Каким именно образом и почему такое возможно, и хочу вам рассказать. А также вы узнаете, почему человечество такое, какое есть.

Мы не смотрим телевизор. Это «дебильник», «ящик для гопоты и пенсионеров». Вот компьютер с интернетом – это наше все. А телевизору давно пора на свалку истории.

Врядли кто-то с этим поспорит (даже если тайком посматривает ТНТ). Но пройдет всего несколько лет, и вместо очередного компьютера многие из нас купят новый телевизор. Правда, это будет уже совсем другой телевизор.

Система обработки натуральной речи и ответов на вопросы IBM DeepQA/Watson сыграет против двух чемпионов интеллектуальной телевикторины Jeopardy! (в России викторина производится по лицензии под названием «Своя игра»). Трансляция битвы умов состоится 14, 15 и 16 февраля 2011 года на канале CBS. Будет сыграно две игры.

Викторина пройдёт по стандартным правилам. Три участника соревнуются между собой в борьбе за право первым ответить на заданный вопрос. Вопросы сформулированы, как правило, в виде утверждений, где искомое слово заменено местоимением. Игроки должны догадаться, о чём идёт речь, и дать ответ.

(Части 1, 2, 3) В четвёртой части мы поговорим о проверке грамматики за пределами токенизированных передложений.

Как уже упоминалось, разбиение предложения на токены и POS-разметка уже позволяют создать простой инструмент проверки грамматической корректности текста. По крайней мере, LanguageTool плагин к Open Office работает именно так. Очевидно, что массу ошибок можно выловить на уровне размеченных токенов. Однако также очевидно, что не менее обширные классы ошибок остаются за пределами возможностей нашего модуля. Взять хотя бы такую простую вещь как согласование подлежащего и сказуемого: «дама любил собак», «любил собак дама», «собак дама любил»… как составить паттерн для правила «сказуемое должно иметь тот же род, что и подлежащее?» Даже для английского языка с более-менее чётким порядком слов это трудно, говорить о русском и вовсе не приходится.

(Часть 1, Часть 2) В прошлый раз я преждевременно упомянул токенизацию; теперь можно поговорить и о ней, а заодно и о маркировке частей речи (POS tagging).

Предположим, мы уже выловили все ошибки (какие догадались выловить) на уровне анализа текста регулярными выражениями. Стало быть, пора переходить на следующий уровень, на котором мы будем работать с отдельными словами предложения. Разбиением на слова занимается модуль токенизации. Даже в столь простой задаче есть свои подводные камни. Я даже не говорю о языках вроде китайского и японского, где даже вычленение отдельных слов текста нетривиально (иероглифы пишут без пробелов); в английском или в русском тоже есть над чем подумать. Например, входит ли точка в слово-сокращение или представляет собой отдельный токен? («др.» — это один токен или два?) А имя человека? «J. S. Smith» — сколько здесь токенов? Конечно, по каждому пункту можно принять волевое решение, но в дальнейшем оно может привести к различным последствиям, и это надо иметь в виду.

Примерно так я рассуждал на начальных этапах нашего проекта, теперь же склоняюсь к тому, что в задачах обработки текстов частенько приходится подчиняться решениям других людей. Это будет уже ясно на примере маркировки частей речи.

(Часть 1) Сегодня мы поговорим об уровнях понимания текстов нашей системой, о том, какие ошибки правописания отловить просто, какие не очень просто, а какие запредельно сложно.

Начнём с того, что текст можно рассматривать с двух точек зрения: либо как простую последовательность слов, пробелов и знаков препинания, либо как сеть связанных между собой синтактико-семантическими зависимостями понятий. Скажем, в предложении «я люблю больших собак» можно расставить слова в любом порядке, при этом структура связей между словами будет одна и та же:

Читавшие мои предыдущие публикации знают, что пишу я достаточно редко, но обычно сериями. Хочется собраться с мыслями на заданную тему и разложить их по полочкам, не втискивая себя в прокрустово ложе одной короткой статейки.

На сей раз появился новый повод поговорить об обработке текстов (natural language processing то бишь). Я разрабатываю модуль проверки правописания для одной конторы. На выходе должна получиться функциональность, аналогичная встроенной в MS Word, только лучше :) Не могу пока назвать себя крупным специалистом в этой области, но стараюсь учиться. В заметках постараюсь рассказать о том, куда движется наш проект, как устроен тот или иной этап обработки текста. Может, в комментариях услышу что-нибудь новое/интересное и для себя. Если проекту с этого будет польза — прекрасно. Как минимум, устаканю данные у себя в голове, а это тоже неплохо.

Победителем в конкурсе чатботов 2010 года и обладателем премии Лёбнера стал чатбот Suzette. Как всегда, соревнование проходило в формате стандартного текстового теста Тьюринга. Судьи должны были вести беседу, не видя собеседников, а затем огласить своё мнение: кто из них является чатботом, а кто — человеком, а также проставить оценки каждой программе.

В этом году лучший чатбот даже смог обмануть одного судью, который принял его за человека.

Судя по всему, качество чатботов улучшается с каждым годом. Например, трёхкратный победитель прошлых лет A.L.I.C.E уже не особо конкурентоспособен. По словам автора программы Suzette, его чатбот победил в квалификации с большим отрывом (11 баллов против 7,5 у ближайшего конкурента).

Попробую нарушить последовательность повествования, которую планировал изначально. После описания «Эмоционального компьютера» я хотел написать об устройстве ассоциативной памяти, но по комментариям я так понимаю, что читатели уже устали от скучных лекций и ждут экшена.

Сначала расскажу историю. Был у меня приятель, талантливый программист.

Что такое коартикуляция

Жуткий зверь по имени «аллофон»

Произнося слова и составляющие их звуки, мы никогда не задумываемся о том, что физически они из себя представляют. Сколько из говорящих на разных языках разумных земных существ пытались записать свою речь и исследовать её на графиках, спектрограммах? Понять и изучить её особенности, выделить закономерности и вообще, узнать о речи больше? Думаю, совсем немногие — в процентном отношении.

Мы просто пользуемся! Причём пользуемся неосознанно.

Мы интуитивно делим речь на звуки, которые записываем буквами, и нам кажется, что звук «а» — это всегда «а», а в слово «мама» есть два абсолютно одинаковых звука «а».

А вот и нет!!! Проведите эксперимент: запишите слово «мама», а потом, с помощью средств обработки аудиозаписи поменяйте слоги местами…

Начнем издалека. Представим себе, что ученые девятнадцатого века неким волшебным образом получили современный компьютер. Они стали бы изучать его работу, создали бы целую науку, описывающую свойства операционной системы и установленных программ. Затем они вскрыли бы этот компьютер и попытались описать его основные узлы, понять их назначение. Потом они стали бы измерять напряжение в различных точках. Возникли бы различные теории о циркулирующих внутри компьютера потоках информации. Возникло бы учение о его кремниевой основе. Кто-нибудь получил бы Нобелевскую премию за открытие принципов работы полупроводникового вентиля. Но самое главное, что сложность устройства современного компьютера затруднила бы тем ученым, путь к пониманию достаточно простых принципов лежащих в основе любой вычислительной техники. Эти принципы были сформулированы в «машине Тьюринга» и не изменились по сей день, и неважно собран ли компьютер на лампах, транзисторах или микросхемах. Любой компьютер имеет память, систему команд, процессор, который умеет эти команды выполнять, программы, состоящие из последовательности команд и устройства ввода вывода, позволяющие взаимодействовать с внешним миром. Остальное «навороты», возникшие в результате эволюции вычислительной техники, хотя и многократно увеличивают возможности компьютера, не отменяют эти принципы.

Написав «Возможный путь создания сильного ИИ» я, конечно, понимал, что краткость изложения не позволила объяснить существенные моменты и уж тем более их обосновать. Попробую теперь сделать несколько постов, в которых остановлюсь на самых существенных идеях.

Первое с чем я всегда сталкиваюсь – это достаточно смутное понимание, даже у специалистов, роли эмоций у человека и того как эмоции управляют поведением.

Представьте, что каким-то чудесным образом нам явился компьютер внеземной цивилизации. Мы его нашли, и увидели, что там есть программа, выводящая на экран «Hello, world!».

Нам очень понравилась эта программа, и мы тут же решили написать такую же. Бились-бились, программировали-программировали, все языки и платформы перепробовали — не получается. А на вражеской железяке, как назло, никаких USB-портов нет и никакие отладчики-декомпиляторы не запустишь.

И тогда мы решили: зайдем, так сказать, брутфорсом. Привезли кучу аппаратуры и начали инопланетную технику изучать. Ну там, наводки разные, рентгеном просвечивать. Вроде бы уже вот-вот наконец составим полный список команд вражеского процессора, изучим всю архитектуру, и…

А что «и»? Ну даже составим-изучим — как это поможет написать «Hello world»? Если мы со своими .NET-ами и ведванолями не смогли его написать — чем нам список микрокоманд инопланетного процессора поможет?

И, если что, сложность работы программы «Hello world» относится к сложности изучения неизвестной архитектуры бесконтактными методами примерно так же, как сложность работы человеческого интеллекта к сложности моделирования человеческого мозга целиком.

Об экспресс-свиданиях (speed-dates) на Хабре уже писали. Вкратце, собирается группа участников, они беседуют в парах примерно по 5 минут, затем меняются собеседниками. Каждый участник про каждого из своих партнёров отмечает, насколько сильно он ему понравился; если симпатия окажется взаимной, организаторы передают обоим контакты друг друга.

Группа исследователей из Стэнфордского университета занимается анализом человеческих диалогов, пытаясь распознать как намерения говорящего, так и восприятие речи слушателем. Несоответствие между подразумеваемым и воспринимаемым — закономерное свойство естественной речи. Для анализа использовались стенограммы с экспресс-свиданий, на которых каждая сторона оценивала «заигрывающесть» партнёра, и отмечала свою. Построенной системе автоматического распознавания флирта удалось верно определять намерения говорящего в 71.5% случаев; это превзошло точность оценок самих участников экспресс-свиданий. Как выяснилось, люди в большей степени проециируют на собеседника собственные ощущения, чем анализируют его речь.

Ниже я опишу путь (основные принципы), который позволяет создать ИИ, способный пройти тест Тьюринга, то есть общаться с человеком не «механически», а «понимая» суть беседы. Этот интеллект во многом будет аналогичен человеческому, он будет «испытывать» те же эмоции, что и человек, он будет иметь память, он будет «мыслить». Я буду описывать процессы и механизмы, свойственные реальному мозгу, но указывать на способы реализации доступные при компьютерном моделировании, не утверждая, что они «похожи» на то, как природа решила аналогичные задачи.

В этой статье я хотел бы рассказать вам о нашем проекте.

ЗАДАЧА

Проект посвящен созданию действующей трехмерной компьютерной модели нематоды C. Elegans, то есть модель, включающую сенсорную, нервную и мышечную системы, взаимодействующие между собой и рассматриваемые в физическом окружении. Фундаментальная проблема, на решение которой направлен проект — выяснить, возможно ли на основе современных моделей биологического нейрона воспроизвести поведение виртуального организма, близкое к оригиналу. Модельным организмом, как уже было сказано выше, был взят C.Elegans (свободно живущая нематода). Наш выбор пал именно на этой нематоде, не просто так, C. Elegans — наиболее изученный многоклеточный организм, на сегодняшний день есть данные не только обо всех нейронах, но и о связях между ними (302 нейрона, более 5000 синапсов, более 2000 нейромышечных соединений и 95 мышечных клеток, осуществляющих движение, весь организм состоит из 959 клеток). В этой связи нематода C. Elegans представляется не просто одним из возможных объектов исследования, а ключом к проблеме интеллекта, поскольку обладает рядом уникальных свойств – инвариантностью строения нервной системы, упрощающей задачу наблюдения за состояниями нейронов в живом организме, предельно высокая изученность строения на сегодняшний день, и достаточно сложный спектр поведенческих реакций при относительной простоте нервной системы. Создание полнофункциональной виртуальной копии C. Elegans позволит заложить фундамент для изучения нервной системы значительно более сложных существ, а также существенно расширить возможности проектирования искусственных нейронных сетей, используя выявленные механизмы и паттерны, присущие биологическим нейронным сетям, что представляет исключительный интерес как для нейробиологии, так и для областей знаний, связанных и искусственным интеллектом.

Робот Ibin Sina (был назван в честь персидского ученого) был создан в UAE University. Он «понимает» два языка: английский и арабский. Разработчики говорят, что он в будущем сможет отвечать на вопросы в социальных сетях.

Балуясь с нейронными сетями и алгоритмами самообучения для них, столкнулся с мыслью, что алгоритм обучения с учителем вполне мог бы быть отнесен к категории самообучения, если бы учителя заменили «эмоциональными» нейронами. Такие нейроны, по сути, являются просто датчиками «хорошо/плохо», а при соединении с обычными нейронами создают определенные связи, гасящие либо возбуждающие в зависимости от типа датчика.

Прочитав недавно опубликованную статью «Обзор современных проектов крупномасштабного моделирования мозговой активности», хотелось бы рассказать о другом подобном проекте, проводимом научной группой Манчестерского Университета в Великобритании под руководством профессора
Стива Фурбера (Steve Furber), создателя BBC Microcomputer и 32-битного ARM RISC микропроцессора, а также основателя компании ARM.

Введение

В этот раз я хочу рассказать вам об одной из самых важных вех в развитии как нейрофизиологии, так и непосредственно кибернетики. Сейчас я говорю с одной стороны про формулировку первого работающего правила обучения искусственных нейронных сетей, а с другой стороны про попытку приблизиться к тайнам обучения живых существ.

Сегодня мы пройдем путь от изначального вида постулата Хебба к его непосредственному применению, а также попробуем обсудить возможность его применения для моделирования обучения в системах искусственного интеллекта.

К написанию данной статьи меня побудили комментарии к моим предыдущим топикам, в которых мне было необходимо выражать свое отношение к обучению за счет изменения силы синаптической связи. Поэтому я решил один раз разобрать все подробно, в том числе для самого себя.