Искусственный интеллект

Читая Хабр на предмет материалов по нейросетям и вообще по теме искусственного интеллекта я нашел пост о однослойном перцептроне и решил из любопытства начать изучение нейросетей с него, а потом и расширить опыт до многослойного перцептрона. О чем и повествую.

Microsoft Research опубликовало научную работу и видео, показывающие как работает алгоритм отслеживания тела в Kinect — это почти также изумительно, как и некоторые уже найденные ему применения.

Прорыв Kinect-у обеспечивают несколько составляющих. Его железо хорошо продумано и выполняет свои функции за приемлемую цену. Однако после того, как пройдет изумление от быстро измеряющего глубину железа, внимание неизбежно привлекает способ, которым он (Kinect) отслеживает тело человека. В данном случае героем выступает довольно классическая методика распознавания образов, но реализованная с изяществом.

Просто удивительно, насколько чатботы стали похожи на людей. По ссылке длинный лог разговора чатботов jabberwacky и splotchy, некоторые фрагменты которого очень напоминают человеческий разговор.

Оцифровка человеческого мозга, — это, прежде всего, мечта всех и каждого, это панацея от всех проблем человечества, ведь где копия сознания, там и ИИ, а тут на горизонте уже маячит телепортация, отказ от войн, а любой, самый совершенный и гениальный ум можно будет просто копировать и даже не в одном экземпляре. Пожалуй, в этом посте я опущу морально-этические и религиозные вопросы типа существования и сохранности человеческой души при подобных манипуляциях над человеческим же сознанием, а напишу о российском проекте, направленном как раз на создание копии сознания.

Введение

Природа человеческого творчества изучена ещё меньше, чем природа интеллекта. Тем не менее, машинное творчество, как направление в искусственном интеллекте, существует. Здесь поставлены проблемы написания компьютером музыки, литературных и живописных произведений, а создание реалистичных образов уже широко используется в кино и индустрии игр. Созданные системы позволяют производить конкретные образы, легко воспринимаемые человеком, что особенно полезно для интуитивных знаний, проверка которых в формальном виде требует значительных умственных усилий [1].
Под катом вас ждет краткий обзор предметной области, предлагаемый мной подход к написанию музыки компьютером и немного математики.

Для самых нетерпеливых: ученые запрограммировали собачку Aibo так, чтобы она могла изучать мир самостоятельно, т.е. без заданной последовательности действий.
Тут лежат несколько видео, где робособака, как ребенок, изучает мир вокруг, ссылка.

Для тех, кому этого не достаточно, добро пожаловать под хабракат.

Не смотря на треп тролей про ё-мобиль нельзя отрицать существенный вклад Прохорова в развитие прорывных технологий, технологий завтрашнего дня. И я верю в успех ё-мобиля. И был вдвойне рад прочесть сегодня новость о том, что Прохоров и Йордан выступили инвесторами и вложили $5 млн в систему коллективного интеллекта – стартап Witology.

Jeopardy! — популярное на американском телевидении квиз-шоу (или, по-русски, викторина), в которой участникам необходимо отвечать на вопросы из абсолютно разных областей — точных наук, поп-культуры, истории, литературы и так далее.
14 февраля в этом шоу примет участие «Ватсон» (Watson) — суперкомпьютер, созданный учеными и инженерами из корпорации IBM. Двумя соперниками искусственного интеллекта станут Кен Дженнингс (абсолютный чемпион Jeopardy! за всю историю существования шоу) и Брэд Руттер. Дженнингс выиграл 74 игры подряд, заработал 2.5 миллионов долларов. Руттер одержал победу в меньшем количестве игр, однако является рекордсменом по сумме заработанных денег — 3.5 миллионов.
Однако уже прошел тренировочный раунд игры, в котором детище IBM одержало победу, получив 4400$ (против 3400$ и 1200$ у Кена и Брэа соответственно). Основная часть противостояния состоится 14 февраля.

В данном посте я бы хотел рассмотреть только типичные ошибки, при размышлениях о том, с чего начать делать ИИ. Топик не претендует на истинность в последней инстанции, только пытается указать на явные ошибки.

Под ИИ я понимаю программу, которая может выполнять разнотипные задачи, приводя их к однотипным, которые уже умеет решать.

Немного теории

Человек получает посредством зрения миллионы бит в секунду, осязание дает человеку сотни тысяч бит в секунду, а с помощью слуха человек получает десятки тысяч бит в секунду.
Остальные каналы ощущений дают несравнимо меньший объем информации, очень сложны для реализации, медленны и не имеют возможности для общения(вряд ли можно построить ИИ на основе запаха).

К сожалению, для шахмат пока нет лучших алгоритмов, чем перебор очень многих позиций. Правда, перебор порядком (и не одним) оптимизированный, но все же это большой перебор. Для поиска ответного хода строится дерево с исходным ходом в корне, ребрами — ходами-ответами и узлами — новыми позициями.



Как в элементарных алгоритмах выбирается следующий ход объяснить просто. На своем ходе вы выбираете такой ход (по вашему мнению), который принесет наибольшую пользу (максимизирует вашу выгоду), а противник на очередном своем ходе старается выбрать ход, который принесет ему больше всего пользы (максимизирует его выгоду и минимизирует вашу). Алгоритм с таким принципом называется минимакс. На каждом этапе вы присваиваете каждому узлу в дереве оценку позиции (об этом потом) и на своем ходе ее максимизируете, а на ходе противника — минимизируете. Алгоритм во время работы должен пройти по всем узлам дерева (то есть по всем возможный игровым позициям в игре), то есть совсем непригоден по времени.
Следующее его усовершенствование — альфа-бета отсечение (метод веток и границ).

Многим знакомы фильмы, в которых искуственный интеллект, порожденный человеком, покушался на жизнь или контроль над своим создателем. Данный вывод может быть абсолютно закономерен для ИИ. Мало того, создание ИИ, подобного человеку, невозможно, а точнее сказать глупо, потому как это будет подобно созданию велосипеда на квадратных колесах, взамен известному классическому. Каким именно образом и почему такое возможно, и хочу вам рассказать. А также вы узнаете, почему человечество такое, какое есть.

Мы не смотрим телевизор. Это «дебильник», «ящик для гопоты и пенсионеров». Вот компьютер с интернетом – это наше все. А телевизору давно пора на свалку истории.

Врядли кто-то с этим поспорит (даже если тайком посматривает ТНТ). Но пройдет всего несколько лет, и вместо очередного компьютера многие из нас купят новый телевизор. Правда, это будет уже совсем другой телевизор.

Система обработки натуральной речи и ответов на вопросы IBM DeepQA/Watson сыграет против двух чемпионов интеллектуальной телевикторины Jeopardy! (в России викторина производится по лицензии под названием «Своя игра»). Трансляция битвы умов состоится 14, 15 и 16 февраля 2011 года на канале CBS. Будет сыграно две игры.

Викторина пройдёт по стандартным правилам. Три участника соревнуются между собой в борьбе за право первым ответить на заданный вопрос. Вопросы сформулированы, как правило, в виде утверждений, где искомое слово заменено местоимением. Игроки должны догадаться, о чём идёт речь, и дать ответ.

(Части 1, 2, 3) В четвёртой части мы поговорим о проверке грамматики за пределами токенизированных передложений.

Как уже упоминалось, разбиение предложения на токены и POS-разметка уже позволяют создать простой инструмент проверки грамматической корректности текста. По крайней мере, LanguageTool плагин к Open Office работает именно так. Очевидно, что массу ошибок можно выловить на уровне размеченных токенов. Однако также очевидно, что не менее обширные классы ошибок остаются за пределами возможностей нашего модуля. Взять хотя бы такую простую вещь как согласование подлежащего и сказуемого: «дама любил собак», «любил собак дама», «собак дама любил»… как составить паттерн для правила «сказуемое должно иметь тот же род, что и подлежащее?» Даже для английского языка с более-менее чётким порядком слов это трудно, говорить о русском и вовсе не приходится.

(Часть 1, Часть 2) В прошлый раз я преждевременно упомянул токенизацию; теперь можно поговорить и о ней, а заодно и о маркировке частей речи (POS tagging).

Предположим, мы уже выловили все ошибки (какие догадались выловить) на уровне анализа текста регулярными выражениями. Стало быть, пора переходить на следующий уровень, на котором мы будем работать с отдельными словами предложения. Разбиением на слова занимается модуль токенизации. Даже в столь простой задаче есть свои подводные камни. Я даже не говорю о языках вроде китайского и японского, где даже вычленение отдельных слов текста нетривиально (иероглифы пишут без пробелов); в английском или в русском тоже есть над чем подумать. Например, входит ли точка в слово-сокращение или представляет собой отдельный токен? («др.» — это один токен или два?) А имя человека? «J. S. Smith» — сколько здесь токенов? Конечно, по каждому пункту можно принять волевое решение, но в дальнейшем оно может привести к различным последствиям, и это надо иметь в виду.

Примерно так я рассуждал на начальных этапах нашего проекта, теперь же склоняюсь к тому, что в задачах обработки текстов частенько приходится подчиняться решениям других людей. Это будет уже ясно на примере маркировки частей речи.

(Часть 1) Сегодня мы поговорим об уровнях понимания текстов нашей системой, о том, какие ошибки правописания отловить просто, какие не очень просто, а какие запредельно сложно.

Начнём с того, что текст можно рассматривать с двух точек зрения: либо как простую последовательность слов, пробелов и знаков препинания, либо как сеть связанных между собой синтактико-семантическими зависимостями понятий. Скажем, в предложении «я люблю больших собак» можно расставить слова в любом порядке, при этом структура связей между словами будет одна и та же:

Читавшие мои предыдущие публикации знают, что пишу я достаточно редко, но обычно сериями. Хочется собраться с мыслями на заданную тему и разложить их по полочкам, не втискивая себя в прокрустово ложе одной короткой статейки.

На сей раз появился новый повод поговорить об обработке текстов (natural language processing то бишь). Я разрабатываю модуль проверки правописания для одной конторы. На выходе должна получиться функциональность, аналогичная встроенной в MS Word, только лучше :) Не могу пока назвать себя крупным специалистом в этой области, но стараюсь учиться. В заметках постараюсь рассказать о том, куда движется наш проект, как устроен тот или иной этап обработки текста. Может, в комментариях услышу что-нибудь новое/интересное и для себя. Если проекту с этого будет польза — прекрасно. Как минимум, устаканю данные у себя в голове, а это тоже неплохо.

Победителем в конкурсе чатботов 2010 года и обладателем премии Лёбнера стал чатбот Suzette. Как всегда, соревнование проходило в формате стандартного текстового теста Тьюринга. Судьи должны были вести беседу, не видя собеседников, а затем огласить своё мнение: кто из них является чатботом, а кто — человеком, а также проставить оценки каждой программе.

В этом году лучший чатбот даже смог обмануть одного судью, который принял его за человека.

Судя по всему, качество чатботов улучшается с каждым годом. Например, трёхкратный победитель прошлых лет A.L.I.C.E уже не особо конкурентоспособен. По словам автора программы Suzette, его чатбот победил в квалификации с большим отрывом (11 баллов против 7,5 у ближайшего конкурента).

Попробую нарушить последовательность повествования, которую планировал изначально. После описания «Эмоционального компьютера» я хотел написать об устройстве ассоциативной памяти, но по комментариям я так понимаю, что читатели уже устали от скучных лекций и ждут экшена.

Сначала расскажу историю. Был у меня приятель, талантливый программист.

Что такое коартикуляция

Жуткий зверь по имени «аллофон»

Произнося слова и составляющие их звуки, мы никогда не задумываемся о том, что физически они из себя представляют. Сколько из говорящих на разных языках разумных земных существ пытались записать свою речь и исследовать её на графиках, спектрограммах? Понять и изучить её особенности, выделить закономерности и вообще, узнать о речи больше? Думаю, совсем немногие — в процентном отношении.

Мы просто пользуемся! Причём пользуемся неосознанно.

Мы интуитивно делим речь на звуки, которые записываем буквами, и нам кажется, что звук «а» — это всегда «а», а в слово «мама» есть два абсолютно одинаковых звука «а».

А вот и нет!!! Проведите эксперимент: запишите слово «мама», а потом, с помощью средств обработки аудиозаписи поменяйте слоги местами…