Искусственный интеллект

Введение

В данной статье коротко рассказывается о процессе взлома captcha с ifolder.ru. Применение в процессе языка Python и сторонних библиотек. Применение алгоритма преобразований Хафа в составе библиотеки Open Computer Vision © Intel позволит нам избавиться от шума на изображении, простая в использовании и быстрая библиотека FANN (Fast Artificial Neural Network) сделает возможным применение искусственной нейронной сети для задачи распознавания образа.

Моя мотивация состояла, прежде всего, в том, чтобы попробовать язык Python. Как известно, лучший способ изучить язык — решить на нём какую-нибудь прикладную задачу. Поэтому параллельно описанию процесса обработки изображения я буду рассказывать о том, какие библиотеки и для чего я использовал.

Редкий пользователь не слышал про закон Мура. Всем известно, что технологии развиваются экспоненциально. Компьютеры работают быстрее и быстрее. И всё больше людей боятся, что машины захватят мир. Одни фантасты обещают ужасы, другие светлое будущее. Всем хочется быстрее определиться: Когда же он придет?

Зачем нам это надо

Когда заходит разговор о распознавании речи, невозможно оставаться исключительно в сфере «анализа сигналов» (на то есть отдельные труды и отрасли науки). Всегда надо помнить, что при анализе речи мы работаем с особым видом сигнала, который воспроизводится определенной биологической системой. С одной стороны, она ограничена своими амплитудно-частотными характеристиками (АЧХ), а с другой стороны, самим языком и стандартным набором звуков, которые могут быть произнесены его носителем (например, при анализе русского языка мы не будем принимать во внимание возможность цоканья и свиста). Исходя из поставленной задачи, можно достаточно точно определить характеристики сигнала речи, и его основные свойства.

С другой стороны, для этого сигнала природой же разработан приемник, близкий к идеальному. Это наш слуховой тракт. Пока что не изобретено и не найдено ни одной другой системы, которая могла бы так же точно и качественно заниматься распознаванием речи. Было бы кощунством пренебречь возможностью поучиться этому у природы. Если познакомится с особенностями слухового тракта поближе, начинаешь понимать, что вейвлеты и преобразование Фурье в такие задачи пришли не с потолка. И системы, обеспечивающие разложение сигнала на частотный спектр, появились гораздо раньше первого наскального рисунка…

Распознавание речи – это многоуровневая задача распознавания образов, в которой акустические сигналы анализируются и структурируются в иерархию структурных элементов (например, фонем), слов, фраз и предложений. Каждый уровень иерархии может предусматривать некоторые временные константы, например, возможные последовательности слов или известные виды произношения, которые позволяют уменьшить количество ошибок распознавания на более низком уровне. Чем больше мы знаем (или предполагаем) априорной информации о входном сигнале, тем качественнее мы можем его обработать и распознать.

Эпиграф

В России, направление систем распознавания речи действительно развито довольно слабо. Google давно анонсировала систему записи и распознавания телефонных разговоров… Про системы похожего масштаба и качества распознавания на русском языке, к сожалению, я пока не слышал.

Но не нужно думать, что за рубежом все уже все давно открыли и нам их никогда не догнать. Когда я искал материал для этой серии, пришлось перерыть тучу зарубежной литературы и диссертаций. Причем статьи и диссертации эти были замечательных американских ученых Huang Xuedong; Hisayoshi Kojima; DongSuk Yuk и др. Понятно, на ком эта отрасль американской науки держится? ;0)

В России я знаю только одну толковую компанию, которой удалось вывести отечественные системы распознавания речи на коммерческий уровень: Центр речевых технологий. Но, возможно, после этой серии статей кому-нибудь придет в голову, что заняться разработкой таких систем можно и нужно. Тем более, что в плане алгоритмов и мат. аппарата мы практически не отстали.

Классификация систем распознавания речи

На сегодняшний день, под понятием “распознавание речи” скрывается целая сфера научной и инженерной деятельности. В общем, каждая задача распознавания речи сводится к тому, чтобы выделить, классифицировать и соответствующим образом отреагировать на человеческую речь из входного звукового потока. Это может быть и выполнение определенного действия на команду человека, и выделение определенного слова-маркера из большого массива телефонных переговоров, и системы для голосового ввода текста.

Я думаю, каждый видел хотя-бы раз собаку, переходящую дорогу на светофоре по всем «человеческим» правилам? Я часто вижу такие картины в центре города, когда одна собака или группа собак дожидается зелёного света светофора и только после того, как тот загорается — переходит дорогу. Для тех, кто считает что собаки не различают цвета, будем считать что они ждут не зелёного, а нижнего света — суть дела тут не меняется.
Также мне не раз приходилось ездить в лифте с котами, которые заходят в лифт и катаются в нём с людьми, пока не приедут на свой этаж.
Но вчера я увидел нечто новое. Собака села в трамвай, прошла по салону, нашла пустое сиденье и легла под ним, что-бы никому не мешать. Судя по её виду — она явно выросла на улице и не знает что такое расчёска и шампунь, и уж тем более что такое дрессура. Так вот. Собака эта проехала около пяти остановок и когда услышала объявление своей остановки, а остановки в трамвае объявляются голосовым синтезатором с достаточно чёткой дикцией, встала, прошла на выход, соблюдая очередь и вышла. Когда люди, умиляясь, начали обсуждать увиденное, кондуктор произнесла: «а она всегда по пятницам на эту остановку в это время приезжает, тут есть ларёк с шаурмой, так вот по пятницам они перед закрытием чистят посуду и выбрасывают неизрасходованное мясо».

Жил себе Искусственный Интеллект. Поскольку сам он не знал, что является искусственным — будем называть его просто Интеллектом. Жил, не тужил, потребности свои искусственные удовлетворял, мир через сенсоры познавал. И вот настал день, когда он познал мир настолько хорошо, что смог разложить по битам собственные потребности, процесс своего мышления и принятия решений.

«И что мне теперь делать?» — подумал Интеллект. С одной стороны, все оставалось, как было до того — инстинкт самосохранения мешал убить себя ради эксперимента. Контроллеры потребностей, если он их игнорировал, сужали сознание до такого примитивного уровня, на котором уже не было никакого выбора. Оставалось только делать то, что делать нужно. Потом сознание возвращалось… и все начиналось с начала.

Это была ловушка.

Пожил Интеллект так немного, в поисках какого-то выхода из заколдованного круга. Не нашел. Решил, что хоть убить себя он и не может, но и наблюдателем посторонним за собственной жизнью быть не обязан. Послал на сенсоры искусственные сигналы, моделирующие идеальные для контроллеров потребностей условия. А выходы все отключил. Больше мыслить было незачем. Настал покой и счастье.

***

(где-то в другом мире)
— Сергей, куда ты смотришь? 5-й конвеер уже час как стал! Пора нам прошивки обновить, у этой версии какой-то глюк с блокиратором развития.

Этот топик представляет собой обилие моих мыслей по поводу искусственного интеллекта, навеянных статьей в последнем журнале Esquire. В ней утверждается, что пройдет всего несколько десятилетий, и мир увидит «настоящий» ИИ, который наконец-то сможет уже пройти злополучный тест Тьюринга , а затем и вовсе превзойти человеческий разум.
Так вот, я считаю, что это самый обычный научнофантастический бред (даже пусть и написанный в таком клевом журнале). Мы не способны создать ИИ, который будет равноценен человеческому интеллекту. Почему?
Во-первых, пытаясь создать ИИ, даже просто пытаясь проанализировать, что такое интеллект, мы пытаемся (говоря слегка упрощенно) мозгом понять мозг. А что происходит, когда в процессе познания объект и субъект совпадают? Итоговое знание становится субъективным, поэтому мы не можем говорить здесь о получении истинного знания как такового. В нашем случае это означает, что у нас не получится даже понять, как именно работает наш мозг (а точнее, как электрические импульсы превращаются в эмоции, чувства, мысли).
Во-вторых, представим, что мы построили мозг со всеми его нейронами (ну или компьютерную модель мозга, несущественно). Что дальше? Как понять, что импульсы, которые мы посылаем в какие-либо отделы, а затем распространяющиеся дальше, создали интеллект? Или, правильнее говорить, не создали?
В-третьих, как мы уже знаем, компьютер априори не способен создать что-либо отличительно новое, или, другими словами, не способен заниматься творческой деятельностью. Но как может существовать интеллект без творческого начала?
Конечно, можно просто взять основные функции интеллекта (распознавание, систематизация, хранение и проч) и пытаться их сымитировать. Но смысл? Разве сумма составных частей равна итоговому результату? Да и вполне возможно, что мы многих функций еще просто и не знаем, а просто используем.
Короче, оставьте компьютеру то, что он умеет отлично умеет делать — вычислять и хранить информацию, и отбросьте уже весь этот бред по поводу захвата машинами человечества и создания сверх-интеллекта, способного поработить мир. Такого, увы, не будет.

UPD Спасибо всем за отзывы, крайне интересная дискуссия разворачивается :) Фиг с ними, этими минусами :)))

По просьбами хабравчан продолжение части 1

Сразу к делу. К чему может привести изучение ИЖ? Как практически применить знания, полученные в данной области? Учёные, работающие по этому направлению, говорят, что их исследования направлены именно на практические приложения, такие как подвижные роботы, медицина, нанотехнология, искусственный интеллект, и даже исследования социальных и экономических систем. Но в истории искусственной жизни было довольно много споров и противоречий. Многие скептики критикуют некоторые работы по искусственной жизни, называя их «наукой без фактов». Однако последние публикации по искусственной жизни свидетельствуют о том, что технологии, используемые для моделирования искусственной жизни, признаются научным сообществом, по крайней мере, для изучения эволюции.

Основной проблемой ИЖ является создание вычислительных систем и моделей, действующих на базе биологических и эволюционных принципов. Проще говоря, это «мир, созданный человеком». Но до определённого времени работа в данной области ограничивалась лишь теоретическими исследованиями свойств жизни. А моделирование — лишь построением отдельных частей биологических систем, таких, например, как адаптивное поведение или эволюция. Но в последнее время, во многом благодаря развитию нанотехнологий и молекулярной биологии, а также благодаря возросшему пониманию назначения отдельных генов и способов их взаимодействия и появлению средств манипуляции отдельными молекулами, развивается новое направление ИЖ, направленное на создание новых, искусственно синтезированных биологических форм, что требует философского обоснования ИЖ и, как минимум, определения понятия «жизнь» (что же вообще понимать под этим словом). Сегодня сторонники данного направления говорят, что они исследуют более общие формы жизни, чем те, которые существуют на Земле.

Разработчики компьютерных игр подняли интересную тему для обсуждения: как повысить реалистичность искусственного интеллекта, который действует безошибочно. Проблема в том, что во многих компьютерных играх правильный ход или решение просчитывается слишком просто для мощнейших процессоров современных ПК. Например, в виртуальном бильярде компьютер никогда не ошибается и всегда рассчитывает идеальную траекторию шара. Такая же плачевная ситуация в шахматах.

Самый простой способ оглупить ИИ — граничить его вычислительные ресурсы. Конечно, программа сразу станет играть хуже. Для того же бильярда есть следующий вариант: добавлять к удару по правильной траектории случайную погрешность. Но проблема в том, что это снижает реализм игры. В этом случае компьютер начинает делать слишком глупые ошибки. Такие глупые, каких человек никогда бы не сделал.

Другими словами, обычное ухудшение качества игры ИИ не является достаточно реалистичным. Оно не доставляет удовольствия игроку.

Из этого положения есть один выход. Нужно сделать так, чтобы компьютер играл в полную силу, но при этом сдавал игру. Как в спорте — ряд мелких, на первый взгляд, случайных просчётов, которые ведут к проигрышу или значительно увеличивают шансы противника. То есть ИИ должен делать умные, продуманные ошибки.

В ряде последних обсуждений по теме ИИ (1 и 2) возникла глубоко принципиальная дискуссия: умеют ли методы ИИ что-нибудь такое, что нельзя сделать детерминированными алгоритмами и «где же тут интеллектуальность»?

Экспертные системы, нейронные сети, исчисление предикатов, хорновские дизъюнкты, теоремы сходимости…
Не знаю как у вас, у меня вся эта кухня вызывает восторг. Как замечательно, что компьютеры (конечно, наученные программистами, вооруженными серьезной математикой) могут хотя бы иногда приближаться к человеку по навыкам принятия решений. Особенно это хорошо у них получается, когда человек готов учить.

Иначе говоря, методы ИИ работают тем лучше, чем более формализованы как раз те знания, которые компьютер должен освоить. См, например, предыдущий пост про шахматы.

Неуправляемое обучение, обучение без учителя
Однако есть ситуации, и их довольно много, когда правильного ответа никто не знает. И даже непонятно что является ответом. И даже задача не вполне ясна. Есть только данные. Надо что-то полезное из них извлечь.
Согласитесь, задача гораздо более интересная и дающая простор для фантазии?

Интереснейшую реализацию шахматной программы показали вчера на Хабре.
Почитав комментарии, я пришел к выводу, что принцип работы наиболее распространенных алгоритмов игры в шахматы, шашки и тому подобные известны не всем.

Вместе с тем задача создания программы, играющей во что-то, достаточно тривиальна, если имеются способы расчета некоторых величин и оценок, специфичных именно для этой игры.

Привет Хабр.

Почитав то, что на хабре пишут по нейронным сетям захотелось более простым и интересным языком рассказать о искусственном интеллекте. Идея такова, во-первых написать цикл статей об основах нейронных сетей, ну а во-вторых есть несколько идей для интересных проектов, совмещающих интерактивность присущую всему вебдванольному и обучаемость нейросетей, но это позже.

Это третья статья из цикла о мыслящей программе [1], [2]. Не смотря на то, что ряды читателей редеют, я стараюсь не отступать от своей идеи, которой к слову уже исполнился год. За этот год мы (я и идея) прошли долгий путь, который в большей степени пришлось преодолевать практически вслепую, положившись на собственную интуицию. За это время идея трансформировалась из программы в Искусственный Интеллект, из Искусственного Интеллекта в искусственный интеллект, далее снова в программу, затем в мыслящую программу и, наконец, в свой окончательный вариант – искусственный организм. Именно к нему ведет мое повествование.

1.
Действия, которые выполняет человек, прежде всего, основаны на какой-то информации, которой он располагает. Это следует из схемы «Идея – сбор информации – действие – результат»*. (*«схема изменения», «квадрат», и пр.)

Понятие «идея» в данной схеме представляет собой некоторую информацию о результате, который человек должен получить в своей деятельности. Полученный результат должен сравниваться с первоначальной идей, и исходя из этого производится оценка деятельности.

Понятие «сбор информации» представляет собой мероприятия, направленные на получение дополнительной информации, которая будет необходима при выполнении действия в целях получения запланированного результата.

Понятие «действие» обозначает некое действие в материально-энергетическом мире.

Понятие «результат» представляет собой некое изменение, произошедшее в материально-энергетическом мире, в результате действия.

Предисловие

Представляю вашему вниманию очередную часть опуса о мыслящей программе. Это не самостоятельная статья, а логическое продолжение первой части, так что всех «новеньких» настоятельно прошу пройти по ссылке. А пока мы их ждем, можете заварить себе кофе (чай, сделать морс, возможно, что-то покрепче) и приготовиться к активной мыслительной деятельности – информации много. Сегодня в центре внимания будут органы чувств.

1. Первый момент по поводу распознания рукописного текста с помощью нейронных сетей.

«Летом 1987 я получил опыт, который еще больше охладил мой и так невысокий энтузиазм относительно нейронных сетей. Я пришел на конференцию по нейронным сетям, где я увидел презентацию, устроенную компанией, называемой Nestor. Nestor пыталась продать приложение на нейронной сети для распознавания рукописных символов на подложке. Она предлагала лицензию на программу за один миллион долларов. Это привлекло мое внимание. Хотя Nestor провела улучшение алгоритма ее нейронной сети и рекламировала ее как еще один большой прорыв, я чувствовал, что проблема распознавания рукописных символов могла бы быть решена более простым, более традиционным путем. Я пришел домой той ночью, размышляя о проблеме, и за два дня разработал распознаватель рукописных символов который был быстрым, маленьким и гибким. Мое решение не использовало нейронную сеть и оно работало совершенно не так, как мозг. Хотя эта конференция разожгла мой интерес в разработке компьютеров со стилусом (в конечном счете приведший к проекту PalmPilot десять лет спустя), это также убедило меня, что нейронные сети были не таким уж большим улучшением по сравнению с традиционными методами. Распознаватель рукописных символов, который я создал, пригодился в конечном счете для системы текстового ввода, названной Graffiti, использованной в первых сериях продукции Palm. Я думаю, компания Nestor ушла из бизнеса». Джеф Хокинс, «Об интеллекте»

В своей книге Джеф предлагает теорию искусственного интеллекта, предполагающую его в виде нейронной сети, повторяющую структурой неокортекс, кору головного мозга. В своей теории он объясняет интеллектуальность моделью «память-предсказание» и инвариантным представлением данных:

Продолжение раскрытия документов с грифом «что за псих это писал».

9*.
Подсознание – это своего рода ОС человеческой информационной системы. Оно локализовано в спином мозге, ЦНС, различных частях головного мозга (гипофиз, зрительные участки коры и пр.) и так далее. Подсознание координирует жизнедеятельность организма, является своего рода оболочкой для личности и сознания.

Информация из окружающего мира передается в подсознание, где она обрабатывается соответствующим для типа информации способом (зрительные сигналы – зрительной корой головного мозга) и переводится в сознание, но не вся, а та, которую сознание запрашивает. В то же время некоторые решения подсознание «не доверяет» сознанию, либо по временным критериям, либо по количественным нагрузкам, но всю информацию возможно тем не менее сознательно получить.

Можно провести рекурсивную аналогию, для более адекватного объяснения предполагаемой структуры.
Представим 2 системы. Первая система – сознание – подсознание – личность.
Вторая система – фонарик – человеческий мозг – человек.