Недавно меня пригласили выступить на TEDx, я постарался популярно рассказать о современном положении дел в ИИ, и помимо этого изложил суть тех нейронных сетей, над которыми мы сейчас работаем (см. видео).



Поскольку доклад был сугубо популярный, никаких подробностей я там не представил, но модель обладает интересными свойствами, о которых я хочу рассказать детальнее.

Структура сети

За основу была взята широкоизвестная сеть Хопфилда, но в нее помимо основных связей от каждого нейрона к каждому (которые технически можно считать связями с задержкой в один такт), были добавлены дополнительные связи с задержками более 1го такта (практически исследовались задержки на 2-8 тактов).

Все непонятное кажется сложным, запутанным и труднообъяснимым. Такое отношение совершенно понятно и по отношению к сильному ИИ. Наш мозг умеет столько всего, что невольно кажется, что для объяснения принципов его работы необходимо разобраться в сложнейшем хитросплетении множества различных принципов и разнообразных систем. Собственно, это порождает соответствующие подходы к изучению ИИ, которые время от времени описываются на этом сервере. Всякий, кто профессионально занимается ИИ, со временем определяется с неким философским воззрением, которое приобретает для него религиозный оттенок. Пытаться опровергнуть или даже поставить под сомнение это воззрение задача неблагодарная. В конце концов только работающая модель ИИ — веский довод в пользу одной из теорий. Так что прошу воспринимать мое повествование исключительно как мою личною точку зрения. Так вот, я убежден, что уже удалось сформулировать основные принципы необходимые для построения сильного ИИ и в основном понятно, и что есть мышление и как его смоделировать в полном объеме. Подробности под катом.

В комментариях к статье Алгоритмическая неразрешимость – это не препятствие для алгоритмического ИИ я высказался, в свете того, что

Почему-то все зациклились на задачах NP. Но никто почему то не ставит задачи БЫСТРЕЕ решать задачи класса P (вплоть до мгновенного ответа)

и намекнул, что проблемы построения ИИ заключаются скорее в принципиальной (непреодолимой) медленности компьютеров построенных по принципу машин Тьюринга.

В статье же говорилось о теоретической проблеме алгоритмической неразрешимости на примере задачи останова.

Человек решает задачу останова, но делает это с ошибками, вероятность которых повышается с усложнением программ. Способность человека решать алгоритмически неразрешимые проблемы (как массовые проблемы) является крайне сомнительной. Его способность находить решения для отдельных частных случаев ничего не доказывает, ведь это под силу и компьютеру.

и вот тут кажется недооценен «алгоритм» работы человека с нахождением частных случаев. Не под силу это компьютеру, ему не хватает устройства, благодаря которому он мог бы выделять частные случаи. Конечно, в комментариях в этой статье — многие сразу закодировали эти частные случаи, но речь же идет о том, чтобы компьютер сам это осуществил бы при решении. Представляется, что нахождение частных случаев как минимум принципиально снижает сложность расчетов. Человек упрощая и идеализируя затем переходит к формулированию законов, тем самым переходя на качественно другой уровень. И вот это компьютеру не доступно.

Но все по порядку.

В замечательном произведении Аркадия и Бориса Стругацких «Понедельник начинается в субботу» есть такой диалог:
– Голубчики, – сказал Фёдор Симеонович озабоченно, разобравшись в почерках. – Это же проблема Бен Бецалеля. Калиостро же доказал, что она не имеет решения.
– Мы сами знаем, что она не имеет решения, – сказал Хунта, немедленно ощетиниваясь. – Мы хотим знать, как её решать.
– Как-то странно ты рассуждаешь, Кристо… Как же искать решение, когда его нет? Бессмыслица какая-то…
– Извини, Теодор, но это ты очень странно рассуждаешь. Бессмыслица – искать решение, если оно и так есть. Речь идёт о том, как поступать с задачей, которая решения не имеет. Это глубоко принципиальный вопрос, который, как я вижу, тебе, прикладнику, к сожалению, не доступен.

Часть 1.

Краткий анализ существующих подходов к сильному ИИ.

Когнитивные архитектуры.

При создании сильного ИИ естественно воспроизводить, если не все детали работы человеческого мозга, то, по крайней мере, те функции, которые он выполняет. В противном случае, очень сложно быть уверенным, что создается именно интеллект. Именно такую цель и преследуют когнитивные архитектуры, которые объединяют такие функции, как обучение, память, планирование и т.д., то есть все (или почти все) то, что есть в естественном интеллекте. Это и делает когнитивные архитектуры столь привлекательными и популярными.

От универсального интеллекта к сильному ИИ. Перспективы создания сильного искусственного интеллекта

Область искусственного интеллекта (ИИ) принесла массу замечательных практических результатов в части автоматизации человеческой деятельности в самых разных сферах, что постепенно меняет облик нашей цивилизации. Однако конечная цель – создание по-настоящему разумных машин (сильного ИИ) до сих пор не была достигнута. В то же время, из ученых мало, кто действительно сомневается в том, что такой сильный ИИ в том или ином виде может быть создан. Если какие-то возражения и звучат, то они имеют религиозных характер, апеллирующий к наличию у человека нематериальной души. Но даже при столь радикальных воззрениях на нематериальный мир списывают лишь такие сложные концептуально феномены как свобода воли, творчество или чувства, не отрицая возможности наделения машины почти неотличимым от человека поведением. Гораздо менее однозначными являются ответы на вопросы, когда и как именно может быть создан сильный ИИ?

Введение

Всем привет, раз на хабре пошел цикл статей про нейронные сети, то и я напишу про возможность использования нейронных сетей в задаче прогнозирования финансовых временных рядов.
Существует несколько различных теорий о возможности прогнозирования фондовых рынков. Одна из них — гипотеза эффективного рынка, согласно ей, в цене акции уже учтена вся имеющиеся информация и делать прогнозы бессмысленно. Продолжением этой гипотезы можно назвать теорию случайных блужданий.
В теории случайных блужданий информация подразделяется на две категории — предсказуемую, известную и новую, неожиданную. Если предсказуемая, а тем более уже известная информация уже заложена в рыночные цены, то новая неожиданная информация в цене пока еще не присутствует. Одним из свойств непредсказуемой информации является ее случайность и, соответственно, случайность последующего изменения цены. Гипотеза эффективного рынка объясняет изменение цен поступлениями новой неожиданной информации, а теория случайных блужданий дополняет это мнением о случайности изменения цен.

Казалось бы, что забавное обстоятельство, обнаруженное пару дней назад, когда система Apple Siri на простой вопрос «What is best smartphone ever» прямодушно отдавала должное устройству конкурента, называя таким Nokia Lumia 900 4G, а потом вдруг сменила мнение, привело к тому, что финский производитель телефонов, правда, словами менеджера австралийского подразделения, всерьёз обвинил Apple манипуляции с результатами работы Siri.

Через день после того, как обнаружилось «великодушное» поведение Siri, система на ставший сакраментальным вопрос отвечала не так так прямо, а пыталась отшутиться вроде «You're kidding, right?» или «The one you're holding». Учитывая то обстоятельство, что ответы Siri опираются на систему экспертных знаний Wolfram Alpha, опорной базой которых являются рейтинги магазинов и оценки пользователей, собираемые поисковой системой Bing, получилось так, что, по мнению Nokia, Apple вмешалась в поведение своей системы, посчитав, вероятно, что лишняя реклама конкуренту — не самая хорошая идея. При этом мнение Siri относительно лучшего планшета вполне предсказуемо — iPad.

Менеджер австралийского подразделения Nokia Трейси Постилл (Tracy Postill) высказалась следующим образом:«Apple позиционирует Siri как интеллектуальную систему помощи пользователям, но, если им не нравится ответ, они меняют её поведение». Один из экспертов CNET пояснил следующий момент — на Best Buy Lumia лидирует с оценкой 5 звезд, поставленную четырьмя покупателями, тогда как iPhone 4S 16 Гб имеет рейтинг 4,7, выставленный 86 пользователями. Очевидно, что поведение автоматизированной системы вряд ли могло поменяться в столь короткое время и здесь необходим комментарий Apple, которого компания по этому поводу пока не даёт.

В последнее время на Хабре было несколько статей о Нейронных сетях. Для расширения кругозора предлагаю описание Нейронной сети, построенной на неклассических принципах, и с которой я очень активно и продуктивно проводил эксперименты. Нейрон будет не суммировать входящие сигналы, а распознавать поступающие последовательности сигналов.

Бывший секретный проект «Гугла» теперь в прямом смысле этого слова появляется на публике: компания получила лицензию для тестовых поездок по дорогам общего пользования в Неваде, а до этого приглашались желающие для тестовой поездки на закрытой площадке.

На данный момент принадлежащий поисковому гиганту флот роботизированных автомобилей «Тойота Приус» отмотал более 300 тысяч километров в городском окружении, на оживленных трассах и горных дорогах лишь с частичными вмешательствами человека. Проект всё ещё далек от выхода на рынок, но в «Гугле» в собственном кампусе установили беспилотные гольф-карты, которые наглядно демонстрируют, как уже в ближайшем будущем новая технология может изменить мир.

Оценивая новый дизайн google+, случайно наткнулся на простенькую флеш игру — нажимаем кубики одинакового цвета, они лопаются, и мы получаем очки и profit. Но, вместо того, чтобы самому кликать по кубикам, я решил написать бота, который будет делать все это за меня.

Бот для этой многострадальной игры уже существует (и не один), но мне захотелось сделать не отслеживание протоколов передачи, ковыряние чужого и внедрение своего кода, а попробовать реализовать распознавание образов и принятие на их основе решений, то есть некую эмуляцию действий реального игрока. Никакого матана, исключительно for fun. Реализация на .NET под хаброкатом.

Питер Стоун — доцент Техасского университета в Остине, специалист по искусственному интеллекту и многоагентным системам занимается моделированием дорожного движения с учетом широкого распространения автомобилей под управлением компьютера. Стоун считает, что машины-роботы способны сделать транспортную систему намного более эффективной. “Каждым перекрёстком — говорит Стоун — должен управлять автономный интеллектуальный агент, регулирующий режим движения каждого автомобиля индивидуально, а не светофор, запрещающий или разрешающий движение всего потока”.

Понять как работает человеческий мозг невозможно если не дать внятного ответа на вопрос: что такое эмоции. Предлагаю концепцию, отличную от всех классических представлений, но позволяющую построить исчерпывающую объясняющую модель. В рамках этой модели удается дать объяснение гармонии, красоте и юмору.

Вчера сделал небольшую инфографику своей разработки (читайте: habrahabr.ru/blogs/artificial_intelligence/135795 )

Простите за непроффесионализм — только учусь дизайнить в таком направлении. Давно уже хотелось с чего-то начать.

Представляю перспективу развития моей будущей системы в разрезе использования Облачных технологий и систем хранения и обработки данных.



Вкратце поясняю под катом.

Введение или как я писал свой первый ИИ

Доброго времени суток. Я написал свой первый искуственный интеллект много лет назад, когда учился в колледже. Тогда это был ИИ для змейки в необычной для змеек игре — Serpent's Madness (ссылка ведет на мой сайт игры), в которой последние могут двигаться в любом направлении. Скриншот ниже демонстрирует это:



Тогда это был детерминированный алгоритм, т.е. алгоритм с четкой последовательностью действий, когда на каждом шаге можно точно сказать, что будет на следующем. Выглядел он приблизительно так

Элементарные частицы

Еще совсем недавно, пару сотен лет назад, физики открыли атом и признали его неделимым. Потом другие физики его разделили, еще раз разделили и собираются снова делить. И каждый раз старательно доказывают элементарность открытых ими частиц. Это наводит меня, далекого от физики человека, на мысль о возможности бесконечного деления любого физического элемента, любой материи. А как следствие — любая частица материи включает в себя несколько аналогичных друг другу частиц более низкого уровня.

Важной целью исследователей в области компьютерного зрения является создание автоматизированной системы, способной сравняться или превзойти способности человеческого мозга по распознаванию лиц. Результаты психофизических исследований процесса распознавания лиц предоставляют специалистам по компьютерному зрению ценнейшие факты, которые помогут улучшить системы искусственного интеллекта.

Как обычно, предлагаю сокращенный перевод, полный текст доступен в оригинале.

По скольку недавно опять поднималась тема нейронных сетей, решил показать небольшую реализацию НС, обучаемую методом обратного распространения ошибки, написанную на scheme. Заодно подробно расскажу, как это все работает, для новичков жанра. Будет рассмотрен только самый простой вид сетей, без зацикливаний и пропуска слоев.

Предисловие

Некоторые из вас наверняка недавно проходили Stanford'ские курсы, в частности ai-class и ml-class. Однако, одно дело просмотреть несколько видео-лекций, поотвечать на вопросики quiz'ов и написать десяток программ в Matlab/Octave, другое дело начать применять полученные знания на практике. Дабы знания полученые от Andrew Ng не угодили в тот же тёмный угол моего мозга, где заблудились dft, Специальная теория относительности и Уравнение Эйлера Лагранжа, я решил не повторять институтских ошибок и, пока знания ещё свежи в памяти, практиковаться как можно больше.

И тут как раз на наш сайтик приехал DDoS. Отбиваться от которого можно было админско-программерскими (grep / awk / etc) способами или же прибегнуть к использованию технологий машинного обучения.

Далее пойдёт рассказ о создании нейронной сети на Python 2.7 / PyBrain и её применении для защиты от DDoS'а.

Предисловие

Как известно, задача распознавания непрерывного рукописного текста в режиме off-line пока считается нерешённой.

Мне удалось решить эту задачу теоретически и практически. Практическая часть сейчас имеет вид демонстрационной версии программы. Решение общее, оно не ограничивается какой-либо областью применения, языком или размером словаря.

О программе

Программа полностью обучаемая. Процесс обучения выглядит просто: