Искусственный интеллект

Я не помню где брал эту информацию, но она отражает суть нейросетей лучше всего. На пальцах.

Правила игры. НС обучается играть в игру «11 палочек». Можно брать либо 1 палочку, либо 2. Нужно вытянуть последним все палочки.

Берем 10 спичечных коробков и в каждый помещаем пуговки двух цветов. Например, черного и белого. По одной штуке. Номер на коробке будет отвечать за количество палочек в текущий момент.

Например, НС начинает ход.

1. Закрываем глаза и вытаскиваем наугад пуговку из коробки под номером 11. Если черная, то берем одну палочку, если белая — две. (Пусть будет белая — 2 палочки).
2. Ход человека. Например, он взял 2 палочки.
3. Далее, берем коробок под номером 11-2-2 = 7 и вытаскиваем наугад из него пуговку.

Так до тех пор пока игра не закончится.

Если НС выиграла, то поощряем найденное решение добавлением в задействованные коробки по одной пуговке сверху тогоже цвета что и вытягивали. Если НС проиграла, то наказываем, убирая из последнего коробка вытянутую пуговку.

Вот и вся нейросеть из 10 узлов которая, изначально, не зная даже правил, учится играть и начинает обыгрывать человека. Если изменить правила и, например, тот кто последний забирает палочки проигрывает, то НС переучится и опять начнет побеждать.

Тут, конечно, масштаб незначителен, но он хорошо показывает, что НС хороша тем, что есть возможность гибкого обучения и подстраивания под правила игры.

Выбор топологии и настройка весов связей искусственной нейронной сети (ИНС) являются одними из важнейших этапов при использовании нейросетевых технологий для решения практических задач. От этих этапов напрямую зависит качество (адекватность) полученной нейросетевой модели, системы управления и т.д.

Построение искусственной нейронной сети по традиционной методике выполняется, фактически, методом проб и ошибок. Исследователь задает количество слоев, нейронов, а также структуру связей между ними (наличие/отсутствие рекуррентных связей), а затем смотрит, что же у него получилось — сеть обучается с помощью какого-либо метода, а затем тестируется на тестовой выборке. Если полученные результаты работы удовлетворяют заданным критериям, то задача построения ИНС считается выполненной успешно; в противном случае — процесс повторяется с другими значениями исходных параметров.

Естественно, бурное развитие теории и практики использования генетических алгоритмов, заставило исследователей (лень — двигатель прогресса) искать способы применить их к задаче поиска оптимальной структуры ИНС (эволюция нейронных сетей или нейроэволюция), тем более, что, так сказать, proof-of-concept был налицо, или, точнее, в голове — природа наглядно демонстрировала решаемость подобной задачи на примере эволюции нервной системы с последующим образованием и развитием головного мозга.

К написанию этой статьи меня побудила большая распространенность некоторых заблуждений на тему искусственных нейронных сетей (ИНС), особенно в области представлений о том, что они могут и чего не могут, ну и хотелось бы знать, насколько вопросы ИНС вообще актуальны здесь, стоит ли что-либо обсудить подробнее.

Я хочу рассмотреть несколько известных архитектур ИНС, привести наиболее общие (в следствие чего не всегда абсолютно точные) сведения об их устройстве, описать их сильные и слабые стороны, а также обрисовать перспективы.

Начну с классики.

6 лет своей жизни я потратил на изучение искусственного интеллекта. Результат моих исследований выразился в незаконченном проекте marishko.com. Я пытался разработать систему человеческого общения, не требующую специально обученного учителя, а способную обучаться автономно как маленький ребёнок.

В этой статье я хочу поделиться некоторыми используемыми мною алгоритмами и идеями.

Сразу скажу, что в своих исследованиях я больше опирался на природу интуиции как основу интеллекта, поэтому мои мысли далеки от математических алгоритмов.

Вчера на конференции Supercomputing 2009 сотрудники компании IBM представили результаты моделирования мозга, состоящего из более чем одного миллиарда нейронов (и 8.8 триллионов (!) синапсов).
Это больше, чем мозг кошки (отсюда и название статьи «The Cat is Out of the Bag: Cortical Simulations with 10⁹ Neurons, 10¹³ Synapses») и составляет примерно 4% человеческого мозга.
Для моделирования использовался Blue Gene/P DAWN с 147,456 процессорами и 144 TB оперативной памяти, но даже он не позволяет проводить вычисления в реальном времени, поэтому для моделирования одной секунды физического времени требовалось примерно 1.5 минуты расчетов.
Тем мне менее, как прогнозируют авторы этой модели, к 2019 году самый быстрый компьютер на Земле сможет моделировать работу человеческого мозга в реальном времени. Для этого потребуется около 10 Петабайт оперативной памяти и производительность свыше 1 EFLOPS.
Предполагается, что такое моделирование «снизу-вверх» (от простейших элементов к общей системе) позволит разобраться в том, как работает человеческий мозг, что же такое мышление и разум и как они возникают.

Стоит ли говорить, что финансируется проект все той же DARPA, которая, в частности, платит деньги Boston Dynamics.

via

Я хотел рассказать об интересном эксперименте ученых, которые попытались запрограммировать культурные императивы морали человека в память роботов с целью проверить смогут ли они вести себя также как люди при принятии решений. Отмечу, что опыты довольно жестокие, однако, по другому оценить возможности искусственного интеллекта ученым представилось невозможным. Сегодня роботы разрабатываются для того, чтобы существовать автономно, без вмешательства человека. Как сделать так, чтобы полностью автономная машина – могла действовать в соответствии с моралью и этикой человека?

Формализуя активность клеток мозга мухи, задействованных в зрительных процессах, ученые нашли новый способ извлечения траекторий движения из необработанных визуальных данных.

Про нейронные сети, как один из инструментов решения трудноформализуемых задач уже было сказано достаточно много. И здесь, на хабре, было показано, как эти сети применять для распознавания изображений, применительно к задаче взлома капчи. Однако, типов нейросетей существует довольно много. И так ли хороша классическая полносвязная нейронная сеть (ПНС) для задачи распознавания (классификации) изображений?

Введение

Проблема создания искусственного интеллекта активно обсуждается уже последние несколько лет, проводятся эксперименты, задействуются суперкомпьютеры, тратятся достаточные средства на изучение проблемы. В этой статье я не смогу ответить на вопрос, хорошо это или плохо, и что же стоит ожидать от взбунтовавшейся машины, но постараюсь прояснить текущее положение дел.

Введение

Я продолжаю серию статей посвящённую тематике pattern recognition, computer vision и machine learning. Сегодня я вам представляю обзор алгоритма, который носит название eigenface.



В основе алгоритма лежит использование фундаментальных статистических характеристик: средних (мат. ожидание) и ковариационной матрицы; использование метода главных компонент. Мы также коснёмся таких понятий линейной алгебры, как собственные значения (eigenvalues) и собственные вектора (eigenvectors) (wiki: ru, eng). И вдобавок, поработаем в многомерном пространстве.
Как бы страшно всё это не звучало, данный алгоритм, пожалуй, является одним из самых простых рассмотренных мною, его реализация не превышает нескольких десятков строк, в тоже время он показывает неплохие результаты в ряде задач.

Взлом captcha это, конечно, интересно и познавательно, но, по большому счёту, бесполезно. Это лишь частный случай задачи, которая возникает в одном из интересных направлений развития IT – распознавание образов (pattern recognition).



Сегодня мы рассмотрим алгоритм (точнее, более правильно считать это методикой, т.к. она объединяет в себе множество алгоритмов), который стоит на стыке таких областей, как Machine Learning и Computer Vision.

С помощью этого алгоритма мы будем искать НЛО (позарился на святое) на изображениях.

Введение

В данной статье коротко рассказывается о процессе взлома captcha с ifolder.ru. Применение в процессе языка Python и сторонних библиотек. Применение алгоритма преобразований Хафа в составе библиотеки Open Computer Vision © Intel позволит нам избавиться от шума на изображении, простая в использовании и быстрая библиотека FANN (Fast Artificial Neural Network) сделает возможным применение искусственной нейронной сети для задачи распознавания образа.

Моя мотивация состояла, прежде всего, в том, чтобы попробовать язык Python. Как известно, лучший способ изучить язык — решить на нём какую-нибудь прикладную задачу. Поэтому параллельно описанию процесса обработки изображения я буду рассказывать о том, какие библиотеки и для чего я использовал.

Я думаю, каждый видел хотя-бы раз собаку, переходящую дорогу на светофоре по всем «человеческим» правилам? Я часто вижу такие картины в центре города, когда одна собака или группа собак дожидается зелёного света светофора и только после того, как тот загорается — переходит дорогу. Для тех, кто считает что собаки не различают цвета, будем считать что они ждут не зелёного, а нижнего света — суть дела тут не меняется.
Также мне не раз приходилось ездить в лифте с котами, которые заходят в лифт и катаются в нём с людьми, пока не приедут на свой этаж.
Но вчера я увидел нечто новое. Собака села в трамвай, прошла по салону, нашла пустое сиденье и легла под ним, что-бы никому не мешать. Судя по её виду — она явно выросла на улице и не знает что такое расчёска и шампунь, и уж тем более что такое дрессура. Так вот. Собака эта проехала около пяти остановок и когда услышала объявление своей остановки, а остановки в трамвае объявляются голосовым синтезатором с достаточно чёткой дикцией, встала, прошла на выход, соблюдая очередь и вышла. Когда люди, умиляясь, начали обсуждать увиденное, кондуктор произнесла: «а она всегда по пятницам на эту остановку в это время приезжает, тут есть ларёк с шаурмой, так вот по пятницам они перед закрытием чистят посуду и выбрасывают неизрасходованное мясо».

Сразу к делу. К чему может привести изучение ИЖ? Как практически применить знания, полученные в данной области? Учёные, работающие по этому направлению, говорят, что их исследования направлены именно на практические приложения, такие как подвижные роботы, медицина, нанотехнология, искусственный интеллект, и даже исследования социальных и экономических систем. Но в истории искусственной жизни было довольно много споров и противоречий. Многие скептики критикуют некоторые работы по искусственной жизни, называя их «наукой без фактов». Однако последние публикации по искусственной жизни свидетельствуют о том, что технологии, используемые для моделирования искусственной жизни, признаются научным сообществом, по крайней мере, для изучения эволюции.

Основной проблемой ИЖ является создание вычислительных систем и моделей, действующих на базе биологических и эволюционных принципов. Проще говоря, это «мир, созданный человеком». Но до определённого времени работа в данной области ограничивалась лишь теоретическими исследованиями свойств жизни. А моделирование — лишь построением отдельных частей биологических систем, таких, например, как адаптивное поведение или эволюция. Но в последнее время, во многом благодаря развитию нанотехнологий и молекулярной биологии, а также благодаря возросшему пониманию назначения отдельных генов и способов их взаимодействия и появлению средств манипуляции отдельными молекулами, развивается новое направление ИЖ, направленное на создание новых, искусственно синтезированных биологических форм, что требует философского обоснования ИЖ и, как минимум, определения понятия «жизнь» (что же вообще понимать под этим словом). Сегодня сторонники данного направления говорят, что они исследуют более общие формы жизни, чем те, которые существуют на Земле.

Разработчики компьютерных игр подняли интересную тему для обсуждения: как повысить реалистичность искусственного интеллекта, который действует безошибочно. Проблема в том, что во многих компьютерных играх правильный ход или решение просчитывается слишком просто для мощнейших процессоров современных ПК. Например, в виртуальном бильярде компьютер никогда не ошибается и всегда рассчитывает идеальную траекторию шара. Такая же плачевная ситуация в шахматах.

Самый простой способ оглупить ИИ — граничить его вычислительные ресурсы. Конечно, программа сразу станет играть хуже. Для того же бильярда есть следующий вариант: добавлять к удару по правильной траектории случайную погрешность. Но проблема в том, что это снижает реализм игры. В этом случае компьютер начинает делать слишком глупые ошибки. Такие глупые, каких человек никогда бы не сделал.

Другими словами, обычное ухудшение качества игры ИИ не является достаточно реалистичным. Оно не доставляет удовольствия игроку.

Из этого положения есть один выход. Нужно сделать так, чтобы компьютер играл в полную силу, но при этом сдавал игру. Как в спорте — ряд мелких, на первый взгляд, случайных просчётов, которые ведут к проигрышу или значительно увеличивают шансы противника. То есть ИИ должен делать умные, продуманные ошибки.

Экспертные системы, нейронные сети, исчисление предикатов, хорновские дизъюнкты, теоремы сходимости…
Не знаю как у вас, у меня вся эта кухня вызывает восторг. Как замечательно, что компьютеры (конечно, наученные программистами, вооруженными серьезной математикой) могут хотя бы иногда приближаться к человеку по навыкам принятия решений. Особенно это хорошо у них получается, когда человек готов учить.

Иначе говоря, методы ИИ работают тем лучше, чем более формализованы как раз те знания, которые компьютер должен освоить. См, например, предыдущий пост про шахматы.

Неуправляемое обучение, обучение без учителя
Однако есть ситуации, и их довольно много, когда правильного ответа никто не знает. И даже непонятно что является ответом. И даже задача не вполне ясна. Есть только данные. Надо что-то полезное из них извлечь.
Согласитесь, задача гораздо более интересная и дающая простор для фантазии?

Интереснейшую реализацию шахматной программы показали вчера на Хабре.
Почитав комментарии, я пришел к выводу, что принцип работы наиболее распространенных алгоритмов игры в шахматы, шашки и тому подобные известны не всем.

Вместе с тем задача создания программы, играющей во что-то, достаточно тривиальна, если имеются способы расчета некоторых величин и оценок, специфичных именно для этой игры.

Привет Хабр.

Почитав то, что на хабре пишут по нейронным сетям захотелось более простым и интересным языком рассказать о искусственном интеллекте. Идея такова, во-первых написать цикл статей об основах нейронных сетей, ну а во-вторых есть несколько идей для интересных проектов, совмещающих интерактивность присущую всему вебдванольному и обучаемость нейросетей, но это позже.

Очень приятно, что тема искусственного интеллекта не заглохла, а продолжает развиваться. Здесь уже набралось множество статей с прекрасными идеями и интересными комментариями. Глядя на все это многообразие, захотелось вернуться к начатой полгода назад серии публикаций и поделиться некоторыми возникшими с тех пор мыслями и рассуждениями. Все это я попытался скомпоновать в одну большую статью, которая описывает все аспекты того, как будет работать конечный продукт, и содержит соображения по его реализации.

Detected интересную заметку — учёные из университета Тель-Авива (Tel Aviv University) создали программу, которая на фотографии делает лицо любого человека почти идеальным.

«Beauty Machine» («Машина красоты») использует специальный алгоритм для того, чтобы преобразовать изображение обычного человека в «фото с обложки». Во время преобразования введённого фото алгоритм рассчитывает соотношение определённых параметров представленного лица (например, ширину носа, подбородка, расстояние между глазами). Затем программа несколько корректирует изображение на фотографии, чтобы сделать лицо более желанным. Что приятно, при этом оно не слишком отличается от оригинала и человека можно узнать даже на отредактированном фото.