Pull to refresh

По следам интеллекта

Artificial Intelligence

По следам интеллекта


С момента первых попыток моделировать процессы, протекающие в человеческом мозге, наука прошла множество ступенек приближающих нас к ИИ. Но мозг человека, совершает пока что неподъемную и слабо отслеживаемую работу по непрерывной обработке потока сенсорной информации. Я попытаюсь осмысленно рассказать основные вехи эволюции искусственных нейронных сетей (ИНС).

Человек всегда хотел просто понять, как он думает. И применил для такой задачи стандартные методы науки: анализ, наблюдение, эксперименты. Но такое изучение дало лишь описательное знание, очень не дотягивающее до строгости физических наук. Пришлось отойти от прямого вопроса «Как мы думаем?» и выяснить, попытаться найти ответ на вопрос «Чем же человек думает?». Оказалось, все дело в мозге, состоящем из множества однотипных нервных клеток – нейронов. Кроме того этих клеток было много, но еще больше было связей между ними. Моделирование наблюдаемых экспериментально свойств нейрона дало некоторое повторение результатов человеческого мышления. Оставалось связать это в картину функционирования всей нервной системы человека уже на уровне физиологии и психологии, но именно здесь и начались проблемы.

Первые модели ИНС — сети прямого распространения, без обратных связей. Их выход полностью определялся текущими значениями сенсоров и коэффициентов (весов) на каждом входе каждого нейрона. Кроме того применялся метод обучения с учителем, когда весы входов нейронов подгонялись так, что бы сеть выдавала для обучающего набора входных значений допустимое отклонение от требуемых результатов. Такой метод был биологически неправдоподобным.

Первой решили проблему обучения сети без учителя. Основной принцип такого обучения состоит в том, что если отсылающий и принимающий нейроны одновременно активны (выход =1), то вес связи этих нейронов увеличивается. Биологически приемлемым здесь является логика обучения нейрона внутри границ самого нейрона и повторение свойства связи (синапса) биологических нейронов. Нейрон стал цельной логической самоорганизующейся единицей внутри ИНС.

Второй решили проблему влияния последовательностей на результат работы ИНС, сначала просто добавляя выход от ИНС к входящему сигналу (сети Хопфилда), а далее в рекуррентных ИНС добавлением связей от внутренних нейронов (сеть Элмана) либо от выхода ИНС (сеть Джордана) с единичной задержкой. Рекуррентные связи на входе обычно называют контекстом для входных данных. Рекуррентные ИНС уже можно использовать в системах управления движущимися объектами, а также использовать для запоминания последовательностей.

Следующим свойством памяти являлась её одновременная пластичность и стабильность. Принцип стабильности-пластичности заключается в том, что новые образы запоминаются в такой форме, что ранее запомненные не модифицируются и не забываются. Все предыдущие виды ИНС были не в состоянии повторить такое свойство. Ответом науки на эту проблему стала адаптивная резонансная теория (АРТ). Её смысл сводится к тому что, если сеть решает, что входящий набор не похож ни на один уже запомненный то она добавляется еще один выход из сети для нового образа. Если сеть распознала во входном наборе известный набор в пределах выбранной границы схожести, то происходит дообучение распознанному образу внутри сети. Не соответствие стабильности-пластичности и АРТ заключается в том, что все равно происходит изменение распознаваемого набора. Специальной последовательностью входных наборов с отклонением меньшим границы схожести можно полностью переучить ИНС. Но добавление в сеть новых выходов, то есть новых нейронов приближает нас к повторению биологических нейронных сетей, на протяжении всей жизни у человека образуются новые нейроны. Уплотняются новыми нейронами те участки мозга, которые отвечают за новые или постоянно тренируемые навыки человека.

Следующей проблемой стало распознавание образа независимо от положение во входящем наборе. Такая задача решается когнитронами и неокогнитронами – многоуровневыми иерархическими самоорганизующимися сетями. Основным свойством таких сетей является ограничение области связей на количество входов из предыдущего слоя нейронов, что приводит нас к подобию структуры зрительной коры мозга. А также присутствие отрицательных входов в нейронах, до этого отрицательные связи не использовались в ИНС, хотя в биологических нейронах присутствие таких связей доказано. Также интересен способ проверки окончания обучения ИНС. Сеть запускается в реверсивном направление, на подачу всего одного сигнала на один из выходов, ИНС выдает запомненный образ, за распознавание которого отвечает данный выход.

Идея ограничения области связей для самоорганизующихся нейронов заключается в том, что при обучении можно свихнуться если стараться запоминать все подряд, поэтому естественным является то, что нужно абстрагироваться, выделяя наиболее общие и важные свойства для всех окружающих нас явлений и предметов, создавая минимально возможное количество выходов из слоя нейронов и далее вновь использовать эти абстракции для самообучения нейронов следующего уровня.
Tags:
Hubs:
Total votes 48: ↑39 and ↓9 +30
Views 4.5K
Comments Comments 68