Само правило Хебба звучит следующим образом: «Если аксон клетки А находится достаточно близко, чтобы возбуждать клетку B, и неоднократно или постоянно принимает участие в её возбуждении, то наблюдается некоторый процесс роста или метаболических изменений в одной или обеих клетках, ведущий к увеличению эффективности А, как одной из клеток возбуждающих В». Взято здесь.

Уже из самого правила видно, что ключевым фактором развития нейронной сети является повторяемость сигнала возбуждения. И этот фактор, оказывает влияние не только на два связанных нейрона а на всю цепочку передачи сигнала. Из этого можно сделать вывод, что правило Хебба будет работать только в тех нейронных сетях, где возможно распространение сигнала по слою. Что не сложно показать на примере обучения простой модели.

На раскрытие темы, меня натолкнул вот этот пост «Простые числа это… просто?», в котором встречается знаменатель 30.  А что это за число такое и откуда оно взялось среди простых чисел?

Сразу сделаю отступление: я тот самый обыватель которому интересно и непонятно. Моя профессиональная деятельность связана с конструированием оборудования для нефтегазового комплекса. С нейронными сетями и машинным обучением сталкиваюсь только в научно-популярных статьях и роликах популяризаторов.

Как выглядит для такого обывателя принцип, лежащий в основе Искусственного Интеллекта, я постарался описать в предыдущей статье. И продолжая раскрывать тему, мне бы хотелось поделиться самой моделью на основании которой писалась статья.

Но прежде, необходимо оговорить ряд важных моментов:

Первое с чем требуется определиться - какие данные будут поступать на вход модели. В моём случае, такими данными являются образцы рукописного текста, из наиболее простой базы, которую я смог найти. Базы данных MNIST, предложенной институтом стандартов и технологий США.

Сразу стоит сделать замечание: я, тот самый обыватель, которому интересно и непонятно. Моя профессиональная деятельность, связана с конструированием оборудования для нефтегазового комплекса. К нейронным сетям или машинному обучению, отношения не имею. Мой предел, научно-популярные статьи и ролики популяризаторов. Но в этом есть и преимущество. Я могу посмотреть на проблему другими глазами, и попытаться разобраться, в понятной для обывателя форме.

Ниже, описание того, как выглядит Искусственный Интеллект, для такого обывателя как я, выросшего на научной фантастике. Хотелось бы понять, насколько я близок, к правильному представлению специалистов.

Хранящаяся в памяти информация, должна быть взаимосвязана, что подразумевает функционирование памяти, как скрепленной внутренними связями структуры. Следовательно, для памяти, должен существовать механизм структурирования, который можно приравнять к процессу обучения. Тогда, обучение — это воздействие на память, вносящее изменения в ее структуру. В этом случае, о работе памяти будет свидетельствовать, соответствие между совершённым действием, и требуемым действием, которому обучают.