Если распознающая машина-персептрон на рисунок слона отзывается сигналом «мура», на изображение верблюда — тоже «мура» и на портрет видного ученого — опять-таки «мура», это не обязательно означает, что она неисправна. Она может быть просто философски настроена.
К. Прутков-инженер. Мысль № 30.
Копируя принцип действия биологического нейрона при создании искусственных нейронных сетей, мы особо не задумываемся, какой смысл приобретает функция активации логической модели нейрона. Функция всегда записывается в виде логической суммы, логического «И» для конкретного набора входов и именно одновременная активность этих входов активирует наш нейрон. Если откинуть внешнюю смысловую привязку входов мы можем описать активацию нейрона следующим образом. Для одного внешнего события состоящего из набора входящих образов происходит объединение конкретной группы из пришедших образов в новый чисто логический образ — абстрагирование. Уже для группы таких событий активирующих нейрон, происходит выделение общего набора — обобщение. Но то, как происходит абстрагирование и обобщение зависит от правил использованных для обучения в нашем нейроне. Наиболее приближенным к реальности обучением для одного нейрона всегда было обучение без учителя. Но даже в этом случае мы имеем несколько принципов руководящих самообучением. Две крайности и компромисс между ними. Первая крайность это статистическое нахождение наиболее часто встречающейся группы образов. Каждый раз, когда происходит событие, активным в данный момент образам увеличивают внутренний счетчик. Вторая крайность состоит в нахождении наиболее часто повторяющейся картины из всех активных образов. Активным в данный момент образам с наименьшим значением внутреннего счетчика он увеличивается. Компромисс между крайностями очевиден.
После стадии обучения логическая функция активации нейрона уже не может меняться во время работы, переобучение изменит результаты. Логические функции нейронов составляют логический каркас, переобучая его, мы сможем решать новые задачи, но старые уже нет. Для решения новых задач на основе стабильного логического каркаса нужно использовать существующие решения через аналогии, а так же дообучение добавлением новых нейронов. Логическая функция активации не обладает возможностью аналогии из-за своей строгости, и изменять ее строгость нет смысла, это нарушит логику на которую мы будем опираться в механизме аналогий. У нашего нейрона остаются входы из зоны его ответственности, которые не участвуют в функции активации. Их мы и будем использовать, если не сработала активационная функция. Функция аналогий будет одновременно работать и обучаться, стремясь запомнить последнюю ситуацию на входах нейрона. Собственно присутствие двух функций внутри одного нейрона делает из него гибрида, и обе эти функции могут активировать нейрон. Но строгая логическая функция активации первична, а функция аналогий вторична.
Функция аналогий работает по методу весов, в зависимости от того каких активных аналогий больше, позитивных или негативных, активируется или же молчит нейрон. Возможен ввод весового фактора для связей аналогий, для регулирования скорости переобучения.
Принцип образования позитивной аналогии в том, что самым важным является первичная функция активации нейрона, только если он срабатывает, есть основание считать активные связи аналогий дополнительными факторами, сопутствующими распознаванию образа нейроном. Значение аналогии усиливается только при срабатывании первичной функции активации. Связи аналогий можно даже назвать контекстом для образа распознаваемым первичной функцией активации.
Принцип образования негативной аналогии в том, что без позитивного результата первичной логической функции активации нейрон с преобладающим количеством активных позитивных аналогий со временем должен замолчать. Но уменьшать вес активной связи аналогии стоит только до момента успокоения нейрона, то есть поводом для уменьшения веса связи становится активация нейрона именно функцией аналогии.
Своей логикой функция аналогии дает запоминание предыдущего события. Результат зависит не только от настоящего события, но и от последовательности предыдущих. В то же время функция активации не дает возможности увязать последовательности событий в строгий логический каркас. Этого можно добиться сдвигом вывода результата нейроном на один такт. Сдвиг выдачи результата позволяет соединять нейроны в сети произвольным образом, так как сначала можно вычислить функции всех нейронов в сети и только после этого подать результаты на выходы, не нарушая логики распространения сигнала в сети. Такие сети могут запоминать последовательности, анализировать потоки информации.
Может случиться событие, что обрабатываемая информация, будет абсолютно новой для нашей сети. То есть нейроны не будут активироваться не только функцией активации но и даже аналогии будут исключительно негативные. Это случай, когда мы не можем никак распознать входящую информацию и использовать для ее распознавания аналогии из существующих логических нейронов. Значит, наличие только активных негативных аналогий является признаком обнаружения новой информации, которую невозможно классифицировать существующим логическим каркасом сети. И именно в место, где возникает наибольшее количество негативных активных аналогий необходимо добавлять новый нейрон для обучения.
К. Прутков-инженер. Мысль № 30.
Строгая логическая функция активации
Копируя принцип действия биологического нейрона при создании искусственных нейронных сетей, мы особо не задумываемся, какой смысл приобретает функция активации логической модели нейрона. Функция всегда записывается в виде логической суммы, логического «И» для конкретного набора входов и именно одновременная активность этих входов активирует наш нейрон. Если откинуть внешнюю смысловую привязку входов мы можем описать активацию нейрона следующим образом. Для одного внешнего события состоящего из набора входящих образов происходит объединение конкретной группы из пришедших образов в новый чисто логический образ — абстрагирование. Уже для группы таких событий активирующих нейрон, происходит выделение общего набора — обобщение. Но то, как происходит абстрагирование и обобщение зависит от правил использованных для обучения в нашем нейроне. Наиболее приближенным к реальности обучением для одного нейрона всегда было обучение без учителя. Но даже в этом случае мы имеем несколько принципов руководящих самообучением. Две крайности и компромисс между ними. Первая крайность это статистическое нахождение наиболее часто встречающейся группы образов. Каждый раз, когда происходит событие, активным в данный момент образам увеличивают внутренний счетчик. Вторая крайность состоит в нахождении наиболее часто повторяющейся картины из всех активных образов. Активным в данный момент образам с наименьшим значением внутреннего счетчика он увеличивается. Компромисс между крайностями очевиден.
После стадии обучения логическая функция активации нейрона уже не может меняться во время работы, переобучение изменит результаты. Логические функции нейронов составляют логический каркас, переобучая его, мы сможем решать новые задачи, но старые уже нет. Для решения новых задач на основе стабильного логического каркаса нужно использовать существующие решения через аналогии, а так же дообучение добавлением новых нейронов. Логическая функция активации не обладает возможностью аналогии из-за своей строгости, и изменять ее строгость нет смысла, это нарушит логику на которую мы будем опираться в механизме аналогий. У нашего нейрона остаются входы из зоны его ответственности, которые не участвуют в функции активации. Их мы и будем использовать, если не сработала активационная функция. Функция аналогий будет одновременно работать и обучаться, стремясь запомнить последнюю ситуацию на входах нейрона. Собственно присутствие двух функций внутри одного нейрона делает из него гибрида, и обе эти функции могут активировать нейрон. Но строгая логическая функция активации первична, а функция аналогий вторична.
Функция активации по аналогиям.
Функция аналогий работает по методу весов, в зависимости от того каких активных аналогий больше, позитивных или негативных, активируется или же молчит нейрон. Возможен ввод весового фактора для связей аналогий, для регулирования скорости переобучения.
Принцип образования позитивной аналогии в том, что самым важным является первичная функция активации нейрона, только если он срабатывает, есть основание считать активные связи аналогий дополнительными факторами, сопутствующими распознаванию образа нейроном. Значение аналогии усиливается только при срабатывании первичной функции активации. Связи аналогий можно даже назвать контекстом для образа распознаваемым первичной функцией активации.
Принцип образования негативной аналогии в том, что без позитивного результата первичной логической функции активации нейрон с преобладающим количеством активных позитивных аналогий со временем должен замолчать. Но уменьшать вес активной связи аналогии стоит только до момента успокоения нейрона, то есть поводом для уменьшения веса связи становится активация нейрона именно функцией аналогии.
Нейросеть с логикой во времени
Своей логикой функция аналогии дает запоминание предыдущего события. Результат зависит не только от настоящего события, но и от последовательности предыдущих. В то же время функция активации не дает возможности увязать последовательности событий в строгий логический каркас. Этого можно добиться сдвигом вывода результата нейроном на один такт. Сдвиг выдачи результата позволяет соединять нейроны в сети произвольным образом, так как сначала можно вычислить функции всех нейронов в сети и только после этого подать результаты на выходы, не нарушая логики распространения сигнала в сети. Такие сети могут запоминать последовательности, анализировать потоки информации.
Нахождение нового для сети и добавление новых нейронов
Может случиться событие, что обрабатываемая информация, будет абсолютно новой для нашей сети. То есть нейроны не будут активироваться не только функцией активации но и даже аналогии будут исключительно негативные. Это случай, когда мы не можем никак распознать входящую информацию и использовать для ее распознавания аналогии из существующих логических нейронов. Значит, наличие только активных негативных аналогий является признаком обнаружения новой информации, которую невозможно классифицировать существующим логическим каркасом сети. И именно в место, где возникает наибольшее количество негативных активных аналогий необходимо добавлять новый нейрон для обучения.
