Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 5
Несколько сумбурно, нет сути. Точнее выловить суть можно, но автор не приложил усилий для её подчёркивания. Выделены частности, детали алгоритма формирования последовательности в начале, а далее всё скомкано, добавлены нейронные сети, и в конце замечание — это я только начинаю, но вот разберусь, тогда наверное что-то ещё скажу. Надо бы получше разобраться, для солидности статьи.
А вообще числовые последовательности есть отражение ненаблюдаемой большинством закономерности, так вот похоже, что автор пока тоже эту закономерность не наблюдал. Но может ещё увидит.
А вообще числовые последовательности есть отражение ненаблюдаемой большинством закономерности, так вот похоже, что автор пока тоже эту закономерность не наблюдал. Но может ещё увидит.
Есть биологическая нейронная сеть, которая срабатывает, когда составляется цепочка из m = log2N = 11.
…
Допустим, сработала цепочка из 9 сенсоров
В том, о чём писал я в комментариях, активация девяти соседних синапсов не приведёт к активации нейрона. Минимальный размер кластера (длины цепочки) для дендритной ветки длиной в 1024 синапса равен: log2(1024) = 10. Это значит, что если будет активировано даже несколько кластеров длиной, допустим, 9 (несколько цепочек длиной по 9), то это всё равно не приведёт к активации нейрона. Он будет срабатывать только на кластерах длиной больше 10.
Идея в том, что случайный процесс будет генерировать цепочки (кластеры) разного размера, в том числе и длинные, но они никогда (с очень малой вероятностью, которую можно отбросить) не превысят определённый размер, и соответственно при случайном входном сигнале нейрон будет молчать.
Упрощённо говоря, если нейрон будет наблюдать белый шум, то будет молчать. Но если на фоне этого шума появятся фигуры (протяжённые однотонные области), то станет на них реагировать.
Понял. Мое использование воспринимается как сильная натяжка. Разверну логику моих рассуждений.
Белый шум, в общей интерпретации это существующий, практически всегда, фоновый шум. Когда человек ложиться на ночной сон он устраивает себе комфортный уровень фонового шума. Одни закрывают все окна, а другие включают телевизор. Но в общем, этот уровень, по силе и сложности, комфортный для них и их система обработки информации классифицирует его как равномерно распределенный, что отвечает критериям отнесения его к белому шуму. С другой стороны, когда человек попадает в шумную систему, допустим кузнечный цех, его информационная система, также, через небольшой промежуток времени, настраивается и реагирует на необходимый ему информационный канал, относя остальной шум к фону, то есть белому шуму. То есть белый шум может иметь различные диапазоны интенсивности и сложности. И вопрос в том, какие механизмы использует биологическая информационная система, чтобы различать фоновый шум от информационного канала.
В вашем примере нейрон с 1024 сенсорами, срабатывают при 10-ти сигналов от идущих подряд. То есть биологическая система использует какой-то внешний закон более высокой системы, в которой она находится, для того чтобы контролировать внешнюю ситуацию. И эта биоинформационная система для себя выработала, что пороговым уровнем является сработка последовательно идущих m=log2(1024) сенсоров.
То есть если это меньше m, то ситуация вокруг не поменялась, если m или больше то ситуация изменилась. То есть, как минимум, поле случайности расширилось, так как если сработало 11 нейронов, то число возможных источников сигнала стало 2048. На мой взгляд об этом и свидетельствует Ваш пример.
Просто в этом вопросе, очень часто, возникает желание, сразу однозначно разделить по принципу — этот сигнал случайный, а этот нет. Но вспомните, когда человека от сна разбудил посторонний звук, человек сразу всегда его идентифицирует? В большинстве случаев, только после обработки дополнительной информации, происходит идентификация.
Пример. Трость для слабовидящих. Человек идет, стучит тростью и по обратной связи от трости, определяет, что впереди препятствие, ступенька, яма. И дальше уже с помощью мышления определяет свои действия. Нейрон работает аналогично, он сообщил, что ситуация стала нестандартной, а дальше человек принимай решение. Другой пример. У человека есть палка длиной 1,5, он подошел к дереву и видит яблоко на высоте 3,2 м, значит он с помощью этой палки сможет сбить этот фрукт. Но если яблоко висит на высоте 4 м и он попытается сбить его, с помощью 1,5 палки, то у него не получиться. Но в этом случае палка ему принесет информацию, что этот плод находится на высоте, которая ему недостижима с этой палкой. А дальше человек должен определить стратегию своих действий: начать бросать палку, залезть на дерево, принести лестницу. Так же и нейрон когда срабатывают 11 и больше нейронов сообщает, что ситуация может быть неразрешима на основании его информации.
А там дальше «стакан наполовину полон» или «стакан наполовину пуст» пусть решают другие информационные системы, а свою задачу по сообщению о том, что пороговый уровень пройден он выполнил.
Тут возникает вопрос: «Почему считаю, что именно такой механизм работает?»
Попробую коротко изложить.
Если у нас система будет для разных случаев использовать различное количество сенсоров, то это будут, по сути, разные конфигурации нейронной сети. А каждую конфигурацию нужно обучать отдельно. Этот процесс не быстрый. С другой стороны, можно, в процессе эксплуатации, обучить подсети на разные ситуации, зафиксировать это где-то в памяти и для каждого случая вытаскивать набор весов, перепрограммировать сеть и использовать. Но сколько понадобится долгосрочной памяти, при таком алгоритме функционирования не известно, но немало. Природа, такой алгоритм, для стандартных процессов использует редко. То есть эта вероятность для вашего примера мала.
Второй вариант. Это создание дополнительного блока, который изменяет архитектуру «железа» под новую задачу. Тут даже опыт человечества подсказывает, что распространенность получили информационные системы с неизменяемой архитектурой «железа».
Есть еще несколько вариантов, но их вероятность уж очень мала.
Остается вариант, когда информационной биологической системе задается пороговый уровень, по принципу наполненности стакана (15% или 95%), такие механизмы распространены и достаточно эффективны. Но этот механизм не трогает количество сработавших сенсоров.
По сути, эти публикации идут о том, что белый шум можно классифицировать по длине монохромных цепочек. Что эту классификацию можно использовать в практических задачах.
А в Вашем примере это хорошо укладывается.
Белый шум, в общей интерпретации это существующий, практически всегда, фоновый шум. Когда человек ложиться на ночной сон он устраивает себе комфортный уровень фонового шума. Одни закрывают все окна, а другие включают телевизор. Но в общем, этот уровень, по силе и сложности, комфортный для них и их система обработки информации классифицирует его как равномерно распределенный, что отвечает критериям отнесения его к белому шуму. С другой стороны, когда человек попадает в шумную систему, допустим кузнечный цех, его информационная система, также, через небольшой промежуток времени, настраивается и реагирует на необходимый ему информационный канал, относя остальной шум к фону, то есть белому шуму. То есть белый шум может иметь различные диапазоны интенсивности и сложности. И вопрос в том, какие механизмы использует биологическая информационная система, чтобы различать фоновый шум от информационного канала.
В вашем примере нейрон с 1024 сенсорами, срабатывают при 10-ти сигналов от идущих подряд. То есть биологическая система использует какой-то внешний закон более высокой системы, в которой она находится, для того чтобы контролировать внешнюю ситуацию. И эта биоинформационная система для себя выработала, что пороговым уровнем является сработка последовательно идущих m=log2(1024) сенсоров.
То есть если это меньше m, то ситуация вокруг не поменялась, если m или больше то ситуация изменилась. То есть, как минимум, поле случайности расширилось, так как если сработало 11 нейронов, то число возможных источников сигнала стало 2048. На мой взгляд об этом и свидетельствует Ваш пример.
Просто в этом вопросе, очень часто, возникает желание, сразу однозначно разделить по принципу — этот сигнал случайный, а этот нет. Но вспомните, когда человека от сна разбудил посторонний звук, человек сразу всегда его идентифицирует? В большинстве случаев, только после обработки дополнительной информации, происходит идентификация.
Пример. Трость для слабовидящих. Человек идет, стучит тростью и по обратной связи от трости, определяет, что впереди препятствие, ступенька, яма. И дальше уже с помощью мышления определяет свои действия. Нейрон работает аналогично, он сообщил, что ситуация стала нестандартной, а дальше человек принимай решение. Другой пример. У человека есть палка длиной 1,5, он подошел к дереву и видит яблоко на высоте 3,2 м, значит он с помощью этой палки сможет сбить этот фрукт. Но если яблоко висит на высоте 4 м и он попытается сбить его, с помощью 1,5 палки, то у него не получиться. Но в этом случае палка ему принесет информацию, что этот плод находится на высоте, которая ему недостижима с этой палкой. А дальше человек должен определить стратегию своих действий: начать бросать палку, залезть на дерево, принести лестницу. Так же и нейрон когда срабатывают 11 и больше нейронов сообщает, что ситуация может быть неразрешима на основании его информации.
А там дальше «стакан наполовину полон» или «стакан наполовину пуст» пусть решают другие информационные системы, а свою задачу по сообщению о том, что пороговый уровень пройден он выполнил.
Тут возникает вопрос: «Почему считаю, что именно такой механизм работает?»
Попробую коротко изложить.
Если у нас система будет для разных случаев использовать различное количество сенсоров, то это будут, по сути, разные конфигурации нейронной сети. А каждую конфигурацию нужно обучать отдельно. Этот процесс не быстрый. С другой стороны, можно, в процессе эксплуатации, обучить подсети на разные ситуации, зафиксировать это где-то в памяти и для каждого случая вытаскивать набор весов, перепрограммировать сеть и использовать. Но сколько понадобится долгосрочной памяти, при таком алгоритме функционирования не известно, но немало. Природа, такой алгоритм, для стандартных процессов использует редко. То есть эта вероятность для вашего примера мала.
Второй вариант. Это создание дополнительного блока, который изменяет архитектуру «железа» под новую задачу. Тут даже опыт человечества подсказывает, что распространенность получили информационные системы с неизменяемой архитектурой «железа».
Есть еще несколько вариантов, но их вероятность уж очень мала.
Остается вариант, когда информационной биологической системе задается пороговый уровень, по принципу наполненности стакана (15% или 95%), такие механизмы распространены и достаточно эффективны. Но этот механизм не трогает количество сработавших сенсоров.
По сути, эти публикации идут о том, что белый шум можно классифицировать по длине монохромных цепочек. Что эту классификацию можно использовать в практических задачах.
А в Вашем примере это хорошо укладывается.
То есть, как минимум, поле случайности расширилось
Да, я смотрю на нейрон, как на детектор «локального расширения поля случайности».
Упрощённо говоря, нейрон в отсутствии сигнала (есть только внутренняя спонтанная активность группы) наблюдает последовательность, на 50% состоящую из единичных бит и на 50%, соответственно, из нулевых (на самом деле там сложнее из-за разреженного распределенного представления). Когда появляется сигнал, количество единичных бит возрастает.
Посмотрим дальше.
Тогда мы можем сравнивать нейронные сети с различной архитектурой.
Допустим две различные нейронные сети обучены на одном датасете. И дают сопоставимый результат, неразличимый дисперсионным анализом. Допустим 95% и 96% правильных ответов. Тогда берем этот дата сет и случайны образом в середине каждого значения меняем составляющие так, чтобы образовались длинные цепочки. В одних числах длиной на 1 больше максимальной длины, в других на 2, в третьих на 3 и т.д. Предполагаю до 10 будет достаточно. И прогоняем эти две нейронные сети. Тогда, по идее, разница в правильных ответах должна вырасти. А значит можно выдвигать гипотезу, что та сеть, которая снизила в меньшей степени показатель правильных ответов, более устойчива к помехам.
Как пример, сейчас предлагается много решений по идентификации лиц и так же предлагается много способов защититься от автоматического распознавания. Но какая сеть лучше распознает, в настоящий момент, определить невозможно. А на основе подхода на длинных цепочках, предполагаю, есть возможность провести тестирование нейронной сетей используемых для распознавания лиц. А это уже очень востребованный коммерческий продукт
Тогда мы можем сравнивать нейронные сети с различной архитектурой.
Допустим две различные нейронные сети обучены на одном датасете. И дают сопоставимый результат, неразличимый дисперсионным анализом. Допустим 95% и 96% правильных ответов. Тогда берем этот дата сет и случайны образом в середине каждого значения меняем составляющие так, чтобы образовались длинные цепочки. В одних числах длиной на 1 больше максимальной длины, в других на 2, в третьих на 3 и т.д. Предполагаю до 10 будет достаточно. И прогоняем эти две нейронные сети. Тогда, по идее, разница в правильных ответах должна вырасти. А значит можно выдвигать гипотезу, что та сеть, которая снизила в меньшей степени показатель правильных ответов, более устойчива к помехам.
Как пример, сейчас предлагается много решений по идентификации лиц и так же предлагается много способов защититься от автоматического распознавания. Но какая сеть лучше распознает, в настоящий момент, определить невозможно. А на основе подхода на длинных цепочках, предполагаю, есть возможность провести тестирование нейронной сетей используемых для распознавания лиц. А это уже очень востребованный коммерческий продукт
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Треугольник Паскаля vs цепочек типа «000…/111…» в бинарных рядах и нейронных сетях