В работе, на которую выше я дал ссылку, видно, что на ПД и мембранный потенциал влияет не только текущее состояние, но и всё произошедшее за предыдущие 60-80 мс
Это и есть временная суммация, обеспеченная «известными» механизмами.
Спасибо за ссылку.
А на дендритных ветках сила возбуждения зависит не только от количества сработавших синапсов, но и от их временной последовательности
Да. Я приводил ссылки на монографии:
1. Позин Н.В., Любимский И.А., Левашов О.В., Шараев Г.А., Шмелев Л.А., Яхно В.П. Элементы теории биологических анализаторов и
2. Позин Н.В. Моделирование нейронных структур.
Этим работам уже под 50.
Известно, что для этого требуются структуры, аналогичные наблюдаемым в кохлеарных ядрах, мозжечке и гипокампе.
Нейрон распознаёт временной паттерн
Не вопрос. Я о другом: а если понимать временной паттерн как последовательную кодовую последовательность (т.е. что-то в роде азбуки Морзе)?
Простой нейрон апроксимируется двухслойной DNN, а пирамидальный типа L5PC — семислойной.
При этом забывается несколько очевидных фактов, отличающих целостный нейрон от ИНС:
1. Нейрон имеет один выход — аксон. Да он ветвиться, но если спайк начал распространяться (нейрон возбудился) он рано или поздно (разномоментно, асинхронно) достигнет коллатералей, а далее терминалей и соотв. синапсов на других нейронах или на одном, но в разных местах дендритного дерева (вариантов много) постсинаптического нейрона. Но согласно действующей доктрине это один тот же сигнал пресинаптического нейрона.
Да каждый синапс будет иметь свой спектр нейромедиаторов и нейромодуляторов.
2. Как правило (в большинстве исследованных случаев) выделение медиаторов происходит квантованно. Т.е. возможная реакция зависит целиком от структуры синаптического кластера и морфологии мембраны вблизи синапсов. Я как раз не могу представить, к моему сожалению, как единичный синапс мог бы стать высокоселективным детектором временных последовательностей.
Еще раз спасибо за ссылку:
Analysis of the DNN filters provides new insights into dendritic processing shaping the I/O properties of neurons
Это то о чем я говорил в ответе вам ниже. С моей точки зрения, правильной должна быть следующая формулировка:
Дендритное дерево простого нейрона аппроксимируется двухслойной DNN, а для дендритное дерево пирамидального нейрона типа L5PC — семислойной.
В работе, на которую выше я дал ссылку, видно, что на ПД и мембранный потенциал влияет не только текущее состояние, но и всё произошедшее за предыдущие 60-80 мс
Это и есть временная суммация, обеспеченная «известными» механизмами.
Спасибо за ссылку.
А на дендритных ветках сила возбуждения зависит не только от количества сработавших синапсов, но и от их временной последовательности
Да. Я приводил ссылки на монографии:
1. Позин Н.В., Любимский И.А., Левашов О.В., Шараев Г.А., Шмелев Л.А., Яхно В.П. Элементы теории биологических анализаторов и
2. Позин Н.В. Моделирование нейронных структур.
Этим работам уже под 50.
Известно, что для этого требуются структуры, аналогичные наблюдаемым в кохлеарных ядрах, мозжечке и гипокампе.
Нейрон распознаёт временной паттерн
Не вопрос. Я о другом: а если понимать временной паттерн как последовательную кодовую последовательность (т.е. что-то в роде азбуки Морзе)?
Про Тьюринга не скажу, но это и не столь важно, кмк.
По-моему мнению, ключевым элементом, необходимым для описания (понимания большой проблемы мышления и сознания) или реализации (воспроизведения, эмуляции) в ИНС основных функций ВНД, является возможность воспроизведения какой-либо модели вычисления (машины Тьюринга, НАМ и т.п.). И тут вам не помогут ссылки на возможность аппроксимации любой функции многослойной ИНС.
теоретически это точно верно, поскольку строго доказано, что двуслойная ИНС (достаточной емкости) может аппроксимировать любую гладкую функцию (правда тут мы делаем неявное допущение, что бионейрон это такая функция).
Да, если ИНС натаскивать на определенную задачу. Я думаю этого, для озвученных выше задач, будет недостаточно.
Поэтому возвращаясь к исходному вопросу про информационную емкость одного (био) нейрона я думаю, что правильный ответ будет — никто ещё этого не знает даже весьма приблизительно.
С информационной емкостью нейрона возникает парадокс. Вопрос по емкости — не вопрос о том сколько имеется потенциально возможных комбинаций, которые могут быть активированы и блокированы синаптических контактов на дендритном дереве или соме нейрона, а сколько возможных комбинаций сигналов такой нейрон может выдать в ответ на предъявленные входы. Если считать, что нейрон есть пороговый элемент, то на выходе он может либо ничего не выдать либо выдать единичный спайк. Т.о. можно считать, что нейрон может разделять все множество входных комбинаций только на два класса — «возбуждающие» и «не возбуждающие» каким бы большим не было количество синапсов и возможных уровней их состояний. Что дает оценку информационной емкости — ровно в 1 бит. Можно было ожидать чего-то большего, ведь давно известно, что дендритные веточки (см. например достаточно старые работы Позина с сотрудниками: Позин Н.В., Любимский И.А., Левашов О.В., Шараев Г.А., Шмелев Л.А., Яхно В.П. Элементы теории биологических анализаторов и Позин Н.В. Моделирование нейронных структур) могут вести обработку информации как дискретные логические элементы, так же как и выполнять квазианалоговую обработку. В силу этого можно было бы вести речь о наличии в ответах нейрона последовательного кодирования. Но тогда встает вопрос о принципах такого кодирования (унифицированного по крайней мере для некоторой нейронной подсети). Если такое кодирование есть, то ваши оценки информационной емкости имеют смысл (полностью отрицать такую возможность нельзя — вопрос в том, как это работает: важно не только сгенерировать кодовую посылку, но и декодировать. Я не понимаю, как в рамках существующей модели синаптической связи можно построить достаточно простой декодер на дендритной ветви нейрона). Иначе нам придется смириться с тем, что реально памятью обладает не нейрон, а некоторые нейронные кластеры (подсети), а кодирование выполняется номером канала.
1. Спасибо за рекомендации. В свою очередь дам другую ссылку. Есть хороший обзор Timbers T.A., Rankin C.H. Caenorhabditis elegans as a Model System in Which to Study the Fundamentals of Learning and Memory. p. 227-
242 в сборнике: HUMAN LEARNING. Biology, Brain, and Neuroscience, 2008
Впрочем: таких же результатов достигала и «черепаха» Грея Уолтера — для ее работы не требовалось сложной нейронной сети. Но это адаптивное поведение.
Коротко, чтобы затевать дискуссию, осмелюсь утверждать: самообучение =/= адаптивное поведение.
2.
Проблема в том, что все эти формы поведения изучаются отдельно или небольшими группами в каждой отдельной научной статье
Боюсь, что все эти исследования (те в которых было обнаружено видоизменение «поведения» Caenorhabditis elegans в результате накопления индивидуального опыта) повторят путь экспериментов Мак-Коннелла с планариями и в конце концов придется переместить в мусорную корзину (пусть даже они «освящены» нобелевской премией. В прочем: их объединяет лишь модельный объект).
3.
Они элементарно не могут самообучаться без внешнего воздействия на них.
Можете назвать какой-нибудь организм (за исключением небольшого класса млекопитающих) который может самообучаться без внешнего воздействия на них?
4.
Наши искусственные нейронные сети демонстрируют совершенно деградационный уровень по сравнению с этими несчастными 302 нейронами червя и результатами работы этих нейронов.
Это не удивительно. Все модельные нейроны (формальные нейроны, используемые в искусственных нейросетях), фактически моделируют лишь небольшие участки дендритных деревьев биологических (реальных) нейронов. Также как и достаточно простое объединение модельных «дендритных деревьев» не может «выдавать» такие же результаты как простейшая естественная нервная система (правда: в том и другом случае задачи стоящие перед ними совершенно различные).
Но остается вопрос об обучении без всякого каннибализма: куда и как сохраняется опыт, нажитый непосильным трудом по выживанию?
Я просил дать ссылку на соотв. работы, чтобы как-то верифицировать заявления fivehouse. Однако ответа от fivehouse не получил. Да ладно…
1. Какая-то пластичность в нервной системе Caenorhabditis elegans все таки есть.
2. Аналогом может быть устойчивая (правильнее — стационарная) конфигурация
типа «паровоза» клеточного автомата игры Джона Конвея «Жизнь» (о чем писал qw1), только для состояний нейронной сети Caenorhabditis elegans. Это что-то вроде
наборов стационарных паттернов нейронной активности, между которыми происходит переключение под действием внешнего стимула.
О чем скорее всего и писал qw1. Пусть он меня поправит если я не прав.
И это еще я не дошел до вопросов «глупца мудрецам» о различии между памятью и процессором, который выполняет команды из той памяти: а на чем или как реализован сам процессор? Или хотя бы где он локализуется?
«Лента машины Тьюринга» (программа) у Caenorhabditis elegans отсутствует, есть только «головка» — нервная система нематоды. Памяти как таковой у этого паразита скорее всего также нет. Т.е. все устроено на уровне безусловного рефлекса.
Про каких-то червей есть известный эксперимент (мож, уже опровергнутый? Я не знаю), когда обученных червей скармливали необученным — и каннибалы приобретали новый опыт именно таким образом.
— Мак-Коннелл (McConnell) и его сотрудники; 1962; первые эксперименты проводились с планариями. J. V. McConnell, (1962) Memory transfer through cannibalism in planarium, J. Neuropsychiat. 3 suppl 1 542-548
Если я не ошибаюсь, то это был как раз один из случаев фальсификации результатов исследований или по крайней мере некорректной их постановки и анализа результатов.
Как оказалось, что планарии, съев своего обученного сородича, действительно умнеют и обучаются лучше. То же самое получается, если их просто хорошенько покормить обычным мясом.
Хорошо, хорошо… существо действующее в соотв. след. схемы:
1. (<текущее внутреннее состояние><стимул — текущие состояние внешней среды>) --> <реакция>
2. (<текущее внутреннее состояние><стимул — текущие состояние внешней среды>) --> <состояние рецепторов (часть внутреннего состояния)>
3. (<текущее внутреннее состояние><стимул — текущие состояние внешней среды>) --> <новое текущее внутреннее состояние>
где набор таких правил небольшой (~10) и <текущее внутреннее состояние> не зависит от <внутренних состояний в предшествующие моменты времени>
Набор правил 1 неизменен.
Правило 2 может быть включено в 3
Есть ли существа, число внутренних состояний которого бесконечно?
С небольшой поправочкой:
Есть существа, число внутренних состояний которого неопределено, переменно — например: участники этой дискуссии
1. Я поставил вопрос о емкости памяти для того чтобы прояснить до конца представление о модели памяти участников дискуссии (кол-во «битов» — оценка емкости памяти будет зависеть от принятой модели).
2. Меня терзают смутные сомнения утверждения отн. наличия большого кол-ва моторных программ у Caenorhabditis elegans. К сожалению, fivehouse — автор этого утверждения не ответил на мой вопрос о работах и авторах соотв. исследований. Насколько можно ли доверять этим данным?
С другой стороны гораздо более привлекательной выглядит идея предложенная qw1 (см. ниже habr.com/ru/post/491460/#comment_21380266) — у существ подобных Caenorhabditis elegans вообще нет памяти, это конечные автоматы
Мне кажется статья Шилов В.В. Антикибернетическая кампания 1952-1955 годов в лицах
многое объясняет в истории т.н. «антикибернетической кампании», которая фактически не состоялась, но не все. Конечно, что этим хотели добиться в те годы — непонятно. Но в перестроечный период эту историю использовали на > чем на 200%.
Впрочем, нашел из всех просмотренных номеров начиная с 1949 по 1953:
Быховский Б.Э. Наука современных рабовладельцев — Наука и Жизнь, 1953, № 6. стр. 42-44 (в спец.разделе «Наука» в странах капитала)
Редакции НиЖ, также как ТМ видимо не очень стремились публиковать подобные материалы. Партийную прессу или ВФ тех лет я не видел…
Это и есть временная суммация, обеспеченная «известными» механизмами.
Спасибо за ссылку.
А на дендритных ветках сила возбуждения зависит не только от количества сработавших синапсов, но и от их временной последовательности
Да. Я приводил ссылки на монографии:
1. Позин Н.В., Любимский И.А., Левашов О.В., Шараев Г.А., Шмелев Л.А., Яхно В.П. Элементы теории биологических анализаторов и
2. Позин Н.В. Моделирование нейронных структур.
Этим работам уже под 50.
Известно, что для этого требуются структуры, аналогичные наблюдаемым в кохлеарных ядрах, мозжечке и гипокампе.
Не вопрос. Я о другом: а если понимать временной паттерн как последовательную кодовую последовательность (т.е. что-то в роде азбуки Морзе)?
При этом забывается несколько очевидных фактов, отличающих целостный нейрон от ИНС:
1. Нейрон имеет один выход — аксон. Да он ветвиться, но если спайк начал распространяться (нейрон возбудился) он рано или поздно (разномоментно, асинхронно) достигнет коллатералей, а далее терминалей и соотв. синапсов на других нейронах или на одном, но в разных местах дендритного дерева (вариантов много) постсинаптического нейрона. Но согласно действующей доктрине это один тот же сигнал пресинаптического нейрона.
Да каждый синапс будет иметь свой спектр нейромедиаторов и нейромодуляторов.
2. Как правило (в большинстве исследованных случаев) выделение медиаторов происходит квантованно. Т.е. возможная реакция зависит целиком от структуры синаптического кластера и морфологии мембраны вблизи синапсов. Я как раз не могу представить, к моему сожалению, как единичный синапс мог бы стать высокоселективным детектором временных последовательностей.
Еще раз спасибо за ссылку:
Это то о чем я говорил в ответе вам ниже. С моей точки зрения, правильной должна быть следующая формулировка:
Дендритное дерево простого нейрона аппроксимируется двухслойной DNN, а для дендритное дерево пирамидального нейрона типа L5PC — семислойной.
Это и есть временная суммация, обеспеченная «известными» механизмами.
Спасибо за ссылку.
Да. Я приводил ссылки на монографии:
1. Позин Н.В., Любимский И.А., Левашов О.В., Шараев Г.А., Шмелев Л.А., Яхно В.П. Элементы теории биологических анализаторов и
2. Позин Н.В. Моделирование нейронных структур.
Этим работам уже под 50.
Известно, что для этого требуются структуры, аналогичные наблюдаемым в кохлеарных ядрах, мозжечке и гипокампе.
Не вопрос. Я о другом: а если понимать временной паттерн как последовательную кодовую последовательность (т.е. что-то в роде азбуки Морзе)?
По-моему мнению, ключевым элементом, необходимым для описания (понимания большой проблемы мышления и сознания) или реализации (воспроизведения, эмуляции) в ИНС основных функций ВНД, является возможность воспроизведения какой-либо модели вычисления (машины Тьюринга, НАМ и т.п.). И тут вам не помогут ссылки на возможность аппроксимации любой функции многослойной ИНС.
Да, если ИНС натаскивать на определенную задачу. Я думаю этого, для озвученных выше задач, будет недостаточно.
Согласен, я к этому вел в своем комментарии ниже.
Timbers T.A., Rankin C.H. Caenorhabditis elegans as a Model System in Which to Study the Fundamentals of Learning and Memory. p. 227-
242 в сборнике: HUMAN LEARNING. Biology, Brain, and Neuroscience, 2008
Впрочем: таких же результатов достигала и «черепаха» Грея Уолтера — для ее работы не требовалось сложной нейронной сети. Но это адаптивное поведение.
Коротко, чтобы затевать дискуссию, осмелюсь утверждать: самообучение =/= адаптивное поведение.
2.
Боюсь, что все эти исследования (те в которых было обнаружено видоизменение «поведения» Caenorhabditis elegans в результате накопления индивидуального опыта) повторят путь экспериментов Мак-Коннелла с планариями и в конце концов придется переместить в мусорную корзину (пусть даже они «освящены» нобелевской премией. В прочем: их объединяет лишь модельный объект).
3.
Можете назвать какой-нибудь организм (за исключением небольшого класса млекопитающих) который может самообучаться без внешнего воздействия на них?
4.
Это не удивительно. Все модельные нейроны (формальные нейроны, используемые в искусственных нейросетях), фактически моделируют лишь небольшие участки дендритных деревьев биологических (реальных) нейронов. Также как и достаточно простое объединение модельных «дендритных деревьев» не может «выдавать» такие же результаты как простейшая естественная нервная система (правда: в том и другом случае задачи стоящие перед ними совершенно различные).
Я просил дать ссылку на соотв. работы, чтобы как-то верифицировать заявления fivehouse. Однако ответа от fivehouse не получил. Да ладно…
1. Какая-то пластичность в нервной системе Caenorhabditis elegans все таки есть.
2. Аналогом может быть устойчивая (правильнее — стационарная) конфигурация
типа «паровоза» клеточного автомата игры Джона Конвея «Жизнь» (о чем писал qw1), только для состояний нейронной сети Caenorhabditis elegans. Это что-то вроде
наборов стационарных паттернов нейронной активности, между которыми происходит переключение под действием внешнего стимула.
О чем скорее всего и писал qw1. Пусть он меня поправит если я не прав.
«Лента машины Тьюринга» (программа) у Caenorhabditis elegans отсутствует, есть только «головка» — нервная система нематоды. Памяти как таковой у этого паразита скорее всего также нет. Т.е. все устроено на уровне безусловного рефлекса.
— Мак-Коннелл (McConnell) и его сотрудники; 1962; первые эксперименты проводились с планариями. J. V. McConnell, (1962) Memory transfer through cannibalism in planarium, J. Neuropsychiat. 3 suppl 1 542-548
Если я не ошибаюсь, то это был как раз один из случаев фальсификации результатов исследований или по крайней мере некорректной их постановки и анализа результатов.
Как оказалось, что планарии, съев своего обученного сородича, действительно умнеют и обучаются лучше. То же самое получается, если их просто хорошенько покормить обычным мясом.
Хорошо, хорошо… существо действующее в соотв. след. схемы:
1. (<текущее внутреннее состояние><стимул — текущие состояние внешней среды>) --> <реакция>
2. (<текущее внутреннее состояние><стимул — текущие состояние внешней среды>) --> <состояние рецепторов (часть внутреннего состояния)>
3. (<текущее внутреннее состояние><стимул — текущие состояние внешней среды>) --> <новое текущее внутреннее состояние>
где набор таких правил небольшой (~10) и <текущее внутреннее состояние> не зависит от <внутренних состояний в предшествующие моменты времени>
Набор правил 1 неизменен.
Правило 2 может быть включено в 3
С небольшой поправочкой:
Есть существа, число внутренних состояний которого неопределено, переменно — например: участники этой дискуссии
2. Меня терзают смутные сомнения утверждения отн. наличия большого кол-ва моторных программ у Caenorhabditis elegans. К сожалению, fivehouse — автор этого утверждения не ответил на мой вопрос о работах и авторах соотв. исследований. Насколько можно ли доверять этим данным?
С другой стороны гораздо более привлекательной выглядит идея предложенная qw1 (см. ниже habr.com/ru/post/491460/#comment_21380266) — у существ подобных Caenorhabditis elegans вообще нет памяти, это конечные автоматы
Приведите расчет…
По последнему утверждению — не могли бы вы привести ссылки на конкретные работы?
Шилов В.В. Антикибернетическая кампания 1952-1955 годов в лицах
многое объясняет в истории т.н. «антикибернетической кампании», которая фактически не состоялась, но не все. Конечно, что этим хотели добиться в те годы — непонятно. Но в перестроечный период эту историю использовали на > чем на 200%.
Можете более точнее, что подразумевалось под кибернетикой?
Быховский Б.Э. Наука современных рабовладельцев — Наука и Жизнь, 1953, № 6. стр. 42-44 (в спец.разделе «Наука» в странах капитала)
Редакции НиЖ, также как ТМ видимо не очень стремились публиковать подобные материалы. Партийную прессу или ВФ тех лет я не видел…
В каких номерах?