Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 43
И если бы в то время были достаточные вычислительные мощности, возможно, сегодня бы уже был реализован сильный ИИ.Но вся работа Амосова оказалась бы «под грифом секретно».
как нам сказал архитектор одного из них – “у нас слишком разные парадигмы и мы не понимаем как их объединить”Семантическая сеть, близость слов и т.д. — это всё давно в мозгах поисковых движков. По собственному опыту могу сказать, что такой ответ бывает и в случае «мы втихую работаем над аналогичным собственным проектом».
Надеюсь, данная статья станет первым шагом в открытии реализованных технологий для широкой общественности разработчиков и послужит началом opensource проекта активных семантических нейросетей Амосова.Вот про опенсорс. После того как рассказали о применённых решениях, наверно стоит упомянуть здесь те из них, которые другим разработчикам теперь применять нельзя из-за закрытия вашими патентами.
Но вся работа Амосова оказалась бы «под грифом секретно».
На самом деле почти так и было. Амосов обратился в ЦК КПСС с предложением использовать свой аппарат для моделирования социальных процессов в обществе и предварительной оценки политических и социальных решений, после чего попал в опалу. Ему пришлось использовать весь свой авторитет (в том числе международный), чтобы сохранить деятельность лаборатории ИИ.
Вот про опенсорс. После того как рассказали о применённых решениях, наверно стоит упомянуть здесь те из них, которые другим разработчикам теперь применять нельзя из-за закрытия вашими патентами.
У меня неоднозначное отношение к патентам. Желающих их нарушить не остановить.
Патенты действуют на территории США, остальной мир может использовать описанные идеи свободно. Кроме того, добавление изменений в реализацию описанных идей обеспечит соблюдение авторских прав.
Наверное, могут возникнуть сложности с визуальными картами запроса и точным повторением архитектуры нейросети (но это будет сложно доказать).
В сети есть сравнение облака Quintura с Google Wonder Wheel, появившемся позднее и в настоящий момент закрытым.
При закрытии все патенты были куплены американским патентным брокером и, по слухам, использованы против Google в составе большого пакета.
Патенты действуют на территории США, остальной мир может использовать описанные идеи свободно.Уже трудно сейчас свободно использовать что-то, что нарушает законы США. В гитхабе ПО, нарушающее чей-то патент, долго не проживёт.
Слой Objects и связи с ним, я так понимаю, формировали вручную?
картинка
Уже трудно сейчас свободно использовать что-то, что нарушает законы США. В гитхабе ПО, нарушающее чей-то патент, долго не проживёт.
Точное повторение того, что описано в патентах не нужно. Базовые принципы патентами закрыты быть не могут, так как описаны в открытых публикациях. А будет ли это 4-х слойная сеть или другая — вопрос архитектуры.
Я писал, что у меня сложное отношение к патентам. С точки зрения развития мысли они крайне-полезны, но обойти их не нарушая всегда можно, тем более, если речь идет об алгоритмах.
Слой Objects и связи с ним, я так понимаю, формировали вручную?
Все верно. В рамках Quintura формировали вручную.
Есть понимание, как делать это автоматически на основе «осмысления» текстов и аналогий. Также, как это происходит у человека. Ведь подтверждение «умозаключений» при обучении человеку также необходимо. Сначала чаще, позже реже.
А что из себя представляют нейроны в слое sentences? Отдельные предложения из документов, или нечто более абстрактное?
Если удалить слой Объектов, будет пирамида из двусвязных слоёв: Слова <-> Предложения <-> Документы. Будет ли в такой конфигурации возможность воспоминания документа по части строки из него?
Александр, у меня к вам 2 вопроса:
1.
«Алгоритмы разума» больше идеологическая работа. Более подробная информация о модели М-сетей содержится в более ранней работе команды Н.М. Амосова:
Амосов Н.М., Касаткин А.М., Касаткина Л.М., Талаев С.А. Автоматы и разумное поведение. Опыт моделирования (Киев: Наукова думка, 1973)
Встречались ли вы с какой-либо более детальной информацией о реализации этой модели? Может быть вы знаете: сохранились ли исходники?
2. В вашей модели явно присутствует семантическая сеть. Непонятно, а в чем ее связь с нейросетями? Вес связи между нейронами-«понятиями»?
1.
В своих работах Амосов сумел выдержать баланс между нейрофизиологией и математикой, изучая и описывая информационные процессы интеллекта. Результаты его работ представлены в нескольких трудах, заключительной была монография «Алгоритмы разума», изданная в 1979 году.
«Алгоритмы разума» больше идеологическая работа. Более подробная информация о модели М-сетей содержится в более ранней работе команды Н.М. Амосова:
Амосов Н.М., Касаткин А.М., Касаткина Л.М., Талаев С.А. Автоматы и разумное поведение. Опыт моделирования (Киев: Наукова думка, 1973)
Встречались ли вы с какой-либо более детальной информацией о реализации этой модели? Может быть вы знаете: сохранились ли исходники?
2. В вашей модели явно присутствует семантическая сеть. Непонятно, а в чем ее связь с нейросетями? Вес связи между нейронами-«понятиями»?
1. По ряду причин (опала, отсутствие вычислительных мощностей и, как следствие, возможности реализации практических задач), Амосов мог заниматься больше теорией, чем практикой. «Алгоритмы разума», на мой взгляд, подводили итог нейросетевого этапа в жизни Николая Михайловича. Теория была разработана но условий для ее практической реализации не было.
Лаборатория Амосова переключилась на попытку разработки аппаратного нейрокомпьютера на основе стохастических нейронных сетей.
Серьезного результата получить не удалось, последовал развал Союза и эмиграция части лаборатории за рубеж. Фактически школа прекратила свое существование. Сейчас уже нет и института кибернетики им. Глушкова, в котором существовала лаборатория Амосова.
Основные материалы лаборатории издавались единичными экземплярами. Программы писались под существующие компьютеры, на перфокартах. Сомневаюсь, что удастся их разыскать.
Нейросетью считают любую модель, построенную по принципу биологических нейронных сетей. В этом плане сети Амосова на порядок ближе к биологическим, чем популярные сейчас модели. Мне кажется главное свойство, которое объединяет различные парадигмы — параллельная работа множества однотипных элементов. Законы, по которым происходит эта работа и отличают различные парадигмы. Правила формирования и изменения связей, количество одновременно работающих элементов, семантика, интерпретация результатов — это все аттрибуты нейронной сети, а не только вес связи между нейронами-«понятиями».
Лаборатория Амосова переключилась на попытку разработки аппаратного нейрокомпьютера на основе стохастических нейронных сетей.
Серьезного результата получить не удалось, последовал развал Союза и эмиграция части лаборатории за рубеж. Фактически школа прекратила свое существование. Сейчас уже нет и института кибернетики им. Глушкова, в котором существовала лаборатория Амосова.
Основные материалы лаборатории издавались единичными экземплярами. Программы писались под существующие компьютеры, на перфокартах. Сомневаюсь, что удастся их разыскать.
2. В вашей модели явно присутствует семантическая сеть. Непонятно, а в чем ее связь с нейросетями? Вес связи между нейронами-«понятиями»?
Нейросетью считают любую модель, построенную по принципу биологических нейронных сетей. В этом плане сети Амосова на порядок ближе к биологическим, чем популярные сейчас модели. Мне кажется главное свойство, которое объединяет различные парадигмы — параллельная работа множества однотипных элементов. Законы, по которым происходит эта работа и отличают различные парадигмы. Правила формирования и изменения связей, количество одновременно работающих элементов, семантика, интерпретация результатов — это все аттрибуты нейронной сети, а не только вес связи между нейронами-«понятиями».
1.
Результаты (и я думаю достаточно интересные на тот момент: например, угадываются некоторые элементы RL) были опубликованы в той работе, ссылку на которую я давал в своем предыдущем сообщении.
По сути в «Алгоритмах разума» излагается та же самая концепция что и более ранних работах. К слову: «Автоматы и разумное поведение...» с моей точки зрения намного более содержательная работа — это по своей сути — отчет о НИР.
Мне показалось что работы были остановлены задолго до этого…
Программы командой Амосова были написаны на Algol:
«Подпрограммы были написаны на входном языке транслятора АЛГОЛ-БЭСМ. Рабочая программа содержит около 11000 команд ЦВМ БЭСМ-6.»
Было бы интересно попытаться воспроизвести результаты команды Амосова.
Конечно программа вводилась с перфокарт, но могли остаться листинги… Да прошло уже немало — полсотни — лет.
2.
Не факт…
Серьезного результата получить не удалось, последовал развал Союза и эмиграция части лаборатории за рубеж
Результаты (и я думаю достаточно интересные на тот момент: например, угадываются некоторые элементы RL) были опубликованы в той работе, ссылку на которую я давал в своем предыдущем сообщении.
По сути в «Алгоритмах разума» излагается та же самая концепция что и более ранних работах. К слову: «Автоматы и разумное поведение...» с моей точки зрения намного более содержательная работа — это по своей сути — отчет о НИР.
последовал развал Союза
Мне показалось что работы были остановлены задолго до этого…
Программы писались под существующие компьютеры, на перфокартах. Сомневаюсь, что удастся их разыскать.
Программы командой Амосова были написаны на Algol:
«Подпрограммы были написаны на входном языке транслятора АЛГОЛ-БЭСМ. Рабочая программа содержит около 11000 команд ЦВМ БЭСМ-6.»
Было бы интересно попытаться воспроизвести результаты команды Амосова.
Конечно программа вводилась с перфокарт, но могли остаться листинги… Да прошло уже немало — полсотни — лет.
2.
В этом плане сети Амосова на порядок ближе к биологическим, чем популярные сейчас модели.
Не факт…
Было бы интересно попытаться воспроизвести результаты команды Амосова.
Конечно программа вводилась с перфокарт, но могли остаться листинги… Да прошло уже немало — полсотни — лет.
Цель повторения результатов Амосова была основной в написании этой статьи. Листинги не так важны — формулы и алгоритмы хорошо описаны в «Автоматах». Полезнее было бы полное описание нейронов в информационных блоках.
С моей точки зрения, многого недостает…
«Нейрончики» — стандартные? Это как раз стало бы понятно из эталонной реализации.
Полезнее было бы полное описание нейронов в информационных блоках
«Нейрончики» — стандартные? Это как раз стало бы понятно из эталонной реализации.
Первую реализацию программ на PC делали на нашей кафедре. Нейроны стандартные. Отличаются лишь семантической нагрузкой. Группируются в блоки (рецепторный, эффекторный, блок чувств и т.п.), в пределах блоков алгоритм работы стандартный, отличается значениями некоторых параметров. Цель архитектора системы сформировать правильное начальное состояние сети, в том числе вручную задав начальные связи. И чем полнее будет описана первоначальная сеть, тем ближе она будет к реальному мозгу.
...«Автоматы и разумное поведение...» с моей точки зрения намного более содержательная работа — это по своей сути — отчет о НИР
Согласен, в ней подробно рассмотрены несколько примеров реализации. Но более полно мысли про сильный ИИ все-таки описаны в «Алгоритмах разума».
Мне показалось что работы были остановлены задолго до этого…
Теория фактически не менялась Амосовым с «Алгоритмов разума». Дальнейшие работы в области стохастических нейрокомпьютеров велись сотрудниками лаборатории вплоть до начала 90-х.
Не факт…
Это ведь не предмет веры?
Аргументы в пользу М-сетей:
- единая топология для моделирования различных аспектов разума;
- присутствуют нейроны соответствующие критериям оценок или чувствам;
- объясняются феномены сознания и подсознания;
- обучение происходит схожим образом — без многократной подстройки весов обратным распространением ошибки;
- возможность моделирования сложной нервной деятельности;
В глубоких сетях можно найти аналогию с сетчаткой глаза и зрительными зонами мозга, но как-то с натягом.
… стохастических нейрокомпьютеров...
А это что такое?
Это ведь не предмет веры?
Вот именно.
единая топология для моделирования различных аспектов разума;
Этого как раз в природной НС не обнаруживается. Есть не только микроколонки (что характерно для коры полушарий).
присутствуют нейроны соответствующие критериям оценок или чувствам
Они вводятся «руками»?
объясняются феномены сознания и подсознания
Каким образом? Я не о теоретических соображениях Амосова, а о модели…
обучение происходит схожим образом — без многократной подстройки весов обратным распространением ошибки
Тут как раз много вопросов к тому как это было реализовано в программе.
возможность моделирования сложной нервной деятельности
Не факт…
В глубоких сетях можно найти аналогию с сетчаткой глаза и зрительными зонами мозга, но как-то с натягом
Эту аналогию можно обнаружить для сверточных сетей (CNN). Но аналогия очень близкая. А вот LSTM
По моему мнению: модель Амосова направлена на моделирование компонент психики, контролирующих поведение. Может быть я ошибаюсь. Складывается впечатление что его модель близка к обучению с подкреплением (RL).
А это что такое?
Идея была в том, чтобы использовать для нейросетей устройство, построенное на основе простых логических элементах (те самые К155ЛА3 и ЛЕ1) — то что было под рукой. Для перемножения возбуждения на вес связи требовалось решить вопрос логического умножения. В стохастических нейросетях значение величин кодировалось вероятностью возникновения единицы в каждом разряде (при 0% — получаем все 0, при 100% все единицы, при 50% в байте будут 4 единицы в случайных разрядах). Было доказано, что при логическом сложении таких величин фактически происходит операция умножения. Были произведены отдельные модули, но полностью работы завершены не были.
Этого как раз в природной НС не обнаруживается. Есть не только микроколонки (что характерно для коры полушарий).
Природа доказывает обратное. При рождении человек пользуется старым мозгом, а позднее, практически все функции переходят в новую кору. На хабре есть статья на эту тему. Также это хорошо описано Джеффом Хокинсом в работе «Об интеллекте».
Они вводятся «руками»?
Да, структура мозга задается вручную, экспертом. Также как в живом мире определяется генетикой.
Каким образом? Я не о теоретических соображениях Амосова, а о модели…С помощью механизма Системы Усиления-Торможения. В «Алгоритмах Разума» об этом пишут на страницах 109-121.
Было доказано, что при логическом сложении таких величин фактически происходит операция умножения.Можете уточнить этот момент?
Если мы некую величину закодируем в случайный набор из 10 бит и затем логически сложим (бинарное ИЛИ) две такие величины, то получим максимум 20 единичных бит, что соответствует математическому сложению величин, но не умножению.
Можете уточнить этот момент?
Описался — операция логическое «И». В данном случае при равномерном распределении на большом количестве битов пересечение будет соответствовать умножению. В обеспечении равномерного распределения и возникли основные трудности. Но было предположение, что точного умножения для работоспособности не требуется.
Описался — операция логическое «И».При логическом «И» ситуация становится ещё хуже. При «перемножении» двух величин по 10 бит мы на выходе получим не более тех же 10 значащих бит. А нам нужно получить ~100 значащих бит.
Может быть где-то есть рабочий пример или подробное описание?
Поищу.
Я был в стороне этого проекта — больше как наблюдатель. По моему мнению, проект был обречен изначально. Он возник от безысходности — нужны были вычислительные мощности, а персональные компьютеры появились значительно позднее.
Я был в стороне этого проекта — больше как наблюдатель. По моему мнению, проект был обречен изначально. Он возник от безысходности — нужны были вычислительные мощности, а персональные компьютеры появились значительно позднее.
Думаю, я понял, почему умножение давало более разряженный выход чем вход. Просто величины брались из «нормализованного» диапазона [0, 1].
Если оно действительно работало, то в таком случае живой нейрон (дендритное дерево или его сегмент) общее входное возбуждение умножает на вес. Первая величина — входное возбуждение, вторая — синаптическая «карта» дерева (вес). Сам никогда ранее не смотрел на это с такой точки зрения, и у других не встречал.
Если оно действительно работало, то в таком случае живой нейрон (дендритное дерево или его сегмент) общее входное возбуждение умножает на вес. Первая величина — входное возбуждение, вторая — синаптическая «карта» дерева (вес). Сам никогда ранее не смотрел на это с такой точки зрения, и у других не встречал.
Восстановил алгоритм по описанию. Действительно работает. Точность задаётся длиной генерируемой стохастической бинарной последовательности.
Фактически имеем два бинарных генератора с перестраиваемой разряженностью, выходы которых подаются на элемент И. Данная схема генерирует свою выходную последовательность с разряженностью, соответствующей перемножению разряженностей входных последовательностей (см. код).
Синаптические кластеры нейрона функционируют как И-элементы для синхронных спайков, вызывая дендритную волну и далее спайк. Соответственно, полагаю, нейрон способен на своём дендритном дереве перемножать активности (в виде последовательностей спайков) огромного количества (по числу кластеров) других нейронов.
Способность полноценно перемножать вещественные числа [0, 1] — это не какие-то ранее обнаруженные логические функции дендритного дерева. ) Я так понимаю, авторы исходного алгоритма эту потенциально возможную функциональность нейрона не заметили.
length = 1000
a = 0.7 : 0.7060
b = 0.4 : 0.3840
a * b = 0.2800 : 0.2850 (err 0.0175)
JS-код
// a, b - входные величины [0, 1]
// n - длина генерируемой последовательности
const mult = (a, b, n) => {
let a_cnt = 0;
let b_cnt = 0;
let ab_cnt = 0;
for (let i = 0; i < n; i++) {
const a_r = Math.random() < a;
const b_r = Math.random() < b;
a_r ? a_cnt++ : null;
b_r ? b_cnt++ : null;
a_r && b_r ? ab_cnt++ : null;
}
return [a_cnt / n, b_cnt / n, ab_cnt / n];
}
// длина генерируемых бинарных последовательностей
const seq_length = 1000;
// входные величины [0, 1]
const a = 0.7;
const b = 0.4;
// вероятностные/рассчитанные величины
const [p_a, p_b, p_ab] = mult(a, b, seq_length);
const r_ab = a * b;
const err = Math.abs(p_ab - r_ab) / r_ab;
console.log(`length = ${seq_length}`,
`\na = ${a} : ${p_a.toFixed(4)}`,
`\nb = ${b} : ${p_b.toFixed(4)}`,
`\na * b = ${r_ab.toFixed(4)} : ${p_ab.toFixed(4)} (err ${err.toFixed(4)})`);
Фактически имеем два бинарных генератора с перестраиваемой разряженностью, выходы которых подаются на элемент И. Данная схема генерирует свою выходную последовательность с разряженностью, соответствующей перемножению разряженностей входных последовательностей (см. код).
Синаптические кластеры нейрона функционируют как И-элементы для синхронных спайков, вызывая дендритную волну и далее спайк. Соответственно, полагаю, нейрон способен на своём дендритном дереве перемножать активности (в виде последовательностей спайков) огромного количества (по числу кластеров) других нейронов.
Способность полноценно перемножать вещественные числа [0, 1] — это не какие-то ранее обнаруженные логические функции дендритного дерева. ) Я так понимаю, авторы исходного алгоритма эту потенциально возможную функциональность нейрона не заметили.
Соответственно, полагаю, нейрон способен на своём дендритном дереве перемножать активности (в виде последовательностей спайков) огромного количества (по числу кластеров) других нейронов
Алексей, т.е. вы полагаете, что некий нейрон такого рода умеет «умножать»? Или, то о чем вы говорите, имеет другой смысл?
полагаете, что некий нейрон такого рода умеет «умножать»?Полагаю, что пирамидальный нейрон (из-за наличия дендритных спайков) точно умеет.
Давно известно, что пара синапсов образуют синаптический кластер, когда они расположены рядом друг с другом. Синхронная активация этих синапсов запускает дендритную волну, волна в свою очередь приводит к спайку нейрона. То есть, кластер работает как логический элемент И для двух «каналов». У нейрона кластеров огромное количество (в N раз больше числа синапсов).
На вход синапсов кластера поступают спайки от других нейронов, что по сути есть — бинарные последовательности разной степени разряженности. Складывая их по И, и генерируя спайк на вход в состоянии «1,1», нейрон тем самым производит собственную последовательность спайков, разряженность которой соответствует перемножению разряженностей входных последовательностей.
Так как перемножение происходит для всех таких пар входов массово и одновременно, то результирующая выходная последовательность нейрона — это сумма всех умножений: «out(t)= n0(t) * n5(t) + n3(t) * n201(t) + n2(t) * n15(t) ...».
Красиво…
Это последовательность спайков на аксоне?
Вопрос в том как она потом «декодируется» на постсинаптических нейронах?
производит собственную собственную последовательность спайков, разряженность которой соответствует перемножению разряженностей входных последовательностей.
Это последовательность спайков на аксоне?
Вопрос в том как она потом «декодируется» на постсинаптических нейронах?
Красиво…И не вводятся новые сущности. Просто взгляд на давно известные факты с новой точки зрения.
Это последовательность спайков на аксоне?Да. Вот наглядный пример (сгенерированный из кода выше), где последовательность спайков на аксоне соответствует произведению 0,7 * 0,4.
IN1 = 0,7
|_||||_|||||__||__||__||_||__||||||___||_|||_||_|||||_||||||||_|_|||_|||||||||__||||||_||||||__||__|
IN2 = 0,4
__|___||________|_|_|_|__||_______||_||__|_____||_|_|_____|__|__|_|||||||__|___|_|||_|_______|__|___
OUT = 0,28
__|____|__________|___|__||_______|___|__|______|_|_|_____|__|____||_||||__|_____|||_|__________|___
Вопрос в том как она потом «декодируется» на постсинаптических нейронах?Собственно, эта формула и есть «декодирование» нейрона, — то, чем он и занимается. И вопрос в том, как из таких элементов (нейронов) строятся вычисления.
И в формуле не указал ещё одно слагаемое (по бинарному ИЛИ). Это смещение (или дополнение), которое формируют разрозненные спайки, не попадающие в кластеры. По одному они не способны привести к спайку, каждый из них вносит незначительный вклад в смещение потенциала мембраны, поэтому необходимо по «классической схеме» взять их сумму и сравнить с заданным пороговым значением. При превышении порога формируется спайк.
При этом, как уже писал, это смещение от разрозненных спайков также можно рассматривать как умножение входной активности со всех нейронов на «коэффициент/карту дендрита». Ровно та же картинка, что привёл выше, но строки теперь — это не последовательности спайков, а спайки всех нейронов в один момент времени и синапсы выходного нейрона.
Одномоментная активность всех входных нейронов (70 из 100)
|_||||_|||||__||__||__||_||__||||||___||_|||_||_|||||_||||||||_|_|||_|||||||||__||||||_||||||__||__|
Синапсы выходного нейрона (40 синапсов из 100 возможных)
__^___^^________^_^_^_^__^^_______^^_^^__^_____^^_^_^_____^__^__^_^^^^^^^__^___^_^^^_^_______^__^___
Взвешенный синапсами вход (28 активных синапсов из 100)
__*____*__________*___*__**_______*___*__*______*_*_*_____*__*____**_****__*_____***_*__________*___
После нормализации получаем тоже самое вычисление 0,7 * 0,4 = 0,28. Только производимое не в последовательной форме, а в параллельной.
Это последовательность спайков на аксоне?
Да. Вот наглядный пример (сгенерированный из кода выше)
Хорошо.
Вопрос в том как она потом «декодируется» на постсинаптических нейронах?
Попробую, поставить вопрос по другому. Рассмотрим 3 сценария:
1. Классика жанра:
1.1. Не единственный нейрон, а сеть (слой) выдает: «вероятно нечто принадлежит следующим классам 1, 12, 32, ...»
1.2. сеть (слой): «в этом обнаружены след. особенности»
2. «Мультипликативный» (стохастический) нейрон:
2.1. выполнение операции; выдается последовательность спайков на аксоне (или корне дендритного дерева).
2.2. на синаптическом кластере постсинаптического нейрона (далее для простоты забудем про дендритное дерево) к которой подходит синаптическое окончание возбужденного «мультипликативного» нейрона (п. 2.1): для первого подошедшего спайка из указанной последовательности в момент времени t0 --> выполняется операция 2.1 на постсинаптическом нейроне. В момент tk походит k-ый спайк --> выполняется операция 2.1 на постсинаптическом нейроне. Далее работает сеть нейронов (слой) или все дендритное дерево по сценарию 1. И т.д.
Это картинка для одного того же рецептора (рецептивного кластера) на одном и том же постсинаптическом нейроне (в одном и том же месте). Наверно, это сценарий о которой вы говорите. Он достаточно реалистичный.
3. Возможен ли по вашему мнению следующий сценарий (декодирование, демультиплексирование)? Это то что подразумевается под «временным суммированием».
3.1. «Мультипликативный» (стохастический) нейрон выполнят операцию «умножения»; выдается последовательность спайков на аксоне.
3.2. На рецепторе постсинтаптического нейрона «накапливается», учитывается вся пришедшая (под)последовательность s0,...,sn, сгенерированная пресинаптическим нейроном (3.1) в интервале времени от t0 до tn — (прямое задание значения веса, загрузка «данных» в нейрон). Далее вырабатывается какой-то отклик от рецептора (кластера) — спайк или что-то другое (например: перестройка самого рецептивного кластера/поля).
Как то так -(. Сразу скажу: я не сторонник 3-го сценария. Но все же…
Мне кажется что такой подход — «мультипликативный» (стохастический) нейрон — может дать возможность по другому реализовывать модели Хопфилда и АРТ Гроссберга…
Осилит дорогу идущий.
Для уточнения.
На синаптический кластер приходят спайки от пресинаптических нейронов. Когда спайки синхронны, нейрон отвечает собственным спайком. И это делается для всех кластеров нейрона.
На картинках спайки развёрнуты во времени. IN1 и IN2 — это то, что поступает от двух пресинаптических нейронов на два синапса, образующих на постсинаптическом нейроне кластер. OUT — это спайки постсинаптического нейрона. Как легко видно, он отвечает только в моменты синхронных спайков от обоих входных нейронов.
По хорошему, активность нейрона должна быть равномерной, то есть, пачки спайков не приветствуются. Соответственно, механизм временного суммирования на постсинаптической клетке задействоваться не должен.
Этот интервал короткий. Постоянная времени клеточной мембраны позволит накопить только несколько подряд идущих спайков (Временное суммирование). Вот наглядный пример того, что будет.
Синапс, на который приходят пачки «замечает» их, но что это может дать для задачи классификации?
На синаптический кластер приходят спайки от пресинаптических нейронов. Когда спайки синхронны, нейрон отвечает собственным спайком. И это делается для всех кластеров нейрона.
На картинках спайки развёрнуты во времени. IN1 и IN2 — это то, что поступает от двух пресинаптических нейронов на два синапса, образующих на постсинаптическом нейроне кластер. OUT — это спайки постсинаптического нейрона. Как легко видно, он отвечает только в моменты синхронных спайков от обоих входных нейронов.
Возможен ли по вашему мнению следующий сценарий (декодирование, демультиплексирование)? Это то что подразумевается под «временным суммированием».Временное суммирование спайков у меня не задействуется. Оно вносит вклад в ту часть формулы про «смещение».
По хорошему, активность нейрона должна быть равномерной, то есть, пачки спайков не приветствуются. Соответственно, механизм временного суммирования на постсинаптической клетке задействоваться не должен.
На рецепторе постсинтаптического нейрона «накапливается», учитывается вся пришедшая (под)последовательность s0,...,sn, сгенерированная пресинаптическим нейроном (3.1) в интервале времени от t0 до tn
Этот интервал короткий. Постоянная времени клеточной мембраны позволит накопить только несколько подряд идущих спайков (Временное суммирование). Вот наглядный пример того, что будет.
Спайки, поступающие на синапс с временным суммированием
|_||||_|||||__||__||__||_||__||||||___||_|||_||_|||||_||||||||_|_|||_||||||
Спайки, генерируемые в ответ нейроном
____|____|_____________________|__|________|______|_____|__|_______|___|__|
Синапс, на который приходят пачки «замечает» их, но что это может дать для задачи классификации?
Мне кажется что такой подход — «мультипликативный» (стохастический) нейрон — может дать возможность по другому реализовывать модели Хопфилда и АРТ Гроссберга…По крайней мере к гипотезам о кодировании нейроном (частотное, фазовое, кодовое...) следует добавить и кодирование разряженностью, если это кто-то ещё не сделал.
единая топология для моделирования различных аспектов разума
в пределах блоков алгоритм работы стандартный, отличается значениями некоторых параметров
Природа доказывает обратное
Данные нейрогистологии как раз указывает на существование различных типов организации нейронных ансамблей: различная нейронная организация в коре, ретикулярной формации, мозжечке и др. тканях головного мозга. О типологии нейронов даже близко не стоит говорить — в нервной системе обнаруживаются сотни и даже тысячи разных типов нейронов.
Мне кажется, нельзя упрощать, сводить все возможное разнообразие типов организации и функционирования нервной системы к какой-либо одной унифицированной модели (единой топологии). Унифицированное представление удобно для программной реализации. Но даст ли такой подход желаемый результат – большой вопрос.
Может быть, я вас не понял. Тогда, можете пояснить, в каком смысле вы используете оборот единая топология?
в пределах блоков алгоритм работы стандартный, отличается значениями некоторых параметров
Да, структура мозга задается вручную, экспертом
А между блоками? А набор самих функциональных блоков? – тоже генетика?
При рождении человек пользуется старым мозгом, а позднее, практически все функции переходят в новую кору
Это вопрос вашей веры (не подкрепленного достаточным количеством фактов утверждения) или доказанный факт?
Также как в живом мире определяется генетикой
Морфология — да, механизмы взаимодействия клеток, пластичность связей — да, интеграция отдельных «функциональных блоков» — да, но не организация конкретных межнейронных связей (скорее всего, за исключением нейронных ансамблей в сенсорных анализаторах).
С помощью механизма Системы Усиления-Торможения. В «Алгоритмах Разума» об этом пишут на страницах 109-121.
Гипотеза Амосова интересна, красива и на нее можно опираться. Однако, если все так хорошо, почему нет результата – работающий ИР?
Может быть, я вас не понял. Тогда, можете пояснить, в каком смысле вы используете оборот единая топология?
Все правильно поняли. Амосов в своих работах моделировал различные сферы деятельности мозга на одних и тех же структурах. В своих исследованиях он старался понять информационную (алгоритмическую) сторону процессов мозга. Ведь для того, чтобы перемножить величину возбуждения на проходимость связи не требуется моделировать передачу нейромедиаторов в синапсе. В этом и состоит баланс между нейрофизиологией и математикой.
Что же касается данных гистологии — да, старый мозг состоит из многих образований, но случай с водянкой
дает основание предположить, что для полноценной деятельности мозга достаточно неокортекса, размер которого напрямую связан в живом мире с интеллектом. Это же подтверждает и Джефф Хокинс на основе данных полученных в ходе изучения мозга основанным им институтом.
А между блоками? А набор самих функциональных блоков? – тоже генетика?
Однозначно. А можно предположить что-то еще? Начальное состояние формируется вручную (с использованием данных нейрофизиологии), далее сеть изменяется на основе своей деятельности и внешнего окружения. Очень похоже на то, что мы видим в живой природе. Разве нет?
Это вопрос вашей веры (не подкрепленного достаточным количеством фактов утверждения) или доказанный факт?
Использую фразу Амосова — мне трудно предположить что-то иное. Факты того, что для полноценной мозговой деятельности достаточно новой коры есть. Факт, что размер коры напрямую зависит с силой интеллекта (среди видов) тоже трудно оспорить. То, что для начала жизнедеятельности требуется четкая структура отвечающая набором врожденных рефлексов — факт. То, что большинство врожденных рефлексов угасает в процессе развития тоже факт.
… но не организация конкретных межнейронных связей (скорее всего, за исключением нейронных ансамблей в сенсорных анализаторах).
Конкретные связи в первоначальном состоянии. Как раз связи ансамблей. В М-сетях каждый нейрон рассматривается как модель ансамбля. Амосов в своих работах разделял уровни на А-сети (моделируют один ансамбль) и М-сети. При этом М-сети являются А-сетями для нейронов высшего уровня.
Гипотеза Амосова интересна, красива и на нее можно опираться. Однако, если все так хорошо, почему нет результата – работающий ИР?
В то время, когда Амосов разрабатывал свою теорию не было необходимых вычислительных мощностей. Сейчас нет Амосова. Но почему бы не повторить его работу нам?
Ведь для того, чтобы перемножить величину возбуждения на проходимость связи не требуется моделировать передачу нейромедиаторов в синапсе.
Не соглашусь. Надо понимать какие мат. операции могут соответствовать (допустимы) возбуждению или торможению рецепторов на дендритах или на соме нейрона: это не всегда просто взвешанная сумма. И для этого есть веские основания.
И тем не менее — одно дело пытаться разобрать все на уровне молекул и химии, другое — понять информационную составляющую. Какая функция моделируется? В теории Амосова у связи есть много параметров, не только проходимость.
одно дело пытаться разобрать все на уровне молекул и химии
Я обращаю на это внимание, поскольку считаю, что необходимо по возможности «оптимизировать» «нейронный уровень». То, что реализуется в настоящее время в ИНС – это путь в пропасть. Сеть, построенная из формальных нейронов, ужасно неэкономна. Естественный нейрон – по сути своей эквивалент небольшой искусственной нейросети (слоя), поскольку, и я в этом уверен: часть обработки выполняется на дендритном дереве естественного нейрона. Отсюда и интерес не к химии и биофизике рецептивных кластеров и протеканию процессов в дендритном дереве или на аксоне, а к обработке информации на отдельных участках природного нейрона (рецептивных кластерах, дендритах, аксоне, коллатералях).
Какая функция моделируется?
Функциональных актов по Амосову (или функциональных систем по Анохину) разного уровня в психике человека огромное количество (а часть из них вообще временная), поэтому если пойти по пути «ручного» построения для каждой из них своей модели – путь гибельный. Так кол-во функциональных актов, перечисленное в вышедшей в этом году книге «Функциональная модель психики» (Сохацкий Л.В. Функциональная модель психики. Москва: Техносфера, 2020; 688 с.), превышает сотню. Кстати сказать, Амосов выделяет в своих работах только их небольшую часть (с моей точки зрения не самые базовые) и достаточно высокоуровневые. С другой стороны повышение абстракции модели приведет к реализации очередного «чат-бота» или эвристическому программированию – это уже проходили много раз за историю ИИ и продолжают наступать на эти «грабли» в настоящий момент.
В теории Амосова у связи есть много параметров, не только проходимость.
А вот настройки высокоуровневых параметров хотелось бы избежать.
но случай с водянкойЛучше забыть про этот мутный случай. На томограмме видно полное отсутствие коннектома, т.е. колонки никуда не подключены, ни к базальным ядрам и таламусу, которых тоже нет, ни к друг к другу. Это как материнская плата с запаянными элементами (и более половины BOMа отсутствует) и без дорожек. Если это и работающий мозг, то совершенно другой, постепенно перестроенной («нечеловеческой»), структуры.
Это далеко не единичный случай. Мой знакомый невролог рассказывал про случай из своей практики. У ребенка- третьекласника на томограмме также обнаружили поражение мозга водянкой. При этом мальчик учился хорошо и ничем от сверстников не отличался.
Александр, а может ваш знакомый невролог сказать,
1. возможно ли обнаружить на томограмме проекционные волокна (аксоны подкорковые отделы головного мозга из/в коры/кору), видны ли они на ней?
2. были ли томограмме (в знакомом ему случае) видны другие анатомические отделы головного мозга, такие как промежуточный мозг, средний мозг, мозжечок, продолговатый мозг?
Этот случай наводит на мысль о выборе неудачных проекций (срезов) МРТ или сбое в работе аппарата в лучшем случае.
> промежуточный мозг, средний мозг
Их невидно, а без этих отделов головного мозга тот пациент не то, что бы не мог говорить, проявлять свой IQ и т.п. — это был бы обездвиженный, находящийся в реанимации препарат или труп. Поэтому, этот случай скорее всего — фальсификация.
Читал, что проводились эксперименты с бескорковыми животными (кажется с кошками, в частности на это ссылался и Амосов). Это были вполне себе подвижные агрессивные существа.
Кстати, вопрос отн. этого случая, задавался К.В. Анохину на одной из его публичных лекций. Его ответ: сильно сдавленная ликвором кора с сохранением подкорковых структур и всех проводящих путей.
1. возможно ли обнаружить на томограмме проекционные волокна (аксоны подкорковые отделы головного мозга из/в коры/кору), видны ли они на ней?
2. были ли томограмме (в знакомом ему случае) видны другие анатомические отделы головного мозга, такие как промежуточный мозг, средний мозг, мозжечок, продолговатый мозг?
Этот случай наводит на мысль о выборе неудачных проекций (срезов) МРТ или сбое в работе аппарата в лучшем случае.
> промежуточный мозг, средний мозг
Их невидно, а без этих отделов головного мозга тот пациент не то, что бы не мог говорить, проявлять свой IQ и т.п. — это был бы обездвиженный, находящийся в реанимации препарат или труп. Поэтому, этот случай скорее всего — фальсификация.
Читал, что проводились эксперименты с бескорковыми животными (кажется с кошками, в частности на это ссылался и Амосов). Это были вполне себе подвижные агрессивные существа.
Кстати, вопрос отн. этого случая, задавался К.В. Анохину на одной из его публичных лекций. Его ответ: сильно сдавленная ликвором кора с сохранением подкорковых структур и всех проводящих путей.
Спрошу.
Но опять же предлагаю не отбрасывать то, что не вяжется с привычным пониманием.
Давайте предположим, что это реальный случай.
С информационной точки зрения это логично. И получение информации от рецепторов, и управление эффекторами — все это передача и обработка сигналов. Тогда, при медленном угасании активности пораженных участков мозга, корковые структуры могут перенимать функции пораженных.
В случае же травм, происходит резкое нарушение функций и кора не успевает их перенять.
Могу предположить, что одно из фундаментальных свойств сети — обязательный отклик на распространяющийся сигнал. Если отклика нет, формируются новые связи в «свободных» участках коры.
Но опять же предлагаю не отбрасывать то, что не вяжется с привычным пониманием.
Давайте предположим, что это реальный случай.
С информационной точки зрения это логично. И получение информации от рецепторов, и управление эффекторами — все это передача и обработка сигналов. Тогда, при медленном угасании активности пораженных участков мозга, корковые структуры могут перенимать функции пораженных.
В случае же травм, происходит резкое нарушение функций и кора не успевает их перенять.
Могу предположить, что одно из фундаментальных свойств сети — обязательный отклик на распространяющийся сигнал. Если отклика нет, формируются новые связи в «свободных» участках коры.
Что же касается данных гистологии — да, старый мозг состоит из многих образований, но случай с водянкой дает основание предположить, что для полноценной деятельности мозга достаточно неокортекса
Не соглашусь. Но и подкорковые структуры и связи с корой сохранились у пациента с водянкой — это факт. Другое дело подобными случаями много вопросов (в том числе связанных с клиническими исследованиями таких пациентов — они не дают полноценной картины состояния пациента, его когнитивных способностей и пр. Но это уже другая история…): насколько у таких (и не только у таких) пациентов сохраняются когнитивные способности.
Факты того, что для полноценной мозговой деятельности достаточно новой коры есть
Достаточность новой коры: нейронауки (нейрофизиология, нейрогистология) как раз этого не подтверждают.
Например: необходимо отметить существенную роль ретикулярной формации в поддержании (влияние на) активности коры (отключение сознания, кома, регуляция сна).
Др. примеры: Этологи фиксируют сложное поведение птиц (орудийная деятельность, квазимышление), хотя казалось нейроанатомия коры их мозга не позволяет им этого — строение мозга (в том числе коры) птиц существенно отличается от таковой у млекопитающих (а тем более приматов и человека).
Существенна роль нарушения регуляции подкорковых структур в развитии и протекании психических заболеваний (шизофрения).
Факт, что размер коры напрямую зависит с силой интеллекта (среди видов) тоже трудно оспорить
Коррелирует. Точные, статистически подтвержденные данные отсутствуют – это факт.
То, что для начала жизнедеятельности требуется четкая структура отвечающая набором врожденных рефлексов
Кроме коры, этим требованиям отвечает ретикулярная формация среднего мозга, а еще в большей степени — кора мозжечка (по количеству нейронов сопоставима с корой больших полушарий, а по плотности нейронов на порядок превосходит ее; хотя нейронный состав проще).
В то время, когда Амосов разрабатывал свою теорию не было необходимых вычислительных мощностей.
Мощностей не было, зато были отличные идеи и люди.
Сейчас нет Амосова.
К глубокому сожалению. Это был великий человек и ученый. И время других выдающихся исследователей таких как Цыпкин Я.З., Галушкин А.И., Ивахненко А.Г., Цетлин М.Л., Бонгард М.М. и мн. других.
Но почему бы не повторить его работу нам?
Реализовать, «пощупать» эталонную модель очень было бы даже неплохо…
Алгоритмам поиска по ключевым словам наподобие TextRank — сто лет в обед, они в научных статьях переизобретаются каждые несколько лет.
Поэтому ваша часть поста про технологии — это какой-то шаманизм. Вы говорите: «мы (… пообщались с духами и...) нашли секретную теорию из прошлого, на основе которой построили технологию, которая перевернёт мир». А на деле получается — «мы называем всё подряд нейронами, потому что очень хорошо видим аналогии», и ничего нового и коммерчески крутого. (Хотя «крутость» обычно идёт от нахождения успешной модели получения денег, а не успешно проделанной домашней работы по реализации поиска… но что ожидать от стартапа 2005 года? все такими были в 2000х).
Мне кажется, в закрытых коммерческих областях люди часто переоценивают значимость собственных идей — ведь они не знают, что все конкуренты уже давно этими технологиями пользуются (или же даже конкуренты давно отбросили эти технологии как неподходящие по какому-то из параметров: скорость, цена, качество работы, время настройки).
Поэтому ваша часть поста про технологии — это какой-то шаманизм. Вы говорите: «мы (… пообщались с духами и...) нашли секретную теорию из прошлого, на основе которой построили технологию, которая перевернёт мир». А на деле получается — «мы называем всё подряд нейронами, потому что очень хорошо видим аналогии», и ничего нового и коммерчески крутого. (Хотя «крутость» обычно идёт от нахождения успешной модели получения денег, а не успешно проделанной домашней работы по реализации поиска… но что ожидать от стартапа 2005 года? все такими были в 2000х).
Мне кажется, в закрытых коммерческих областях люди часто переоценивают значимость собственных идей — ведь они не знают, что все конкуренты уже давно этими технологиями пользуются (или же даже конкуренты давно отбросили эти технологии как неподходящие по какому-то из параметров: скорость, цена, качество работы, время настройки).
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Нейросетевой визуальный поиск