Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 49
Здо́рово.
Вы утверждаете, что каждая миниколонка хранит всю наличную память субъекта. Если же продолжать проводить параллели с вычислительными системами, то напрашивается такой вариант:
Каждая миниколонка является независимым вычислительным модулем, сидящем на общей шине. Память колонки является с одной стороны индивидуальной оперативной памятью (кэш), с другой стороны она является распределенной памятью всего организма. То есть, колонка запоминает как фрагменты памяти, необходимые лично ей для трактовки собственных понятий, так и хранит фрагменты памяти, которые волею случая (хеш) оказалось необходимо сохранить именно здесь.
Все это очень напоминает алгоритмы DHT, когда каждый пир хранит часть информации, интересную ему, в то же время внося вклад в общее распределенное хранилище.
Соответственно, можно ожидать разных реакций колонки в зависимости от стимулов. Либо вычисление, либо информационный поиск, что в предложенной модели, если я правильно понимаю, должно реализоваться похожим образом.
Законы развития информационных систем не зависят от реализации этих самых систем. Что hardware что wetware так или иначе сталкиваются с одинаковыми проблемами (ограниченная полоса пропускания, время доступа к информации и т. д.). Логично предположить, что и решаться они будут похожим образом.
Из прогнозов: можно предполагать, что при появлении новых ассоциаций и трактовок, колонка может захотеть перетащить часть распределенного хранилища поближе к себе и тем самым записать те данные, которые нужны для нее. Таким образом решается задача быстрого доступа к информации (кэширование) и ее распределенного хранения.
Вы утверждаете, что каждая миниколонка хранит всю наличную память субъекта. Если же продолжать проводить параллели с вычислительными системами, то напрашивается такой вариант:
Каждая миниколонка является независимым вычислительным модулем, сидящем на общей шине. Память колонки является с одной стороны индивидуальной оперативной памятью (кэш), с другой стороны она является распределенной памятью всего организма. То есть, колонка запоминает как фрагменты памяти, необходимые лично ей для трактовки собственных понятий, так и хранит фрагменты памяти, которые волею случая (хеш) оказалось необходимо сохранить именно здесь.
Все это очень напоминает алгоритмы DHT, когда каждый пир хранит часть информации, интересную ему, в то же время внося вклад в общее распределенное хранилище.
Соответственно, можно ожидать разных реакций колонки в зависимости от стимулов. Либо вычисление, либо информационный поиск, что в предложенной модели, если я правильно понимаю, должно реализоваться похожим образом.
Законы развития информационных систем не зависят от реализации этих самых систем. Что hardware что wetware так или иначе сталкиваются с одинаковыми проблемами (ограниченная полоса пропускания, время доступа к информации и т. д.). Логично предположить, что и решаться они будут похожим образом.
Из прогнозов: можно предполагать, что при появлении новых ассоциаций и трактовок, колонка может захотеть перетащить часть распределенного хранилища поближе к себе и тем самым записать те данные, которые нужны для нее. Таким образом решается задача быстрого доступа к информации (кэширование) и ее распределенного хранения.
Как колонка может чего-то «захотеть»?
Не покидает впечатление по мере чтения статьи, что мозг описан как некий сложный инструмент для души или гомункулуса, некоего субъективного начала, мозгом не являющегося и для которого этот мозг транслирует свои смыслы и контексты (а этот субъект нажимает кнопки типа «запомнить» и «вспомнить»). На уровне описания поведения нейронов никакого «смысла» быть не может (либо этот «смысл» должен быть описан как локальный для нейрона эволюционно обусловленный адаптационный аспект), автору стоило бы, как мне кажется, использовать менее субъективизирующие термины, как, например, у Мински в его теории фреймов.
Не покидает впечатление по мере чтения статьи, что мозг описан как некий сложный инструмент для души или гомункулуса, некоего субъективного начала, мозгом не являющегося и для которого этот мозг транслирует свои смыслы и контексты (а этот субъект нажимает кнопки типа «запомнить» и «вспомнить»). На уровне описания поведения нейронов никакого «смысла» быть не может (либо этот «смысл» должен быть описан как локальный для нейрона эволюционно обусловленный адаптационный аспект), автору стоило бы, как мне кажется, использовать менее субъективизирующие термины, как, например, у Мински в его теории фреймов.
Так же, как процессор может «захотеть» притащить в свой кэш строку из оперативной памяти, при обращении к ней на уровне инструкций. Это не осознанная деятельность, а некие базовые механизмы системы.
Нет состояния процессора, которое можно было бы описать без натяжки как «желание процессора положить что-то в кеш». Но бывают ситуации, которые приводят к тому, что что-то откладывается в кеше. А «желал», чтобы такие ситуации складывались, инженер, построивший процессор. Вот и мозг было бы удобно описывать, вынося субъективизм и целесообразность из этого описания в «инженера» — природу, описывая через эволюционную обусловленность те или иные аспекты функционирования нейронов и их альянсов. Эта придирка не просто к стилю повествования, а именно подозрение, что автор неявно и сам в своих рассуждениях наделяет некоторые части своей модели природным и необъяснимым проактивным поведением, а не пытается эту проактивность вывести из реактивности (механистичности) базовых элементов.
Вопрос терминов всегда непрост. Но если «бытовое» понимание хорошо ложится на термин модели и не противоречит ему я предпочитаю не вводить новых слов.
Заранее не известно, что когда и кому может понадобиться. Я склоняюсь к тому, что каждая миниколонка хранит всю память своей зоны коры. Но эволюция мозга неизбежно довела любой механизм до совершенства. Я описываю базовый принцип, скорее всего в реальности все еще интереснее и могут быть разные чудеса относительно оптимизации.
Заранее не известно, что когда и кому может понадобиться.Если позволить себе утверждать, что колонка имеет локальную область «памяти», то с точки зрения такой отдельно взятой колонки воспоминание может быть 1) записано локально 2) локально может быть известен ключ, по которому можно получить воспоминание 3) не известно ничего, то есть такой набор внешних стимулов не приводит к какой-либо внятной реакции.
Инженерная фантазия позволяет мне предположить такой вариант: если колонка «знает», что существует некое воспоминание, соответствующее данному набору стимулов, она может по своей инициативе пустить волну поиска и получить в итоге запрошенную информацию. То есть, это промежуточный вариант между «колонка хранит всю информацию локально» и «колонка всегда только спрашивает».
Впрочем, это уже повод для отдельных исследований и одной фантазией тут не отделаешься.
Дело в том, что для любой информации каждая колонка имеет свою трактовку. Проверить трактовку относительно памяти должна каждая из колонок. Если чего-то нет, то дать запрос, подошло бы если бы такая проблема была у очень небольшого числа колонок. Но проверить надо каждой. Похоже, что кроме своей памяти надеятся не на что.
Оптимизация может быть за счет того, что каждая зона коры хранит только свою память. Соседние миниколонки (в радиусе 150 мкм) могут шарить память.
Оптимизация может быть за счет того, что каждая зона коры хранит только свою память. Соседние миниколонки (в радиусе 150 мкм) могут шарить память.
Создаётся ощущение, что Ваша модель подогнана под GPU, а не под мозг.
А нет ощущения, что эволюция компьютеров толкает их в сторону мозга?
Но ведь у нас уже есть первичная фильтрация по самим признакам/ключу, которая должна отсечь 99% неподходящих колонок и тем самым позволит избежать лавинообразной активности. Оставшийся 1% проверит трактовки в своей памяти, или даст запрос.
Хотя конечно вариант, при котором колонка помнит все что ей нужно подкупает своей простотой организации.
Хотя конечно вариант, при котором колонка помнит все что ей нужно подкупает своей простотой организации.
Сократ говорил, что первое знание, которое приходит к человеку в чем бы то ни было — это признание собственного незнания. В связи с этим, чтобы дать другим возможность исследования и шанс сделать все-таки открытие, я призываю Автора статьи исправить одну важную неточность: он должен признаться, что просвещенной части человечества до сих пор не известна никакая удовлетворительная теория придания смысла предложению языка или наблюдаемым явлениям, хотя, без сомнения, осмысление — процесс привычный и интуитивно понятный для каждого из нас.
Понятие интерпретации в математике — чисто формальное отношение между тремя языками без какого-либо придания смысла, более того, даже изгнав всякую осмысленность из своих теорий, математика не освободилась от неформальных изъянов: когда вы пытаетесь дать определение формальной теории, вы неизбежно употребляете, например, слово «множество» в его значащем неформальном смысле, а всеми излюбленное понятие истины вообще не может быть выражено внутри пока что никакой математической теории.
Область познания, относящаяся к приданию смысла, пока что пуста результатами или плодотворными идеями — она только ждет робких шагов своих первых исследователей. Касательно информации и ее количества — здесь в понимании удалось продвинуться не намного дальше. Если кто-либо думает, что все сводится к энтропии, то вот вам вопрос: «Что расскажет больше об античной культуре: хорошо сохранившаяся статуя или груда ее черепков ?»
Понятие интерпретации в математике — чисто формальное отношение между тремя языками без какого-либо придания смысла, более того, даже изгнав всякую осмысленность из своих теорий, математика не освободилась от неформальных изъянов: когда вы пытаетесь дать определение формальной теории, вы неизбежно употребляете, например, слово «множество» в его значащем неформальном смысле, а всеми излюбленное понятие истины вообще не может быть выражено внутри пока что никакой математической теории.
Область познания, относящаяся к приданию смысла, пока что пуста результатами или плодотворными идеями — она только ждет робких шагов своих первых исследователей. Касательно информации и ее количества — здесь в понимании удалось продвинуться не намного дальше. Если кто-либо думает, что все сводится к энтропии, то вот вам вопрос: «Что расскажет больше об античной культуре: хорошо сохранившаяся статуя или груда ее черепков ?»
Вы правильно говорите. Про аксиоматику математики, исходные понятия и их связь с возможностью понимать математику и находить решения трудных задач я хотел написать отдельно. Общепринятой теории смысла, действительно, нет. Приведенные в начале статьи фразы являются общепринятыми толкованиями (если считать википедию мерилом общепринятости). Но дальше я покажу, что введенная в предыдущей части простая модель смысла при некотором усложнении дает очень хорошие практические результаты и в продвинутом виде может претендовать на объяснение смысла в том виде, как его понимает человек.
В чем подвох со статуей и черепками?
Если черепки уникальные и можно однозначно воссоздать статую по ним, то «информации об античной культуре» окажется ровно столько же, сколько и в не разбитой статуе. Из-за уникальности черепков энтропия на них будет выше энтропии исходной статуи. Но это не «ошибка» — информации в таких черепках больше, потому что они содержат информацию не только об античной культуре, но и о способе разбиения статуи.
Если черепки неуникальные в достаточной степени, чтоб статуя была по ним невосстановима — то информация о разбиении в них по прежнему останется, а вот об исходной статуе — потеряется. Поэтому мы ожидали бы, что и энтропия у таких черепков будет ниже, чем у предыдущих (чтоб учесть потерю инфоррмации об античной культуре). И это в самом деле выполняется — энтропия на этих черепках будет ниже, т.к. из неуникальности черепка следует более хорошая предсказуемость, что и приводит к уменьшению значения энтропии.
Вроде, все ок.
Если черепки уникальные и можно однозначно воссоздать статую по ним, то «информации об античной культуре» окажется ровно столько же, сколько и в не разбитой статуе. Из-за уникальности черепков энтропия на них будет выше энтропии исходной статуи. Но это не «ошибка» — информации в таких черепках больше, потому что они содержат информацию не только об античной культуре, но и о способе разбиения статуи.
Если черепки неуникальные в достаточной степени, чтоб статуя была по ним невосстановима — то информация о разбиении в них по прежнему останется, а вот об исходной статуе — потеряется. Поэтому мы ожидали бы, что и энтропия у таких черепков будет ниже, чем у предыдущих (чтоб учесть потерю инфоррмации об античной культуре). И это в самом деле выполняется — энтропия на этих черепках будет ниже, т.к. из неуникальности черепка следует более хорошая предсказуемость, что и приводит к уменьшению значения энтропии.
Вроде, все ок.
Любые понятия имеют спектр возможных трактовок. Сам термин «информация» имеет разный смысл в зависимости от контекста. Шеннон дал одну из трактовок, основанную на вероятности или, что то же самое на энтропии. В своем узком смысле эта трактовка очень хороша и полезна. Но она, например, не учитывает важность информации. Оглашение приговора «казнить» или «помиловать», когда чаша весов колеблется 50 на 50, содержит 1 бит информации по Шеннону. Но этот бит для подсудимого важнее всего на свете и он расценит информативность приговора несколько по другой шкале.
Честно говоря, не так просто сказать чему равна энтропия черепков или статуи, но если перевести спор в область интуитивной физики, то легко можно представить, как, падая, статуя разбивается на много мелких черепков, и довольно трудно, как черепки, брошенные на пол, собираются в образ прекрасной женщины. Говорят, что в природе энтропия замкнутой системы не может уменьшаться.
Еще одна тонкость, которая никак не делает лучше мой пример, но в действительности уничтожает ваши контраргументы, — это то, что состояния, переводимые друг в друга каким либо процессом вычисления, могут иметь различную энтропию (Больцмана): вычислительная машина, как и холодильник, не могут работать без притока энергии извне. Иными словами, чтобы собрать статую, вам придется съесть бутербродов эдак пять, а куда пойдут эти джоули: на порождение или на уничтожение информации, из поверхностного анализа не ясно.
Цель моего полудетского примера со статуей была обратить внимание на то, что большинство естественных сообщений хорошо структурированы и крайне не случайны. Например, текст, который Вы читаете, мало похож на совсем уж случайную последовательность букв и может быть сжат по объему в несколько раз любым адекватным архиватором.
Еще одна тонкость, которая никак не делает лучше мой пример, но в действительности уничтожает ваши контраргументы, — это то, что состояния, переводимые друг в друга каким либо процессом вычисления, могут иметь различную энтропию (Больцмана): вычислительная машина, как и холодильник, не могут работать без притока энергии извне. Иными словами, чтобы собрать статую, вам придется съесть бутербродов эдак пять, а куда пойдут эти джоули: на порождение или на уничтожение информации, из поверхностного анализа не ясно.
Цель моего полудетского примера со статуей была обратить внимание на то, что большинство естественных сообщений хорошо структурированы и крайне не случайны. Например, текст, который Вы читаете, мало похож на совсем уж случайную последовательность букв и может быть сжат по объему в несколько раз любым адекватным архиватором.
Почему не на ГТ? «Мозг» там.
Наличие развитой коры не является необходимым условием появления семантики и сложного адаптивного поведения. Возьмите высших птиц
А Вы считаете, что у птиц не развитая кора? Кора либо есть, либо ее нету.
Маммальная кора, которая описана в этой статье, у птиц отсутствует, все же сказывается разница в 600 миллионов лет эволюции (300 вниз и 300 вверх, а то и больше)
Отнесение чего-то из коры к неокортексу достаточно условно. Неявно полагается, что древние виды ели они не сильно поменялись внешне, значит и мозг сохранили тот же, что и миллионы лет назад. Но о внешенем виде можно судить, по остаткам скелетов. О мозге сложнее, только по форме черепа. Возможно, что мозг птиц сильно эволюционировал.
Первые птицы появились 130 миллионов лет назад.
Любая кора уже повод для сложного адаптивного поведения. Уже минимальная кора, например, как у птиц дает огромные результаты. Более сложная кора дает более глубокие возможности. Но, похоже, зависимость от размеров нелинейна. Каждый новый шаг дается за счет существенного усложнения всей системы.
Первые птицы появились 130 миллионов лет назад.
Любая кора уже повод для сложного адаптивного поведения. Уже минимальная кора, например, как у птиц дает огромные результаты. Более сложная кора дает более глубокие возможности. Но, похоже, зависимость от размеров нелинейна. Каждый новый шаг дается за счет существенного усложнения всей системы.
У птиц нет неокортекса, у них в этом смысле 3D-структура нейросети в отличие от 2D-коры. А ещё бывают насекомые, которые настолько микроскопические, что по пути адаптации к ещё большей :) миниатюризации нейроны живут только на момент формирования синаптических связей и формирования общей структуры нервной сети, а потом их ядра отмирают. Такое происходит с самцами, которые у таких видов редуцируются до эдакого дрона без органов пищеварения и зрения, оптимизированного исключительно для экономичной доставки генетического материала.
Слежу за публикациями Алексея почти с самого начала. И с каждой новой всё больше укрепляется чувство, что скоро идеи, выраженные здесь, произведут эффект разорвавшейся бомбы. Такого подробного обоснования различных явлений в мозгу я ещё нигде не видел, хотя стараюсь следить за этой темой внимательно.
Алексей Редозубов> В первый момент мысль о том, что всего 100 нейронов миниколонки могут хранить воспоминания всей жизни, кажется абсурдной, особенно для тех, кто привык считать, что память распределена по всему пространству коры. Более того, дублирование многими миллионами миниколонок одной и той же информации в традиционных информационных подходах кажется бессмысленным расточительством ресурсов. Но идеология определения смысла в пространстве контекстов позволяет подвести под именно такую архитектуру коры серьезное обоснование.
— Насколько можно понять, данное утверждение — это уже некоторый ключевой высокоуровневый элемент модели. Воздержусь от критики.
— Насколько можно понять, данное утверждение — это уже некоторый ключевой высокоуровневый элемент модели. Воздержусь от критики.
Алексей, вы знакомы с работами Джулио Тонони и коллег, посвящёнными Integrated Information Theory?
Раньше не читал. Насколько я понял из беглого просмотра на википедии это формализация понятия «сознание». Сейчас статьи цикла несколько о другом. Разговор о сознании будет позже. В любом случае спасибо за наводку.
Да, вам в целом может быть полезно, не только для этого цикла. Идеология Тонони родилась из философских разработок Дэвида Чалмерса («Сознающий ум» переведён на русский). Тонони, Кох сотоварищи развивают их и формулируют измеримый подход к сознанию, который (с моей точки зрения) крайне важен для разработки ИИ. Важная мысль заключается в том, что «сознание» градуировано. Условно говоря, в системе может не быть сознания вовсе, может быть немножко, а может быть много. И, грубо говоря, количество сознания зависит от количества нередуцируемых каузальных циклов. То есть, создать сознающий аппарат можно только если там будет много обратной связи. Нейронные сетки без обратных связей имеют ноль сознания. А сама природа феномена сознания тесно связана с причинностью.
AlexeyR, Вот, кстати, еще одна интересная модель алгоритма коры — идеологически немного похожая на вашу (там тоже кодирование информации происходит в виде последовательности разреженных узоров активаций в миниколонках, но работа с контекстами выведена на уровень единичного нейрона). И там тоже речь о множественых параллельно проверяемых гипотезах.
Я бы сказал, что это о другом. Сотня образов для нейрона — это маловато для распределенной памяти. Там нет вариации информации в контекстах. У них, просто, «нейроны бабаушки», но чуть похитрее. Им эта хитрость нужна для объяснения как работать с последовательностями сигналов. У меня последовательность закладывается в структуру идентификаторов. Нет, у них совсем о другом.
Но «у них» есть Testable Predictions. Мы увидим таковые от Вас?
Про вариацию в контекстах: если есть две входных последовательности АБСД и МБСК, то внутрисетевая репрезентация для БС (и, соответственно, набор порождаемых ею ассоциаций) в этих двух случаях будет отличаться. Если я правильно понимаю, что такое «бабушкин нейрон», то репрезентация была бы одинакова Rep(Б|А) = Rep(Б|М) = Rep(Б).
Мне, правда, осталось непонятно, откуда у них возьмется способность к обобщению (типа, смотрю на два попиксельно разных изображения, и мгновенно говорю, что и там и там кошка). Но зато моделька, имхо, идеально подходит для работы со временем. И при небольших доработках, вероятно, сможет делать предсказания на разную дальность в будущее за небольшое кол-во шагов. А ваша смогла бы, теоретически? Скорей всего да, но я не вполне представляю как именно. Может из-за того, что не все ваши статьи были прочитаны. В какой тогда это лучше почитать?
Мне, правда, осталось непонятно, откуда у них возьмется способность к обобщению (типа, смотрю на два попиксельно разных изображения, и мгновенно говорю, что и там и там кошка). Но зато моделька, имхо, идеально подходит для работы со временем. И при небольших доработках, вероятно, сможет делать предсказания на разную дальность в будущее за небольшое кол-во шагов. А ваша смогла бы, теоретически? Скорей всего да, но я не вполне представляю как именно. Может из-за того, что не все ваши статьи были прочитаны. В какой тогда это лучше почитать?
Все части достаточно сильно увязаны, трудно сказать какая важнее для понимания. Позже будет описана модель зрения. Возможно, на примере будет понятнее.
Если позволите, снова просьба сопрячь с имеющимися исследованиями. Буквально на днях посмотрел выступление Talia Konkle о визуальном восприятии объектов. Там есть, с чем интересным посоответствовать (например, а) что уже с младенчества есть чётко заметные зоны различения больших/малых объектов и неподвижных/движущихся и б) у маленьких обезьянок, которым с детства предъявляли две буквы, восприятие одной из них локализовалось в одном и том же отдельном месте), а также что попредсказывать (Талия говорит о нерешённых вопросах в конце третьей части выступления).
Основные исследования связаны с изучением зрительного восприятия (там проще прослеживать, что от чего зависит). В последующих частях я подробно расскажу о том как работает зрение и как это соотносится с моей моделью. Там очень много важного и интересного. Если приводить факты сопоставления урывками, то, боюсь, не сложится общей картины.
Забавно, что процесс познания мозга похож на процесс раскрутки компилятора :) Мозг изучает сам себя :) Даже немного весело.
Жаль я совсем не в теме, но статьи прочитал с удовольствием. Спасибо за ваши труды
Жаль я совсем не в теме, но статьи прочитал с удовольствием. Спасибо за ваши труды
Очень красивая идея с соревнованием трактовок.
Я где-то упустил, какое назначение вы оставляете собственно активирующимся на дендритах половинам синапсов, если основное вспоминание отдаёте внесинаптическим рецепторам?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Логика сознания. Часть 6. Кора мозга как пространство вычисления смыслов