Что такое информация, как найти скрытый в ней смысл, что вообще есть смысл? В большинстве толкований информацию сопоставляют с сообщением или с данными, используя эти слова как синонимы. Сообщение обычно подразумевает конкретную форму. Например, устная речь, текстовое послание, сигнал светофора и тому подобное. Термин «сообщение» чаще используют, когда говорят об информации в связи с ее передачей. Под данными обычно подразумевают информацию, для которой определена форма ее хранения или передачи. Например, мы говорим о данных, когда упоминаем записи в базе данных, массивы в памяти компьютера, сетевые пакеты и тому подобное. Сам термин «информация» мы предпочитаем использовать, когда нет необходимости заострять внимание на способе ее передачи или форме представления.Информация, чтобы быть использованной, должна получить интерпретацию. Например, красный сигнал светофора можно интерпретировать как запрет ехать, улыбку как сигнал хорошего расположения и тому подобное. Конкретная интерпретация называется смыслом информации. По крайней мере, такой трактовки придерживается международная организация по стандартизации: «knowledge concerning objects, such as facts, events, things, processes, or ideas, including concepts, that within a certain context has a particular meaning».
Для одной и той же информации могут существовать разные интерпретации. Трактовка сообщения «нажата кнопка питания компьютера» зависит от того, в каком состоянии, включенном или нет, компьютер находился до нажатия. В зависимости от этого информация может трактоваться как либо «включение», либо «выключение».
Обстоятельства, которые определяют, как должна трактоваться та или иная информация, принято называть контекстом. Трактовка информации существует только в определенном контексте. Соответственно, обнаруженный в информации смысл также относится к определенному контексту.
Одна и та же информация может в разных контекстах иметь свой смысл. Например, на этом строятся все афоризмы: «Окно в мир можно закрыть газетой», «Из нулей легко сделать цепь», «Говорят, у потерявшего зубы несколько свободнее язык» (Станислав Ежи Лец).
Какая интерпретация будет выбрана человеком для той или иной информации, во многом, определяется его личным опытом. Кто-то может увидеть одно, кто-то другое: «когда дураку показывают на звезды, дурак видит только палец» (фильм «Амели», 2001).
Приведенное соотнесение информации, контекста и смысла информации интуитивно достаточно понятно и хорошо согласуется с нашим повседневным опытом. В предыдущей части я попытался показать, как все это может быть перенесено на формальную модель с несложными правилами:
- У субъекта есть конечный набор понятий;
- Любое описание – это набор понятий;
- Контекст – это набор правил перевода одних понятий в другие;
- Трактовка – это новое описание, полученное в контексте, после применения правил преобразования;
- Пространство контекстов — набор всех доступных субъекту контекстов;
- Смысл – это набор трактовок, имеющих правдоподобный вид. То есть таких, что определенным образом согласуются с памятью субъекта.
Уинстон Черчилль говорил: «Нет фактов, есть только их интерпретации». Информация, получившая корректную трактовку, приобретает смысл. Из полученных трактовок можно сформировать память субъекта.
Если есть примеры исходных сообщений и их корректных трактовок, то можно выделить правила интерпретации, примененные в каждом из случаев толкования. Это как при переводе с одного языка на другой. Одно и то же слово в разных обстоятельствах можно перевести по-разному, но для конкретного предложения и его перевода всегда видно, какой вариант был использован.
Если проанализировать, от чего зависит выбор той или иной трактовки, то окажется, что есть конечный набор обстоятельств, который влияет на этот выбор. Такие обстоятельства являются контекстами. Внутри одного контекста действуют согласованные правила интерпретации сразу для всех понятий. При языковом переводе это соответствует тому, как тематика или предметная область определяет, какой вариант перевода уместнее.
Набор контекстов может быть получен автоматически из кластеризации пар «исходное описание — корректная трактовка». Если объединять в классы пары, правила трактовки которых не противоречат друг другу, то итоговые классы и будут соответствовать контекстам, а правила, собранные со всех пар класса, будут правилами интерпретации этого контекста.
Если сформированы контексты, то поиск смысла в информации — это определение того, какой контекст лучше всего подходит для ее интерпретации. В неподходящих контекстах трактовки выглядят «криво» и только в нужном контексте возникает «правильная» трактовка. Понять, насколько правильно или неправильно выглядит трактовка, можно по тому, насколько она похожа на уже хранящиеся в памяти «правильные» трактовки.
Можно выделить две основные идеи, связанные с выделением контекстов. Первая заключается в том, что, используя контексты, мы получаем возможность давать разумные интерпретации той информации, которая нам раньше никогда не встречалась. Так при переводе, когда мы хорошо знаем оба языка, мы все равно не храним в памяти все возможные варианты предложений и их переводы. Понимая контекст беседы, мы подбираем те варианты перевода отдельных слов, которые наиболее подходят для этого контекста. Вторая идея — в том, что память, то есть предыдущий опыт, позволяет определять, какой контекст в данной ситуации создает наиболее корректную трактовку.
Небольшой пример: предположим, что мы имеем дело с геометрическими фигурами. Нам показали треугольник, а затем показали круг. Мы запомнили эти описания. Затем нам показали тот же треугольник, но со смещением. Описания не совпали. Если мы хотим узнавать треугольник в любом смещении, то можно попытаться запомнить его описания во всех возможных смещениях. Но это не поможет нам потом, увидев повторно круг, узнать его в смещении. Но можно выучить правила, по которым меняются описания фигур при определенных смещениях. Причем эти правила будут едиными и не будут зависеть от конкретной фигуры. Тогда нам достаточно будет один раз увидеть любую фигуру, чтобы в дальнейшем сразу узнать ее в любом смещении.
Был предложен алгоритм определения смысла информации. Исходное описание в каждом из контекстов, образующих пространство контекстов, получает свою трактовку. То есть строится столько возможных гипотез трактовки, сколько существует возможных контекстов. Если в каком-либо контексте получившаяся трактовка окажется похожа на содержимое памяти, то такая интерпретация получает шанс стать смыслом информации.
Для геометрических фигур это означает, что каждый контекст хранит правила изменения описаний для конкретного смещения. Количество контекстов определяется количеством возможных смещений. Увидев квадрат справа сверху, мы должны будем применить к нему в каждом контексте свое смещение и получить все возможные варианты его расположения. Если мы раньше видели подобный квадрат, например, в центре, то в одном из контекстов текущая трактовка совпадает с тем, что было запомнено ранее.
Была предложена вычислительная схема. Каждый контекст обслуживается своим вычислительным модулем. Одно и то же описание поступает на вход каждого модуля. Память каждого модуля содержит правила преобразования понятий для своего контекста. В каждом контексте получается трактовка, которая сравнивается с памятью. По степени соответствия трактовки и памяти определяется, есть ли контексты, в которых информация приобретает осмысленный вид.
В предыдущей части было показано, что многие виды информации, с которыми сталкивается человек, сводятся к подобной вычислительной схеме.
Для работы контекстных вычислительных модулей требуется, чтобы:
- Информация была представлена в виде набора дискретных понятий.
- Каждый контекстный модуль получал одну и ту же информацию;
- Каждый контекстный модуль имел память о своих правилах трансформации исходных понятий в их трактовки;
- Каждый контекстный модуль мог независимо от остальных обратиться к памяти, хранящей весь предыдущий опыт, и произвести оценку достоверности своей гипотезы трактовки.
Что в коре мозга может являться таким вычислительным элементом со своей автономной памятью? Итак, похоже, настало время поговорить о кортикальных миниколонках.
Мозг
Немного освежим в памяти общее строение головного мозга. В основном, он состоит из древнего мозга, коры, белого вещества и мозжечка.
Древний мозг находится в центре и занимает относительно небольшой объем. Он называется древним по той причине, что очень похож у многих живых существ и, видимо, определяет основные возникшие эволюционно базовые функции, общие для всех них.
Древний мозг, белое вещество и кора мозга
Наружная поверхность мозга состоит из тонкого слоя нейронов и глиальных клеток. Это слой называется корой мозга. Чем на более высокой ступени эволюционного развития стоит биологический вид, тем сильнее развита у него и кора.
Когда кора достигает большой площади, например, как у человека, она начинает образовывать складки. Задача складок — вместить большую по площади поверхность коры в относительно небольшой объем черепной коробки.
Известно, что кора приобретает свои функции в процессе обучения. Подтверждает это, например, следующий факт. При повреждении какого-либо места коры, например, при инсульте, удалении или травме, утрачиваются связанные с этим местом функции. Но со временем эти функции могут восстановиться. Заново обучиться утраченным навыкам может либо оставшаяся часть той же области коры, либо такую заместительную функцию берет на себя симметрично расположенная область другого полушария.
Область коры, отвечающая за какой-то определенный функционал, называется зоной коры. Вся кора делится на множество таких зон.
Одна из таких зон – моторная зона коры, отвечает за нашу двигательную активность. Но команды, которые выдает эта зона, носят общий характер. Точная моторика, то есть детальная реализация этих команд в сигналы мышцам, выполняется отдельным органом – мозжечком.
Мозжечок получил такое название за то, что выглядит, как миниатюрный мозг. Кстати, он не всегда миниатюрен, например, у акул мозжечок больше по объему, чем основной мозг. Примечательно, что наружная поверхность мозжечка – это тоже кора. Кора мозжечка несколько отличается от коры мозга, но очень вероятно, что идеология ее работы должна быть очень близка к работе коры больших полушарий.
Пространство между корой больших полушарий и древним мозгом и внутри мозжечка заполнено белым веществом. Это ничто иное, как аксоны нейронов, передающие сигналы от одних участков мозга к другим (рисунок ниже).
Проекционные связи реального мозга. Отдельные «ниточки» соответствуют пучкам нервных волокон (Allen Institute for Brain Science)
Эти связи достаточно хорошо изучены. Они представляют из себя не просто сплошную проекционную среду, а нечто гораздо более интересное.
В искусственных нейронных сетях, использующих глубинное обучение, информация передается с уровня на уровень. Обычно, у уровня есть слой входных нейронов, скрытые слои и выходной слой.
Пример сети прямого распространения
На рисунке выше изображен один из возможных вариантов, но, вообще же, уровень может быть внутри достаточно сложным. Например, уровень может выполнять операции свертки и иметь совсем другую архитектуру. Но общее у всех уровней то, что у них есть входной и выходной слой, на котором информация кодируется набором признаков. Один нейрон — один признак. Совокупность нейронов слоя — признаковое описание. Про каждый нейрон входного и выходного слоя можно сказать, что ему соответствует «своя бабушка».
Чтобы передать состояние одного уровня сети на другой, требуется передать состояние всех нейронов выходного слоя исходного уровня нейронам входного слоя следующего уровня.
Само передаваемое описание получается длинным вектором, состоящим из бинарных признаков. В таком подходе количество признаков ограничено количеством нейронов выходного слоя, а передача от уровня к уровню требует столько же «волокон-связей», сколько и передающих нейронов.
Так вот, ничего даже близко похожего нет в системе связей реального мозга. Зоны коры соединяются между собой и со структурами древнего мозга тонкими пучками волокон. Волокна, составляющие пучок, точечно выходят из одних мест и так же точечно приходят в другие. В каждом пучке всего по несколько сотен волокон. На рисунке выше каждая видимая «ниточка» — это и есть такой пучок.
Можно предположить, что информация по таким пучкам передается не признаковым описанием, где одно волокно – один признак, а кодом (рисунок ниже), когда узор активности волокон кодирует какое-либо передаваемое понятие.
Пучок нервных волокон (слева) и пример кода (справа)
На примере системы проекций хорошо видно отличие предлагаемой модели от моделей с нейронами-детекторами. Сигнал нейрона, если это «нейрон бабушки», подразумевает указание на то, есть бабушка или ее нет в текущем описании. В нашей модели активность нейрона это просто бит в бинарном коде.
Когда обнаруживается, что какой-либо реальный нейрон устойчиво реагирует на определенный стимул, из этого нельзя делать вывод о соответствии нейрона и стимула. Этот же нейрон может успешно реагировать и на другие стимулы.
Передачу информации по проекционным пучкам можно сравнить с передачей бинарных сигналов по компьютерным шинам данных. Это достаточно точная аналогия. Несколько позже на примере зрительной системы я приведу достаточно сильные доказательства справедливости такого предположения.
Резюмируя сказанное:
- Мозг оперирует не признаковыми описаниями, в которых активность нейронов соответствует каким-либо «бабушкам», а «цифровыми» кодами дискретных понятий;
- За обучение, обработку информации, память отвечает кора;
- Кора состоит из зон, выполняющих специфические функции. При этом независимо от того, какие функции та или иная зона выполняет и с какой информацией она работает, архитектура коры остается практически неизменной. А значит можно предположить, что и во всех местах коры используются единые принципы работы с информацией, будь то кора больших полушарий или кора мозжечка.
Миниколонки коры
На срезе кора выглядит как показано на рисунке ниже. Достаточно тонкий слой, порядка полутора миллиметров от поверхности, заполнен нейронами и глиальными клетками, далее начинается белое вещество, состоящее из аксонов.
Срез коры головного мозга. Суммарная толщина всех шести уровней составляет приблизительно полтора миллиметра
Кора условно делится на шесть слоев. Верхний первый слой коры, в основном, содержит горизонтальные аксонные связи и похож на белое вещество. В остальных слоях аксонные связи, в основном, распространяются вертикально. В результате получается, что вертикально расположенные друг под другом нейроны оказываются связаны между собой значительно сильнее, чем с соседними нейронами, находящимися слева и справа от них. Это приводит к тому, что кора «распадается» на отдельные вертикальные колонки нейронов. Как выглядят отдельный нейрон, колонка и группа колонок, показано на рисунке ниже.
Отдельный пирамидальный нейрон (слева), кортикальная миниколонка (в середине), фрагмент коры, состоящий из множества миниколонок (справа) (моделирование BBP/EPFL 2014)
Группу нейронов, располагающихся вертикально друг под другом, принято называть кортикальной миниколонкой. Вернон Маунткасл выдвинул гипотезу (В. Маунткасл, Дж. Эдельман, 1981), что для мозга кортикальная колонка – это основная структурная единица переработки информации.
В одну миниколонку входит от 80 до 120 нейронов в зависимости от зоны коры, в первичной зрительной коре миниколонки содержат до 200 нейронов (рисунок ниже).
Миниколонки первичной зрительной коры кошки (слева) и обезьяны (справа) (Peters and Yilmaze, 1993)
Расстояние между центрами миниколонок в мозгу у человека или макаки варьируется от 20 до 80 мкм в зависимости от зоны. Поперечный диаметр миниколонок в среднем составляет порядка 50 мкм (Brain (1997), 120, 701–722, The columnar organization of the neocortex, Vernon B. Mountcastle). Как я уже говорил, для микроколонок характерно большое количество вертикальных связей. Соответственно, существенная часть синаптических контактов внутри миниколонок приходится на нейроны, относящиеся к этим же миниколонкам.
Чтобы понять, на что способны миниколонки, для начала попробуем оценить емкость памяти одной миниколонки.
Объем памяти одной миниколонки
Нейроны имеют разветвленные дендритные деревья, состоящие из множества веточек. Мы предположили, что информация может передаваться по коре в виде распространения связанных между собой узоров. Сами узоры — это, предположительно, узоры, образованные электрической активностью дендритных веточек. Один узор вызывает вокруг себя связанные с ним узоры-продолжения. Этот процесс повторяется. В результате по коре прокатывается волна с уникальным внутренним узором. Каждый узор соответствует какому-либо понятию.
Ранее была показана схема формирования памяти, построенная на интерференции двух волновых узоров. Первый узор определяет элементы, которые должны сохранить воспоминание. Второй узор задает ключ воспоминания.
Узор активности дендритных веточек, находящихся внутри одной миниколонки, вызывает сигнальный ответ нейронов этой миниколонки. Этот ответ выглядит как картина синхронных спайков. Этот сигнал нейронов является хеш-кодом для исходного дендритного сигнала.
Хеш-преобразование от «длинного» дендритного узора ключа создает на нейронах короткий ключ воспоминания. Когда появляется нейронный код, по аксонам входящих в этот код нейронов начинают распространяться спайки.
Аксоны нейронов одной миниколонки образуют множество синапсов внутри своей миниколонки. Из каждого синапса, принадлежащего активному нейрону, выделяется коктейль нейромедиаторов. Получается сложная картина объемного распределения сигнальных веществ.
Так как нейромедиаторы выбрасываются за пределы синапсов, эта картина оказывается доступна для наблюдения всем рецепторам, которые находятся поблизости. Рецепторы — это специальные молекулы, находящиеся на поверхности нейронов и глиальных клеток. Рецепторы могут реагировать на появление определенного сочетания химических веществ и запускать различные процессы внутри нейрона. Кроме того рецепторы могут менять свое состояние и становиться чувствительными или нечувствительными к определенным сигналам.
Каждый код активности нейронов миниколонки создает уникальную объемную картину распределения нейромедиаторов. Мы показали, что за счет изменений в метаботропных рецепторах любой сегмент дендрита может запомнить и впоследствии узнать с высокой точностью любую картину объемного распределения нейромедиаторов. Причем количество картин, которые может запомнить одна веточка дендрита, определяется количеством рецепторов и составляет десятки и сотни тысяч.
Чтобы сигнал нейронов мог быть запомнен дендритной веткой, на ней должно найтись место, избранное по отношению к этому сигналу. То есть такое место, где пересечется существенная часть аксонов активных нейронов. Было показано, что для любого сигнала на любой дендритной ветке с высокой вероятностью найдется хотя бы одно такое место.
Одиночная кортикальная миниколонка удовлетворяет всем условиям, необходимым для того, чтобы сохранять и воспроизводить воспоминания. Диаметр миниколонки соответствует элементарному объему, необходимому для формирования пространственного сигнала. Нейроны миниколонки могут своей активностью формировать бинарный ключ, длины которого достаточно для однозначной идентификации любой информации. Аксонные и дендритные коллатерали внутри миниколонки образуют структуру, подходящую для появления избранных мест.
Приблизительную оценку того, какой объем памяти может хранить одна миниколонка, можно сделать из следующих соображений. Количество информации в одном описании приблизительно определяется емкостью бинарного кода, возникающего из активности дендритных секций миниколонки. Общее количество дендритных секций Nds в миниколонке приблизительно составляет 100*30=3000 (в миниколонку попадают как дендриты собственных нейронов миниколонки, так и дендриты нейронов соседних миниколонок). Если предположить, что сложное описание кодирует активность Nsig элементов, то количество информации в одном описании по Шеннону будет
При Nsig=150 это составляет 854 бита или порядка 100 байт. Для кодирования одного описания, в сделанных предположениях, необходимо изменить состояние 150 рецептивных кластеров. Таким образом, на один кластер приходится информации
Количество информации на кластер не сильно зависит от Nsig (таблица ниже) и составляет порядка 6 бит.
Таким образом, информационная емкость миниколонки может быть оценена
Где Ncl – количество рецептивных кластеров, приходящихся на один синапс, Nsyn – количество синапсов у одного нейрона (8000), Nneur – количество нейронов в миниколонке (100).
Количество рецепторов, приходящихся на один синапс, подразумевает, в основном, окружающие синапс внесинаптические рецепторы. Потенциально, их количество может изменяться со временем. То есть, гипотетически, накопление воспоминаний может сопровождаться увеличением общего количества рецепторов.
Измерение плотности AMPA рецепторов в синапсе показало значение 1600 рецепторов на кв. мкм. Диаметр мономерного АТХ рецептора составляет 9 нм, расстояние между центрами рецепторов в димере – 9.5 нм. На поверхности шипика и прилегающей к нему поверхности дендрита, потенциально, могут свободно разместиться сотни и тысячи рецепторов.
В нашем подходе максимальное разумное количество рецептивных кластеров вблизи синапса ограничено числом возможных комбинаций активности окружающих источников нейромедиаторов. При 15 источниках выбор 5 активных из них дает около 3000 возможных сочетаний.
Исходя из сказанного, возьмем Ncl равным 500, полагая, что такое количество рецепторов может накопиться в процессе запоминания за долгие годы жизни. Тогда объем памяти миниколонки составит 2.3x109 бит или приблизительно 300 мегабайт. Или 3 миллиона семантических воспоминаний информативностью по 100 байт каждое.
Подход, опирающийся на пластичность синапсов как на основной элемент памяти, дает значительно более скромный результат. В миниколонке содержится порядка 800 000 синапсов. Даже предполагая, что синапс за счет изменения уровня пластичности кодирует несколько бит информации, получается величина, исчисляемая всего сотнями килобайт. Увеличение емкости памяти на три порядка дает качественный скачок в информационных возможностях миниколонки. Так как информация, хранящаяся в миниколонке, имеет природу, близкую к семантической, то 300 мегабайт оказываются объемом вполне достаточным, чтобы сохранить, например, все воспоминания человека, накапливающиеся по ходу его жизни.
Книга размером 500 страниц в несжатом виде занимает около 500 килобайт. Миниколонка позволяет хранить библиотеку воспоминаний, состоящую из 600 томов. Приблизительно по тому на месяц жизни или 15 страниц на день. Похоже, что этого вполне достаточно, чтобы вместить семантическое описание всего того, что с нами происходит.
Опять же, так как каждая зона коры имеет свою специализацию, то и миниколонкам каждой зоны не требуется хранить тотально всю память нашего мозга, им достаточно иметь память о своей тематике.
Триста мегабайт памяти миниколонки не стоит сравнивать с гигабайтными размерами фотографических библиотек или фильмотек. Похоже, что когда изображения хранятся в памяти, они хранятся не в фотографическом виде, а в форме коротких семантических описаний, состоящих из соответствующих изображению понятий. В момент воспоминания изображение не воспроизводится, а реконструируется заново, создавая иллюзию фотографичности памяти. Это можно сравнить с тем, как портрет человека можно восстановить достаточно близко к фотографии только лишь по его словесному описанию.
Реальная память миниколонки может быть в разы выше, если допустить, что рецепторы глиальных клеток коры также являются носителями информационного кода. Для контекстных вычислительных модулей требуется хранить два основных вида памяти: память прошлых интерпретаций и память правил трансформации. Возможно, что эти типы памяти поделены между нейронами и плазматическими астроцитами.
В первый момент мысль о том, что всего 100 нейронов миниколонки могут хранить воспоминания всей жизни, кажется абсурдной, особенно для тех, кто привык считать, что память распределена по всему пространству коры. Более того, дублирование многими миллионами миниколонок одной и той же информации в традиционных информационных подходах кажется бессмысленным расточительством ресурсов. Но идеология определения смысла в пространстве контекстов позволяет подвести под именно такую архитектуру коры серьезное обоснование.
Базовые вычислительные функции кортикальной миниколонки
Основная идея, определяющая работу миниколонки, достаточно проста (рисунок ниже). Рассмотрим один такт работы зоны коры. Информация, несущая текущее описание, распространяется по зоне коры, состоящей из множества миниколонок. Каждая миниколонка видит эту информацию как проходящие через нее узоры определенной активности, предположительно активности дендритных сегментов. Каждая миниколонка хранит память преобразований и отвечает за свой собственный контекст восприятия информации. Каждый контекст подразумевает свои собственные, отличные от других, правила преобразования исходных описаний в их трактовки. Память преобразований миниколонки – это механизм перевода узоров исходных понятий, составляющих описание, в узоры понятий, соответствующих трактовке в контексте конкретной миниколонки.
Схема базовых вычислений миниколонки коры
Понятия, составляющие одно описание, поступают на миниколонку последовательно одно за другим. Каждое из них является, по сути, бинарным кодом. Миниколонка заменяет код исходного понятия на запомненный ею код трактовки этого понятия в контексте этой миниколонки.
Бинарные коды трактовок отдельных понятий накапливаются на дендритных сегментах. Напомню, что разряженные бинарные коды можно побитно логически складывать. В результате сложения получается вектор, аналогичный фильтру Блума – единый бинарный вектор, сохраняющий полноту описания.
После того, как пройдут все волны отдельных понятий из описания, возникнут и сложатся их трактовки, на дендритных сегментах возникнет бинарный код, соответствующий трактовке исходной информации в контексте миниколонки.
Можно предположить, что существуют механизмы, позволяющие преобразованной информации и исходному описанию существовать совместно, не мешая друг другу. Возможно, что за такую раздельную обработку отвечают разные слои коры.
Комбинация активности дендритных сегментов приводит к появлению спайковой активности нейронов миниколонки. Код, составленный из активности нейронов, можно трактовать как хеш-функцию информационного описания, соответствующего трактовке исходной информации.
Ранее было показано, что комбинация активности нейронов может быть ключом, по которому из памяти может быть извлечен предыдущий опыт, связанный с именно таким или похожим на него ключом. Память каждой миниколонки хранит все ранее произошедшие события. Предыдущий опыт, предположительно, хранится в виде пар «хеш от информационного описания – идентификатор» и пар «хеш от идентификатора – информационное описание».
Вот тут и становится понятна необходимость распределенной дублирующей друг друга памяти. Клонирование одной и той же памяти на все миниколонки необходимо для того, чтобы каждая миниколонка могла выполнить сравнение своей трактовки со всем предыдущим опытом самостоятельно, не мешая остальным миниколонкам. Если бы память была общей и хранилась где-то в одном месте проверка миллиона гипотез могла бы выполняться только последовательно одна за другой. Настоящее распараллеливание требует не только наличия параллельных вычислительных мощностей, но и соответствующего параллельного доступа к памяти. Аналогичная задача решается при вычислениях на видеокартах. Когда каждый из процессоров требует быстрого доступа к памяти, не остается ничего другого, кроме как снабдить каждый из них собственной памятью.
Можно предположить, что результатом сравнения трактовки текущего описания и памяти является вычисление функций соответствия. Первая функция соответствия говорит о наличии точного совпадения трактовки и некоторых элементов памяти. Вторая функция оценивает общую похожесть трактовки и опыта, сохраненного в памяти. Позже, когда будет описана процедура обобщения, будет показан еще один вид соответствия – соответствие трактовки выделенным благодаря предыдущему опыту факторам.
Сигналы функций соответствия, потенциально, могут быть закодированы изменением мембранного потенциала отдельных нейронов или нейронных групп.
Функции соответствия позволяют судить о том, насколько контекст миниколонки уместен для интерпретации текущей информации, то есть насколько трактовка, полученная в этом контексте, соответствует ранее полученному опыту.
В итоге, на каждой миниколонке возникает своя гипотеза трактовки текущего описания и оценка того, насколько это трактовка осмыслена. Произведя определенным образом сравнение между миниколонками, можно выбрать миниколонку, контекст которой наилучшим образом подходит для трактовки текущей информации.
Трактовка, полученная на «удачной» миниколонке, строится на понятиях, единых для всей зоны коры. Трактовка может быть паттерно-волновым способом распространена по зоне коры и запомнена всеми кортикальными миниколонками. Для этого на зону коры должен быть подан соответствующий идентификатор воспоминания. Новый опыт будет сохранен в каждой миниколонке. Причем будет сохранена не собственная трактовка миниколонки, а корректная трактовка, полученная в другом, «правильном», контексте. Именно с этой трактовкой и будет сравниваться последующая информация. И если впоследствии в каком-либо контексте возникнет трактовка, смысл которой нам будет знаком по другому контексту, это не помешает нам узнать этот смысл в новом для этого смысла контексте.
Узнавание знакомого смысла в другом, новом для этого смысла контексте, имеет очень важное значение. Пожалуй, это ключевой момент, позволяющий понять основную идею описываемой архитектуры мозга. Например, для изображения его смысл — это тот образ, что удалось на нем узнать. Зрительными контекстами могут быть различные варианты смещения. Тогда увидеть в одном месте, а затем узнать в другом — это и есть найти старый смысл в новом контексте.
Другой пример. Когда человек спит у него замедляется дыхание и вам это известно. Увидев первый раз в жизни, как на компьютере медленно загорается и гаснет индикаторный огонек, вы сразу понимаете, что компьютер в режиме сна.
Большая часть информации поступает к нам не в виде точного повторения чего-то знакомого, а в форме, где мы потенциально можем найти аналогию с чем-то известным. Основной смысл теста Тьюринга как раз в том и состоит, чтобы проверить, насколько далеко распространяется способность компьютера в понимании таких контекстных переносов смысла.
Вернемся к миниколонкам. На элементах победившей миниколонки можно, в зависимости от того, что требуется, воспроизвести либо уместную трактовку текущей информации, либо наиболее подходящее под текущее описание воспоминание из прежнего опыта, либо какую-либо еще информацию, хранящуюся в миниколонке. Воспроизведенная информация может распространиться по зоне коры, а также может быть спроецирована на другие зоны для последующей обработки.
Если исходная информация допускает множественные трактовки, то все они могут быть получены последовательно друг за другом. Для этого достаточно после определения первой интерпретации подавить активность соответствующего контекста и повторить процедуру выбора контекста. Так одну за другой можно вычленить все возможные смысловые трактовки анализируемой информации.
Скорее всего, выбор трактовок, которые могут быть смыслом информации, происходит не последовательно по величине соответствия, а вероятностным методом. Соотнесение между собой функций соответствия позволяет определить вероятность каждой из трактовок. Последующий выбор может осуществляется случайным образом, исходя из получившихся вероятностей. Такой подход позволяет в схожих ситуациях не зацикливаться всегда на одних и тех же стереотипных интерпретациях, а время от времени получать новые, порой неожиданные трактовки.
Миниколонка коры в нашем подходе выглядит как универсальный модуль, выполняющий как автономные вычисления, так и взаимодействие с окружающими миниколонками. Но разные зоны сталкиваются с разными информационными задачами. В одних задачах большее значение имеет количество контекстов и меньшее объем внутренней памяти миниколонок, в других, наоборот, при меньшем количестве контекстов может оказаться важнее увеличение внутренней памяти и как следствие увеличение разрядности внутреннего хеш-кода, то есть количества нейронов в миниколонке. Оптимальная настройка универсальных вычислительных модулей под задачи конкретной зоны коры может идти двумя путями. Во-первых, для разных зон коры может варьироваться количество нейронов в миниколонке, что особенно наглядно на примере первичной зрительной коры. Во-вторых, потенциально возможно объединение нескольких вертикальных столбцов нейронов в один вычислительный модуль. Размах аксонных и дендритных деревьев нейронов, составляющий в диаметре порядка 150 мкм, позволяет объединить несколько столбцов в одну вычислительную систему без изменения описанных выше общих принципов работы.
Кроме того, можно допустить, что полный экземпляр памяти не обязан укладываться в одну миниколонку, а может быть распределен в пространстве нескольких соседних миниколонок. Так как диаметр дендритного дерева составляет порядка 300 мкм, то потенциально такое пространство доступно каждой миниколонке для работы с памятью.
Пока приведена очень приблизительная модель, позволяющая понять основные принципы работы со смыслом. Чтобы эта модель стала действительно работоспособной, не хватает еще нескольких ключевых элементов. Я постараюсь описать их в следующих частях.
Алексей Редозубов
P.S. Продолжается эпопея с переводом. Совместными усилиями делается перевод материалов на английский язык (координатор — Дмитрий Шабанов). Американские коллеги из университета Дюка делают финальную редактуру. Но требуется перевести до того уровня, когда им станет понятен смысл. Сроки сдачи невероятно поджимают. Если есть возможность и желание перевести несколько абзацев, то присоединяйтесь.
Логика сознания. Вступление
Логика сознания. Часть 1. Волны в клеточном автомате
Логика сознания. Часть 2. Дендритные волны
Логика сознания. Часть 3. Голографическая память в клеточном автомате
Логика сознания. Часть 4. Секрет памяти мозга
Логика сознания. Часть 5. Смысловой подход к анализу информации
Логика сознания. Часть 6. Кора мозга как пространство вычисления смыслов
Логика сознания. Часть 7. Самоорганизация пространства контекстов
Логика сознания. Пояснение «на пальцах»
Логика сознания. Часть 8. Пространственные карты коры мозга
Логика сознания. Часть 9. Искусственные нейронные сети и миниколонки реальной коры
Логика сознания. Часть 10. Задача обобщения
Логика сознания. Часть 11. Естественное кодирование зрительной и звуковой информации
Логика сознания. Часть 12. Поиск закономерностей. Комбинаторное пространство
Логика сознания. Часть 13. Мозг, смысл и конец света
