Алексей Редозубов AlexeyR

Дам подсказки :) 1. Решение очень сильно в духе самой модели. 2. Миниколонки реально могут «бегать», как на видео. 3. Существенные изменения могут происходить очень быстро (минуты, часы).

Вы мыслите в верном направлении. В следующей части я планировал рассказать достаточно подробно как миниколонки могут «бегать» по коре. Там есть интересные идеи. Сохраним интригу на неделю?

Основные исследования связаны с изучением зрительного восприятия (там проще прослеживать, что от чего зависит). В последующих частях я подробно расскажу о том как работает зрение и как это соотносится с моей моделью. Там очень много важного и интересного. Если приводить факты сопоставления урывками, то, боюсь, не сложится общей картины.

Любые понятия имеют спектр возможных трактовок. Сам термин «информация» имеет разный смысл в зависимости от контекста. Шеннон дал одну из трактовок, основанную на вероятности или, что то же самое на энтропии. В своем узком смысле эта трактовка очень хороша и полезна. Но она, например, не учитывает важность информации. Оглашение приговора «казнить» или «помиловать», когда чаша весов колеблется 50 на 50, содержит 1 бит информации по Шеннону. Но этот бит для подсудимого важнее всего на свете и он расценит информативность приговора несколько по другой шкале.

Вы правильно говорите. Про аксиоматику математики, исходные понятия и их связь с возможностью понимать математику и находить решения трудных задач я хотел написать отдельно. Общепринятой теории смысла, действительно, нет. Приведенные в начале статьи фразы являются общепринятыми толкованиями (если считать википедию мерилом общепринятости). Но дальше я покажу, что введенная в предыдущей части простая модель смысла при некотором усложнении дает очень хорошие практические результаты и в продвинутом виде может претендовать на объяснение смысла в том виде, как его понимает человек.

Все части достаточно сильно увязаны, трудно сказать какая важнее для понимания. Позже будет описана модель зрения. Возможно, на примере будет понятнее.

Спасибо.

В общем случае первичной фильтрации нет. Каждый контекст, то есть каждая колонка, строит свою трактовку и сверяет ее с памятью. Ничего нельзя отбросить. Заранее неизвестно опыт какой трактовки придется перенести на текущую ситуацию.

Я бы сказал, что это о другом. Сотня образов для нейрона — это маловато для распределенной памяти. Там нет вариации информации в контекстах. У них, просто, «нейроны бабаушки», но чуть похитрее. Им эта хитрость нужна для объяснения как работать с последовательностями сигналов. У меня последовательность закладывается в структуру идентификаторов. Нет, у них совсем о другом.

Раньше не читал. Насколько я понял из беглого просмотра на википедии это формализация понятия «сознание». Сейчас статьи цикла несколько о другом. Разговор о сознании будет позже. В любом случае спасибо за наводку.

А нет ощущения, что эволюция компьютеров толкает их в сторону мозга?

Дело в том, что для любой информации каждая колонка имеет свою трактовку. Проверить трактовку относительно памяти должна каждая из колонок. Если чего-то нет, то дать запрос, подошло бы если бы такая проблема была у очень небольшого числа колонок. Но проверить надо каждой. Похоже, что кроме своей памяти надеятся не на что.
Оптимизация может быть за счет того, что каждая зона коры хранит только свою память. Соседние миниколонки (в радиусе 150 мкм) могут шарить память.

Отнесение чего-то из коры к неокортексу достаточно условно. Неявно полагается, что древние виды ели они не сильно поменялись внешне, значит и мозг сохранили тот же, что и миллионы лет назад. Но о внешенем виде можно судить, по остаткам скелетов. О мозге сложнее, только по форме черепа. Возможно, что мозг птиц сильно эволюционировал.
Первые птицы появились 130 миллионов лет назад.
Любая кора уже повод для сложного адаптивного поведения. Уже минимальная кора, например, как у птиц дает огромные результаты. Более сложная кора дает более глубокие возможности. Но, похоже, зависимость от размеров нелинейна. Каждый новый шаг дается за счет существенного усложнения всей системы.

Спасибо.

Сложный вопрос. Мозг там, но машинное обучение здесь. Следующие части будут в основном о машинном обучении и нейронных сетях.

Опасения насчет автора напрасны :) В основе всего лежит естественный отбор.

Вопрос терминов всегда непрост. Но если «бытовое» понимание хорошо ложится на термин модели и не противоречит ему я предпочитаю не вводить новых слов.

Заранее не известно, что когда и кому может понадобиться. Я склоняюсь к тому, что каждая миниколонка хранит всю память своей зоны коры. Но эволюция мозга неизбежно довела любой механизм до совершенства. Я описываю базовый принцип, скорее всего в реальности все еще интереснее и могут быть разные чудеса относительно оптимизации.

Чтобы узнать, что вернулась таже игрушка, а не другая между ними должно быть что-то общее. Можно, конечно ориентироваться на траекторию движения игрушки и время, но это другая история.

Сослаться на амнезию — это сойдет для чат бота, который хочет притвориться человеком. Мы помним все детали беседы и адекватно используем предыдущую информацию. То, что есть забывание — это естественно. Но это не амнезия.

Это совсем разные вещи. Например, то что делает сверточная сеть не реализовать другими способами. А сверточная сеть — это частный случай контекстного подхода.

Как тогда смотреть фильмы, там полтора часа и надо следить за всеми деталями. С сериалами, вообще, — беда.
Число возможных вариантов беседы, даже, за 15 минут, даже со всеми ограничениями, много больше чем число шахматных парий.

Получается пара «контекст-объект». Это можно интерпретировать как, например, «слева-сверху — квадрат»

Чтобы воспользоваться беседой (фразой) для обучения ее надо предварительно правильно интерпретировать. Иначе одни и те же слова, использованные в разных фразах в разных смыслах, создадут огромную техническую сложность. Только когда информация приведена к контексту с ней можно начитнать что-то делать. Этот принцип хорошо прослеживается в сверточных сетях.
Переберать надо не все беседы, а все контексты.

«Сжимать беседы до компактного ядра». А как вы будете получать это ядро? Не захочется ли вам выделить главный смысл? Слова многозначны, как вы будете выбирать правильную интерпретацию, ведь от этого зависит ответ?

Несколько позже я опишу конкретные реализации и постараюсь шаг за шагом описать, что и как происходит. Сейчас я попробовал дать только самое общее представление. Далее я покажу, что практически все методы, используемые в машинном обучении находят свое место в этой модели. Но есть и принципиальные различия между классическими подходами и тем, как выглядят их аналогии. Заимствование терминов и названий методов за которыми уже есть устоявшееся четкое понимание может сильно запутать. По ходу повествования я укажу на аналогии и проведу сравнение.

Вы правы. Просто пример с китайской комнатой получил широкую известность и часто используется «не по прямому назначению».

Как всегда все дело в мелочах. Это только кажется, что имея около 5000 общеупоребимых слов легко перебрать все короткие беседы. Даже для одного предложения это триллионы вариантов. Но самое главное, что нельзя ограничивать размер той части бесседы, которую надо принимать в рачсет. Для людей весь жизненный опыт, а не только последние несколько предложений могут влиять на ответ. Если же усложнять чат бота что-бы он принимал во внимание весь полученный опыт и правильно определял контксты повествования, то это рано или поздно приведет к той схеме, что описана в статье.

Вы как-то излишне агрессивно пытаетесь пиарить ваше абсолютное знание. Это несовсем уместно в этих комментариях. Напишите статью о ваших идеях и выразите себя. Удачи вам и интересного обсуждения ваших идей.

Я покажу основную биологию контекстов в следующей части. Несколько позже покажу алгоритмы пространственной организации, и тогда многое встанет на место.

Насчет «официально прошла» это очень мягко говоря сильное преувеличение. Как вы првильно заметили, ответить на “Добрый вечер!” фразой “Добрый вечер!” не требует особого интеллекта. Тест Тьюринга нисколько не устарел. Стоит просто вкладывать в него правильный смысл. Программа должна не продержаться 3 минуты, обтекаемо уходя от ответов, а доказать в допросе с пристрастием свою состоятельность.
Насчет оптимизации весь вопрос в том как ее сделать. Чему собственно и посвящена эта часть.

Тест Тьюринга не опровергается парадоксом китайской комнаты. Серл — философ. Он не учел того, что все ответы предусмотреть невозможно. Китайская комната не способна вести мало мальски длинную бесседу. Слишком быстро происходит комбинаторный взрыв.
Программ, способных пройти тест Тьюринга пока нет. Тот смысл, который вклажывал в этот тест сам Тьюринг был как раз в том, как отличить интеллект от попытки обмануть за счет манипуляции словами.

Кому нейрон должен? Чтобы судить переусложнен нейрон или нет надо знать «правильный ответ», вы знаете?

Эйнштейн говорил: «Всё следует упрощать до тех пор, пока это возможно, но не более того». Мне кажется, что мозг не сводится к совсем уж простым правилам.
Определенная сложность модели заставляет меня объяснять ее последовательно, шаг за шагом. Если у вас не вырисовывается общей картины или непонятны отдельные части, то это, возможно, моя вина как рассказчика. Но, поверьте, я стараюсь как могу. Но не требуйте показать работающие программы до того момента пока я не буду в состоянии объяснить, как они работают. Наберитесь терпения, всему свое время.

В той модели, что описывается смысл не существует сам по себе. Он возникает только как трактовка в одном из контекстов.
Да, все запрограммировано и работает. Возможно, когда буду описывать конкретные реализации станет понятнее.

Вопрос понимания смысла и есть вопрос правильного применения предыдущего опыта в ситуациях напрямую непохожих на сам опыт. Возможность опыт, полученный в одном контексте, использовать в другом контексте и есть суть описываемой модели. При этом текущее описание может никак не походить на старый опыт, которым мы хотим воспользоваться. Но после преобразования старого опыта в его смысловую трактовку и нахождения соответвующей трактовки нового опыта может оказаться, что у них есть общий смысл, который после всех этих преобразований для старого опыта и нового события выглядит одинаково.

Согласен. Исправил на такое:
«Если проследить за тем от чего зависит разная трактовки одних и тех же слов, то можно выделить тематические области трактовки. Внутри таких областей многие слова будут иметь однозначный определенный темой области смысл. Набор таких тематических областей и есть пространство контекстов».
Возможно, будет понятнее.

Сложность не в том, что новое трудно объяснить. Новое, как правило, не готовы адекватно воспринимать. Когда в голове хорошо уложилось старое, то все, что ему противоречит невольно вызывает негодование и отторжение.

Ответ будет, но позже. Сейчас еще не описано несколько механизмов без которых ничего работать не будет.

В тексте есть ссылки. Программы приведены на все то, о чем рассказано. Другие программы будут в следующих частях. Если вы считаете, что это не имеет отношения к работе мозга, то, видимо, вы знаете, как работает мозг. Тогда странно, что вы нигде не пишите об этом.