Комментарии 10
Спасибо за перевод. Отличная статья.
Статья отличная, но наивная реализация может привести только к
Вообще, это тема будущей науки с грандиозным потенциалом. А представить схему воспоминаний человеческого мозга с многими и многими внутренних подсетей и связей, просто обычной матрицей — довольно жалкая идея.
На этом моё долгое путешествие заканчивается — нотой сомнения и разочарования. Вряд ли вас удивляет, что мне не удалось добраться до самой сути. Это очень сложная тема.
Вообще, это тема будущей науки с грандиозным потенциалом. А представить схему воспоминаний человеческого мозга с многими и многими внутренних подсетей и связей, просто обычной матрицей — довольно жалкая идея.
Спасибо за перевод!
Заметно, что в процессе математической формализации автор совершенно отбрасывает всю внутреннюю геометрию пространства объектов, понятий и образов, со скрытыми между нами взаимоотношениями. Конечно, нельзя его за это упрекнуть. Внутренняя геометрия этого пространства видится с нашего уровня развития когитивных наук вещью абсолютно непостижимой.
Всё же, в тысячемерном бинарном пространстве есть только фонетическое сходство. Собака похожа на сороку, но не имеет ничего общего с щенком, ведь слова «собака» и «сорока» различаются всего на две буквы, когда слово «щенок» совсем на них не похоже. Может быть, когда маленький ребенок говорит «савака», мы догадываемся, что он имеет ввиду как раз с помощью схожего с описанным в статье механизма. Но попробуешь добавить в тысячебитный код понятия соотношения по шкалам «маленький-большой» или «английский-французский», или еще что-то сложное — и мы видим, как всё начинает ломаться. Соотношения сущностей оказываются снабженными собственной геометрией, изощренной и невписывающейся в общее бинарное представление тривиальным образом. Вдруг вылезает, что пятый бит кода зависим от шестого, биты приходится компоновать в кластеры разных типов, метрики внутри которых заданы уже не путем применения функции XOR к бинарному представлению, а как-то иначе, сложнее, и в итоге чистая математическая модель на бинарном гиперкубе оказывается несоотносимой с реальностью.
В любом случае, это очень интересная работа, которая выглядит как маленький кусочек, одна из великого множества деталей, описывающих настоящую работу мозга.
Заметно, что в процессе математической формализации автор совершенно отбрасывает всю внутреннюю геометрию пространства объектов, понятий и образов, со скрытыми между нами взаимоотношениями. Конечно, нельзя его за это упрекнуть. Внутренняя геометрия этого пространства видится с нашего уровня развития когитивных наук вещью абсолютно непостижимой.
Всё же, в тысячемерном бинарном пространстве есть только фонетическое сходство. Собака похожа на сороку, но не имеет ничего общего с щенком, ведь слова «собака» и «сорока» различаются всего на две буквы, когда слово «щенок» совсем на них не похоже. Может быть, когда маленький ребенок говорит «савака», мы догадываемся, что он имеет ввиду как раз с помощью схожего с описанным в статье механизма. Но попробуешь добавить в тысячебитный код понятия соотношения по шкалам «маленький-большой» или «английский-французский», или еще что-то сложное — и мы видим, как всё начинает ломаться. Соотношения сущностей оказываются снабженными собственной геометрией, изощренной и невписывающейся в общее бинарное представление тривиальным образом. Вдруг вылезает, что пятый бит кода зависим от шестого, биты приходится компоновать в кластеры разных типов, метрики внутри которых заданы уже не путем применения функции XOR к бинарному представлению, а как-то иначе, сложнее, и в итоге чистая математическая модель на бинарном гиперкубе оказывается несоотносимой с реальностью.
В любом случае, это очень интересная работа, которая выглядит как маленький кусочек, одна из великого множества деталей, описывающих настоящую работу мозга.
Отличная статья.
Вот оказывается зачем нужен AVX-512. Ждем прорыва после AVX-1024?
Хорошая реализация этой модели — Wikipedia. Начав поиск с какой то статьи, никогда не знаешь, где окажешься через пару часов. И да, всегда можно вернуться назад в поиске.
Как я извлекаю конкретно эти длинные случайные последовательности из огромного переплетения векторов, не зная точно, где они находятся?
Гиппокамп может быть и создаёт непрерывно «точки входа в гиперкуб» и является индексом. А на роль «твёрдой ячейки» прямо напрашивается живой нейрон с его синаптической пластичностью. В таком случае, размерность гиперкуба равна количеству синапсов на нейроне, — где-то между 10 и 100 тысячами.
Любопытно, что не возникло мысли, что измерения куба не обязательно случайны, а очень даже может быть сами являются значимыми параметрами сохраняемого значения… В таком ключе тема с адресацией по содержимому, а так же связанность и ассоциативность явно играет новыми красками!
То тысячемерное пространство, которое получается таким обра3ом не есть ли модель word2vec?
Самое ценное в этом материале — это качественный перевод. Спасибо!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
1000-мерный куб: можно ли сегодня создать вычислительную модель человеческой памяти?