Comments 1
Что то не туда его занесло. В целом то верно, про колончатую структуру неокортекса. Ведь первичный посыл Хокинса о важности кортикальных колонок правильная. И ведь изначально в 2016 году он говорил про то что они работают в 3 измерениях тоже верно, но с оговорками. Но вот по этой статье его куда-то совсем не туда понесло. Сначала подумал, что он из DeepMind, но нет он из Numenta.
1) неокортекс это последовательности 6 слойных областей. Например в ассоциативной части некоторые слои могут быть более слабо выражены или вообще остаться развиты на клетчатом уровне. Но в целом можно разделить на слоев. Да все слои кроме молекулярного условно можно назвать колончатыми. Но например слой II это звездчатые нейроны, и поэтому колонки имеют последовательные связи. А тот же слой III имеет связи между колонками, так как в нем преобладают средние пирамидальные клетки и так далее
2) рассматривать надо было на уровне Ошибки предсказания, которую можно разделить на три уровня: веса на уровне нейрона (стремясь к химическому балансу), локальная ошибка на уровне VI слоя области (стремиться к балансу на уровне сигнала) и глобальная на уровне базальных ганглии (ошибки со всех областей мозга - аналог RL).
Я правда не понимаю, почему всех уносит в какие то аналогии, когда можно четко следовать тому как работают слои неокортекса, их связи, нейроны, как получаются ошибки предсказания и так далее. В нейробиологии все эти исследования есть.
Как итог, 6 слойная архитектура как и положено мозгу обучается с 1 раза. Ей достаточно 1 раз увидеть признаки, чтобы научиться выделять их. В то время как трансформеры не могу нормально научиться даже на 1000 разных примерах, и им нужно гораздо больше шагов и примеров. А все потому, что трансформеры (случайно так совпало) реализуют очень урезанный и упрощенный вариант 6 слойной модели областей в неокортексе.
А так Monty явно не туда ушло. Так как мозг это просто настройка над физиологией и его задача оптимально обеспечить поддержку гомеостаза физиологических процессов (глюкоза, кислотность, CO2 и так далее) в условиях при воздействии внешней среды. Больше мозг ни чего не делает - просто предсказывает ошибки и ищет оптимальный баланс между хаотичностью сигнала и минимальными затратами энергии (энтропией).
Thousand Brains Project — ИИ-фреймворк для сенсомоторного интеллекта с открытым кодом. Часть 1: Введение