Просто недавно на семинаре сообщества AGI была озвучена эта формулировка и все с ней согласились. Она понравилась и мне, отчего я ее позаимствовал. Но у вас может быть свое мнение.
Есть вечный сюжет о «простом понятном неверном объяснении». Людям свойственно соблазняться на простое объяснение, которое всегда неверно. Оттого молодость всегда отвергает «занудство» предков. Простое объяснеие часто превращается в идеологию, которая пытается уничтожить любое отличное мнение. Стремится «накормить» всех своим «испорченным» знанием. Но отказ от поиска новых знаний в пользу простых догм, «закопанность» в землю на одном месте, ведет к деградации. В результате система проигрывает в конкурентной борьбе и гибнет.
Этот сюжет очень распространен. В аллегорической форме он есть во всех религиях. Похоже, что здесь еще одна форма его изложения.
В шумерской клинописи, как и в египетских иероглифах каждый знак мог нести смысловое значение, а мог передавать звучание. Корень слова записывался идеограммой, а приставки и суффиксы теми же знаками, но в роли фонограмм. В «священных» текстах обыгрывалась возможность прочитать текст двояко. Можно было «по правилам», а можно было каждый знак, как отдельную идеограмму, по принципу протописьма.
Если в ронго-ронго что-то похожее и тексты не обычные записи, а многозначные мифы, то, возможно, это и запутало исследователей.
Все еще интереснее. Действительно, аналоговый сигнал можно представить через код с высокой разрядностью. И тогда вроде, можно объявить, что и там и там «цифра». Но все дело в алгоритмах последующей работы с информацией. С относительно короткими кодами (приблизительно до 100 бит) хорошо работают алгоритмы поиска закономерностей через создание и проверку гипотез в комбинаторном пространстве (описано в цикле). Эти алгоритмы позволяют «творить чудеса». Закономерности ищутся за несколько примеров. При увеличении размерности экспоненциально растет сложность и задача поиска становится нерешаема такими методами. Тогда приходится перехдить к методам градиентного спуска, а это требует полного изменения идеологии и «аналогового» описания информации.
Так может быть при некоторых реализациях. Усложняя алгоритм можно избежать таких коллизий. Пример учебный. В практических алгоритмах все значительно сложнее.
Я полагаю, что сама идея снижения размерности — это несколько не то, что делает мозг. Если все, что у вас есть это вектор признаков, то естественное желание — найти главные компоненты или что-то похожее и перейти к описанию через них. Но неизбежно произойдет потеря существенной информации. Я полагаю, что мозг строит пространство контекстов, которое является достаточно подробным базисом разложения без попыток экономии. Но дальше используется не вектор описания, а короткое семантическое описание, сохраняющее суть исходного описания. Причем алгоритм его получения не зашит аппаратно, а сам является результатом обучения с подкреплением.
Существующие алгоритмы Reinforcement Learning, при всей их идейной правильности (предсказывать Q(s,a) или V(s) и рассчитывать на его основе A(s,a)), реализованы явно неправильно. Не соответствуют тому, что мы видим в работе живых систем. Нет обучения по единичным удачным случаям, нет нормальной памяти и ассоциативности.
Я считаю также. Нейронные сети с реализованной в них идеей адаптивного приближения к ответу — инструмент работающий, но не тот, что использует мозг. Я предлагаю архитектуру, основанную на генерации, адаптации и проверке гипотез. Она позволяет находить ответы много быстрее. Я описал ее реализацию через комбинаторное пространство (есть в лекциях).
Хокинс, как по мне, идет в верном направлении. Когда он говорит о «тысячах мозгов» это очень близко к тому, что я называю пространством контекстов. Хинтон предлагает капсульные сети, что тоже очень близко. Главное отличие того, что я предлагаю в том, что контексты позволяют отойти от тотального «перечисления» (запоминания), выделенных паттернов. Надо не пытаться запомнить все варианты проявления некой сущности, а пытаться вычислить правила изменения описания, которые приводят исходное описание к чему-то уже знакомому. Тогда уходит комбинаторный взрыв необходимых описаний, появляется возможность узнавать не по набору признаков, а «по сути» и много еще чего хорошего. Подробнее тут.
Я сторонник того, что мозг использует Model-Based алгоритм. Его еще называют V-критик. В моей модели кора мозга — это пространство контекстов. Контексты способны из текущего описания получить трактовку. Когда контект — это действие, то трактовка становится описанием результата применения этого действия. Оценивая качество результата в каждом из контекстов можно выбрать поступок. Подробнее об этом https://www.youtube.com/watch?v=9jmOcbtyGxA&list=PLe0QmH-WDNYvkGGcKQwkV9v0bUQ5pnB58.
На всякий случай упомяну Симонова. Его информационно-потребностная теория говорит, что эмоции и вызванное ими поведение определяются разницей между информацией относительно того, что мы хотим и что мы имеем. Соответственно, поведение старается минимизировать негативное рассогласование. Звучит очень похоже на принцип свободной энергии. А еще Фестингер с когнитивным диссонансом где-то о том же.
Этот сюжет очень распространен. В аллегорической форме он есть во всех религиях. Похоже, что здесь еще одна форма его изложения.
Если в ронго-ронго что-то похожее и тексты не обычные записи, а многозначные мифы, то, возможно, это и запутало исследователей.
Я считаю также. Нейронные сети с реализованной в них идеей адаптивного приближения к ответу — инструмент работающий, но не тот, что использует мозг. Я предлагаю архитектуру, основанную на генерации, адаптации и проверке гипотез. Она позволяет находить ответы много быстрее. Я описал ее реализацию через комбинаторное пространство (есть в лекциях).
Там продолжение.