Джефф Хокинс наконец готов объяснить свои исследования мозга

https://www.nytimes.com/2018/10/14/technology/jeff-hawkins-brain-research.html
  • Перевод


Джефф Хокинс — ветеран Силиконовой долины, посвятивший последнее десятилетие изучению загадок человеческого мозга, организовал встречу с компанией DeepMind — одной из ведущих ИИ-лабораторий в мире.

Ученые из DeepMind, принадлежащей материнской компании Google — холдингу Alphabet, хотят создавать машины, способные делать все, что может делать мозг. Хокинс основал небольшую компанию с одной целью — выяснить, как работает мозг, а затем воссоздать его, исходя из полученных знаний.

Встреча, назначенная на апрель в офисе DeepMind в Лондоне, так и не состоялась. В распоряжении DeepMind сотни исследователей ИИ, работающих вместе с командой опытных нейробиологов. Но когда Хокинс перед визитом пообщался с Демисом Хассабисом, одним из основателей DeepMind, они согласились, что почти никто в лондонской лаборатории не поймет его работ.

Хокинс говорит, что прежде чем мы сможем создать искусственный интеллект, мы должны объяснить человеческий интеллект. Только тогда мы сможем создавать машины, которые действительно работают как мозг. «Не нужно воспроизводить весь мозг», — сказал он. «Но необходимо понимать, как именно он работает, и воспроизвести его важнейшие части».

В его компании Numenta, это именно то, что он намеревается сделать. Хокинсу 61 год, он начал свою карьеру в качестве инженера, создал две классические компьютерные компании — Palm и Handspring, и по пути еще изучал нейробиологию.

Теперь, после более чем десятилетнего периода почти незаметной работы в Numenta, он считает, что он и несколько исследователей, работающих с ним, уже на пути к решению проблемы. На конференции в Нидерландах, он представил их последнее исследование, которое, по его словам, объясняет внутреннюю работу кортикальных колонок — основного строительного блока функций мозга.

Как широкое комьюнити исследователей отреагирует на работу Хокинса, предсказать сложно: решат ли они, что исследование стоит изучить глубже? Или просто спишут Хокинса как через край самоуверенного и слишком неортодоксального в своих методах?



Все это время Хокинс следовал своей собственной, всеобъемлющей идее, о том как работает мозг. Это шаг за грань большинства проектов нейробиологов, будь то исследование мозга плодовой мушки или изучение особенностей человеческого зрения.

Основа его теории — кортикальные колонки. Они являются важной частью неокортекса — части мозга, которая управляет зрением, слухом, языком и собственно интеллектом. У нейробиологов до сих пор нет единого мнения о том, как работает неокортекс.

Хокинс уверен, что кортикальные колонки обрабатывают каждую задачу одинаково, что это, своего рода, компьютерный алгоритм, который повторяется снова и снова. Это вполне логичный подход к мозгу для человека, который десятилетиями создавал вычислительные устройства.

Все что ему нужно — это выяснить алгоритм.

Многим нейробиологам нравится эта идея, кто-то преследует аналогичный подход. Многие хвалят Хокинса за его готовность мыслить так широко. Быть индивидуалистом в академических кругах и мире фундаментальных исследований непросто. Но немного легче, если вы можете финансировать свою собственную работу, как это делает Хокинс.

Тем не менее, некоторые исследователи задаются вопросом, не является ли его самофинансируемая деятельность, изолированная от тягот академических связей, далеким от реальности увлечением? Они исследуют мозг небольшими частями по вполне разумной причине — понять, как все это работает вместе, является монументальной, трудной для охвата задачей.

«Очевидно, что нам нужно лучшее понимание интеллекта», — сказал Томазо Поджио, нейробиолог из Массачусетского технологического института, который представил редакции Хокинса и Хассабиса. «Но Джефф выбрал сложный путь».

Если работа Хокинса увенчается успехом, это может помочь исследователям шагнуть гораздо дальше того, что мы видим сегодня. В последние годы такие компании, как Google, Apple и Amazon, создали беспилотные автомобили, гаджеты, которые отвечают на вопросы из разных комнат, и приложения для смартфонов, которые мгновенно переводят иностранные языки.

Они делают ставку на нейронные сети, которые представляют собой математические системы, лишь до определенной степени похожие на сети нейронов в мозге. Ученые не могут воспроизвести мозг, посколько понимают лишь отдельные части картины его работы. Разумеется, они не могут просто взять и скопировать его возможности.

«Мозг — безусловно, самая сложная часть материи известной нам вселенной, по любым показателям», — сказал Кристоф Кох, главный исследователь и президент Института им. Пола Аллена. «Мы не понимаем даже мозг червя».

Призыв объяснить мозг


В 1979 году в статье журнала Scientific American Фрэнсис Крик, лауреат Нобелевской премии за исследования ДНК, призвал к созданию всеобъемлющей теории мозга, которая могла бы объяснить этот «невероятно загадочный» орган.

Хокинс окончил Корнелл в 1979 году, по специальности инженер-электрик. В течение нескольких следующих нескольких лет он работал в Intel и Grid Systems, одной из первых компаний по производству ноутбуков. Но после прочтения статьи в журнале он решил, что именно мозг станет делом его жизни.

Он предложил создать лабораторию нейробиологии в Intel. После того как идея была отклонена, он поступил в Калифорнийский университет в Беркли. Заявка на его докторскую диссертацию также была отклонена. Можно сказать, он был изгоем.

В 1992 году Хокинс основал Palm Computing. За полтора десятилетия до iPhone, он создал массовый портативный компьютер. Когда он нанял исполнительного директора, Донну Дубински, он сразу предупредил ее, что как только это будет возможно, он бросит свою работу в Palm и вернется к нейробиологии. «Это всегда крутилось на заднем плане», — говорит Дубински.

U.S. Robotics купила Palm в 1996 году за 44 миллиона долларов. Примерно через два года Хокинс и Дубински ушли, чтобы основать Handspring. Palm, снова став независимой в 2000 году, приобрела в 2003-м Handspring за 192 миллиона долларов.

Примерно во время второй сделки Хокинс основал свою собственную лабораторию нейробиологии. Но просуществовала она недолго. Он не смог собрать достаточно ученых, сосредоточенных на его кортикальной теории. Так, вместе с Дубински и исследователем в области ИИ, Дилипом Джорджем, он основал компанию Numenta.


Джефф Хокинс (слева), Дилип Джордж (в центре) и Донна Дубински. 2005 год

Компания потратила годы, пытаясь создавать и продавать программное обеспечение, но в конце концов, после ухода Джорджа, они сосредоточились на единственном проекте. Финансируемая главным образом Хокинсом (он не говорит, сколько именно вложил в это), единственная цель компании — объяснить неокортекс, а затем воспроизвести его.

Чашка кофе озарения


В Numenta Хокинс сидит в маленьком офисе. Пять других нейробиологов, в основном самоучки, работают еще в одной комнате за дверью.

Хокинс говорит, что момент озарения наступил два с половиной года назад, когда он сидел в своем кабинете и смотрел на кофейную чашку.

Он коснулся чашки и провел пальцем по ободу. Затем он вскочил на ноги и выбежал в дверь.

Он бежал сломя голову к своей жене, которая как раз зашла на обед, и наткнулся на своего ближайшего сотрудника Субутая Ахмада, вице-президента по исследованиям. «Кортекс знает положение всех вещей», — сказал Хокинс. Ахмад еще и понятия не имел, о чем тот говорит.

Когда Хокинс посмотрел на чашку, он понял, что кортикальные колонки не только воспринимают ощущения, но и знают местоположение этих ощущений в пространстве. Они запоминают мир в трех измерениях, а не в двух. Все нюансы запоминаются по отношению к тому, что находилось вокруг.


Хокинс, Субутай Ахмад и Донна Дубински. Офис Numenta. 2018 год

Хокинс полагает, что если кортикальные колонки обрабатывают таким способом зрительную и осязательную информацию, то они воспринимают звук, язык и даже математику аналогичным образом. С тех пор он работает над доказательством этой идеи.

«Когда мозг строит модель мира, всё имеет место относительно всего остального», — сказал Хокинс. «Вот как он понимает все вокруг».

Источник напряжения между Хокинсом и другими исследователями вовсе не в том, что они считают, что он неправ. Они просто не знают этого, потому что он пытается делать это совершенно другим способом. И так дико амбициозен.

Для дальнейшего развития науки то, над чем работает Хокинс, не может оставаться на задворках. Его идеи могут принести плоды, благодаря экспериментам с другими нейробиологами, сказал Нельсон Спрустон, старший директор Janelia Research Campus, исследовательской лаборатории в Вирджинии, которая занимается нейробиологией. «Непрерывный цикл опробирования и пересмотра моделей нейронных вычислений, подсказанных биологией, является ключом к разработке прорывных теорий мозга», — сказал он.

Если перефразировать, Хокинсу необходимо дать возможность тщательно исследовать свою работу и найти способ взаимодействия с учеными, которые, скорее всего, никогда не смотрели на мозг так, как он.



В настоящий момент готовится перевод большой научной статьи Джеффа Хокинса и его коллег из Numenta —  «A Theory of How Columns in the Neocortex Enable Learning the Structure of the World». Также к переводу планируется вторая их большая статья «A Framework for Intelligence and Cortical Function Based on Grid Cells in the Neocortex».
Поделиться публикацией

Комментарии 61

    +1

    Круто если это действительно так, а не только попытка поднять немного инвестиционных денег.

      +1

      В этом плане известный хабру тов. Редозубов ушел еще дальше. Вот только тоже пребывает в забвении. Пока идет хайп по поводу Deep learning это все никому не нужно, т.к. слишком сложно. И по моим оценкам пока компы такое не потянут. Нужны или десятки терабайт в секунду пропускной способности шины памяти при текущей архитектуре и сотнях гигабайт dram или сотни параллельных процов, каждый со своим всего лишь в несколько гигабайт объемом sram. Это более возможно, но стоить будет миллионы на дизайн, мануфактуринг, тесты. Ничего этого пока нет. А без этого даже POС сделать нереально. Замкнутый круг. Никто миллионов на просто прототип не даст — уже нужно иметь что-то, кроме идеи, т.к. сама схема такого аппаратуса выглядит для сегодняшней науки и тем более венчурных фондов довольно дико. До них ML/DL тридцать лет доходил и все равно они его не понимают, если бы не голимый пиар и хайп.

        +6
        У него в какой-то из статей была запомнившаяся мне аналогия: мол, дайте самым умным ученым девятнадцатого века современный компьютер, и посмотрите, как они будут его изучать. Они заметят зависимости сигнала на выходе от сигнала на входе, может быть замерят электрическую активность в разных частях схемы и найдут какие-то закономерности этой активности от входного сигнала, может быть в конце концов распилят какую-нибудь микросхему и установят, что «она сделана на основе кремния». Но вот поймут ли они, что именно перед ними — это вряд ли. Потому что у них еще не будет понятийного аппарата, в котором слова «устройство, аппаратно реализующее двоичную арифметику на базе кремниевых транзисторов» что-то значат. И вот мы сейчас в изучении мозга находимся где-то на такой же стадии. Изучаем какие-то закономерности, эффекты и реакции на внешние воздействия, ФМРТ вот освоили. Но понять, что это такое и как оно работает, на каких принципах — пока что не осиливаем.
          0
          Я с Вами не соглашусь. Вполне осиливаем. Есть несколько интересных теорий как оно там все крутится. Но повторить, чтоб точно доказать, что это вот так и так мы пока не в состоянии. Вот эти вот коммутирующие все со всем машины пока не созданы. А без них теории есть, но проверить и допилить не получается. Кстати, мозг по всем этим передовым взглядам — скорее не компьютер, а супергибкий свитч с очень большой RAM, т.е. хранит и регулярно модифицирует эти свои route-tables. Имеет значение только вход, а выход и все сопутствующее имеем согласно коммутации.
            0
            А где можно почитать эти существующие теории?
              +3
              15 лет назад заинтересовался корой, и уже тогда тема «свитча» не была передовой. Она растёт где-то из 80-х, когда и появилось само сетевое оборудование. А может и из начала века, с появления телеграфа и понятия коммутации. Налицо топтание на месте.
                –1
                Супер-компьютеры НЕ фон-неймановской(традиционной) архитектуры, а по идеологии — «распределенная память + огромный роутер обрабатывающий циркулирующие сигналы» тоже разрабатываются, проектируются. И даже первые пробные реализации уже строятся

                Подробнее (статья выше поверхностная весьма): apt.cs.manchester.ac.uk/projects/SpiNNaker/architecture

                Коммутация «все со всеми» поддерживается. Максимальное количество связей на 1 нейрон конечно ограничено, но ограничений на топологию этих связей и их дальность (с какими другими нейронами может быть связан данный) нет.
                +1
                > У него в какой-то из статей была запомнившаяся мне аналогия: мол, дайте самым умным ученым девятнадцатого века современный компьютер, и посмотрите, как они будут его изучать.

                Была, только не у него, про биологов и радиоприёмник. www.metodolog.ru/00373/00373.html
                  +1
                  Есть еще потрясающая статья «Could a neuroscientist understand a microprocessor?», где авторы на двадцати с лишним страницах проводят целый реверс-инжиниринг, с графиками, схемами и т.д. — так как если бы они изучали процессор, подобно мозгу.
                    +1
                    дайте самым умным ученым девятнадцатого века современный компьютер, и посмотрите, как они будут его изучать.
                    Да, я писал об этом лет 10 назад. Аналогия достаточно очевидная и не удивительно, что многим тоже пришла в голову.
                +2
                А я вот поддержу сегодняшнюю науку и тем более венчурные фонды. Насколько я понял, человек чисто умозрительно строит очень сложную систему из компонентов, которые сами находятся в лучшем случае в стадии раннего прототипа, а то и просто гипотезы. Шанс на то, что ежели сейчас вложить триллион долларов и построить всё так, как сказал Редозубов, то оно заработает так, как хочет Редозубов — исчезающе мал. В теории эволюции это называется hopeful monster, и все эволюционные теоретики в один голос утверждают, что это не работает. А работает постепенное отлаживание отдельных компонентов и комбинирование уже отлаженных компонентов вместе. То, что называется функциональная декомпозиция.

                Я не говорю, что Редозубова и ему подобных не надо слушать и ни в коем случае не давать их денег. Быть может, какая-то из его идей выстрелит. Быть может, даже не одна. Но давать кучу денег на реализацию очень сложной идеи — это пустая трата денег, лучше уж ещё один остров купить.
                  0
                  Так надо же POC сначала сделать — на нем отлаживать хард и софт. Двигаться ступень за ступенью. Вполне себе итерационный подход. Никто не говорит, что вот прямо сейчас целый мозг сделаем, и все в момент заработает. Не нужны триллионы. Но на POC то все равно нужны инвестиции. Просто нормальные инвестиции, как в тысячи других стартапов. Там тоже в лучшем случае 1:10 выстреливает, и никто при этом не кусает локти от этого. Не говорят, что лучше еще один отров прикупить, ибо это просто венчурный бизнес, а не деньга российских нуворишей, сросшихся с государством, случайно обломившаяся с неба безотносительно понятия «бизнес». Потому и не понимают куда ее сунуть.

                  Но венчуры надо тоже заинтересовать. Поэтому нужен хотя бы простой POC, сделанный на свои деньги для начала.
                  Странно только, что, вроде, у Хокинса все для постройки концепта есть, а он лезет к гуглоидам с голыми идеями. Потому и неинтересно никому. Так инвестиции сейчас получить почти невозможно. Тем более на спаде в IT.
                  +5
                  Хокинс, как по мне, идет в верном направлении. Когда он говорит о «тысячах мозгов» это очень близко к тому, что я называю пространством контекстов. Хинтон предлагает капсульные сети, что тоже очень близко. Главное отличие того, что я предлагаю в том, что контексты позволяют отойти от тотального «перечисления» (запоминания), выделенных паттернов. Надо не пытаться запомнить все варианты проявления некой сущности, а пытаться вычислить правила изменения описания, которые приводят исходное описание к чему-то уже знакомому. Тогда уходит комбинаторный взрыв необходимых описаний, появляется возможность узнавать не по набору признаков, а «по сути» и много еще чего хорошего. Подробнее тут.
                    0
                    Прямую ссылочку AlexeyR на него в комменте было бы уместно сразу оставить…
                      0
                      Можно было, конечно, но Алексей и так очень известен на Хабре. Все, кто в теме, прекрасно знают кто это, что и можно увидеть выше.
                      0
                      Нужны или десятки терабайт в секунду пропускной способности шины памяти при текущей архитектуре и сотнях гигабайт dram или сотни параллельных процов, каждый со своим всего лишь в несколько гигабайт объемом sram
                      Но в каждый процессор нужно загрузить какую-то программу, и об этом почему-то не задумываются сторонники таких архитектур. Я ещё не встречал исследований/размышлений на тему того, чем конкретно должен заниматься каждый процессор, помимо расплывчатого «коммуницировать с остальными».
                        0
                        Есть и программа для загрузки в каждый проц (или ядро, если чип делать). Там ARM кода меньше, чем 8К. То есть единая программа на каждое ядро.
                          0
                          Интересно было бы почитать публикации с описанием алгоритма.
                          Чтобы понять, насколько новая архитектура оправдана как отдельный класс, можно ли её привести к обычной фон-неймановской или к одной из классических ИНС.
                            0
                            Хотелось бы описать все это когда-нибудь, но прямо сейчас все в процессе.
                            И приводить к фон-нейману ничего не надо — это и так работает на средних размеров кластере на Зионах. Но неэффективно, местами откровенно медленно.

                            Можно сделать более эффективную архитектуру — по сути, много параллельных фон-нейманов на сотнях армов. Но цена в сотню-другую тысяч лично для меня и маленькой команды кусается. Будет готов POC на кластере- притянем инвесторов.

                            Можно и масштабируемый чип сделать. И не проблема спецов по чипам привлечь из знакомых. Но это другой уровень, и уже миллионы джорджиков.
                              0
                              А какую задачу решает модельная система?
                                0
                                Задачу управления кастомным indoor дроном для начала. С ориентированием по камере, двум ультрасоникам и нескольким прочим сенсорам. И к тому же, там есть мозг, для понимания что где и почему. Этакая стрекоза. Учится, как ребенок — почти с нуля.
                                Может читать и разговаривать научим через годик. :)
                                  0
                                  Обычно в таких задачах вполне себе традиционная программа, куда нейросети «подклеиваются» (уже натренированные) для решения специализированных задач, типа распознавания звуков/изображений. Если основная логика построена на самообучении (не пишется вручную), то весьма неплохо.
                                    0
                                    Я уже писал выше: нейросети — вчерашний день. В свете нашего маленького проекта. А что и как делается — тоже (хотя и кратко) упомянуто выше.
                      +3
                      И опять Силиконовая долина откуда-то возникла, каждый раз больно.
                        +2
                        Да уже не особо:) Это тот случай, когда распространенная ошибка легализуется из-за популярности. Как средний род у кофе легализовали в 2002.
                        На что намекает как википедия (в которой основной термин силиконовая, а кремниевая перекидывает на силиконовую — пусть даже там упомянуто что этимологически верно кремниевая), так и несколько словарей приведенных в википедии в сносках, включая «Большая Рос. энциклопедия».
                        Корректнее конечно кремниевая, но в текущих реалиях и силиконовая в русском ошибкой уже сложно называть, скорее особенность.
                          +2
                          Насчёт кофе, кстати, я беседовал с филологиней, и она мне сказала, что скорее мужской род кофе ошибочен, поскольку возник в те времена. когда кофе звали «кофий». А при изменении формы слова мужской род остался неуместным рудиментом, и язык его отторгал как мог.
                            +1
                            А мне нравится «кофий». Странно, почему эта форма заменилась на «кофе». Какая-то она более русская, что-ли.
                              0
                              Скорее «кофе» мужского рода, потому что в романских языках он мужского рода (в латыни, вроде, среднего) и потому что, якобы, появился на Руси благодаря царскому врачу Самюэлю Коллинсу. А дальше из него пытались лепить русскую версию, как пишет Чуковский:
                              Русский язык вообще тяготеет к склонению несклоняемых слов. Не потому ли, например, создалось слово кофий, что кофе никак не возможно склонять? Не потому ли кое-где утвердились формы радиво (вместо радио) и какава (вместо какао), что эти формы можно изменять по падежам?
                          –4
                          Столько воды — ужас просто.
                          Гораздо наваристей хотя бы вот эта статья elementy.ru/nauchno-populyarnaya_biblioteka/430378/Energeticheskiy_podkhod_k_evolyutsii_mozga
                            +3
                            Савельев, серьёзно? Шарлатан каких ещё поискать.
                              0
                              Хм. Впервые такое слышу. Почему? Подскажите кого почитать / послушать не из шарлатанов?
                            +1
                            Воды и правда полная заметка. Всё надеялся, что вот-вот мяско пойдёт — ан нет, вдруг закончилась.

                            Но ссылка на Савельева и правда ой. За неё, видимо, и минусуют.
                            +2
                            Из всей статьи вся условно важная информация здесь:
                            «Когда мозг строит модель мира, всё имеет место относительно всего остального», — сказал Хокинс. «Вот как он понимает все вокруг».

                            Но и она представляет из себя какую-то цитату из ролика про эксперта:
                            -Перпендикулярна чему?
                            -Всему.
                              +1
                              Я так и не понял из статьи: он где-то объяснил или только готов объяснить?
                                0
                                По ссылке в самом начале есть видео, где он кратно (на 40-45 минут) объясняет основы своей теории на конференции в рамках проекта ru.wikipedia.org/wiki/Human_Brain_Project. и приглашает обращаться за деталями всех заинтересовавшихся.
                                А все вся остальная статья — сплошная вода.
                                  –1
                                  del
                                  +2
                                  Кстати, не согласен с тем, что если ты слабо связан с академическим сообществом и на свои кровные проводишь исследования, то ты якобы изгой. В существующей системе академических отношений вряд ли получится фундаментально исследовать какое-либо явление. Очень уж все завязано на научную моду. Кто-нибудь, возможно, и заинтересовался бы, услышав модное слово «neurocomputing», но тотчас отказался бы выделять грант, если в заявке будет отсутствовать модное словосочетание «neural nets». Так что самостоятельность в этом плане — это скорее жирный плюс.
                                    +5
                                    Типичная англоязычная научпоповская статья: где кто про жизни, с кем ручкался, во что был одет, с чашечкой чего сидит в руках напротив журналиста. По сути вопроса практически ноль
                                      +3
                                      При всём уважении к прошлым бизнесам Хокинса, мне лично труды его коллектива по неокортексу напоминают ферматистов. Посмотрите, например, на эту работу: arxiv.org/ftp/arxiv/papers/1503/1503.07469.pdf. Рассматриваются простейшие вопросы на уровне комбинаторики середины 19 века, почти что уровня парадокса дней рождения, классические дискретные распределения, им придаётся исключительно существенное значение. Чем-то может быть схожа с математикой кодов, исправляющих ошибки, где коды даны в двоичных векторах. По той же причине профессионалы от теории чисел с трудом понимают ферматистов — ферматисты не обладают знаниями или/и талантом для решения задачи по-настоящему. Никто не утверждает, что не существует изящного, компактного и яркого док-ва великой теоремы Ферма, и есть примеры, где сложные проблемы удавалось решать изящно и компактно (скажем, теоремы действительного анализа, доказываемые над полем действительных чисел на несколько страниц, в комплексной плоскости доказываются в две строчки), но путь, по которому идут ферматисты — это trivia, которая к такому доказательству точно не приведёт.

                                      И вот опять, последнее его видео. Хокинс пробовал ли, например, собрать сетку с LSTM слоями на TensorFlow и потренировать её на каких-нибудь песнях? Посмотреть там, как она тренируется в зависимости от размера минибатча, градиентный шум, структуру минимумов, как влияет на сходимость случайная инициализация весов vs по Ксавьеру и т.д. Ведь человек, который уже обладает таким навыком, уже никогда не спустится до такого тривиального уровня рассуждения о феномене обучения структурным представлениям (representation learning, в смысле).

                                      Я бы рад сказать, что работы Хокинса — это как труды Рамануджана, — понять их и распознать гения дано было лишь единицам, но сделав это, они открыли бездонный сундук с сокровищами. Но у меня, как у математика, совершенно не складывается такого ощущения.

                                      У вас нет такого же впечатления?
                                        +2
                                        Лично у меня ощущение явно намечающегося прорыва было от его популярной книжки «Об интеллекте» (2004). Был уверен, что его «Нумента» будет упирать и развивать тезис, который мне показался у Хокинса главным — делать из однотипных полей («нейросетей» в нынешнем понимании) именно что иерархическую (первая буква в его HTM! суть их эмблемы!) конструкцию. Вводить корректирующие обратные связи от высокоранговых полей к полям среднего и почти низшего ранга, — как, по-видимому, это происходит в мозгу у нас, человеков, избавляя от ошибок распознавания, вызванных ограничениями/сбоем одного из полей низкого ранга.
                                        Что будут привлекать профессиональных математиков, чтобы разрабатывали теорию, описывающую возможности такой иерархической организации, поиск оптимальной структуры… Чтобы все это было как-то всерьез. По-взрослому.

                                        А они, действительно, что-то странное стали делать — несколько лет затишья, и вдруг та работа про борьбу с разреженностью; еще несколько лет затишья, и вот этот новый тезис…
                                          0
                                          И кстати, иерархическая организация с обратными связями между полями — это отчасти и классические рекуррентные сети, LSTM и иже с ними, отчасти resudual networks (пробросы связей между далеко стоящими слоями), резервуарные сети и т.д. Множество результатов по этим направлениям в последние годы. Самоизоляция коллетива Хокинса при их наличии просто поражает.
                                            0
                                            А что конкретно могут дать Хокинсу рекуррентные сети? Или даже более широкий вопрос: чем все ИНС могут помочь в изучении неокортекса? Это совершенно другая колея, базовые элементы ничем друг на друга непохожи.
                                              0
                                              Рекуррентные — они конкретно могут дать, а могут и не дать. Но мы же говорим не об изучении синих и зеленых шаров, а об изучении шаров вообще. Касаемо нейросетей и неокортекса — да вот хотя бы на хабре можно почитать о капсульных сетях. Там как раз вводится модель колонки, прямо как в новой коре. Идея явно была заимствована из знаний об устройстве неокортекса. Ну или вот: habr.com/ru/post/438526 «Искусственные нейронные сети выращивают навигационные клетки как в мозге». Далее, на хабре поискать про «бабушкины нейроны», что ещё старые ИНС Эндрю Ына в 2010 году предъявляли внутри себя возникновение таких нейронов. И т.д. и т.п. Что могут дать Хокинсу ИНС для изучения неокортекса? Очень многое, к.м.к., если вообще не всё — двигаясь от синтеза простейших ИНС к синтезу таких ИНС, что воспроизводят структуры неокортекса, мы тем самым сможем познать в частности и неокортекс, разве нет? Мне кажется, это куда более конструктивный путь, чем пытаться сводить работу неокортекса к тривиальным детерминистическим алгоритмам и подобно каноничному ферматисту, трубящему о большей силе простого числа 13 над простым числом 7 и их эманациями, дающими множество всех чисел во Вселенной, заявлять о «вот-вот» открытом генеральном алгоритме, выведенном через свойства биномиальных коэффициентов. Казалось бы, куда более продуктивным был бы, ну, хотяяяя быыыы, поиск метода или алгоритма, дающего синтез структуры капсульной сети — ведь её-то Хинтону пришлось-таки придумать, она не сама возникла. Вот пусть Хокинс возьмёт и поймёт, каким образом такие капсулы должны появиться в синтезируемой ИНС в процессе её эволюции. Это безумно интересно было бы проделать, разве нет? Но нет же, Хокинс почему-то продолжит тратить свои кровные на какую-то, откровенно скажем, чепуху. Ощущение такое, что его банально кто-то дурачит.
                                                0
                                                можно почитать о капсульных сетях

                                                Читал. Капсульные сети такой же хак, как и свёртка. Мы искусственно вводим пространственные 3D преобразования, как когда-то сделали такие же преобразования в 2D, придумав свёртку.

                                                Колонка там также условность. Лучше бы он назвал её «модуль» или «блок», чтобы не выходило опять как когда-то с «нейроном», который ничего общего с живой клеткой не имеет и скорее представляет узел в графе.

                                                двигаясь от синтеза простейших ИНС к синтезу таких ИНС, что воспроизводят структуры неокортекса, мы тем самым сможем познать в частности и неокортекс, разве нет?

                                                Можно представить широкую колею современных ИНС и рядом параллельную колею, идущую от живых нейронов. Где-то на горизонте кажется, что они смыкаются. Но я полагаю, что это только оптическая иллюзия. Многие уже заговаривают, что видят впереди у ИНС тупик.
                                                vc.ru/future/58093-kakie-tehnologii-iskusstvennogo-intellekta-okazhutsya-populyarnymi-v-blizhayshie-10-let

                                                Вот пусть Хокинс возьмёт и поймёт, каким образом такие капсулы должны появиться в синтезируемой ИНС в процессе её эволюции.

                                                В это всё и упирается. Пока никто не допёр.

                                                Хокинс почему-то продолжит тратить свои кровные на какую-то, откровенно скажем, чепуху.

                                                Я читал только его первую работу десять лет назад. Что он делал все эти годы, не знаю. Но вот в ведре воды из этого видео я заметил мысль похожую на мою про нейроны решетки. Очень легко небольшим количеством «обычных» нейронов «закодировать» пространство и создать между областями ассоциативные связи. Так что хоть какая-то польза от него есть ).
                                        +3
                                        Ощущение от статьи – как-будто недалекий но вдохновленный гуманитарий пытается пересказать прочитанный недавно научпоп бестселлер.

                                        «Всё имеет место относительно всего остального, вот так мозг и работает» – ну нихрена себе озарение.

                                        Видимо исследователь и правда пытался объяснить суть своей работы, но неокортекс журналиста не нашел места для этой информации относительно того что находится в его мозге, и процитировал только глубокомысленную фразу уровня цитат из паблика.
                                          +1
                                          Я одно время изучал его теорию. У Нументы есть ютуб канал, также есть ютуб-школа где они учат доступно своей теории. Очень жаль что в статье внет ничего, а только одна вода.
                                          Они довольно сильно продвинулись, разработали свой мат апарат для обяъснения того как работает кортикальная колонна. Как можно переводить сигналы с сенсоров в данные, котоыре принимает корительаня колонка. Много логичных и интересных идей. Например как мозг делает предикшен будущего, например. Там и задел на нейро-интерфейс есть, т.к. идея что мозг может работать с любыми входными данными, что там алгоритм универсальный. Ребята работают, отрабатывают разные идеи в рамках своей теории.
                                          У них также есть проекты на гит хабе. Они также написали что то комерческое для поиска отклонений в потоке данных. Вроде как их теория ИИ хорошо подходит для поиска нетипичных данных или ошибок в потоке, не помню уже точно. С этого они имеют какой то доход на который компания живет.
                                          В статье об этом 0.
                                            0
                                            Сейчас в процессе перевода как раз их большая работа про кортикальные колонки. А данная статья в New York Times — это просто небольшой очерк о компании в целом, на который они сами приводят ссылку на главной странице своего сайта.
                                              0
                                              Например, в этой работе сразу видна процедура обучения в разделе «Computing Cell States», являющаяся случаем процедуры обучения в старом добром перцептроне Розенблатта, даже не многослойном, прадедушке современной нейросетевой технологии. Тут можно поверх этого доказывать теоремы вроде этой. Проблема в том, что это же давно уже всё сделано, разве нет.
                                              0
                                              А вы не могли бы дать ссылки на указанный мат.аппарат? Ну т.е. не тривию про биномиальные коэффициенты вместе с кучей plain-текста, а действительно конструктивный и вычислительно-реализуемый мат.аппарат, сравнение их подхода с результатами, достижимыми на современных нейросетях и т.д. Я как-то тоже это видел, пробовал их библиотеку на Питоне и т.д., и немало подивился, поскольку дальше поделки одного студента средних курсов универа по моим ощущениям это не тянуло. В крайнем случае это походило на какой-то частный, не очень сильный с точки зрения способности к обобщениям, случай несложной нейросетевой архитектуры.

                                              Ну примерно как, давайте вот возьмём SVM (можно замоделировать задачу, решаемую SVM, нейросетью, как например word2vec ембеддинги можно строить простым матричным разложением, но допустим мы вообще игнорируем нейросети), выберем квадратичное ядро, пересоберём это в коде без возможности параметризовать ядро и сам SVM, дадим новое имя, изучим свойства «нового» объекта, сделаем этому кучу видео и туториалов. Вуаля — вот мы уже убедили себя, что у нас оригинальная горячая идея, не похожая ни на что.
                                              0

                                              Очень интересно где-нибудь почитать — какая именно сущность и каким образом переключает внутренний фокус внимания

                                                0
                                                Ну опять же, обучение с «вниманием» на рекуррентных сетях, в частности, доставляет нам Google Translate такого замечательного качества в течение последней пары лет, с тех пор как они перешли со статистической на нейросетевую архитектуру. При чём тут новейшие исследования Хокинса, я так и не смог понять из его публикаций. Идеи о дропауте, внимании и прочем, что хорошо работает в нейросетях последние лет 5, безусловно заимствованы из нейробиологии, и формируется математическое обоснование, почему это работает в нейросетях, через матаппарат теории информации, но Хокинс к этому не имеет отношения.
                                                +2
                                                > Кристоф Кох, главный исследователь и президент Института им. Пола Аллена. «Мы не понимаем даже мозг червя».

                                                Уже не совсем актуально: www.sciencealert.com/scientists-put-worm-brain-in-lego-robot-openworm-connectome. В 2014 OpenWorm завёлся же, нейроны отмаппили, можно посмотреть там её изнутри вот ребята в лего завели эту модельку, или вот такие штуки делают: www.tuwien.ac.at/en/news/news_detail/article/125597. И вполне есть понимание, почему его нейросистема такова. В результате эволюции и воздействия окружающей среды, казалось бы. Там всего 302 нейрона в этой нервной системе, сформировались сенсоры, тончайше чувствующие изменения температуры и приводящие к движению, это позволяет червю эффективно существовать. В целом, думаю, можно из этой сети 302 нейронов извлекать какие-то «если-то» правила даже, охарактеризовав поведение червя в виде более осязаемого человеком набора инструкций, — алгоритма, если хотите — того самого рода, коего так жаждет Хокинс.
                                                  +2
                                                  Нет-нет, Хокинс упирает на то, что можно легко (ну, относительно легко) понять структуру именно неокортекса — эта структура появилась последней, как надстройка, относительно недавно, и есть основания считать, что в ней реализуются всего несколько простых правил, причем почти все они действительно важны для функционирования (а не случайные рудименты). Эти несколько базовых правил можно понять, скопировать — и, наверно, улучишь. А возможно, даже ОЧЕНЬ улучшить.
                                                  Клубок же из 300 нейронов, которые делают все на свете, чем занят червь — это, скорее всего, система из заплаток поверх заплаток. Разобраться в этом трудно, а главное — бесполезно. Вы получите кучу разных, параллельно работающих алгоритмов, примитивных, и никак не помогающих понять, как устроена способность размышлять. У человека такая «заплаточная» часть мозга — это, собственно, весь мозг под неокортексом.

                                                  Ну представьте, что у вас в доме есть электрощиток, в котором сто лет разные люди делали разные «улучшения». И сейчас это — жуткий клубок. В котором мало того, что трудно разглядеть, какой провод куда идет и зачем; но даже если вы разберетесь, — что дальше? Копировать эту «структуру» для электрощитка в новом, с иголочки, доме?
                                                    0
                                                    Ну представьте, что у вас в доме есть электрощиток

                                                    Но ведь если я все правильно понимаю, то сегодня мы видим электрощиток, но всё еще не очень понимаем, что такое электричество и как устроены провода. Или понимаем?

                                                  0
                                                  Хокинс говорит, что прежде чем мы сможем создать искусственный интеллект, мы должны объяснить человеческий интеллект. Только тогда мы сможем создавать машины, которые действительно работают как мозг.
                                                  Ну наконец, глас разума в болоте статистического обучения! Примерно похожее гворил и Дэвид Дойч в своей концепции креативности:
                                                  Нам нужен прорыв в философии, нам нужна теория, объясняющая, как мозг создаёт объяснения.
                                                  Нынешнее направление в ИИ — тупиковое, как и похожий на него массовый скрининг малых молекул в фармакологии. Конечно, они оба были важны на некоем этапе и принесли много пользы, но они не объясняли почему A лучше B. Щаз нужно перешагнуть через них, и искать реальные объяснительные концепции.

                                                    0
                                                    Не могу согласиться:
                                                    blog.openai.com/learning-concepts-with-energy-functions
                                                    www.vicarious.com/research
                                                    Современное развитие движется в сторону именно обучения высокоуровневым концепциям, приводящего к высочайшей степени обобщаемости при наличии очень малого числа примеров.
                                                      0
                                                      Но разум работает иначе! У него существует мотивация и сознание! А какая мотивация у творений Хассабиса? Разве могут они объяснить, зачем они танцевали в ролике?
                                                        0

                                                        Ещё нет.

                                                          0
                                                          Точно. Разум это надстройка для аппарата размножения. Вот это и есть мотивация. Чтобы успешнее переносить геном в следующее поколение и продолжать жизнь своего вида не Земле несмотря ни на что.

                                                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                    Самое читаемое