Глубинное обучение и работа мозга: Когда наступит технологическая сингулярность



    Одной из самых обсуждаемых тем сегодня является появление искусственного интеллекта (ИИ), сравнимого с человеческим или даже еще более продвинутого. Момент, когда это должно произойти, носит название технологической сингулярности.

    В этой статье мы будем сравнивать методы глубинного обучения с принципами работы нашего мозга, выясним (на основе этого источника), насколько далеки наши алгоритмы от совершенного ИИ, и попытаемся понять, когда же может наступить эта технологическая сингулярность.


    По мнению известного американского футуролога Рэя Курцвейла, технологическая сингулярность должна наступить в 2030 году. Его подсчеты основаны на двух оценках – сложности структуры человеческого мозга и темпов технического прогресса. Проблема в том, что его исследование было проведено в 2005 году и с тех пор не подвергалось дальнейшему анализу. Учитывая, что нейробиология в то время содержала меньше 1% от тех знаний о мозге, которые у нас имеются сегодня, такой прогноз едва ли можно считать достоверным.

    За последние два года ученые доказали, что «производительность» нашего мозга на несколько порядков выше, чем мы думали. Например, было показано, что невозбужденные нейроны могут обучаться за счет энергии, поступающей от белков, и что нейроны могут самостоятельно синтезировать нужные белки, чтобы помочь человеку обработать необходимую информацию.

    Математические модели, построенные в соответствии с принципами работы головного мозга, сегодня могут с большой точностью повторять мозговую активность. Но не более того. Современные методы моделирования, к несчастью, не учитывают последних открытий нейробиологов, поэтому не имеет смысла делать какие-либо выводы на их основе.

    Получается, что, с одной стороны, новые технологии позволяют нам проверять обобщенные гипотезы, связанные с обработкой информации. С другой – данные, которые мы получаем в ходе таких исследований, не несут в себе особого смысла.

    Одной из самых точных моделей, описывающих поведение нейронов в человеческом мозге, является каскадная модель Пуассона (linear-nonlinear Poisson cascade model, LNP). Эта модель работает по принципам, схожим с глубинным обучением, которое считают наиболее перспективной технологией на пути к развитию ИИ.

    Несмотря на то, что мы знаем, в каком направлении нам нужно двигаться и какие модели нам нужно разрабатывать в будущем, существует еще масса ограничений, которые, по прогнозам ученых, оттягивают технологическую сингулярность еще на несколько десятков лет.

    Работа алгоритмов глубинного обучения, в отличие от других технологий, сильно зависит от скорости подключения к Интернету. Известно, что развитие сетевых технологий идет гораздо более медленными темпами по сравнению с развитием комплектующих для компьютера: по статистике скорость интернет-соединения удваивается каждые три года. В прошлом году компания Mellanox разработала коммутаторы, позволяющие передавать данные со скоростью 100 Гбит/с. Технологические решения Mellanox пока нельзя применить ни на одном суперкомпьютере, но когда это случится, следующего прорыва в сфере сетевых технологий нам ждать еще не скоро.

    Похожая ситуация складывается и с развитием оперативной памяти. Такие решения, как 3D-память, по-прежнему дают возможность увеличить скорость работы ОЗУ. Однако повысить производительность традиционными методами мы уже просто не способны.

    Не менее серьезная проблема касается потребления электроэнергии и ее стоимости. Суперкомпьютер Тяньхэ-2, который, согласно рейтингу TOP500, считается самым мощным компьютером в мире, в день потребляет по 24 МВатт энергии, на что уходит от 65 до 100 тысяч долларов. Этой энергии хватило бы на то, чтобы обеспечить электричеством 6 000 домов в Германии.

    Более того, существует масса физических ограничений. К примеру, не так давно был разработан транзистор размером в несколько атомов. По оценкам экспертов, в ближайшие два года мы достигнем физических пределов в производстве компьютерной техники. Более того, на таком микроуровне начинают проявляются такие квантовые эффекты, как, например, квантовое туннелирование.

    Легче представить это явление, если бы оно происходило на макроуровне. Допустим, вам нужно зарядить телефон, и вы подключаете его к розетке, расположенной недалеко от телевизора. Эффект туннелирования предполагает, что электроны в этом случае решали бы сами, к какому устройству им следует направиться. Так или иначе, чтобы избежать этого явления и начать новую волну технического прогресса, нам нужны новые материалы, новые технологии и новые идеи.

    Что общего между глубинным обучением и мыслительными процессами


    Современные алгоритмы глубинного обучения далеки от систем ИИ, которые можно увидеть в голливудских блокбастерах. Чтобы это доказать, мы сравним сверточные сети, которые используются в глубинном обучении, с процессами обработки информации, происходящими в нашем мозге.

    Если вы знакомы с основами нейробиологии, то, наверняка, знаете, что нейроны передают электрические сигналы по трубчатым структурам, которые называются аксонами. Когда нейрон возбуждается, он передает электрический сигнал – называемый потенциалом действия – по аксону, который, в свою очередь, разветвляется на несколько участков. Эти участки называются терминалями. На конце каждой из терминалей находятся определенные белки. Они сменяют электрический сигнал химической реакцией, которая заставляет нейромедиаторы – вещества, передающие важную для нас информацию – перескакивать с одного нейрона на другой. Совокупность терминалей аксона и других рецепторов можно представить в виде входного слоя сверточной сети.

    Нейроны могут иметь от пяти до нескольких сотен ветвящихся отростков, называемых дендритами. Лишь в 2013 году было доказано, что так называемые дендритные спайки – потенциалы действия, возникающие в дендритах – играют большую роль в обработке информации.
    Дендритные спайки возникают в ситуации, когда деполяризация дендрита достигает достаточно высокого значения.

    В этом случае электрический сигнал, поступающий в тело нейрона, может резко увеличиться за счет потенциал-зависимых каналов, генерирующих дополнительный электрический потенциал. Этот процесс напоминает реализацию метода максимального элемента (max-pooling) в глубинном обучении. Более того, дендритные спайки играют одну и ту же функцию как в человеческом мозге, так и в структуре сверточной сети. Возникая в зрительной системе, потенциалы действия в дендритах помогают определять положение объекта в пространстве и распознавать изображения.



    A – модель нейрона, не учитывающая дендритные спайки; B – моделирование обычной динамики дендритных спайков; C – моделирование более сложной динамики дендритных спайков с учетом одномерной диффузии частиц, которая напоминает операцию свертки. Изображение © было опубликовано в статье Анвара, Роома, Неделеску, Чена, Куна и Де Шуттера в журнале Frontiers in Cellular Neuroscience

    Если уровень деполяризации достаточно высок, это еще не значит, что нейрон будет возбужден. Сразу после возбуждения нейрон имеет слишком высокий положительный потенциал. В связи с этим может произойти его задержка, пока потенциал не примет нужное значение.

    В модели LNP эта задержка представлена в виде неоднородного пуассоновского процесса с распределением Пуассона. Это означает, что вероятность возбуждения нейрона с перового или второго раза достаточно высока, в то время как вероятность более позднего возбуждения уменьшается в геометрической прогрессии.

    Это лишь некоторые из примеров того, как методы глубинного обучения воспроизводят процессы происходящие в нашем мозге. Если изучите эту тему подробнее, то вы поймете, насколько работа сверточных сетей напоминает процессы обработки информации, происходящие в нашей голове. В то же время глубинное обучение и работа мозга имеют ряд существенных отличий, благодаря которым мы можем утверждать, что наши компьютерные системы еще далеки от искусственного разума.

    Чего не хватает глубинному обучению


    Главным недостатком существующих моделей является то, что они не учитывают множества деталей. Современные модели не используют знания о биологических процессах обработки информации, включая изменения, происходящие в белках и генах – они слишком сложны для понимания.

    Глубинное обучение не учитывает, к примеру, аксон-аксонные соединения, так как в них информация обрабатывается по особым алгоритмам, отличным от упомянутых выше. Кроме того, в некоторых случаях у нас просто недостаточно достоверный сведений для того, чтобы создать математическую модель. Например, мы не знаем, как именно обучается наш мозг. Мы знаем, что в этом процессе задействован некоторый алгоритм обучения с подкреплением, но у нас отсутствуют некоторые детали, что ведет к появлению противоречивых фактов.

    Но так ли нам нужны эти детали? Для сравнения традиционная физическая модель используется физиками и инженерами по всему миру. Благодаря этой модели им удается разрабатывать высокотехнологичные решения, которые мы можем использовать в повседневной жизни. В то же время физическая теория неполна. Более того, ее пришлось слегка изменить после того, как полгода назад физики обнаружили новую частицу на Большом адронном коллайдере.

    Еще один аргумент приводит известный французский ученый Ян Лекун. Он утверждает, что наши летательные аппараты способны перемещаться по воздуху ничуть не хуже птиц. Но описать движение птицы чрезвычайно сложно, так как оно требует учета даже мельчайших деталей. Движение самолета, в свою очередь, описывается всего лишь законами аэродинамики. Почему же тогда глубинное обучение не может иметь более простую структуру по сравнению с человеческим мозгом?

    Очевидно, что нам не нужно в точности воспроизводить все мыслительные процессы в своих алгоритмах для того, чтобы создать ИИ, сравнимый с человеческим. Вопрос лишь в том, каких знаний нам будет для этого достаточно.

    Итак, мы сравнили механизмы глубинного обучения с процессами, происходящими в головном мозге, и убедились, что многие из этих процессов (дендритные спайки, задержка нейронов), воспроизводятся и в сверточных сетях. Это дает нам уверенность в том, что разработка методов глубинного обучения идет в правильном направлении.

    Исходя из текущих темпов технического прогресса, некоторые ученые делают вывод о том, что искусственный разум будет создан в ближайшие 20 лет. Однако, вероятнее всего, это случиться уже после 2080 года.

    Мы не сможем добиться успехов в разработке ИИ, если нам не удастся преодолеть ряд ограничений. Нам нужно эффективнее использовать энергию и организовать более эффективный процесс производства техники и комплектующих. Разработка и внедрение инноваций, позволяющих значительно увеличить скорость ОЗУ и интернет-соединения, становятся ключевыми факторами технологического развития. Так что ожидать появления продвинутых систем ИИ в ближайшее время нам не стоит.

    P.S. Если возвращаться к реалиям дня сегодняшнего, на этой неделе мы посмотрели на основные тренды в сфере IaaS.

    Стоит отметить, что в прошлом и в начале этого года мы задали хороший темп в работе по расширению облачного пространства компании. Мы давно не знакомили вас с оборудованием, поступающим на наши облачные площадки, и решили исправить эту ситуацию с помощью нового материала по unboxing'у серверов Cisco UCS M4308.
    ИТ-ГРАД
    291.35
    vmware iaas provider
    Share post

    Comments 17

      0
      — в день потребляет по 24 МВатт энергии, на что уходит от 65 до 100 долларов. Этой энергии хватило бы на то, чтобы обеспечить электричеством 6 000 домов в Германии.

      Какие-то тут несоотвествия в цифрах. Я плачу за месяц примерно 100 баксов, но я не потребляю почти 1 Мватт в день
        0
        «Вы будете смеяться» (с), но цена выработки энергии составляет лишь малую часть того, что Вы платите.

        Вот например, из счета в 58 баксов цена выработки составляет $24.90, а цена электросети (дистрибуции) — $29.93.

        Причём и в ту, и в другую цену заложена маржа как производителя/дистрибутора, так и посредников.

        (Я сейчас как раз в энергосекторе работаю, я эту кухню знаю).
          –1
          58 баксов цена выработки составляет $24.90

          Это примерно 50%, а не «малая часть». В 50% или даже 20% поверить можно.

          Но чтобы 24 МВт*час за $100, получается кВт*час стоит $0.0041. Где столько стоит энергия?
            +2
            Где столько стоит энергия?
            На распредщитке электростанции. При условии самовывоза. (Я не шучу.)

            (открыл таблицу с рабочими данными) В частности, цена ночного (0:00 — 8:00) мегаватт-часа с поставкой в апреле 2016 года, причём не на щитке электростанции, в Западной зоне NYISO, для нас сегодня составляет $5.76. Всё, что сверху — это разные наценки за доставку, а потом маржа, маржа, и ещё три раза маржа.
              +1
              для нас составляет $5.76

              Это $0.0057 за кВт*час. А я то верил что наш тариф $0.068 за кВт*час может существовать только за счет дотаций государственных и для энергосистемы является убыточным.
                +2
                Повторюсь ещё раз — это цена выработки энергии. Столько она стоит, грубо говоря, у ворот электростанции. А (опять же беру данные из нашей расчётной таблицы) доставить этот мегаватт от распределительной подстанциии до Вашего (вернее, некоего нью-йоркского) дома стоит примерно $17.50.

                Не знаю, написать, что ли, обзорную статью о всех хитросплетениях американской энергосистемы в финансовом плане?..
        –2
        Очевидно, что нам не нужно в точности воспроизводить все мыслительные процессы в своих алгоритмах для того, чтобы создать ИИ

        Вы уверены в этом?
        2030 год сингулярность — сами то в это верите?
          0
          Я стал придерживаться мысли, что мозг работает на квантовом уровне (на законах квантовой механики). Наука как обычно воспринимает эту идею, предложенную ещё десятки лет назад нелепой, но они всегда так воспринимают, то что не входит в школьные учебники (не переписывать же их).

          Наш супер компьютер смог за десять лет смоделировать работу простейшего мозга червя. Что уж говорить о мозге человека. Нейронные сети есть, компьютеры есть, но вот объяснения феномена сознания нет. А чтобы это объяснение было — надо ждать нового Эйнштейна, который запишет 2 уравнения, которые всё и объяснят так, что даже троечники в вузе смогут написать простое сознание дома за ноутбуком, нам остаётся только надеяться, что он появиться на нашем с вами веку.
            0
            простите за невежество, но что не так с феноменом сознания? Зеркальные нейроны разве не поясняют сознание?
              +2
              да и я не разбираюсь сильно в этом.

              Но я смогу сейчас прямо прийти в школу и объяснить 4-классникам в чём отличие живого организма от камня, даже смогу на молекулярном уровне подтвердить, что камень не жив.

              Но я не смогу объяснить почему обезьяна не может написать книги или задуматься о своей судьбе. Всё, что есть это невнятные картинки и предположения, что такой то вот отдел отвечает за речь, а такой-то вот за слух, догадки и предположения.
                0
                Я для себя выработал такое определение:

                Разум есть способность организма:
                1) наблюдать события (в основном — окружающей среды);
                2) анализировать сделанные наблюдения;
                3) прогнозировать (как будущее, так и прошлое) на основе моделей, выработанных на этапе анализа.

                Разумность есть величина, характеризующая объём, охватываемый прогнозом (п. 3) разума во времени и пространстве.

                В частности, известен эксперимент, в котором подопытное животное сидит перед закрытой, но прозрачной дверцей и смотрит вдоль коридора. В конце коридора развилка, на которой стоит платформа с едой. Платформа начинает уезжать по развилке в одну из сторон (так, что животное видит направление), после чего пропадает из вида. После чего через X минут дверца перед животным открывается, и оно может бежать по коридору к развилке. Измерялось максимальное время X, по прошествии которого животное безошибочно сворачивало на развилке именно туда, куда уехала еда, а не куда попало. Если я правильно помню, для лис это время составило 8 минут.

                Для человека человечества «размах моделирования» на данный момент составляет что-то около 15 млрд лет в обе стороны от настоящего, и столько же световых лет в пространстве…
                  +1
                  8 мин и 15 млрд.лет? Вы уверены, что ставниваете одно и то же?
                  Если человека посадить перед стеклянной дверью… он спрогнозирует на 15 млрд.лет??? т.е.чем больше время, тем лучше?
                  Если по-существу, то мозги млекопетающих очень похожи друг на друга. Есть разница в некоторых параметрах. Мозг человека ничем принципиально не отличается в этом ряду :)
                    0
                    Я так понимаю, что Вы не заметили, что я зачеркнул «человека» и написал «человечества»?

                    Я думаю, для отдельно взятого человека этот эксперимент немного простоват, в нём время X измерить невозможно по той простой причине, что он помрёт от голода раньше, чем потеряет возможность предсказывать, где оказалась еда :)
                  0
                  А с чего вы решили, что обезьяны не задумываются о своей судьбе? И альтернативный вопрос: а с чего вы решили, что люди действительно задумываются о своей судьбе, а не просто тасуют в своей голове несколько чужих мыслей "о своей судьбе"?
                0
                Простите, но вы "стали придерживаться" этой мысли потому, что у вас есть рабочая модель работы мозга, основанная на принципах квантовой механики, позволяющая объяснить феномены, не имеющие объяснения иным способом? Или просто работа мозга для вас — мистика, и квантовая механика — мистика, и на основании этой очевидной схожести ваш мозг решил, что они просто обязаны быть связанными?

                Это не только подколка для вас лично, это еще и наглядный пример того, что большинство "загадок феномена сознания" возникают просто от того, что кто-то однажды увидел в этом загадку, а 100500 человек после него тупо цитируют его слова, не попытавшись в них разобраться. Именно так примитивно и работает мозг, и ничего супер загадочного в такой его работе нет.
                +1
                летательные аппараты способны перемещаться по воздуху ничуть не хуже птиц

                А потом внезапное "очевидное":

                Очевидно, что нам не нужно в точности воспроизводить все мыслительные процессы в своих алгоритмах для того, чтобы создать ИИ

                Очевидно как раз, что может оказаться что вовсе не нужно моделировать нейроны. Если уж следовать логике аналогий.
                  0
                  • Во-первых, компьютерный интеллект уже превысил человеческий во многих-многих областях. Я не буду на этом сейчас останавливаться, но достаточно достать свой телефон...
                  • Во-вторых, мозг действует на чрезвычайно низких скоростях, если сравнивать с компьютером. Просто структуры мозга трехмерные, а компьютера — планарные.
                  • В-третьих, размеры "элементов" компьютера уже во много раз меньше "элементов" биологического мозга.

                  Т.е.никаких принципиальных ограничений на создание компьютерного интеллекта нет уже сейчас. Прогресс, в нашем случае в технологии, действует всегда по GD :) в сторону наискорейшего спуска. Упремся в проблему размеров элементов, тогда пойдем по пути осваивания трехмерных структур и т.п.
                  Уверен, что будут еще много сложных, еще неизвестных препятствий на этом пути. Уверен, что ни одна из них не устоит.
                  Компьютерный интеллект уже существует. Но не ожидайте, что он будет имитировать человеческий интеллект. Так же, как самолет — не подобие птицы, а колесо — не подобие ноги.

                  Only users with full accounts can post comments. Log in, please.