Движение внимания на основе непрерывно накапливаемого опыта восприятия, как основа предлагаемого подхода к проектированию сильного ИИ

    Направленное движение внимания — как основная функция сознания


    В этой статье мы не будем вдаваться в глобальные проблемы сильного искусственного интеллекта, но лишь продемонстрируем некоторые основы нашего подхода к его проектированию.

    Рассмотрим, пожалуй, одну из самых известных иллюстраций к тому, как работает зрение, исследуя зрительные объекты



    Мы видим, что зрительное внимание подвижно.
    А что если, само движение внимания и есть ключ к его пониманию?

    Мы выдвинули гипотезу о том, что сознание направляет движение внимания, и представили себе следующий образ алгоритма сознательного зрительного восприятия



    Как мог бы работать такой алгоритм?


    Важные понятия


    Мы ввели определения двух понятий для нашего алгоритма: признак и обобщение.

    Что такое признак, проще всего проиллюстрировать вышеприведенным изображением дамы с кошкой.

    Возьмем какую-либо область изображения и посчитаем ее интегральные характеристики, например, размер области (в случае круга это будет ее диаметр), среднюю цветность, яркость, контрастность и фрактальную размерность.

    Теперь в некотором направлении и на некотором расстоянии выберем другую область изображения и посчитаем ее интегральные характеристики.

    Теперь посчитаем относительные изменения перехода из первой области во вторую, чтобы избавиться от абсолютных значений и не зависеть от изменений масштаба, поворота, сдвига, общей освещенности или тональности изображения. Обычные аффинные преобразования при этом так же позволяют избавиться от изменения перспективы плоскости изображения.

    Такой переход мы и назовем признаком.



    Далее, связывая такие признаки в цепочки мы будем получать обобщения признаков.

    Вот такое, несколько вольное, но определение ключевых понятий предлагаемого подхода.

    Я хочу, чтобы картинка ожила!


    Хорошо, но пока здесь нет направленного движения внимания. Если мы случайным образом будем формировать такие цепочки из переходов, наша база данных будет безмерной и отличить в ней что-то полезное от хлама будет решительно невозможно.

    Поэтому мы определяем еще несколько понятий.



    Ключевое понятие — это опыт. Совокупность ранжированных по значимости (частоте подтверждений) обобщений.
    При этом, каждый раз в окрестности текущего направления внимания мы определяем актуальный контекст обобщений — тех, что бы уже подтверждены и все еще не опровергнуты.

    Этот актуальный контекст обобщений так же ранжирован по вероятности наиболее ожидаемых признаков в потоке.

    Центральным элементом алгоритма является текущий ожидаемый признак, который мы можем проверить. Переход из текущей области (фокуса внимания) в область задаваемую ожидаемым переходом направляет систему к расчету характеристик в определенной области и сравнению их с ожидаемыми.

    Если признак подтверждается, мы получаем из актуального контекста следующий ожидаемый признак.
    Если признак не подтверждается, мы формируем новое обобщение и убираем из актуального контекста обобщения, которые не подтвердились.

    Что делать, если контекст пуст или полностью подтвержден и нет новых ожидаемых признаков?
    Мы предполагаем, что естественное сознание в данной ситуации исследует окрестности того, что уже известно, но еще мало исследовано. То есть внимание переключается к тому, что регулярно оказывается в актуальном контексте, но уровень обобщения невысок (т.е. цепочки обобщений довольно коротки)

    Ну теперь-то мы приехали?


    Пока очень рано делать выводы о практической полезности предлагаемого подхода. Исследования только в самом начале.
    Первые эксперименты показали, что реализация алгоритма «в лоб», без особых оптимизаций, на C#, в одном потоке на одном ядре генерирует порядка 50 тысяч обобщений в секунду, при этом на миллион сгенерированных обобщений повторяются хотя бы раз меньше 1%, а подтверждаются более одного раза около 0.2%

    Довольно много вычислений выполняется «на всякий случай» и значительный объем базы занят еще неподтвержденными обобщения самых коротких цепочек из двух переходов (признаков).

    В ближайших планах формирование аттракторов поведения системы (движения внимания ИИ) на обучающих выборках, изучение их параметров и публикация результатов.
    Sense Cognition
    22,50
    Компания
    Поделиться публикацией

    Комментарии 19

      0
      Довольно таки интересно
        +7
        Идея неплохая, но очень уж сумбурно изложено. Больше деталей и конкретики, пожалуйста!
          0
          Нередко, детали и конкретика только увеличивают сумбур. Мы готовим статью, описывающую конкретный эксперимент. В ней будет определено, как конкретно реализуется общее хранилище опыта, текущий контекст, вычисление ожидаемого признака, способ его поиска и проверки, как в случае подтверждения и опровержения изменяется хранилище опыта и текущий контекст.

          Пока, чтобы немножко уменьшить сумбур, могу дать полезную метафору в отношении главной идеи алгоритма. На самостоятельную статью эта метафора не потянет, поэтому просто, в виде комментария.

          Можно сказать, что процесс мышления — бесконечен. Мышление в бесконечном цикле совершенствует представления о внешнем мире. При этом мы совершаем, по сути дела, управляемый бесконечный перебор возможностей. Алгоритм отмечает, сколько ресурсов запланировано на очередной виток изучения некоторого пространства признаков, и когда изучение завершено, отмечает, сколько ресурсов израсходовано.Если же исследование не завершено, оно тоже прекращается, и указывается, что запланированные ресурсы исчерпаны.

          Далее, в какой-то момент, алгоритм может вернуться к неизученным представлениям, когда их значимость будет оцениваться выше и можно будет запланировать к исследованию больше ресурсов.

          То есть, коротко, мышление, это метод оптимизации ресурсов, направляющий перебор возможностей в каждый момент восприятия.
          +1
          Ммм. Мысли 1*1 что были в «Об интеллекте» Хокинса. Вроде как он на этих мыслях даже пару неплохих нейросетей построил, но я не вкапывался глубоко.
            +1
            Да, работы Хоккинза весьма повлияли на наши работы. По сути, наша методика очень сходна с временной моделью. При этом, мы, практически, не затрагиваем пространственную модель. Это связано с тем, что мы считаем временные шаблоны достаточные для распознавания чего угодно и не находим исключений, когда потребовались бы пространственные шаблоны. Тем не менее, в периферийном восприятии пространственные шаблоны могут быть полезны, но и их работа сильно оптимизируется шаблонами временными.

            Таким образом, наша основная гипотеза заключена в том, что сознание, которое мы определяем как направленность и причинность движения внимания целиком реализуется на иерархии временных паттернов. Правда реализация паттернов у нас заметно отличается от реализации Хоккинза в HTM. Мы не используем совсем колоночные модели, у нас работает база данных обобщений, в каждый момент направляющая внимание во вполне определенном направлении.

            То есть ядро системы направляет все периферийные подсистемы в активном режиме.
            При этом, единственное, что делают периферийные системы — это отвечают ядру системы результатами, полученными в направлении, указанном ядром. Мы планируем в будущем реализовать так же систему прерываний ядра значимыми событиями от периферийных систем.

            Работы Хоккинза и его исследователей очень ценны тем, что он огромное внимание уделяет нейрофизиологии.

            Еще на наши исследования очень появлияли работы Андрея Редозубова (см. aboutbrain.ru)

            Хоть мы и не вдаемся в объяснение всего спектра психологических явлений, а фокусируемся на движении внимания и причинах этого движения, эти объяснения весьма мотивируют к построению полноценного сильного ИИ на основе всего двух базовых эмоций (приятного и неприятного).

            Правда, в своей теории мы используем три базовых оценки каждого представления — приятное, неприятное и никакое (нейтральное). Разница в них, с нашей точки зрения в том, что приятное и неприятное являются барьерными событиями (т.е. сознание на их основе возникает тогда, когда в периферийном восприятии возникает значимое событие, которое привлекает внимание), а нейтральное обнаруживается лишь прямым направлением внимания в некоторую область периферийного восприятия.

            Вот простой пример. Человек воспринимает множество ощущений. Например, вес одежды или волос на голове. Но они обычно не достигают сознания. Человек может сознательно направить внимание на ощущение веса одежды или волос. Это и будет нейтрально окрашенное ощущение.
            Но так же, эти ощущения могут привлечь внимание, если они приятные (кто-то гладит по голове, или ветер шевелит волосы и одежду) или неприятные (раздражение, повышенная чувствительность или, например, волосы что-то зацепило и тянет).

            Есть степень изменчивости в восприятии, которое преодолевает фильтр восприятия. То есть, небольшие изменения человек сознательно не воспринимает (не уделяет им внимания), но как только порог небольших изменений преодолен, внимание привлекается к этому. Причем, если изменения длительное время остаются выше порога, происходит корректировка уровня порога, чтобы освободить внимание от зацикленности в отдельной области периферийного восприятия.
              0
              Да, спасибо, мы следим за работами Андрея Редозубова уже много лет.
              Но нам в них не хватает исследований в области причин и механизмов возникновения не просто фокуса направленного внимания, но последовательностей (программ) движения этого фокуса.
              0
              Очень поверхностно. Надо либо глубже — Cortical Learning Algorithm, Hierarchical Temporal Memory Джеффа Хокинса, либо уходить в дискрипторы, изучения секад глаз итд — OpenCV. Это как-то на стыке получилось.
                0
                > секад глаз
                саккад?
                  0
                  Секкад!
                    0
                    А может всетаки Саккады — быстрые, строго согласованные движения глаз, происходящие одновременно и в одном направлении

                      0
                      Да, они самые.
                  0
                  Наша задача, сама по себе, заключена в оптимизации существующих средств технического восприятия. Мы называем свое направление исследований — распознаванием смысла, sense cognition

                  Мы, прежде всего, исследуем, как психика порождает внутренний язык мышления (на который потом накладываются языки внешние, коммуникативные).
                    +1
                    А почему вы уверены, что именно психика порождает внутренний язык мышления, а не наоборот?

                    Однажды еще будучи студентом в университете, я собрал небольшую симуляцию. В ней был ограниченный, но довольно просторный двухмерный мир. 3 объекта — трава, зайцы, волки. У каждого свое время жизни и несколько доступных им действий. И примитивные нейро-контроллеры для подвижных агентов — животных.

                    Изначально нейро-контроллеры абсолютно равновесны, а действия животных полностью рассчитываются механикой мира, как внешней средой. Животное лишь получает сообщение о том что случилось — на свои органы чувств. И их восприятие определяет изменение некоторых параметров. Действия улучшающие одни параметры и понижающие другие, приносящие пользу — закрепляются как позитивный опыт, а вредящие — как негативный) плюс еще пара тонкостей)

                    Задача, которую я себе поставил — определить, что именно требуется агентам для самостоятельного формирования поведенческих реакций. Что требуется волкам, чтобы сформировать представление о стае. Что требуется зайцам, чтобы как-то научиться предупреждать друг-друга о приближающихся волках или скоплении еды, хотя-бы по-принципу «я вижу что 2-3-5...N зайцев бежит куда-то, значит мне туда-же».

                    Я долго мучился с нейро-сетями, я добавлял туда генетические алгоритмы для мутации поколений, я отказался от простых нейро-сетей, и попытался построить что-то наподобие псевдо-биологического мозга, для которого генетические алгоритмы не изменяют положение узлов нейро-контроллера, а удаляют наименее используемые и добавляют новые узлы, выбираемые по некоторым критериям жизни родителей. Узлы, определяющие поведение особей.

                    И тем не менее все было бестолку) Зайцы то хавали волков, то пытались с ними спариться, а волки от такого пугались и начинали жрать траву. А порой рождались мутанты, которые вообще вносили полный абсурд в симуляцию) Это еще тогда натолкнуло меня на мысль, что, выражаясь вашими терминами — внутренний язык мышления предшествует психике, а вовсе не наоборот) Потому что стадное мышление — это весьма конкретное проявление психики, в то время как внутренний язык мышления достаточно индивидуален))
                      0
                      Ваши эксперименты довольно любопытны, и выводы достойны внимания. Частично я соглашусь с Вами, частично нет.

                      Тут вот какой момент. Психика направляется прошлым опытом (внутренним языком мышления) каждый момент сознания. И старается этот опыт улучшить, оптимизировать.

                      Глубина обобщений этого самого внутреннего языка такова, что начиная с некоторого уровня образуются представления о персонажах, действующих в ситуациях. И тогда возникает обратная связь в виде представления о себе как о персонаже, который может делать то, что делают другие персонажи (т.е. подражать им).

                      И вот в этом смысле, разумный детеныш уже обладает в значительной степени сложившимся внутренним языком мышления.

                      Однако, если в отдельном экземпляре психика опирается на уже сложившийся во многом внутренний язык, то в целом, эволюционно, мы можем выявить, что этот внутренний язык все-таки есть результат работы психики. Просто во множестве поколений экземпляров.

                      Мы себе тоже ставим задачу — определить, что требуется агентам для самостоятельного формирования поведенческих реакций.
                      Более того, именно ввиду этой задачи использование нейросетей было признано в целом скорее усложняющим решение, чем полезным и исследования были сфокусированы на изучении того, что представляет собой фокус внимания, как и почему он перемещается.
                        0
                        Не согласен с утверждением, что психика направляется прошлым опытом.

                        gordon0030.narod.ru/archive/20608/index.html — на меня в свое время сильно повлияла вот эта передача Гордона — выпуск, «Эгоизм и альтруизм нейрона».

                        В частности, мысль о том, что: «Активность нейрона, как и поведение организма, является не реакцией, а средством изменения соотношения со средой, «действием», которое обусловливает устранение несоответствия между его «потребностями» и микросредой, в частности за счет изменений кровотока, метаболического притока от глиальных клеток и активности других нейронов.»

                        И что «Разряды нейрона — не реакция на полученный синаптический приток, а активность, направленная в будущее».

                        И еще вот эта беседа из того же выпуска — ralimurad.narod.ru/lib/gordon/neuron/index.html

                        Узнав это, я покопался в нейробиологии получше, и выяснил что далеко не все поведение людей и животных реактивно. Фактически оно вообще не реактивно — оно всегда предрезультатно.

                        Поэтому считаю, что прошлый опыт лежит как-раз уже в самих поведенческих нюансах, в то время как психика и поведение направляются, условно, «будущим (предстоящим, ожидаемым) опытом».

                        И тогда знание — это своего рода разница, между ожидаемым опытом и фактически полученным. И именно такие знания становятся тем, что вы называете внутренним языком мышления.
                          0
                          Забыл ответить сразу, исправляюсь для новых читателей. «Прошлый опыт» он в том числе — генетический. Ваши цитаты и ссылки лишь подтверждают концепцию адаптации опыта в цикле психики (я не рассматриваю единицу психики как нейрон, только как информацию: различие и обобщение)
                  0
                  Иными словами, пока кот не прыгал на кактус, он знать не знал ощущение боли от впивающихся иголок. в его внутреннем мышлении кактус еще ничем не отличается от других растений, и это формирует определенную психику — поведение, по-отношению к кактусу.

                  Прыгнув же на кактус, кот познал боль и страх)) которые помогли закрепить в его внутреннем мышлении новое знание — разницу, между ожидаемым и полученным опытом. И на основе этого, меняется и психика кота — он начинает ненавидеть кактусы)))

                  P.S: При проведении мысленного эксперимента ни кот, ни кактус серьезно не пострадали! xDDD
                    0
                    Генетический опыт все же у кота есть, и он разворачивается как знание новое, но все же обусловленное. А в остальном — все так, хороший мысленный эксперимент :)

                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                  Самое читаемое