Сравнение мозга с нейронной сетью



    Можно встретить много критических замечаний о том, что биологический мозг или биологические нейронные сети работают совершенно не так как ныне популярные компьютерные нейронные сети. К подобным замечаниям прибегают различные специалисты, как со стороны биологов, нейрофизиологов так и со стороны специалистов по компьютерным наукам и машинному обучению, но при этом очень мало конкретных замечаний и предложений. В этой статье мы попытаемся провести анализ этой проблемы и выявить частные различия между работой биологической и компьютерной нейронной сетью, и предложить пути улучшения компьютерных нейронных сетей которые приблизят их работу к биологическому аналогу.


    Граница знаний


    Прежде я хочу пояснить, почему, по моему мнению, в вопросе создания сильного искусственного интеллекта до сих пор всё так печально, не смотря на грандиозные успехи в компьютерных науках и знаниях о биологическом мозге. Прежде всего, это связано с большой идеологической пропастью между этими двумя столпами науки. Компьютерные науки требуют некой схематичной простоты, строгости и лаконичности в описании систем, некого системного подхода, в отбрасывании лишнего и чёткой структуризации достаточной для оформления в программном коде. В биологии же главенствует подробность описания наблюдаемых систем, ничто не может быть отброшено или проигнорировано из наблюдений. В описываемые системы должны быть включены все наблюдаемые факты. Поэтому биологам сложно применять системный подход к своим обширным знаниям для создания алгоритмов мозга. Ведь чтобы создать конструктив самолёта потребовалось очень многое пересмотреть и отбросить из образа птицы.

    С другой стороны легко понять учёных и инженеров, которые при погружении в изучение компьютерных нейронных сетей из описания принципов работы мозга довольствуются коротким абзацем текста о нейроне, который с помощью синапсов на дендритах «слушает» другие нейроны и по единичному аксону передаёт результат вычислений суммации по слою дальше, не применяя к этим знаниям никакой критической оценки. Даже нейробиологи применяют формальный нейрон Маккаллока — Питтса при описаний принципов работы биологического нейрона, но делают они это по другой причине, по причине того что нет достойных альтернатив, нет в биологии чёткого описания того что делает нейрон, какую логику он выполняет, несмотря на обширные знания о нём.

    Если кто-то попробует провести реинжиниринг работы мозга, то встретит целый пласт накопленных противоречивых знаний, разобраться в которых фактически не хватит жизни даже биолога, не говоря уже о системном инженере который привычен к более другой форме знаний. Работать с таким объёмом информации возможно только через призму некой общей теории работы мозга, которой пока нет.

    Человечество обладает технологиями колоссальных вычислительных мощностей и гигантским объёмом знаний о мозге, но не может получить синтез этих вещей. Давайте же попытаемся решить эту проблему и сотрём эту границу знаний.

    Мозг это должно быть просто


    Первый очень важный принцип, которым следует руководствоваться – это идея того, что мозг должен работать по неким очень простым правилам, т.е. все когнитивные процессы какими бы сложными они не казались, основаны на простых базовых принципах. Это отличается от того, что мы привыкли слышать о мозге. Длительное отсутствие общей теории работы мозга породило множество спекуляций на тему того, что мозг — некий непостижимо сложный объект, или природа его работы выходит далеко за рамки тех научных методов изучения, которые к нему применяют. К примеру, сравнивают мозг с квантовым компьютером, или незаслуженно приписывают отдельным нейронам свойства сложных вычислителей, что вкупе с их количеством в нервной системе делают требования к вычислительным мощностям для моделирования мозга не достижимыми.

    На мой взгляд, ученых, которые высказываются о том, что Человечеству никогда не постичь сложность человеческого мозга нужно лишать научных степеней, подобные высказывания только могут подрывать боевой дух людей которые захотят посвятить себя решению этой проблемы.

    Так что же свидетельствует в пользу простоты работы мозга? Здесь я приведу совершенно парадоксальный пример. Если взять виноградную улитку и подвести электроды к одному нейрону её крупного ганглия, согласно всем требованиям, которые применяются к подобным экспериментам, то мы сможем получить график активности отдельного нейрона, и попытаемся проанализировать его, то получим очень сложный характер его активности. Даже если учтём характер инвазивности нашего эксперимента, то что наши электроды приносят улитки серьёзные повреждения и ограничение её жизнедеятельности, то характер активности нейрона всё равно выглядит очень сложным. Мы увидим и спонтанную активность, и изменение в количестве и частоте спайков с течением времени. Многие учёные бьются над объяснением этого сложного поведения нейрона на протяжении уже долгого времени, ища какую-либо закономерность в этом.

    Эти факты делают нейрон неким сложным вычислителем, работающим по сложному алгоритму. Учитывая, что таких нейронов в нервной системе улитки насчитывается около 20 тысяч, то можно сказать, что вычислительная мощь нервной системы рядовой улитки сопоставима с мейнфреймом. Я думаю это должно вселить в Вас трепет перед этими животными. Но давайте посмотрим, насколько сложно поведение улиток. Улитка – это некий биологический автомат, да у него существует некая степень вариативности поведения, но она очень мала. Это набор безусловных рефлексов, зачастую очень простых, которые можно объяснить уже имеющимися знаниями о нейронах, синапсах и рефлекторных актах и здесь не будет места сложным вычислениям.

    В подтверждение выше изложенного хочу сделать отсылку к моей прошлой статье, в которой описывается модель головастика лягушки, в которой благодаря нервной системе из нескольких десятков нейронов можно получить достаточно сложное поведение водоплавающего существа. Причём из очень простых нейронов, модель которых основана на известных в науке фактах.


    Так откуда берётся это сложное поведение нейрона, и зачем их такое большое количество? Здесь на самом деле одно вытекает из другого. В природе существует парадоксальное явление, которое можно назвать парадоксом эффективности нейрона. Оно заключается в том, что с увеличением и усложнением нервной системы эффективность или роль отдельного нейрона в этой системе падает.

    image

    Если мы проанализируем нервную систему кольчатого червя c.elegans, животного, чей коннектом из 301 нейрона полностью составлен, то увидим, что не только отдельные нейроны важны в правильной работе его нервной системы, но и имеют значения даже отдельные синапсы. То есть мы можем присвоить отдельному нейрону кольчатого червя 100% эффективности. Если рассматривать с этой точки зрения нервную систему человека, то сложно присвоить нейронам значимое значение эффективности которые можно вынести ломиком из черепной коробки, при этом сохранив жизнедеятельность человека и даже его социальную интеграцию, ну почти сохранив.*

    *отсылка к очень известному случаю Финеаса Гейджа

    Регулярно можно увидеть статьи, в которых описывается случаи, где люди, живущие полноценной жизнью и социально адаптивны, вдруг обнаруживают, что их мозг лишён каких-либо областей или долей. Не удивительно, что такие факты порождают идеи того, что дело вовсе не в нейронах, да и вообще не в мозге.

    Если наблюдать за активностью здорового мозга, то мы не увидим никаких лишних нейронов, каждый нейрон будет задействован, в разной степени, конечно, каждому будет присвоена своя роль. Как это делает мозг, какой должен быть алгоритм нейрона, чтобы это происходило, при низкой эффективности нейрона, я поясню ниже.

    Парадокс эффективности нейрона можно объяснить тем, что при увеличении количества нейронов в нервной системе уменьшается «внимание» процессов эволюции к отдельным нейронам. Поэтому нейроны кольчатого червя, можно выразиться, работают как часы, очень точно, нейроны же виноградной улитки и Человека такой точностью похвастаться не могут, в их работе можно увидеть и спонтанную активность так и отсутствие ответа там, где он должен быть, так и его нестабильность.

    Итак, на сложную активность нейрона можно представить две теории: нейрон – это сложный вычислитель, алгоритм работы которого сложно понять и обосновать, либо нейрон просто работает очень нестабильно, что компенсируется его избыточным количеством, что является самым простым решением с точки зрения эволюции. Примените к этим теориям правило бритвы Оккама, согласно которой нужно оставить идеи которые имеют самое простое объяснение и вероятнее всего эти идеи будут верными.

    С одной стороны парадокс эффективности нейрона даёт нам позитивную надежду, что необходимых вычислительных мощностей для моделирования мозга потребуется значительно меньше, чем при прямой оценке по количеству нейронов и синапсов в мозге человека. С другой стороны это очень сильно усложняет изучение биологического мозга. Мы можем создать достаточно подробную модель небольшого фрагмента коры мозга, затратив большие вычислительные мощности и в этой модели не увидеть каких-либо значимых процессов, которые указывали бы на то, как протекают когнитивные механизмы в нервной системе. Такие попытки уже проводились.

    На первый взгляд самый простой и прямолинейный подход в создании общей теории работы мозга – это создание подробной модели мозга, в соответствии с множеством научных фактов известных о нейроне и синапсах. Моделирование – это самый практичный научный инструмент в изучении каких-либо сложных систем. Модель буквально раскрывает суть изучаемого объекта, позволяет погружаться и влиять на внутренние процессы, протекающие в моделируемой системе, давая возможность их глубже понимать.

    У нейрона нет никаких исключительных органелл, которые производили бы вычисления, но его мембрана имеет ряд особенностей, и позволяют выполнять нейрону определённую работу. Это работу можно определить с помощью системы уравнений называемой моделью Ходжкина-Хаксли, которая была разработана в 1952 году, за что её авторы получили нобелевскую премию.



    Эти формулы содержат несколько коэффициентов определяющих некоторые параметры мембраны нейрона, такие как скорость реакции ионных каналов, их проводимость и т.д. Эта волшебная модель описывает сразу несколько явлений, помимо изменения заряда на поверхности мембраны нейрона. Во-первых, она описывает функцию активации нейрона, или механизм суммации, он достаточно прост. Если исходный заряд недостаточен, то модель остаётся в равновесном состоянии. Если заряд переходит через определённый порог, то модель отвечает одним спайком. Если заряд в значительной степени превышает данный порог, то модель отвечает серией спайков. В компьютерных нейронных сетях используется большое разнообразие вариантов функции активации, самые близкое к биологии может являться функция Хевисайда (единичная ступенька) и линейный выпрямитель (Rectifier). Но нужно понимать, что мы описываем достаточно простой аспект работы нейрона – суммацию. В своей работе над головастиком, упомянутой выше, я применил очень простой вариант модели суммации, который образно можно представить в виде сосуда накапливающего в себе фактор побудительного воздействия, если этот фактор превышал определённый порог, то нейрон активизировался. Чтобы этот сумматор работал в реальном времени, из образного сосуда фактор воздействия медленно истекал.



    Эта модель суммации позволяла производить суммацию сигналов, которые приходили на нейрон асинхронно, и она достаточно реалистично работает. На мой взгляд, чем проще описывать этот процесс, тем лучше, и это непринципиальное отличие биологических и компьютерных сетей.
    Во-вторых, модель Ходжкина-Хаксли описывает изменение заряда в одной точке мембраны, но если мы, к примеру, создадим топологически точную 3D модель нейрона и разобьём эту модель на равномерную сетку, мы сможем применить модель Ходжкина-Хаксли в каждой вершине (узле) этой сетки, с условием влияния заряда на значение в соседних вершинах по сетке. Тем самым мы получим модель распространения возбуждения по нейрону близко к тому, как это происходит в живом нейроне.

    Главные выводы, которые можно сделать из этой модели, это то, что возбуждение, возникнув на любом участке мембраны, распространяется на всю мембрану, в том числе распространяется по длинному аксону к самым удалённым синапсам. Модель Ходжкина-Хаксли очень ресурсозатратна поэтому для целей моделирования используют менее затратные модели с очень схожими графиками, таких придумано несколько моделей.

    В рамках проекта Human Brain Project (HBP) была создана модель небольшого фрагмента коры мозга мыши, её создатели учли очень многое. 3D модели нейронов были воссозданы по реальным нейронам, использовался один из вариантов моделей Ходжкина-Хаксли, учитывались различные типы нейронов и нейромедиаторов, и нет сомнений в том, что модель действительно соответствует биологическому аналогу. На это потрачено множество ресурсов и времени, но так и не дало значимых результатов по причине того, что в столь малом размере из-за парадокса эффективности нейрона невозможно было увидеть значимых процессов. Поэтому путь подробного повторения биологии является очень и очень трудоёмким. Залог успеха это возможность понимания того как работает нервная ткань и нейроны в более широком масштабе.

    Давайте рассмотрим то как мозг обрабатывает информацию на частном примере, на обработке зрительной информации. Мы составим схему нейронной сети выполняющей эту задачу.



    Информация с сетчатки глаза по зрительному нерву передаётся в таламус, там информация практически не подвергается значимым преобразованиям. Далее она передается в первичную зрительную зону коры головного мозга (V1). В коре головного мозга выделяют шесть слоёв, но эти слои по гистологическим или морфологическим признакам. Вероятно, здесь мы имеем дело с двумя слоями, так как некоторые структуры повторяются дважды. Но и при этом мы имеем дело скорее не с двумя отдельными самостоятельными слоями, слоями нервных клеток работающих в тандеме.

    Охарактеризуем зону зрительной коры V1 как первый слой, в котором происходит обработка информации. Зона V1 также имеет обратные связи с таламусом. Подобные обратные связи имеются и между всеми последующими слоями. Эти связи формируют циклические передачи возбуждения между слоями называемыми реверберациями.

    После зоны V1 информация передаётся в следующую зону V2, все последующие зоны будут иметь меньшие площади. В зависимости от того, что наблюдает мозг, был это объект, символ, лицо человека, место или что-то другое информация из V2 может передаваться в различные области V3, V4, V5. То есть уже на этой зрительной области V2 происходит серьёзная категоризация зрительных образов. И примерно уже на третьем или четвёртом слое можно будет выделить нейроны-детекторы определённых образов. К примеру, мы сможем выделить нейрон-детектор буквы «А», цифры 3 или лица Дженнифер Энистон. По активации этих нейронов-детекторов мы сможем судить об том, что в данный момент наблюдает мозг. Достаточно простая архитектура нейронной сети, если сравнить её с архитектурой компьютерных нейронных сетей специализированных на распознавании визуальных образов, свёрточных нейронных сетей.


    AlexNet

    Есть схожие моменты, это иерархия свёрточных слоёв, каждый последующий слой будет иметь всё меньшее количество параметров. Но у слоёв данного типа компьютерных сетей нет рекуррентных связей, конечно, их наличие не является критерием для успешного распознавания образов, так как природа ревербераций в живом мозге до конца не изучена. Есть гипотеза, что реверберации связаны с явлением моментальной памяти, той памяти, которая позволяет нам, к примеру, не сбиться при наборе номера телефона или его произношении. Реверберирующая активность как бы задерживается, обозначая участки, по которым проходит эта активность, тем самым создается контекст обрабатываемой информации.

    Человек может распознать сложные образы за доли секунд, скорость распространения потенциала действия по мембране от 1 до 120 м/с, синаптическая задержка в химических синапсах составляет 0,2-0,5мс, что говорит о том, что за время распознавания может задействоваться цепочка не более чем ста нейронов.

    Вышеописанное говорит о том, что в нашей черепной коробке присутствует нейронная сеть, работающая быстрее и эффективнее любой компьютерной нейронной сети, при этом организованна она относительно просто, выполняющая не сложные преобразования информации. Понимание этого и подстрекает производить поиск алгоритма сети, который бы выполнял задачу распознавания образов с применением значительно меньших вычислительных ресурсов, чем современные нейронные сети.

    Формальный нейрон


    Ещё со школьных лет меня волновала идея создания искусственного интеллекта, свои интерес я удовлетворял изучением литературы по нейрофизиологии, и об искусственных нейронных сетях я ничего не знал. С нейронными сетями я познакомился позже, будучи уже студентом. Знакомство с формальным нейроном Маккалока-Питса, который является основой для всех современных нейронных сетей меня озадачило и разочаровало, из-за большого акцента на дендритных синапсах.



    Формальный нейрон Маккалока-Питса можно представить как некую функцию с множеством аргументов и одним ответом. Аргументы-входы преумножаются с соответствующими коэффициентами, называемыми весами (W1, W2,… Wn), затем эти значения складываются и полученная сумма проходит через активационную функцию, результат которой и является результатом вычислений нейрона. Главное это правильно подобрать веса, то есть обучить нейронную сеть. Эта модель нейрона может показаться простой и очевидной, но в ней сильный акцент на дендритных синапсах.

    В химическом синапсе можно выделить две важные части: это пресинапс и постсинапс. Пресинапсы расположены на концах длинного единичного отростка аксона, который может многократно разветвляться. Пресинапс представлен в виде небольшого уплотнения на кончиках, он относится к нейрону, который передаёт возбуждение. Постсинапсы расположены на коротких ветвистых отростках дендритах, они принадлежат нейрону, которому передается возбуждение.



    В пресинапсе расположены везикулы, пузырьки с порциями вещества нейромедиатора. Именно в пресинапсах прежде была выявлена неравнозначность синапсов, пресинапсы различаются по количеству порций нейромедиатора хранящегося в нем, а также по количеству выделяемого нейромедиатора при его активации. Вес или силу пресинапса обозначим буквой S.

    На поверхности мембраны постсинапса расположены рецепторы, которые реагируют на нейромедиатор. Количество этих рецепторов определяет, то насколько синапс будет чувствителен. То есть постсинапс также можно охарактеризовать некоторой характеристикой, весом. Обозначим этот вес буквой A. Конечно, можно эти два параметра представить как один W, определяющий силу всего синапса, но эти параметры при обучении должны настраиваться по-разному и они относятся всё-таки к разным нейронам.



    Такое представление нейрона более реалистичное, но при этом оно сильно усложняется, так как теперь предстоит понять, как настраивать все эти параметры при обучении.

    Хочу представить мою версию того по какому алгоритму происходит изменения в постсинапсах, то есть дендритных синапсах. Он основан на том, что биологическому нейрону требуется поддержание определённого уровня активности. Дело в том, что нейрон как клетка очень ресурсозатратна для организма, он не может самостоятельно питаться, за него это делаю клетки-спутники, глии. Поэтому если нейрон по каким-то причинам не выполняет своих функций, то лучший вариант это избавиться от него в целях эффективности всего организма. При длительном отсутствии активаций в нейроне может запуститься процесс апоптоза, этот процесс активно поддерживают клетки-спутники, буквально разрывая и растаскивая нейрон на части. Поэтому чтобы выжить нейрону в условиях недостаточного источника активаций приходится развивать ветви дендритов, увеличивать чувствительность синапсов на дендритах и иногда даже мигрировать в другие участки (это происходит крайне редко и в определённых условиях), ну или производить спонтанную активность. Об этом свидетельствуют, к примеру, зрительные или слуховые галлюцинации у людей, чьи органы зрения или слуха подвергнуты депривации, или деградации вследствие старения. Об этом подробней пишет Оливер Сакс в своей книге «Человек, который принял свою жену за шляпу».

    Оливер Сакс о галлюцинациях


    Подвижные нейроны


    С другой стороны, чрезмерная активность нейрона также может привести к его гибели. Активность нейрона — это очень сложный процесс, который требует чёткого выполнения множества механизмов, и любой сбой их выполнения приведёт к фатальным последствиям для всей клетки. Если источники активности избыточны, то нейроны начинают процесс деградации некоторых ветвей дендритов и снижения чувствительности своих постсинапсов. Таким образом, нейрон пытается найти некий баланс, в уровне своей активности, регулируя дендритные синапсы. Нейрон, выступающий как самостоятельный агент, действующий в своих интересах, обеспечивает удивительную адаптивность и пластичность всего мозга. Несмотря на парадокс эффективности нейрона, здоровый мозг работает очень слажено, и каждый нейрон играет свою роль. Нейроны зрительных зон коры головного мозга слепых людей благодаря этому механизму будут вовлечены в другие нервные процессы, не связанные с обработкой зрительных образов. А избыточность в количестве нервных клеток делает нервную систему очень надёжной и при повреждении некоторых участков нервной ткани, нейроны могу взять на себя функции и роли потерянных клеток.

    Исходя из этой версии, дендритным синапсам отводится роль, влияющая на адаптивные качества всей нервной системы, а не какие-то логические функции которые и определяют когнитивные процессы.

    Для изменений в пресинапсах синапсов аксона уже существует алгоритм, так называемое правило Хебба.
    Если аксон клетки А находится достаточно близко, чтобы возбуждать клетку B, и неоднократно или постоянно принимает участие в ее возбуждении, то наблюдается некоторый процесс роста или метаболических изменений в одной или обеих клетках, ведущий к увеличению эффективности А, как одной из клеток возбуждающих В.
    Hebb, D. O. The organization
    of behavior: a neuropsychological theory. New York (2002) (Оригинальное издание — 1949) (спасибо)

    Привожу здесь полный текст правила Хебба потому, что существует его множество трактовок, меняющих его смысловое значение.

    Как видим, акцент отводится нейрону, который передаёт возбуждение, то есть на синапсах аксона, а не дендритных синапсах принимающего нейрона. Пресинапс и постсинапс безусловно влияют друг на друга. К примеру, при дефиците активаций нейрон прежде будет увеличивать чувствительность того постсинапса, который чаще используется. А в случае необходимости снижения уровня активации будут прежде деградировать те постсинапсы, которые использовались реже всего. Это связано с важностью сохранения логики научения при адаптивных процессах.

    Если мы хотим создавать искусственную нейронную сеть, то можно пренебречь адаптивными механизмами, всё-таки биологические системы более требовательны к экономии ресурсов каждым элементом, нежели искусственные модели.

    Получается, что в основу компьютерных нейронных сетей положена модель нейрона, у которой акценты расставлены наоборот, нежели чем у биологического нейрона. Поэтому и не стоит рассчитывать на качественный результат в развитии этого направления. Но понимая эти проблемы, можно изменить ситуацию, нужно перестроить концепцию нейронных сетей заново, пересмотреть ее, заложив верный фундамент.

    Анализ и Синтез


    Нейрофизиология это молодая еще не зрелая наука, в ней нет ещё строгих фундаментальных законов подобно законам в физике, хоть в ней присутствуют большое количество теорий и фактов. Мне кажется, такими законами могут являться постулаты и принципы рефлекторной теории Ивана Петровича Павлова. Их можно сравнивать с законами Ньютона в физике. При создании новых теорий в нейрофизиологии мы должны задаваться вопросами: как в рамках нашей теории происходят и формируются рефлексы, а также как проявляются процессы синтеза и анализа.

    Анализ и синтез требуют отдельного внимания. Эти понятия кажутся очень абстрактными, но это конкретные процессы которые протекают в нервной системе. И.П. Павлов считал, что анализ и синтез непрерывно протекают в коре головного мозга. Эти процессы являются базой для когнитивной деятельности. Я попытаюсь доступно донести, что это за процессы, это очень важно для того, чтобы воссоздать когнитивные процессы в нейронных сетях.

    Синтез – это механизм объединения, обобщения различных признаков в один образ или действие.



    Пример из экспериментов И.П. Павлова:
    Специально подготовленному модельному животному – собаке, изолированной от иных внешних раздражителей и обездвиженной (заневоленой) при кормлении включают звук метронома, который ранее для неё был индифферентен, безразличен. После нескольких таких сочетаний у собаки выработается условный рефлекс, то есть на звук только метронома у модельного животного может вырабатываться желудочный сок, как при кормлении.

    Анализ – это механизм выделения, ранжирования (предания рангов, значимости) каждого признака из ограниченного набора признаков.



    Пример из работ И.П. Павлова:
    Ранее обученному модельному животному, у которого сформирован условный рефлекс на звук метронома выработка желудочного сока, меняют условия эксперимента, теперь животные получает пищу при звуке метронома 120 ударов в минуту, а при звуке 160 ударов в минуту не будут подкреплять ничем. Сначала выученный пищевой условный рефлекс срабатывал на оба звука метронома, но стечением множества повторений, причём значительно большего количества раз, чем при эксперименте с синтезом. Собака начинает различать эти два очень сходных раздражителя и перестает реагировать на звук метронома с частотой, которая не подкреплялась.

    Давайте качественно сравним эти два когнитивных процесса.

    Синтез – это относительно быстрый механизм потому, что требует малого количества примеров, в свою очередь, Анализу требуется значительно больших повторений. Синтез может протекать в некоторой пассивной форме, то есть здесь главное одновременное сочетание раздражителей или признаков, чтобы их можно было объединить. Для Анализа всегда требуется эмоциональное подкрепление или некая обратная связь, которая будет определять, каким признакам повысить или понизить важность, ранг. Синтез всегда предшествует Анализу, то есть признаки должны сначала быть объедены в группу, внутри которой уже может производиться ранжирование (процесс анализа).

    Анализ всегда приводит к сокращению количества ошибок, так как придаёт данным дополнительную информативность: ранги или значимость отдельных признаков. Чистый Синтез создаёт множество ошибок, так как приводит к снижению информативности исходных данных, объединив, обобщив их в единые группы.

    Теперь вооружившись пониманием этих процессов, проанализируем компьютерные нейронные сети на их наличие.

    Обратное распространение ошибки – это чистый Анализ, это процесс ранжирования входов нейронов по результатам работы всей нейронной сети. Синтеза как механизма в нейронных сетях нет. У каждого нейрона изначально уже сформирована группа входов, эта группа никак не меняется в процессе научения по принципу Синтеза. Может возникнуть ложное представление присутствия Синтеза в нейронных сетях благодаря их возможности классификации данных, но это результат работы механизма Анализа над данными. Синтез это способность обобщения, слияния данных, а не объединения в группы по общим признакам.

    Как следствие, высокой способности к обобщению, которая свойственна человеческому интеллекту, так сильно не хватает компьютерным нейронным сетям, и это компенсируется необходимостью использовать большое количество примеров при обучении.

    Надо понимать, что у алгоритмов, в которых присутствует акцент на Анализе, всё равно будет существовать преимущество в определённых задачах. К примеру, в задаче поиска закономерностей в большом количестве данных, или распознавании лиц из миллионной базы с современными нейронными сетями не сравнится уже никакой алгоритм. Но в задаче, где требуется применять опыт, полученный на небольшом количестве примеров в различных и разнообразных ситуациях, к примеру, задача автопилота, то здесь требуются другие новые алгоритмы, основанные на Синтезе и Анализе, подобно тому, как это происходит в мозге.

    Вместо заключения


    То, чем я занимаюсь – это поиск новых алгоритмов, это создание моделей, основанных на вышеизложенных принципах. Я вдохновляюсь изучением биологического мозга. Этот путь проходит через череду неудач и заблуждений, но с каждой новой моделью я получаю ценный опыт и становлюсь ближе к своей цели. В будущем я постараюсь поделиться некоторым своим опытом на примере разбора конкретных моделей. Разберем, как на практике я применяю свои знания о нервной системе.



    Сейчас я поставил себе задачу создать алгоритм нейронной сети, которая сможет различать рукописные цифры из стандартного набора MNIST, причём при обучении должно использоваться не более 1000 примеров и предъявлений. Результат я буду считать удовлетворительным при хотя бы 5% ошибке. Я уверен это возможно потому, что наш мозг делает нечто подобное. Напоминаю, что MNIST содержит 6000 примеров обучения, которые для настройки нейронной сети могут предъявлять по несколько десятков раз.

    С тех пор, как я стал писать о своих идеях и работе на хабре – гиктаймс, ко мне стали обращаться люди с похожими идеями и стремлениями, люди для кого мои статьи оказались вдохновляющими на собственные изыскания. На меня это также оказывает положительный мотивирующий фактор. Сейчас время возможностей, когда необязательно быть академиком или деятелем науки, чтобы создавать новые технологии или решать фундаментальные задачи. Один из таких искателей, как и я, Николай — он самостоятельно создаёт некую платформу для моделирования нервной системы простейшего животного, проект «Дафния». Проект открыт, и желающие могут подключиться.
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 179

      0
      Задача мозга — координировать жизненные процессы с целью выживания в окружающей среде средствами, которыми располагает тот или иной организм. Закусывая же пирожными, пытаться понять его очевидно простые алгоритмы бесперспективно. За это «нужно лишать научных степеней», ибо это «подрывает боевой дух» улитки.
        +7

        Мозг человека (и вообще кого угодно) получен в результате проверки жизнеспособности гугола экспериментальных организмов, которые конкурируют за ограниченные ресурсы. Цена ошибки — жизнь. Поэтому каждый мозг по сути — стечение обстоятельств, во многом случайно выросшее дерево связей, с фиксацией успехов (т.е. архитектуры) в днк.


        Странно анализировать и эмулировать алгоритм биологического нейрона, но полностью игнорировать биологические алгоритмы его возникновения и организации взаимодействия с другими нейронами, ограничивая себя какой-то одной архитектурой сети.


        Хотите получить мозг, хотя бы такой же мощный как у улитки — перебирать варианты архитектур "устанет рука", ну а тупая аналогия с существующими в природе вариантами, как вы верно заметили, смысла не имеет.


        Поэтому придется изобрести такую же конкурентную среду для проверки наилучших решений (искусственную жизнь, то бишь). Получается что ИНС — мало, нужны еще ГА и мощность для экспериментов, примерно такая же, какую дает солнце. И вот тогда, после гугола моделей...


        Можно взять для экспериментов, ну скажем Венеру, заселить туда наноботов, которые будут конкурировать за энергию, и подождать, поиграть так сказать в Бога (глядя на РНК у меня, например, складывается подозрение, что мы все на Земле получились именно так, но наши создатели до нас похоже не дожили). Но вот вопрос — ЗАЧЕМ ЭТО? Кроме как "жить" и "умирать" эти боты ничего больше уметь не будут (полезного нам).


        Существующий же путь — частные решения частных задач частными архитектурами намного продуктивнее и эффективнее. И вряд ли этот путь похож на биологический, т.к. ему не нужно быть таким универсальным. Он, как мне кажется, довольно далек от идей вашей статьи. Даже пример который вы взяли за основу — он частный. Маленькая подзадача. Ей не нужна биология для решения, вполне хватит банальной инжерении с математикой. А от биологии нужны лишь общие идеи. Самолеты — не птицы, точная копия птицы — это был бы очень плохой самолет.

          +2
          Если нет понимания «идеи», то действительно перебирать замучаешься.
          Кстати отсутствие понимание и приводит к проблемам и трудностям обучения нейронных сетей.
          С моей точки зрения это выглядит как написание современного ПО (ну или генерации цифровых схем) используя цикл случайных изменений текста, компиляции и анализа близости результата к требуемому на наборе различных исходных данных. При огромных затратах вычислительных ресурсов, это возможно (для простых программ), но легче посадить понимающего концепцию программирования человека.
            0

            В точку.

            +1
            Существующий же путь — частные решения частных задач частными архитектурами намного продуктивнее и эффективнее.
            Кто-то недавно на какой-то конференции высказался по этому поводу так. Пересказываю не дословно.

            Если вам надо достать что-то с высокой полки, то следует взять стремянку, а не строить ракету. Но если цель — добраться до Луны, то тысячи и миллионы стремянок (ака «частные решения частных задач частными архитектурами») бесполезны.

            Маленькая подзадача. Ей не нужна биология для решения
            «Маленькие» и частные задачи не конечная цель. Чтобы долететь до Луны, нужно начинать с постройки маленьких ракет, даже если уже есть высокие и удобные стремянки.
            На мой взгляд всё наоборот, и маленькими задачами являются занятия постройки стремянок (пусть даже с превосходным финансированием), они всего лишь временный период с частным (хоть сейчас и с широким и иногда эффективным) применением.
              +1
              Любая аналогия есть ложь.
              В жизни бывает так, что череда частных решений в итоге приводит к общей теории. Я бы сказал что обычно так и бывает, ибо тяжело строить сразу общую теорию, если не на что опереться.
                0
                Пока что за более полвека эти частные решения ни во что значимое не сложились — как не было, так и нет ни теории мозга, ни тем более теории сознания. До искуственного разума по прежнему как пешком до Луны. И к сожалению, никто практически общей теорией и не занимается, так как всё финансирование идёт на частные решения бизнес задач.
                  +1

                  Просто чтобы решать любую задачу нужно иметь ее четкую постановку. До Луны — это задача. А искусственный разум — это что? Ответы на все вопросы? Готово — google. Бешеные затраты на обработку чего-то? Готово — bitcoin. Распознавание "как у человека" и даже лучше? Готово — сверточные нейросети. Быть суперполиглотом — машина Больцмана. Играть в Go — AlphaGo. И т.д.


                  Если не будет постановки в подобном ключе, то известно, что в итоге получится: 42. Мне кажется, что топикстартер имеет как раз где-то такой вектор исследований. И будет обидно когда получится именно 42.


                  Я уже делал такое. ИНС+ГА как раз. 5 лет потратил. И мне было больно и обидно, но ровно до того момента, пока не была сформулирована четкая постановка задачи. Ответ всегда в ней, а не в идеях. Идеи — средство, а не цель. Запилить нейроны как в голове — это идея. Без четкой задачи — пустая трата времени. Уж поверьте ;)


                  P.S. А финансирование — это вообще ничего не гарантирует (боюсь, что даже ничего не значит). Оно нужно для кластера, это да. Но не определит пути исследований. Пути определит постановка задачи. И да, тест Тьюринга на эту роль не годится.

                    0
                    Ок, как решается задача Reinforcement Learning?
                    Вот список сред:
                    github.com/openai/gym/wiki/Table-of-environments
                    Нужен единый алгоритм, который… Допустим, у него на train выборке одна половина сред, на test выборке другая, и надо научиться проходить тестовые среды хотя бы на уровне человека. То есть, скажем, за десять партий в каждую из игр выбивать не меньше очков, чем человек, который эту игру видит в первый раз
                      0

                      Единым алгоритмом — долго. Дорого. Как именно — не знаю. А вот по отдельности — просто, дешево, и понятно как.

                        0
                        Судя по моим данным, сейчас такого решения просто нет. Либо есть как чистая теория, требующая нереалистичного числа вычислений. А мотивация сделать такую систему есть.
                        Так что… Вот чёткая цель, и всё ещё не готово

                        По отдельности сама суть теряется. В описанной системе главное именно то, что её бросают в ситуацию, а она как-то выплывает, при том, что видит эту ситуацию впервые. Оттуда и требование универсальности — система должна решать ту проблему, с которой ещё не сталкивалась, но которую можно выразить в терминах обучения с подкреплением
                          0

                          Бесспорно.

                          0

                          И добавлю. Смотря какого человека вы возьмете. Если только что родившегося — то он ничего не выиграет, если взрослого — то обучаемая модель должна примерно столько же жизненного опыта получить. Недостижимо технически в общем виде.

                            0
                            Взрослого… Да, придётся как-то опыт добывать, но его можно добывать в виртуальной реальности. Ну и… Если ИИ будет обучаться, скажем, 3 года реального времени, это не кажется плохой ценой. Если есть какая-то уверенность, что он реально обучится и будет работать именно так, как надо

                            Даже такого решения пока что нет
                              0

                              Лично я думаю, что ИИ — это база данных моделей наблюдаемого мира. Ассоциативный поиск этих моделей в базе похож на решение вашей задачи. Смешение результатов ассоциативной машиной еще больше похоже. Но начинать нужно все равно с моделей. Чем их больше, тем сильнее ИИ. Но он все равно не будет сильным. Человек кроме этих задач еще вагон решает от дыхания и равновесия до языка. Вот язык — это и есть определение сильного ИИ. До этого как до небес.

                                0
                                Что такое ИИ — это вопрос определения.
                                Есть люди, занимающиеся разработкой ИИ именно в смысле «машины результатов». Как яндекс-навигатор: в неё заряжаешь цель, а она последовательность поворотов выдаёт. А так как маршрут слишком огромный и из слишком мелких шагов и будет много перестраиваться по ходу дела, то ИИ выдаёт его сразу на исполнительные органы.

                                База прогнозных моделей реальности плюс механика, позволяющая на лету строить свои модели из алгоритмически полного пространства, плюс планировщик — это уже был бы ИИ в смысле «машины результатов». Получится ли он «сильным» — вопрос терминологии. Если под «сильным» мы подразумеваем «похож на человека» или «обладает квалиа», то наверное, нет. Если же подразумеваем «может достигать любых корректно поставленных целей (в терминах максимизации наград, например), со скоростью/экономностью как у человека», то не вижу причин, почему нет. А вы видите?

                                Да, здесь есть волшебные слова про умение строить модели, а нынешний ML… Некоторые задачи решать не умеет. Хотя они имеют решение.
                                  0

                                  Мое понимание сильного ИИ от wiki не отличается. Ключевым, как я написал выше, считаю наличие языка, как инструмента сохранения и передачи знений. Люди от животных по сути только этим и отличаются.

                                    0

                                    Системы связи есть у многих видов. Чем так примечателен человеческий язык?
                                    И почему именно язык с такими особенностями является необходимым для решения прикладных задач? Допустим, мы делаем ИИ, где на всех агентов единая синхронизированная память, то есть связь реализована не через язык. Люди так не могут. Какие задачи, уверенно решаемые человечеством/отдельным человеком такой ИИ принципиально не сможет решить?

                                      0

                                      На планете инженерить что-то пока умеем только мы. Причем сначала нас нужно учить. Для этого нужен язык. У машин он вполне может быть свой, но он должен быть.

                                        0
                                        Я согласен, что инженерить могут только люди. Ну, то есть явно лучше других видов инженерят. Я согласен, что люди не смогли бы инженерить, не имея языка.

                                        Но что у машин должен быть именно язык… Я вижу, что без какого-то способа накапливать кучу опыта им не обойтись (инженерить как люди не смогут).
                                        Вы под языком подразумеваете именно любой способ реализации этого «общего опыта», пусть даже он будет захардкожен и по логике похож на распределённый RAID-массив или довольно сложную систему связи как у людей/китов/врановых/шимпанзе? Если вы полагаете второй вариант, то можете обосновать?

                                        И я согласен, что задачи вида «получить от человека то-то и то-то» часто проще решать, умея в языки, но с остальными задачами — не факт
                                          0

                                          Под языком я понимаю систему реализации гипотез моделей мира с возможностью их накопления и трансляции между отдельными машинами. Кроме того мы думаем именно на своем языке, все наши гипотезы и обсуждения на нем. Форма при этом при наверное не играет. Файлы с кодом софта или весов ИНС на raid — вполне, почему нет. Наверное важно, чтобы код и веса были изменяемыми. "Жили". Но технически до этого ещё настолько далеко, что все утверждения теряют смысл из-за невозможности эксперимента. Т.е. ненаучны.

                                            0
                                            Ну…
                                            То, что вы описали, делается как раз технически довольно просто. Я сейчас обучаю нескольких ботов одной игре. Или это один бот в виде множества инкарнаций. У них всех единая база опыта, единая гипотеза мира. Они все вместе пишут в базу, кроме того, иногда они пересчитывают модель мира в хранилище и иногда они скачивают из хранилища последнюю версию модели.
                                            Да, у меня физически все эти агенты на одной машине, но если бы было несколько машин и настоящее облачное хранилище — суть бы не изменилась.
                                            Но само по себе это не делает ИИ сильным, потому что человек его всё ещё обыгрывает
                                              0

                                              Конечно. Это необходимое условие, но недостаточное. Когда боты начнут "думать" в этих терминах и спорить друг с другом, без внешнего управления, экспоненциально наращивая число моделей мира — дайте знать ;)

                                                0
                                                Мне кажется, то, что вы предлагаете, получается весьма тривиально и больших преимуществ не даёт… Поправьте, пожалуйста, если я не прав.

                                                «Когда боты начнут „думать“ в этих терминах» — они «думают» в терминах приходящих им на вход векторов и максимальной ожидаемой полезности. И чуть-чуть в терминах исследования мира. В базе как раз лежат эти вектора. Боты думают «в этих» терминах или нет?)
                                                Спорить друг с другом — а в чём ценность? Один из ботов берёт все данные и выводит наилучшую возможную картину мира. Наилучшую, какую позволяют его (уродские и несовершенные, зато быстрые) инструменты. Потом, когда срабатывает таймер, он удаляет модель и считает с нуля — на уже увеличенном наборе данных. Можно убрать таймер и пересчитывать модель каждую секунду, но будут лаги. Можно сделать модель, которая включает в себя множество гипотез, и даёт на выходе усреднённый результат по всем гипотезам.
                                                А в чём смысл споров между агентами? Если бы люди могли вот так просто обменяться опытом, построить модели и явным образом посчитать их качество — я не вижу, о чём они могли бы спорить.
                                                «Ну-ка, склеим датасеты… О, моя модель даёт Mean_Squared_Error=0.1 на валидационной подвыборке, а твоя 0.05. Ну, ок, беру твою. А если построить новую модель по обоим датасетам? MSE=0.03. Ну ок, беру её.»
                                                «Экспонентциально наращивать число моделей мира» — ну есть у меня система, которая построена принципиально на мультимодели. Строит кучу гипотез, 99% из них выкидывает на помойку, от остальных рассчитывает «вероятность быть наилучшей моделью». На выходе даёт взвешенное среднее (За какое время упадёт мячик? По теории Эйнштейна за 10 секунд, по Ньютону за 9, по квантмеху за 8.5. Ок, выдадём среднее: 9,17). Можно этот вид Machine Learning засунуть в тот мультиагентный ИИ, но… Что это принципиально изменит? Вообще, в чём смысл иметь много моделей, особенно — экспонентциально много? Существует формализм AIXI, который говорит, что если перебрать все возможные модели (коих бесконечно), измерить их «вероятность быть наилучшим описанием мира» взять выходные данные этих моделей и взять их взвешенную сумму, то это будет наилучший возможный прогноз. Тут проблема в том, что много моделей — это много процессорных ресурсов. Если я возьму вот это: github.com/Kilorad/aixi_booster, затем выкручу пару циферок в бесконечность, у меня будет сколько угодно моделей мира. Только смысл так делать, всё равно никакой комп это не потянет. Не лучше ли генерить не кучу моделей, а несколько по-настоящему хороших?
                                                  0

                                                  Из известных способов получения реально сильного ИИ на данный момент в природе известен только один, тот что получился на человеке — вот я из этого и исхожу. Если мне был бы известен другой рецепт построения сильного ИИ, то я уже его бы использовал, не сомневайтесь.


                                                  А ваш вопрос можно переформулировать так, что лучше — много пробовать обучать разных людей и разному, или всего несколько, но реально предельно умному, точному, нужному и важному. Я думаю, что второй путь возможно и даст быстрый результат, но мало отличается от обычного ИИ, современного и узкоспециализированного, он неустойчив без внешних сил, а значит приведет к вырождению интеллекта. Даже искусственного. И вот, мы плавно переходим к первому посту этой ветки. С Венерой, наноботами и миллионами лет эволюции.

                                                    0
                                                    А ваш вопрос можно переформулировать так, что лучше — много пробовать обучать разных людей и разному, или всего несколько, но реально предельно умному, точному, нужному и важному.
                                                    — не совсем. Если мы строим модель мира, мы можем посчитать её качество. Тут же. Есть нюансы, но в подавляющем большинстве случаев мы можем сказать «эта модель получше, а эта похуже». Модель мира — это прогнозная функция, в неё подаётся текущее наблюдение (или ряд наблюдений), а возвращает она следующий «кадр», цепочку «кадров» или суммарное значение функции полезности за следующие N кадров.
                                                    У нас нет способа гарантированно находить очень хорошую модель, но есть способ делать сказать, какая модель лучше, причём даже эксперимент для этого не всегда нужен.
                                                    И тот вариант, что я описываю — это скорее «взять одного человека и обучить его всему, и модель у него пусть будет одна». Или несколько чуть-чуть разных моделей.

                                                    Да, это идейно совпадает тем, как сейчас делают ИИ (в смысле машины достижения целей в заранее неизвестной среде).
                                                    Можете раскрыть, почему, по-вашему, современные reinforcement learning неустойчивы и узкоспециализированы? Я правильно понимаю, что вы в курсе основных архитектур и DQN, Policy Gradient и Model Based вы в целом понимаете?
                                                    Просто разные люди говорят разное: кто-то говорит, проблема на уровне некоторых RL-архитектур, кто-то — что на уровне низового ML (нейронки, грубо говоря, отстойные), кто-то — что у нас плохая постановка задачи, и «машина результатов» чем-то плоха.
                                                      0

                                                      RL — это тема, да, слежу, да нравится, но мы же тут немного про другое. Вопрос поиска хороших моделей в частности и построения ИИ в целом он скорее философский, чем технический. Интенсивно — да, можно искать модели на основе математики. И да, они будут найдены, но что? Частные случаи решения конкретных задач. Экстенсивно же можно нагенерировать максимально возможное нейро- или даже моделе-разообразие. Пространство поиска вырастет неимоверно, но и покрытие пространства поиска тоже вырастет так же. Давайте на примере — RL в целом от начала до конца определяется все-таки данными для обучения, а подкрепление дает лишь близость модели к наблюдаемому объекту, но не "угадывание заранее". Т.е. это сугубо техническая система — автомат. Сильный ИИ же подразумевает как бы два мира, реальный и модельный. Редкие (далеко не все) модели будут близки к миру реальному. Систему построившую (даже придумавшую) такую модель нужно пустить на следующий уровень познания, а иные отсеять. И вот тут самый сложный момент. Если нечего будет осеивать, то теряется, или сужается разнообразие решений. Эйнштейн построил СТО без данных по сути. Тысячи физиков пытались сделать то же самое. Повезло (и это ключевое слово) именно ему. Это повторяется. Всегда. Десятки тысяч народа нейронками занимались. Но у Лекуна взлетело чуть лучше и чуть раньше. Поэтому интеллект это все-таки игра. В ней должно быть много проигравших и мало выигравших, переходящих на следующий уровень. Если вы следите за идеей, то это момент получения знания, что имхо и есть сильный ИИ. Или даже просто любой интеллект. А далее все о чем мы говорили выше. Язык для передачи и фильтрации, тест Тьюринга как частная проверка, что это именно интеллект, и т. д.

                                                        0
                                                        Наверное, надо пару слов сказать о том, почему я так привязался именно к RL.
                                                        Я читаю статью о том, что ИИ может (теоретически) решать инженерные задачи лучше человека. Отлично, надо заняться. Делаю пару опытов в генетическим программированием — да, правда, за день получаю программу, с которой до этого возился… Долго. Дальше думаю: если мне нужен ИИ, как ставить ему задачи? Я же не могу с ним поговорить — он как эволюция, как градиентный спуск, он не как человек. Тут же появляются две идеи: либо явно задать ему цель/цели в терминах его сенсоров. Либо задать метрику качества и давать только сигнал подкрепления. Вариант с подкреплением показался мне наиболее универсальным (хотя как я теперь вижу, он недостаточно информативен и плохо влияет на sample-efficiency).
                                                        Поэтому я считаю, что если мы делаем ИИ для практических нужд и ожидаем, что он будет проворачивать какие-то хитрые планы, то этот ИИ можно описать в терминах RL.

                                                        Давайте на примере — RL в целом от начала до конца определяется все-таки данными для обучения, а подкрепление дает лишь близость модели к наблюдаемому объекту, но не «угадывание заранее».
                                                        — вы имеете в виду, что RL приниципиально плох в экстраполяции? То есть если у нас в датасете есть x=1, x=2, x=3, то RL плохо посчитает y для x=5? Я видел такую проблему у нейронок и деревьев. Но у каких-то моделей такой проблемы нет — у линейной регрессии, например, у символьной регрессии. Или это какая-то особенная проблема именно для RL?

                                                        Систему построившую (даже придумавшую) такую модель нужно пустить на следующий уровень познания, а иные отсеять. И вот тут самый сложный момент. Если нечего будет осеивать, то теряется, или сужается разнообразие решений
                                                        — можете пояснить на примере? Вот у меня есть штука, которая генерит случайные алгоритмы. Она их генерит много, и некоторые алгоритмы выдают на выходе что-то похожее на то, выглядят Y в датасете. Допустим, система сгенерила 10000 рандомных моделей, из них у 10 оказалась ошибка меньше некоторого порога, то есть они как бы адекватные. Ииии что дальше? Кого пустить на следующий уровень познания в такой ситуации и как бы это выглядело?
                                                        Или так. Мы берём весь наш датасет и строим модели. Символьные регрессии (10000 отстоя, 10 нормальных), бустинги (100 отстоя, 100 относительно нормальных), нейросети (50 отстоя, 2 нормальных). И какие дальнейшие действия?

                                                        Или вы имеете ввиду, что надо иметь как бы разные пространства поиска (линейки, бустинги, нейронки, knn-ки, символьные регрессии, может быть, все эти штуки иметь в разными настройками) и сделать, чтобы ИИ тестировал, какое из пространств поиска выдаёт больше всего точных моделей, а потом использовать именно это пространство для дальнейшего поиска моделей?
                                                          0

                                                          Я имею ввиду что линейки, бустинги, нейронки, knn-ки, символьные регрессии — это десятки, или максимум сотни видов моделей. А нужно чтобы их были миллиарды. Видов моделей, а не просто их параметров. В том числе и неизвестные нам сейчас. Ибо никто из нас не знает какой вариант верный в универсальности решаемых задач. Это реально похоже на жизнь. Технически сейчас — сильный ИИ просто утопия. Как если бы обезьяна человека изобретала. Но мы то от них все-таки произошли. И разница не потрясающая в количестве нейронов. Но в качестве — потрясающая. У нас модели мира лучше. Гибче. Точнее. И их больше на порядки.


                                                          Отвечая на вторую часть вопроса про ииии, что дальше. Дальше удачная модель, нет… не так, удачный генератор удачной модели, должен самовоспроизводиться с мутацией. ГА. У меня был fail с этим. Но кто-то когда-то нащупает, нас же миллиарды на планете, и это ключ.

                                                            0
                                                            Окей, есть пространство моделей, которое точно полное, полнее человечеству неизвестно (судя по моим данным). Это пространство алгоритмов, которые крутятся в бесконечном цикле и принимают-выдают какие-то данные. Цикл — это расширяющее требование, при наличии цикла от него можно отказаться.
                                                            В этом множестве точно есть все модели ML, которые люди применяли.
                                                            Ну короче множество всех программ.
                                                            И есть тезис Тьюринга-Чёрча, кажется, что если мы будем генерить код на, скажем, ассемблере, то мы можем воспроизвести любую логику, что может быть выражена на Си или на Питоне.
                                                            Так что у нас есть множество всех моделей — я именно это называл символьной регрессией. Что дальше? Ну вот взяли мы перебор с парой эвристик и нашли несколько годных моделей — и кучу негодных.
                                                            И как дальше будет работать ваша логика насчёт вот этого:
                                                            Систему построившую (даже придумавшую) такую модель нужно пустить на следующий уровень познания, а иные отсеять. И вот тут самый сложный момент. Если нечего будет осеивать, то теряется, или сужается разнообразие решений.

                                                            ?

                                                            У нас модели мира лучше. Гибче. Точнее. И их больше на порядки.
                                                            — может быть… А может, у нас поисковые эвристики лучше, и мы лучше умеем выдёргивать нужные модели из пространства всех моделей. Или ещё что-то, что не сводится напрямую к различиям в пространстве поиска. Но да, в итоге это выглядит так, что конечные модели у людей лучше

                                                            Вообще, вам интересно обсуждать со мной тему сильного ИИ?) Есть вариант перейти в личку, а то и созвониться. Мне кажется, вы довольно глубоко вникли в тему, я тоже довольно много думал/экспериментировал/читал умные книжки. Может оказаться продуктивно
                                                              0

                                                              Спасибо, но я боюсь, что ничего нового вам не сообщу. Если внимательно посмотреть все мои посты в ветке, то все они сводятся к первому посту, с небольшими вариациями. Включая этот.


                                                              Механизм валидации моделей должен иметь какие-то последствия. Для живых организмов это выживаемость. Один организм формирует, хранит и пробует миллионы моделей и умирает, чтобы попробовать другой их набор в потомках. Если для ботов сделать то же самое, то наверное пропадает смысл. От AI все ожидают бесконечный рост сложности системы знаний, а убивая бота и начиная каждый раз сначала легко теряется достигнутый прогресс. Что предложить взамен смерти бота — то даже тут у меня идей нет, не говоря о более тонких моментах реализации.


                                                              С учётом того, что вид модели — это инструмент, то снова приходим к вопросу постановки задачи. В вашей формулировке — решить вот этот пул примеров. В моей — выжить в любой предложенной среде. Отличий немного, но выжить это постоянный reset, если жизнь это один эксперимент, то дорого получается. Ресурсов не хватит.


                                                              Я не вижу пока тут выхода, и видел эту проблему на своем примере выше ИНС+ГА. Закончилось просто исчерпанием выч. ресурсов. Не решив даже такую простую задачу не вижу перспективы браться за более сложную. Нужно что-то вместо смерти бота. Что-то не приводящее в тупик. Что — вопрос открыт.

                                          0
                                          И не просто язык, а язык как орудие, т.е материальное средство воздействия или преобразования состояния объекта, как знак например. И тогда язык становится подобен руке или другому органу взаимодействия со средой. См Пиаже Ж. «Усвоение ребенком математических объектов и операций над ними»
                                        0

                                        У животных вообще-то тоже сильный И.

                                          0

                                          Конечно. Но тест Тьюринга не проходят.

                                            0

                                            Люди, которые не знают язык, на котором задаются вопросы, тоже не пройдут.


                                            Тест Тьюринга по своему принципу направлен не на определение сильного интеллекта, а на отличие человека от машины, он изначально человеко-ориентирован.

                                              0

                                              Предложите свой вариант ;).


                                              Сильного ИИ нет. Каким он будет — неизвестно. Но пилить его будем именно мы. Поэтому, он более вероятно будет подобен нам, чем скажем дельфинам. А раз так, то "чисто" пройденный тест Тьюринга был бы огромным достижением. Тест не мой, он Тьюринга. Но я с Тьюрингом согласен.
                                              Что касается ремарки о языке, то это уже софистика. Добавьте переводчика.

                                                0

                                                Да вариантов-то можно много придумать, самый простой из которых — заменить вопросы и ответы отладчиком. Просто надо знать, что смотреть. Тест Тьюринга это косвенная попытка узнать, какие понятия и их взаимосвязи есть у машины, а отладчик прямая. Вариант без отладчика тоже давно существует и применяется при обучении людей, называется "расскажите своими словами".


                                                Добавьте переводчика.

                                                А если человек немой или глухой? Некоторые обезьяны умеют общаться языком жестов например. Собаки знают команду "Голос". Дело-то не в этом, а как раз в том, что у животных сильный интеллект, а пройти тест Тьюринга они не смогут, значит это не показатель. Животные не смогут его пройти потому что языка не знают, а не потому что не могут решать интеллектуальные задачи. Просто язык это слишком сложная интеллектуальная задача для них. А распознавание образов или управление 4 лапами достаточно простая.

                                                  0
                                                  Мне не очень нравится вариант с тестом Тьюринга, потому что он завязан на человека.

                                                  Я бы предложил своим вариантом прохождение кучи задач вида «достигни цели такой-то в виртуальном мире таком-то», при условии, что ИИ не знаком с этим виртуальным миром, а мы откуда-то знаем, что задача в принципе решаема, даже с учётом этого незнания.
                                                  Задачки такого типа: пройти уровень из Doom, припарковать машину, добыть алмазы в Minecraft, собрать максимально скоростной автомобиль в инженерном симуляторе, выиграть в Цивилизацию.

                                                  Преимущество такого подхода — в тесте нет людей. Тест можно гонять в цикле, его можно проводить быстро для множества ИИ, результатами этого теста проще мериться. Ошибки можно анализировать, можно их прогонять тысячи раз и убеждаться, что теперь-то ИИ может решить задачу данного класса.

                                                  Недостаток подхода — нет никаких гарантий, что такой ИИ сможет именно общаться с людьми, а это, кажется, довольно важная ступенька в решении многих задач.
                                                    0

                                                    Представьте, что мы встретили инопланетян. Как понять, что они разумны? Это все же будет, наверное, довольно близко к тесту Тьюринга. Мы будем пробовать общаться, и если не получится, то точно не будем считать их проявлением интеллекта.


                                                    Если сильный ИИ умеет играть в ЛЮБЫЕ игры лучше нас, но нас, придумавших эти игры не в состоянии понимать, то это как минимум странно. А скорее всего невозможно. Мы же понимаем как дрессировать животных, как с ними общаться. А они понимают нас. Вот и сильный ИИ должен нас так же понимать, а мы его.

                                                      0
                                                      Как понять, что они разумны? Это все же будет, наверное, довольно близко к тесту Тьюринга. Мы будем пробовать общаться, и если не получится, то точно не будем считать их проявлением интеллекта.

                                                      Нет. Вернее даже "Нет!". Ни в коем случае нельзя завязываться на тест Тьюринга для определения уровня интеллекта живых существ. Он придуман 70 лет назад для теоретического отличения человека от машины. Ни для чего другого он не задумывался, и использовать его для этого нельзя.


                                                      Представьте, что эти инопланетяне общаются мысленно, поэтому органов речи у них нет. Вы как эксперт дадите заключение "они не умеют говорить, у них интеллект как у наших животных", их посадят в зоопарки, а потом им на выручку прилетит штурмовой десант.


                                                      Собаки, обезьяны и дельфины тоже достаточно разумны, чтобы выполнять некоторые задачи. Более того, они даже понимают человеческую речь, различают слова, например команды "Сидеть/Лежать", просто сами говорить не могут. Проверять нужно распознавание окружающих объектов и процессов, а не уровень владения речью. Речь по своей природе это просто обозначение для распознанных объектов.

                                                        0

                                                        Ок. Как? Мы поняли что собака понимает команду. Это все? Ну тогда ИИ готов. Окей Гугл.

                                                          0

                                                          Конечно готов. Если вы сделаете нейросеть, которая будет управлять 4 лапами и запоминать команды на произвольном языке на уровне собаки, вы сделаете ИИ.


                                                          Про методы проверки я уже писал — отладчиком или "расскажите своими словами". Рассказ можно заменить косвенными проверками, например, если собака ловит брошенный мяч, значит она распознает этот мяч в окружающей среде, и необязательно ждать от нее фразы "я наблюдаю мяч, он летит туда".

                                                            0

                                                            Я с вами могу что-то обсудить. Т.е. у человека часть рефлекторного, но есть и систематизированное логическое мышление. На языке. С собакой я так обсудить что-то не могу, у нее в основном рефлекторное. Страх. Голод. Радость. С инопланетянином, если они общаются телепатически тоже не могу, но потому, что мне неизвестен их канал передачи информации, т.е. я языка не знаю, нужен переводчик на телепатический, а с собакой причина другая.


                                                            Если вы считаете, что двигать лапами и ловить мячик это все что нужно от ИИ, то я соглашаюсь, но этот ИИ не сильный. Сильный ИИ — это возможность генерации, и последующего обмена моделями и идеями. Тест Тьюринга — он для проверки возможности такого обмена, а не для проверки знания языка. Отладчик изначально подразумевает, что мы сильнее исследуемого ИИ. А было бы интересно получить хотя бы такой же по сложности, или выше человеческого. Если эта задача не стоит, то обсуждать нечего. ИИ готов. Это Boston Dynamics или просто банальный робот-пылесос.

                                                              0
                                                              Я с вами могу что-то обсудить. Т.е. у человека часть рефлекторного, но есть и систематизированное логическое мышление. На языке.

                                                              А с немым человеком не можете. Или с маленьким ребенком. По-вашему, у них интеллекта нет?


                                                              С собакой я так обсудить что-то не могу, у нее в основном рефлекторное.

                                                              Нет, это тоже потому что она вашего языка не знает, а вы ее. А на языке ее жестов она вполне может вас просить "пойдем гулять" или "давай поиграем". Это не рефлексы, это явное представление образов и целей, которые не наблюдаются в данный момент. Вполне можно представить какой-нибудь нейроинтерфейс, который будет озвучивать эти желания.


                                                              Если вы считаете, что двигать лапами и ловить мячик это все что нужно от ИИ

                                                              Нет, я сказал, что если вы сделаете нейросеть, которая этому обучится, это будет ИИ. Потому что там будут нужные принципы обучения. Если вы напишете программу специально для этого, то это конечно не будет ИИ. Она ведь не сама обучилась, а вы в нее эти знания заложили.


                                                              Тест Тьюринга — он для проверки возможности такого обмена

                                                              Нет, это плохой способ возможности такого обмена. Об этом говорит куча ботов, которые проходят этот тест в разных сорвенованиях.
                                                              Он был придуман когда еще не было таких машин. Это движение в правильном направлении, но его недостаточно. Нужно проверять анализ новой информации, а не просто вопросы и ответы, и делать это можно разными способами, а не только текстом.


                                                              Отладчик изначально подразумевает, что мы сильнее исследуемого ИИ.

                                                              Ничуть. Любой ИИ должен наблюдать как минимум те же объекты вокруг, что и мы. Если он натыкается на столбы, какой же он тогда сильный. "Сильный" ИИ не означает "сильнее человеческого", если мы сделаем аналогичный человеческому, это тоже будет сильный ИИ.

                                                              0
                                                              Если мы сделаем ИИ уровня собаки без возможности как-то улучшить, то он будет очень ограниченно выполнять задачи. Одна из важных мотиваций делать сильный ИИ — это сделать штуку, которая будет делать что-то, на что нам самим мозгов не хватает.
                                                              «ИИ, сделай мне звездолёт до Альфы Центавра»
                                                              «ИИ, вылечи вот этого человека от терминальной стадии рака»
                                                              «ИИ, заработай мне миллиард»
                                                              Как ИИ уровня собаки, по-вашему, поможет с решением задач такого уровня?
                                                                0
                                                                Если мы сделаем ИИ уровня собаки без возможности как-то улучшить

                                                                Суть в том, что это собаку мы не можем улучшить, а в случае ИИ у нас есть полный доступ ко всем информационным элементам. Можно добавить или изменить какой-то слой обработки. Если ИИ будет содержать принципы, которые позволят правильно распознавать объекты (в том числе мячик) и оптимально управлять лапами (а не шагать на месте, как в видео Boston Dynamics), то добавить к этому речь будет крайне несложно, речь ведь это просто звуковые обозначения наблюдаемых объектов.


                                                                Причина, по которой я говорю про лапы это то, что это почему-то сложная задача для существующих нейросетей, а значит в ней есть что-то, что мы не учитываем. Я предполагаю, что это тоже связано с объектами, а объект это нечто с состоянием и поведением, которое мы определяем как "одно и то же" в разные моменты времени. С определением "то же самое" у нейросетей тоже есть проблемы.

                                                                  0

                                                                  Если у вас этот ИИ будет на 95% чёрным ящиком, типа нейросети или AIXI или бустинг или любой другой большой модели ML, как вы будете прикручивать туда язык? Координацию, положим, мы можем "передрать", но язык?

                                                                    0

                                                                    У меня есть мнение, что если нейросети будут для нас черным ящиком, никакой ИИ мы не получим. Само по себе ничего не появляется.

                                                                      –1

                                                                      Вы идете в известный парадокс. Система не может сама себя полностью познать, так как ее ёмкость меньше ее же компонентов. Следовательно, даже если допустить, что получить более сильный, чем человек ИИ мы можем, то отлаживать его, увы, не получится. Тьюринг не есть хороший тест, он неполон, но лучше пока никто ничего не предложил. Попробуйте. Ваши позиции близки к савельевским, поэтому я вряд ли вас смогу переубедить в чем либо.


                                                                      Аргументация полемики пошла по третьему кругу, позиции сторон понятны, извините, но я пожалуй покидаю дискуссию.


                                                                      Было интересно, спасибо. Хоть и не очень продуктивно.

                                                                        0
                                                                        Следовательно, даже если допустить, что получить более сильный, чем человек ИИ мы можем, то отлаживать его, увы, не получится.

                                                                        Что может помешать отлаживать, видит ли ИИ столб или мячик? Это даже сейчас в нейросетях отлаживают. Неважно, насколько сильный ИИ, простые окружающие вещи он все равно будет наблюдать, на них и можно отлаживать.


                                                                        Тьюринг не есть хороший тест, он неполон, но лучше пока никто ничего не предложил. Попробуйте.

                                                                        Я уже 2 способа предложил — отладчик и расскажите своими словами. Сводятся они впрочем к одному и тому же, к отслеживанию объектов, физических или логических. Проблема всех текущих реализаций теста Тьюринга в том, что они проверяют просто знание каких-то вещей, а надо проверять анализ новой неизвестной ранее информации.


                                                                        Ваши позиции близки к савельевским

                                                                        Не знаю, кто такой Савельев и о чем он говорил.

                                                                          0
                                                                          Система не может сама себя полностью познать, так как ее ёмкость меньше ее же компонентов.

                                                                          Я не знаю, почему вы так решили, но это неправда. Условный миллион нейронов может вместить и понятие "миллион" и принцип действия одного нейрона. Компьютер может вмещать в себя полное устройство всех деталей компьютера и управлять процессом производства компьютеров. Хранить информацию о каждой молекуле или другом повторяющемся элементе конечно не получится, но это и не нужно.

                                                                            0

                                                                            Так решил вовсе не я. Ключевые идеи с позиции математика описаны тут https://elementy.ru/nauchno-populyarnaya_biblioteka/430319, но вообще это довольно известный парадокс.

                                                                              0

                                                                              Я понимаю, что вы где-то прочитали, а не сами выдумали, я просто намекнул на недостоверность этого источника, либо на ваше неправильное понимание. Пример с производством компьютеров опровергает тот смысл, который подразумеваете вы.


                                                                              Ошибка в рассуждениях по ссылке, которую вы привели, появляется в этом предложении:
                                                                              "Дело в том, что первые N битов Ω нельзя вычислить с помощью программы, которая была бы существенно короче N битов."


                                                                              Первоначально возможно вычислить и нельзя, но Ω там определяется таким образом, что может иметь любую последовательность битов, например все нули или чередование A нулей и B единиц. И вот когда часть числа уже вычислена, эти закономерности можно сжать, то есть вычислять более коротким алгоритмом. И начинать сжимать можно даже не вычисляя число до конца.


                                                                              При этом конечность объема информации, необходимой для описания интеллекта следует из конечного числа молекул, которые задают естественный интеллект. А из того, что в биологической системе с естественным интеллектом есть повторяющиеся элементы, следует сжимаемость этой информации.

                                                                                +2
                                                                                Мы правда можем сжимать данные или составлять теорию, которая будет иметь ограниченную точность. И тогда теория будет проще объекта.
                                                                                Но, насколько мне известно, это не очень помогает разбираться, что находится внутри модели ML.
                                                                                Вот допустим вызнаете топологию нейросети — она простая и понятная. Вы знаете, по какому закону меняются веса. Вы знаете, что у вас есть датасет, порождённый реальностью, размером в несколько гигов, и что нейросеть на этом датасете имеет такую-то точность. И что дальше? Вы можете, приложив некоторые усилия, найти, как в нейросети представлены какие-нибудь простые понятия вроде столба. Вы можете это понять через арифметику или анализом чёрного ящика — посмотреть, какие нейроны «загораются» в ответ на то, что вы называете столбом.
                                                                                Чем выше степень абстракции выбранного вами понятия, тем арифметика будет работать хуже — будет сложнее отследить цепочки вычислений.
                                                                                Например, у нас есть закольцованная нейросеть, управляющая роботом-носильщиком. И вы видите, что иногда робот зовёт других роботов для переноски чего-нибудь. Как вы узнаете, в каких случаях робот зовёт помощника? Если вы станете это исследовать методами статистики, вы увидите… Ну, например, что робот зовёт помощь, если груз тяжелее 90 кг. Это и есть истинное правило? Нет, правило с 30% вероятностью ошибается. Ок, улучшаем правило: есть ещё какие-то ограничения на размер груза, на форму, на материал, на какие-то факты из прошлого. С каждым новым правилом ваша модель того, что происходит в голове у робота, становится чуть точнее. А когда ваше правило будет весить пару мегабайт, вы достигните 100% точности. Только прочитать это правило глазами не получится — оно само будет сложным, как нейросеть. Оно не будет умещаться в памяти.
                                                                                Примерно так, по моему опыту, выглядит отладка нейросети/решающего дерева.
                                                                                Есть специализированные средства отладки свёрточных нейросетей, и они правда довольно хороши, но это очень частный случай.
                                                                                У вас есть методология, которая позволяла бы отлаживать что-нибудь типа закольцованной нейросети или автоматически сгенерённого низкоуровневого кода объёмом в сотни мегабайт?
                                                                                  0
                                                                                  Но, насколько мне известно, это не очень помогает разбираться, что находится внутри модели ML.

                                                                                  Да я вроде не утверждал обратного. Я отвечал на конкретное утверждение про емкость системы.


                                                                                  Нам сложно разбираться, что находится внутри модели ML, потому что мы не понимаем, что происходит на каждом шаге, что делает каждый конкретный элемент, и что надо поменять, чтобы работало как нам надо.


                                                                                  Чем выше степень абстракции выбранного вами понятия, тем арифметика будет работать хуже — будет сложнее отследить цепочки вычислений.

                                                                                  Вот я про это и говорю. Если у вас с повышением абстракции увеличивается уровень серости ящика, значит вы удаляетесь от получения ИИ и возможности им управлять. Что в общем-то сейчас и происходит, чем больше абстракции в задачах, тем хуже с ними справляется нейросеть.


                                                                                  Если вы станете это исследовать методами статистики, вы увидите… Ну, например, что робот зовёт помощь, если груз тяжелее 90 кг. Это и есть истинное правило? Нет, правило с 30% вероятностью ошибается. Ок, улучшаем правило
                                                                                  Примерно так, по моему опыту, выглядит отладка нейросети/решающего дерева.

                                                                                  Ну если продолжать делать ИИ теми же методами, которыми сейчас делаются нейросети, то так и будет, да.
                                                                                  А если мы понимаем, что происходит на каждом слое и умеем этим управлять, значит можно проследить в обратном направлении все связи, которые активируют данный нейрон на некотором слое, и найти назначение каждого нейрона, которые приводят к активации рассматриваемого.


                                                                                  Только прочитать это правило глазами не получится — оно само будет сложным, как нейросеть. Оно не будет умещаться в памяти.

                                                                                  Ну вы же можете описать словами, когда вы зовете помощников для переноски чего-нибудь. Значит это возможно. Если у нас не получается сделать это для робота, значит мы делаем что-то неправильно.


                                                                                  У вас есть методология, которая позволяла бы отлаживать что-нибудь типа закольцованной нейросети или автоматически сгенерённого низкоуровневого кода объёмом в сотни мегабайт?

                                                                                  У меня нет такой методологии, и как я сказал выше, я считаю, что она не нужна, потому что методом черного ящика сильный ИИ получить не удастся. Надо четко понимать, что происходит на каждом уровне и как этим управлять, тогда и отладчик можно написать, который эти данные будет представлять в наглядном виде. Так же как сетевые снифферы показывают назначение каждого байта в TCP пакете.

                                                                                    +1
                                                                                    Ну вы же можете описать словами, когда вы зовете помощников для переноски чего-нибудь. Значит это возможно.
                                                                                    — это возможно, потому что я буду говорить в высокоуровневых абстрактных терминах, и у других людей уже есть эти высокоуровневые абстрактные термины, и они довольно точно синхронизированы с моими. А вот попробуйте-ка написать правило, как на картинке различить кошку, да чтобы это правило имело не больше ошибок, чем у реального человека. Написать — в смысле, закодить.

                                                                                    Собственно, это главная проблема. Я не знаю, как можно делать ИИ без ML, а ML без чёрных ящиков. Но если у вас есть понимание, как повторить успехи computer vision без ML — то это другой вопрос
                                                                                      0
                                                                                      и у других людей уже есть эти высокоуровневые абстрактные термины

                                                                                      Вот и у сильного ИИ они должны быть.


                                                                                      А вот попробуйте-ка написать правило, как на картинке различить кошку

                                                                                      А зачем? Нам надо написать отладчик, который будет показывать, различает ли ИИ на картинке кошку. Это просто активность информационных элементов. Есть кошка — есть активность, нет кошки — нет активности.

                                                                                        0
                                                                                        Вот и у сильного ИИ они должны быть.
                                                                                        — все высокоуровневые абстракции, что есть в мозгу человека? Не то, чтобы этого нельзя сделать. Но это выглядит ощутимо сложнее, чем сделать просто ИИ, который достигает цели, даже сложной цели. У нас нет списка этих абстракций и нет их перевода на низкоуровневый язык.
                                                                                        И ещё эти абстракции существуют не в отрыве друг от друга, а как элементы языка, и эту логику тоже надо будет как-то вшивать в ИИ.
                                                                                        Может, так и можно, но выглядит очень трудно в реализации в сравнении с другими концепциями ИИ, и само по себе не решает другие проблемы ИИ (типа как сделать горизонт планирования побольше, планы похитрее, чтобы меньше данных надо было для обучения)
                                                                                          0
                                                                                          все высокоуровневые абстракции, что есть в мозгу человека?

                                                                                          Все высокоуровневые абстракции, которые ему нужны для выполнения задачи.


                                                                                          У нас нет списка этих абстракций и нет их перевода на низкоуровневый язык.

                                                                                          А зачем? Они появляются в процессе обучения ИИ, так же как при обучении человека.

                                                                                            0
                                                                                            Они появляются в процессе обучения ИИ, так же как при обучении человека.
                                                                                            — у человека довольно специфический процесс обучения. Вы в курсе, как учится ИИ? Например, как решается задача supervised learning, и какие там появляются абстракции. Как сделать, чтобы у ИИ не просто возникали абстракции, а возникали те же самые, что у человека… Есть понимание, как такое сделать?
                                                                                              0
                                                                                              Вы в курсе, как учится ИИ?

                                                                                              Да. И результаты довольно далеки от человеческих. Поэтому я и считаю, что методом черного ящика получить ИИ не получится.


                                                                                              Да и методы собственно неважны, важно чтобы в результате появились эти абстракции.

                                                                                                0
                                                                                                Да и методы собственно неважны, важно чтобы в результате появились эти абстракции.
                                                                                                — ну, пока что все известные методы, кроме хардкода к этому результату не приводят. Несколько тормозит тот факт, что с людьми нельзя общаться достаточно много и быстро, чтобы тестировать столько гипотез, сколько обычно есть у ML…
                                                                                  +1

                                                                                  michael_vostrikov, с теорией информации у вас совсем плохо, надо вам учиться. "Пример который опровергает" — прямо вишенка на торте. "недостоверность этого источника, либо на ваше неправильное понимание" меркнет на его фоне. Хотя может троллите? Если так — то не смешно и очень тупо.


                                                                                  Давайте я тоже в таком ключе побеседую. Любая последовательность битов является информацией. Любую, согласно вашей же гениальной идее, можно "сжать". Вы не читаете всякие там глупости, пошел он этот Гильберт, а знаете все сразу и сами. Ок, вперед — сожмите RAR. А потом сожмите его еще раз. И т. д. До одного бита. Все же возможно ))). Бред же чистейший. Надеюсь донёс. На примере, как вы любите.


                                                                                  Не нравится RAR — понимаю. Но то, что несжимаемые последовательности существуют надеюсь понятно? То что ИНС с точки зрения данных чистый random, надеюсь тоже понятно? Сожмите веса сети если слова rar и random вас смущают. А потом положите полученное в эту же сеть.


                                                                                  Если вы в школе теоремы доказывали, то наверняка знаете, что означает означает чтд. На этом откланиваюсь, ибо ваш ответ я уже знаю.

                                                                                    0
                                                                                    Любую, согласно вашей же гениальной идее, можно "сжать".

                                                                                    Предоставьте цитату, где я такое говорил, тогда продолжим. Спорить с вашими выдумками мне неинтересно.


                                                                                    Также можете попробовать доказать невозможность создания компьютера, который управляет производством таких же компьютеров, либо что оно не попадает под определение "Система не может сама себя полностью познать, так как ее ёмкость меньше ее же компонентов."


                                                                                    Прошу заметить, что я, в отличие от вас, на личности не переходил. Я говорил исключительно о логике высказываний.

                                                                                      0
                                                                                      Также можете попробовать доказать невозможность создания компьютера, который управляет производством таких же компьютеров, либо что оно не попадает под определение «Система не может сама себя полностью познать, так как ее ёмкость меньше ее же компонентов.»
                                                                                      — а где вы такой компьютер видели? Что конкретно находится внутри его моделей? Компьютер может делать другие компьютеры и без полного понимания, что там внутри. Полное понимание — это возможность предсказать каждый следующий кадр, то есть поднятая виртуалка. А иначе он не вполне знает, что там в памяти лежит, и как содержимое памяти меняется при исполнении кода.
                                                                                      Для практических нужд обычно хватает и частичной, упрощённой модели, с потерей точности
                                                                                        0
                                                                                        а где вы такой компьютер видели? Что конкретно находится внутри его моделей?
                                                                                        с потерей точности

                                                                                        Там находится достаточно информации, чтобы точно вопроизвести компьютер.


                                                                                        Компьютер может делать другие компьютеры и без полного понимания, что там внутри.

                                                                                        Да вроде про понимание разговора не было, был разговор про емкость системы. Что такое понимание вообще еще строго не определено.


                                                                                        Полное понимание — это возможность предсказать каждый следующий кадр

                                                                                        Ну компьютер, управляющий процессом производства, имеет модель всех этапов производства, так что да, у него есть представление, что должно быть на следующем этапе.


                                                                                        Про эмуляцию кадра с точностью до молекул я уже писал, в контексте возможности отладчика для ИИ это не нужно. Впрочем, не вижу никаких причин, почему отладчик не может сохранить состояние ИИ, а потом загрузить его и продолжить с этой же точки с повторением результатов.

                                                                                          0
                                                                                          Я достаточно легко могу представить себе программу, которая способна создавать свои копии почти без привлечения дополнительной памяти. Пусть программа 1 МБ, ещё 1 МБ займёт копия и всё, оперативу мы расходуем по минимуму, так как производим копирование побайтово. Это достаточно хорошая аналогия копированию компа?

                                                                                          При этом та же самая программа наверное, может оттестировать себя, если создаст свою копию. И тестировать будет копию. Ещё программа может создать модель от этой копии — с потерей точности и за дополнительную память. И отлаживать модель, если по какой-то причине отлаживать копию не вариант. Но это, похоже, ограниченный «самоанализ». Если нас устраивает его неполнота — то ок. Это как отладчик, который отлаживает отладчик, который отлаживает «блокнот». В итоге мы увидим внутреннее состояние отладчика, изучающего блокнот.
                                                                                          Впрочем, я немного потерял мысль, насколько серьёзный самоанализ требуется. Абсолютно подробного, видимо, не выйдет, ограниченный можно
                                                                                            0

                                                                                            Зачем тут вообще самоанализ? В отладчике нужны только принципы работы ИИ, а не веса нейронов. То есть как из входной информации по связям между нейронами добраться до слова или понятия "мячик".

                                                                                              0
                                                                                              По-моему, чтобы такая отладка работала, нам нужен какой-то процесс, который будет выделять эти понятия из человека, именовать, как в человеке, и затем создавать их внутри ИИ. И размечать куски кода/группы нейронов, где эти понятия находятся.
                                                                                              Наверное, как-то это можно…
                                                                                                0

                                                                                                Зачем их создавать-то внутри ИИ? Это алгоритм ИИ должен их создавать, а не отладчик, отладчиком нам надо определить, есть ли они там и правильно ли они создаются. Смотрите, если у вас есть сильный ИИ, значит он умеет владеть речью, а значит должны быть механизмы, которыми он сопоставляет реакцию своих внутренних информационных элементов конкретному слову. Вот отладчик должен делать то же самое, просто слово будет выводиться на экран.

                                                                                                  0
                                                                                                  Так. Как мне видится ИИ. Тут есть 2 основных варианта. Либо мы создаём тесты для ИИ, а затем подбираем программу, которая эти тесту проходит. И она будет чёрным ящиком, в котором разобраться можно разве что очень теоретически. Либо бы создаём правило подкрепления и инструмент для предсказания будущего — и делаем схему, которая перебирает планы в поисках того, для которого будущее «наилучшее» с точки зрения подкреплений. В этом случае чёрным ящиком будет инструмент предсказания (тоже некая программа, выдернутая из множества всех программ так, чтобы соответствовала тестам). Я других схем не знаю.
                                                                                                  Если мы то или другое сделаем на уровне Сильного ИИ, это не значит, что оно будет разговаривать с людьми и классно рефлексировать. Это значит, что оно научится общаться поверхностно — достаточно для минимальной торговли и убеждения. Чтобы система стала общаться, как вы описываете, это должно быть чем-то, что значимо для достижения целей. То есть у нас должен быть способ проверить, а не врёт ли нам ИИ.
                                                                                                  Либо у нас этот отладчик должен быть базовым элементом ИИ с самого начала. Отладчик, который может вытащить у людей из головы их терминологию, которую люди сами не могут формализовать до пикселей. И найти эквивалентные термины у ИИ. Здесь даже сложность скорее не в том, что он должен отлаживать ИИ — он должен отлаживать человека. И это пока классно звучит на словах, но как это будет выглядеть на деле?
                                                                                                  Вот у нас допустим есть нейросеть, распознающая картинки. У неё пусть 2 класса: лица и не лица. Для человека лица состоят из… бровей, носа, глаз, рта, ушей, волос и кучи других деталей, что мы видим, но о которых не задумываемся.
                                                                                                  Как сделать, чтобы отладчик составлял этот список человеческих абстракций (люди его составят очень ограниченно и неполно) и для каждой абстракции подбирал соответствующее ей правило обнаружения (тут у людей всё совсем плохо — люди даже правило обнаружения кошки на картинке явно назвать не могут, хотя очень пытались)?
                                                                                                  А потом делал то же, но не для анализа графики, а где reinforcement learning, где модель ML пытается предсказывать окружающую реальность?
                                                                                                    0
                                                                                                    Если мы то или другое сделаем на уровне Сильного ИИ, это не значит, что оно будет разговаривать с людьми и классно рефлексировать.

                                                                                                    Ну тогда это не будет сильным ИИ. Просто по определению.
                                                                                                    Artificial general intelligence is the hypothetical intelligence of a machine that has the capacity to understand or learn any intellectual task that a human being can.


                                                                                                    Отладчик, который может вытащить у людей из головы их терминологию, которую люди сами не могут формализовать до пикселей.

                                                                                                    Зачем? В самом простом варианте нам надо определить, видит ли ИИ мячик. И всё. Если сильный ИИ не распознает мячик, значит он не работает, дальше проверять нет смысла. Зачем вам формализовывать понятие мячика до пикселей?


                                                                                                    Как сделать, чтобы отладчик составлял этот список человеческих абстракций
                                                                                                    люди даже правило обнаружения кошки на картинке явно назвать не могут

                                                                                                    Опять же, зачем? Нам не нужны правила обнаружения, их должен составлять сам ИИ при обучении, нам надо проверить только результат.


                                                                                                    В самом простом варианте это вообще можно делать чисто статистически — показываем мячик, активируется нейрон №123456, убираем мячик, нейрон не активируется. Если таких нейронов нет, значит мячик он точно не наблюдает. Вместо одного нейрона может быть группа, это не принципиально, поэтому я и пишу просто "информационный элемент". А чтобы точно проверить, что он реагирует на сам мячик, а не на его цвет, и нужно точно понимать принципы преобразования информации на каждом слое, тогда можно по связям проследить в обратном направлении, из чего появляется реакция.

                                                                                                      0
                                                                                                      Artificial general intelligence is the hypothetical intelligence of a machine that has the capacity to understand or learn any intellectual task that a human being can.
                                                                                                      — это ж не значит, что он фактически это будет делать. Вот делаю я RL. Он может собирать бонусы на уровне в игре? Да, может. А будет? Да, если я смогу правильно сформулировать цель. Так и здесь. Вроде может, но как его заставить?

                                                                                                      В самом простом варианте это вообще можно делать чисто статистически — показываем мячик, активируется нейрон №123456, убираем мячик, нейрон не активируется.
                                                                                                      — показываем мячик — как-то меняются активации всех нейронов. Показываем по-другому — ещё как-то меняются активации всех нейронов. Наверное, если показать много разных мячиков и не-мячиков, можно выявить, где именно у нейросети находится представление мячика, в каких нейронах. Ну или понять, что представление размазано на пол-сети… Наверное, это будет означать, что у сети нет термина «мячик», но это не точно) Да, и термин «мячик» у сети может быть закодирован в виде «вот у примерно этого списка нейронов активация на 5% больше, а у примерно этого списка на 5% меньше».
                                                                                                      И как дальше действовать? Допустим, мы поняли, что ИИ в каком-то смысле видит мячик. Некоторые нейроны принимают другие значения. Влияет ли это на принимаемые решения? Может быть. А может, нет. А может, влияет, но редко.
                                                                                                      А потом мы дообучим нейросеть и эта карта поедет — нейронка станет в другом множестве нейронов хранить концепцию мячика.

                                                                                                      Допустим, у нас есть такой отладчик. У него ест база вида: множество входных образов — название термина на человеческом языке — описание того, какие нейроны чаще реагируют на эти образы, в какую сторону и насколько. После каждого обучения нейросети этот отладчик обновляет описание того, какие нейроны сильнее всего реагируют.
                                                                                                      Вы это так себе представляете?

                                                                                                      А потом что делаем? Делаем эту базу побольше, чтобы когда работает нейронка, у нас отладчик говорил всякие промежуточные штуки вида «наклон, 90%», «блик, 80%», «граница светотени, 90%», «круг, 20%», «мячик, 60%», «мяч футбольный, 50%»
                                                                                                        0
                                                                                                        А будет? Да, если я смогу правильно сформулировать цель.

                                                                                                        Это не является сильным ИИ. Сильному ИИ вы говорите "в этой игре надо собирать бонусы", и он это делает. Вместо слов можно заложить стремление вручную, как пишутся обычные программы, это опять же возвращает нас к необходимости знать, как что работает.


                                                                                                        Вроде может, но как его заставить?

                                                                                                        Ну значит вы не можете управлять программой, чтобы она сделала то, что вам нужно, а значит у вас нет никакого ИИ.


                                                                                                        Наверное, если показать много разных мячиков и не-мячиков, можно выявить, где именно у нейросети находится представление мячика

                                                                                                        Вы знаете, как работает ArtMoney?)


                                                                                                        Ну или понять, что представление размазано на пол-сети…

                                                                                                        А вы считаете, что у людей термины размазаны на пол-сети? Если бы это было так, на работу с абстракциями никакой энергии бы не хватило.
                                                                                                        Я считаю, что если у вас в программе так происходит, значит там просто свалено все в кучу.


                                                                                                        Наверное, это будет означать, что у сети нет термина «мячик», но это не точно)

                                                                                                        Да, я об этом и говорю. Именно поэтому ИИ так изобрести нельзя. Может у вас есть ИИ, может нету, кто его знает)


                                                                                                        А потом мы дообучим нейросеть и эта карта поедет — нейронка станет в другом множестве нейронов хранить концепцию мячика.

                                                                                                        Снова, я об этом и говорю. Это не ИИ, ИИ так изобрести нельзя. Люди не забывают предыдущие термины и их взаимосвязи при обучении новому.


                                                                                                        «круг, 20%», «мячик, 60%»

                                                                                                        Ну вы же точно знаете, что видите мячик, а не круг. Вероятность близка к 100%. Неопределенность длится только первые несколько миллисекунд, пока вы рассматриваете объекты на сцене. Вот и сильный ИИ должен работать так же.


                                                                                                        У него есть база вида: множество входных образов — название термина на человеческом языке — описание того, какие нейроны чаще реагируют на эти образы, в какую сторону и насколько.

                                                                                                        Да нет у него базы, база в ИИ находится, отладчик просто извлекает ее оттуда. А чтобы в него заложить информацию, как надо извлекать, надо знать как в ИИ обрабатывается информация.


                                                                                                        Давайте попробую объяснить на более простых уровнях. Имеется слой рецепторов, слой on-off клеток, и слой наклона линии. Эти слои появляются даже в обычных нейросетях при обучении с учителем. То есть все происходит как вы говорите, веса распределены по сети, и все такое, но если знать формулу активации нейрона и проанализировать веса конкретного нейрона из 3 слоя, то можно с уверенностью сказать "этот нейрон больше всего реагирует на угол наклона 10%".

                                                                                        0

                                                                                        michael_vostrikov


                                                                                        Про личности: а вот мне почему-то показалось это именно переходом на личности (если я это как троллинг воспринимаю, то как вы думаете). Поясню. Вы говорите, что я не понимаю прочитанное, затем приводите для чего-то ужасающий пример собственного непонимания прочитанного. Поэтому одно из двух: вы либо не учились, либо троллите. Судя по вашим предыдущим, вполне логичным и грамотным высказываниям, первое менее вероятно. Ну а троллинг — это же он и есть, переход на личности. Все дальнейшее — уже реакции. Я извиняюсь, если вас это задело, но я объяснил это же выше.


                                                                                        Про где я такое говорил. Вы утверждали, что мозг система которую можно изучить и сжать в силу его конечности — это спорно, но допустим возможно. Но сохранить это добытое знание в этот же мозг без потери данных вы не сможете. Емкости не хватит. Сможете лишь некое упрощение сохранить, а следовательно какая-то часть останется пропущенной, т.е. непознанной. Причем речь о сохранении, а не о познании, когнитивную сторону вопроса если рассматривать, то все еще усугубится. Второй момент — после сохранения мозг неизбежно усложнится, что не было описано в сохранении. И первый, и второй факт значат, что система сама себя познать не в состоянии. Анализ даже части знаний, а именно математики это явно доказывает. Пруф выше.


                                                                                        Вам должен быть по идее близок кодинг, ну так вот: напишите программу, которая без чтения себя из памяти/диска (т.е. алгоритмически) выведет свой же код на консоль — вот о чем идет речь в пруфе.


                                                                                        Наконец про компьютеры. Давайте без теорий. Амёба тоже прекрасно сама себя воспроизводит, на мой взгляд, это живое идеальное совпадение с вашим примером. Она интеллектуальна? Все про себя знает? Может других амеб инженерить? Не может. Не имеет даже в организме памяти для хранения и анализа моделей себя. Допустим на планете только амебы. На ней нет интеллекта. Но дальше веселее — после гугола итераций амеба может эволюционировать до, скажем, человека. Он будет точно сложнее в силу энтропии Шеннона. И внимание, после самоосознания в нем просыпается интеллект и когнитивная деятельность. А что там наша амеба — увы, она уж точно не будет дебажить человека. Причина все та же.


                                                                                        Но допустим амебу придумали мы. Что-то про полученный в итоге интеллект мы сможем сказать? Сможем его дебажить? Опять нет. Причина все та же.


                                                                                        Прочтите же, пожалуйста, статью серьезно, т.е. не с целью поспорить, а с целью уловить идею. Это важная идея. Она доказательно определяет границы познания, как бы пафосно это не звучало.


                                                                                        Поэтому-то у нас и нет шансов "дебажить" и полностью понимать сильный ИИ, хотя некий скайнет в ближайшие столетия при этом практически неизбежен. Это довольно печальный факт.

                                                                                          0
                                                                                          Вы говорите, что я не понимаю прочитанное, затем приводите для чего-то ужасающий пример собственного непонимания прочитанного.

                                                                                          Если вы считаете, что у меня ошибка в логике, вы можете указать, где ошибка и как должно быть правильно. Высмеивание это троллинг в чистом виде.


                                                                                          Вы утверждали, что мозг система которую можно изучить и сжать в силу его конечности

                                                                                          В предыдущем сообщении я просил вас приводить цитаты. Раз вы это проигнорировали, я приведу сам.


                                                                                          "А из того, что в биологической системе с естественным интеллектом есть повторяющиеся элементы, следует сжимаемость этой информации."


                                                                                          мозг система которую можно изучить и сжать
                                                                                          допустим возможно
                                                                                          Но сохранить это добытое знание в этот же мозг без потери данных вы не сможете. Емкости не хватит.

                                                                                          Как вы из возможности сжатия делаете вывод, что емкости не хватит?
                                                                                          Я уже писал, давайте еще раз повторю. В биологической системе есть повторяющиеся элементы. В контексте обсуждения рассматриваем только нейроны. Многие нейроны похожи по принципу действия. Поэтому можно подробно описать только один нейрон каждого типа и указать их количество. Имея эту информацию и одни и те же входные данные для обучения, можно получить воспроизводимые результаты обучения. Если эта инфомрация хранится в самой системе, где находятся эти нейроны, значит система полностью знает свое устройство, то есть то, что вы назвали словами "познать себя". Если у вас слова "познать себя" означают что-то другое, я не вижу, каким образом это доказывает невозможность написать отладчик для ИИ. Отлачик должен знать принципы функционирования нейронов ИИ, а не данные в них. Данные он может и так прочитать.


                                                                                          Второй момент — после сохранения мозг неизбежно усложнится, что не было описано в сохранении.

                                                                                          Нам это и не надо. Нам надо написать отладчик для ИИ, которые будет показывать связи между понятиями ИИ. Я вообще не понимаю, причем тут емкость системы, все понятия и так уже хранятся в памяти ИИ, и в другую систему их загружать не надо.


                                                                                          Амёба тоже прекрасно сама себя воспроизводит, на мой взгляд, это живое идеальное совпадение с вашим примером. Она интеллектуальна?

                                                                                          Компьютер производит другие компьютеры по модели внутри него, а не посредством химических реакций. Он имеет информационную модель процесса производства на каждом шаге, и может по ней точно воспроизвести другой компьютер. Мы же говорим про информацию про устройство сисетмы, а не про размножение. Размножение компьютеров в моем примере доказывает правильность и полноту модели, а не ее наличие.
                                                                                          В амебе впрочем механизм для воспроизводства тоже называется генетическая информация. И там тоже закодировано полное устройство амебы.
                                                                                          Откуда взялось требование интеллектуальности, мне непонятно. Утверждение было про емкость системы, а не про то, как в нее поступают данные.


                                                                                          Поэтому-то у нас и нет шансов "дебажить" и полностью понимать сильный ИИ

                                                                                          1. ИИ уровня человека это тоже сильный ИИ. Его вполне можно понимать, так же как мы понимаем других людей.
                                                                                          2. Есть программы, которые пишутся силами команды из десятков человек. При этом один человек все равно может ее отлаживать. Подумайте, как такое возможно, и примените это к ИИ.
                                                                                          3. Даже если мы сделаем ИИ сильнее человека, "дебажить" не то же самое "полностью понимать".

                                                                                          И я уже задавал вопрос, который вы проигнорировали. Что может помешать отлаживать, видит ли ИИ столб или мячик?

                                              0
                                              и не просто язык /синтаксис/ а прагматика языка. До фазы конвергенции речи и мышления в 3 летнем возрасте homo s.s. функционально схож с высшими приматами
                                            0
                                            как раз человека и не нужно. Практичнее — модель животного. Наблюдая референтные сигналы с живой модели воспроизводимой с контролируемым геномом и возможностью инвазивного управления нащупать изоморфную ИНС технически проще
                                        0
                                        Как вовремя я нашел Ваш комментарий))
                                        ИНС+ГА — не работает? Значит не буду так делать.
                                        Про Цели — согласен на все 100500!
                                        А еще надо не забыть их прописать.
                                          0

                                          Не совсем так, ИНС+ГА работает, и весьма неплохо, но класс задач должен быть очень существенно ограничен.


                                          Я делал в 2009 году автоматизацию построения пачки многомерных непрерывных моделей на основе одно-двух-трехслойного персептрона ГА был островного типа, один остров — методы обучения, другой архитектура сети, третий регуляризация, четвертый предобработка. И так еще как-то вывозит, но совершенно не вывозит при попытках подбирать архитектуру ИНС на основе языка (т.е. когда геном описывает алгоритм роста сети). Не вывозит и на сверточных сетях. Ну вернее я не дождался результатов.


                                          Дело было еще на третьих пентиумах, и их нужна была хотя бы сотня. Сейчас возможно получится что-то посложнее. Вот вам моя идея одной картинкой, может натолкнет вас на какие-то мысли.

                                            0
                                            Спасибо Вам огромное!)
                                            В 2009 действительно не было DeepLearning как такового из-за слабых и доступных мощностей.
                                            А сейчас мейстрим backpropagation в DL. А мощность и скорость вычислений как то влияет на ГА? Больше эпох если запустить?
                                              0

                                              Я пробовал решить эту проблему так. Запускал на день. Запускал на месяц. Вариация — эпохи и емкость популяции. Качественных отличий не получил. ГА увы, не очень сильно выигрывает у случайного поиска. Особенно на длинных геномах. У меня руками всегда получалось лучше и быстрее оттюнить ИНС, чем это делал ГА. ГА хорошо заменит переборщика, но не заменит DS с опытом.

                                                0

                                                Скажу больше. Я даже делал так. Решал перебором простую задачу. Находил оптимальные параметры сети и алгоритма обучения. Запускал потом ГА. Он оптимальное решение не находил. Ни разу. Хорошие были, но оптимальное — никогда.

                                                  0
                                                  Хорошие были, но оптимальное — никогда.

                                                  А кто сказал, что мы (люди) находим оптимальные решения?
                                                  На простой задаче — да.
                                                  А на задачах с высокой комбинаторикой — лучшие умы веками вязнут.

                                                  Кто сказал что машина с 4-мя колесами оптимальный вариант?
                                                  Самолет с пропеллером. Кнопочный телефон. Деревянный забор да и вообще забор. Кто сказал, что это оптимальное решение?)
                                                    0

                                                    Оптимум — термин математический и строгий. Минимум функции потерь на тестовой выборке в данном случае. Читайте его лучше так: экстремум. Вопросы отпадут.

                                                      0
                                                      Я то же так умею ))
                                                      Перфекционизм не есть достижение цели.
                                                        0

                                                        Все что сегодня есть в сфере ИИ ровно на этом термине держится, если что. Критерий оптимальности наше все. И перфекционизм тут совершенно ни при чем.

                                              0
                                              arxiv.org/abs/2003.08165 Neuroevolution of Self-Interpretable Agents
                                              Вот статья о том, как эволюция нейронок таки привела к чему-то стоящему. Но это не очень частое явление
                                                0

                                                Даже скорее это исключения. Иначе такой специальности — DS просто не существовало бы.

                                            0
                                            что говорить об ИИ, когда мы не способны даже предсказывать траектории насекомого в условиях тестового поля.
                                              0
                                              Я боюсь этого не может делать даже само насекомое))
                                                0
                                                именно. то что планета Земля не предсказывает свою траекторию не мешает нам это делать с высокой точностью. В этом и задача нейронаук узнать как работает нервная система животных и человека в т.ч. Но даже насекомое для нас пока черный ящик
                                        0
                                        Я думаю создатели симуляции нашей вселенной ранее уже перепробовали все попытки сделать искусственный разум «в лоб». Похоже, что единственный способ это создать окружение, где частицы самоорганизуются и будут бороться за жизнь.

                                        Я бы так и сделал. Только подождал бы несколько млрд лет, чтобы осталась только одна доминантная форма жизни, а потом начал бы ее исследовать и лучшие её экземпляры установил бы в своих роботов убираться по дому или готовить жрачку.
                                          0
                                          Был гениальным физиком, помер, очнулся в роботе-пылесосе. )
                                            0
                                            Не совсем в тему, но не мог не вспомнить «Голубой период Займы (Зимы?)» Аластора Рейнольдса :)
                                        0
                                        Обратное распространение ошибки – это чистый Анализ, это процесс ранжирования входов нейронов по результатам работы всей нейронной сети.

                                        А можно этот момент раскрыть? Backpropagation это же про определение того, как каждый вес влияет на результат. И обновляют все веса сразу, никакого ранжирования не происходит, как я помню.

                                          –6
                                          Может мозг — это всего лишь теминал, подключаемый к некому «облачному» вычислителю, и поэтому вся сложность скрыта от нас? ) Поэтому мы видим кажущуюся простоту реализации, и не понимаем, где же тот мощный «вычислитель»? ) И поэтому нейросети — это всего лишь протокол? .) Как с помощью HTTP не описать всей сложности WWW? )
                                            +2
                                            Обычный человек в процессе логического мышления одновременно может использовать не более 4-7 информационных сущностей. Думаю невозможность осмыслить работу мозга происходит именно по этой причине и требуется инструмент для увеличения этого числа. Современная вычислительная техника таким инструментом не является из-за разнице в парадигме построения вычислительного процесса. Современные нейронные сети вычислительным инструментом тоже не являются (скорее это адаптивный фильтр), думаю в их «идее» нет даже половины от функционала работы мозга.
                                            Как пример: Для обучения нейронных сетей требуется море примеров с известным ответом. Мозг обучается просто на потоке данных без явных подсказок.
                                              0
                                              Ну вот я тоже прихожу к такой же мысли, что да, нейронные сети при всей их… инновационности подхода, оценочно порождают чудовищно сложный и мощный вычислитель. Где он? У каждого в черепной коробке? Может это терминал доступа к некому масштабному вычислителю вне нашего измерения? ) (ну так, субботний полет мысли, но я чет все чаще склоняюсь к этой идее)
                                              Если хотите — упрощенно: весь мир и есть тот самый квантовый компьютер. Не молекулы, атомы, квантовая структура. А сама суть. А у нас у каждого в голове — способ доступа к нему. Что прикольно, даже у червяка, инфузории, простой клетки даже. 42 .) Разница между мной и червяком — в сложности API, я могу ставить сложнее задачи, и получать оттуда сложнее ответы.
                                                0
                                                Если взять в расчет Библию, то не совсем) Все вычисления происходят именно в головном мозге, но сознание бэкапится, и да за пределами наших измерений. Человеческая жизнь слишком ценна, чтобы ее не бэкапить, и наш разработчик это прекрасно понимает.
                                                0
                                                Обычный человек в процессе логического мышления одновременно может использовать не более 4-7 информационных сущностей.

                                                По исследованиям Бэддели все-же примерно 4 элемента за 1 такт, а 7 получается за два такта, путем сжатия 4 элементов первого такта в 1 единицу и заполнение оставшихся 3 на втором такте.
                                                  0
                                                  И тактовая частота у нас всего лишь единицы герц, в отличие от гигагерц компьютеров.
                                                  Поэтому попытки осознать сознание с помощью вербального анализа подобны попыткам пересчитать количество элементарных частиц во вселенной на деревянных счетах (абаке)
                                                    0
                                                    Тактовая частота (спайков) 10 Гц. Но мозг не только спайками общается. Там выходит больше 100Гц.
                                                    Но у на 100 триллионов аксонов (шина данных), а не 64 как в компах.
                                                    В итоге выходит петафлопс и выше.
                                                    Не говоря уже об 3D самоорганизации. А это уже иные порядки скоростей.
                                                0
                                                Почему может? Так и есть.
                                                Нейросети это не протокол, а приемопередатчик)
                                                0
                                                Мозг это должно быть просто
                                                полностью согласен. Более того можно утверждать, что если объяснение чего либо (любого явления) запутанное и громоздкое, то с большой вероятностью можно утверждать, оно или ошибочно или не доработано.

                                                Утверждение про сложность нейрона не однозначно: Транзистор в процессоре с аналоговой точки зрения имеет достаточно сложное устройство (а с точки зрения физики и вообще), но с вычислительной точки зрения это просто ключ.

                                                Слабый прогресс в изучении мозга «вычислительными методами», думаю происходит из сильного различия «вычислительных» парадигм. Современная вычислительная техника целиком основана на идее калькулятора, а он автоматизирует математическое (именно вычислительное) мышление человека.

                                                Про
                                                никогда не постичь сложность
                                                , тоже согласен. Думаю не так радикально, но считать признаком смерти как исследователя вполне можно.
                                                  +2
                                                  Кажется, вы забыли упомянуть главное: в мозге связи между нейронами постоянно создаются и разрушаются. И еще о много другом. Вот лекция, где биолог объясняет различия биологического и искусственного подхода к ИИ
                                                    0
                                                    Так и знал, что там Савельев окажется. ))

                                                    Он любит про это говорить, но давайте посчитаем значимость этого факта для нейрона. У нейронов от 50 тысяч синапсов, каждый день появляется/теряется 1-3 синапса. Изменения: 1/50000. Это ничто. Даже за год набегает всего лишь — 0,73%.

                                                    И ещё, «профессор» на полном серьёзе утверждает, что связь может быть только материальная — буквально, припаянными «проводочками», а, соответственно, все программные модели по его мнению «чушь собачья».
                                                      +1

                                                      Насколько я понимаю, у детей гораздо больше, но не суть. Из электротехники можно сказать, что в цепи соединение двух различных потенциалов может привести к качественной смене проходящих токов. Можно обьяснить по-другому: пространство всех функций с n входами больше пространства конкретной функции в m^n, где m означает m-ичную логику (для компьютеров m=2, для нейронов значительно больше). Это означает, что сложная система в которой связи перестраиваются, практически в бесконечное количество раз сложнее статической нейронной сети.

                                                        +1
                                                        сложная система в которой связи перестраиваются, практически в бесконечное количество раз сложнее статической нейронной сети

                                                        Она сложнее с математической точки зрения, если принимать, что каждый синапс важен, что не так. Нейрон не процессор, где малейшее отклонение сказывается на работе. Вариативность параметров очень высокая, удивительно что он вообще работает.
                                                      0
                                                      Савельев очень сомнительный тип
                                                      0
                                                      1. Вы не принимаете всю сложность бытия, представьте как сложно выживать улиткам в этом мире всего лишь с этим количеством нейронов.
                                                      2. Вы говорили, что результат не должен быть похож на источник, как самолёты, так модель глубокого обучения вроде хорошо заменяет крылья на крыло.
                                                      3. Ваши ссылки немного устарели, сейчас рассматривается частотный подход возбудимости и порождение новых связей.
                                                        0
                                                        Получается, что в основу компьютерных нейронных сетей положена модель нейрона, у которой акценты расставлены наоборот, нежели чем у биологического нейрона.
                                                        Как пресинаптический нейрон может узнать об активации постсинаптического? Физического контакта между клетками нет. Есть только обратный захват медиатора из синаптической щели, но по его наличию нельзя сказать — был ли спайк.

                                                        О произошедшем спайке, естественным образом, знает постсинаптический нейрон. Он меняет чувствительность синапса и может иметь механизм влияния на терминаль.

                                                        Но в обоих вариантах результат один и тот же — усиление связи между клетками. Так какая разница кем инициируется усиление связи: пост- или пресинаптическим нейроном?
                                                          +2
                                                          На мой взгляд, ученых, которые высказываются о том, что Человечеству никогда не постичь сложность человеческого мозга нужно лишать научных степеней, подобные высказывания только могут подрывать боевой дух людей которые захотят посвятить себя решению этой проблемы.

                                                          Что ж так кровожадно? Хорошо, не расстрелять.


                                                          Тех, кто захочет, не остановить.

                                                            –1
                                                            Кажется все забыли, что в текущей реализации ИСН это просто гигантская математическая формула, миллионы коэффициентов в которой вероятностным градиентным спуском подгоняются для минимизации функции потерь.
                                                            На основе этого я считаю обсуждения о воссоздании структуры мозга полностью бессмысленными.
                                                            Нужно не пытаться повторить структуру, нужно понять алгоритм обучения, с чем пока все тяжко(да, принципы роста синапсов сейчас более менее понятны биологам, но целостной картины, почему именно так все ещё нет, насколько я знаю).
                                                            Даже при работе с ИНС добавление более качественной функции потерь работает гораздо эффективнее, чем усложнение архитектуры самой ИНС.
                                                            Поэтому, как только мы поймем принципы нашего обучения, не просто наблюдения за окружающим миром, а именно возможность делать выводы, генерировать знания, мы сможем воссоздать этот алгоритм.
                                                              +1

                                                              Я тоже задумывался о принципах обучения, и мне показались интересными механизмы формирования мышечной памяти и последовательностей движений. Вот лекция по теме https://youtu.be/XNMGhUG3YDA
                                                              Если обобщить такой механизм за пределы движений то получатся навыки на подобие чтения, восприятия речи, и математических преобразований. Вначале ты долго учишься, постоянно ошибаешься и вынужден сосредотачивать все свое внимание на решение задачи, а потом всю работу берет на себя более древняя часть мозга, и ты начинаешь делать все без усилий, автоматически.

                                                                0
                                                                Поэтому, как только мы поймем принципы нашего обучения, не просто наблюдения за окружающим миром, а именно возможность делать выводы, генерировать знания, мы сможем воссоздать этот алгоритм

                                                                На самом деле это Хаос.

                                                                Разные люди смотрят на один и тот же предмет, а видят разные вещи.
                                                                Нет двух одинаковых мнений.
                                                                Очень высокая комбинаторика… очень.
                                                                Каждый видит свой фрагмент Мира и каждый прав. И похоже всё едино.

                                                                Для анализа сигналов сначала использовали LTSM, которые в принципе заточены под это, потом кто-то прикололся и применил сверточную. И это работает.
                                                                А сейчас появились еще прикольнее ребята — сверточными ищут паттерны компьютерных вирусов. Прямо побайтно в коде программ.
                                                                0

                                                                Тема долгосрочной памяти не раскрыта. У меня был друг в 15 лет — он по памяти рассказывал фильмы, со всеми диалогами, хотя смотрел их всего 1 раз

                                                                  0

                                                                  На сегодняшний момент называть все эти аглоритмы ИИ, все равно что называть самолет «стальной птицей», хотя он ни крыльями махать не умеет, ни яйца нести ни птенцов высиживать и кормить. Так что это скорее «Имитация Интеллекта» алгоритмами оптимизации.

                                                                    0

                                                                    Интересовался этим одно время, тоже пришел к выводу, что важны отдельные синапсы. Можно сказать, что каждый синапс обучается отдельно.


                                                                    Мне кажется, с тем, что описывает правило Хебба, связано и появление мини-колонок. Например, есть мини-колонки, распознающие наклон линии, разные наклоны рапределены по нейронам в ней не хаотично, а идут по порядку, каждый следующий на некоторый угол отличается от предыдущего. Возможно это работает так. Один нейрон обучается реагировать на определенный наклон линии. "Реагировать" означает, что паттерн активности нейронов с предыдущего слоя дает сигнал на выходе этого нейрона больше 1/2. Если уровень сигнала меньше, на этот паттерн начинает реагировать следующий нейрон. Когда я пытался это реализовать, там была сложность при начальном обучении, как отличить, надо ли по незнакомому сигналу продолжать обучать первый нейрон или следующий. Может быть первый нейрон дает маленький сигнал потому что он сам еще не обучен. То есть нужно вводить некий "коэффициент обученности" нейрона. Некоторое время этим занимался, потом стало некогда, на том все и остановилось.

                                                                      0
                                                                      Один нейрон обучается реагировать на определенный наклон линии.
                                                                      Вот в этом всё и дело. Все проблемы в попытке обучить автомат каждому градусу, а не концепции наклона и его измеримости. Обучать концепциям мы пока не умеем.
                                                                        0
                                                                        Совершенно верно Вы говорите. Мы внутри нашей команды называем это машинной концептуализацией — гибрид онтологии и ИНС. На частных задачах компьютерного зрения (на сценах с небольшим набором объектов) такой подход работает. А вот обобщить его на уровне архитектуры пока не удается.
                                                                          0

                                                                          На этом уровне еще нет никаких логических концепций. Это третий или четвертый слой после рецепторов.

                                                                            0
                                                                            Да хоть тридцать три уровня постройте — все равно концепции не вычлените. Тем более новой концепции, той которой в разметке обучающего набора не было…
                                                                              0
                                                                              Правильно я понял, что речь о выработке нового обобщения всего по нескольким примерам?
                                                                                0
                                                                                И не только.

                                                                                Например, человек по стационарной картинке легко найдет на ней признаки изученных концепций: «падение» или «измена» и т.п.
                                                                                Или обобщит знания и сформулирует новую: «квантовое превосходство» или «Agile».

                                                                                Автомат, как думается, тоже должен смочь этому научиться сам. Но поскольку мы его сейчас эксплуатируем очень узко, то и знает он только то, чему его научили. Но есть вещи, которым мы не можем научить… да и сможем ли?
                                                                                  0
                                                                                  Фигню не сочиняйте: если нет данных, то и обучаться нечему. Вы как-то легко упускаете из виду предшествующий опыт в смежных областях как данные для обучения.

                                                                                  То, что человек из ничего придумывает что-то, это либо результат случайного поиска, либо результат действия по предшествующему опыту.

                                                                                  Чаще всего низкопродуктивное первое.((( Третьего не дано, с нуля ничего не придумывается.
                                                                                    0
                                                                                    Прямо с языка сняли)
                                                                                    Полностью согласен!
                                                                                0
                                                                                Тем более новой концепции, той которой в разметке обучающего набора не было…

                                                                                Я ничего не говорил про обучающий набор. Зачем вы спорите, если не разбираетесь в теме? Прочитайте о том, как устроен начальный уровень обработки информации в биологических системах. Например, здесь.

                                                                          0
                                                                          Синтез
                                                                          на только звук метронома у модельного животного может вырабатываться желудочный сок как при кормлении.
                                                                          Анализ
                                                                          Собака начинает различать эти два очень сходных раздражителя и перестает реагировать на звук метронома с частотой, которая не подкреплялась.

                                                                          С этим не согласен. Здесь работают одни и те же механизмы. В первом случае собака тоже наблюдала раздражитель, на который уже вырабатывается желудочный сок — сама пища. Также она наблюдала и другие объекты — например, комнату вокруг. Из всех наблюдаемых объектов и явлений она начала выделять те, которые связаны с пищей. И во втором случае происходило то же самое. Второй случай лишь доказывает, что собака умеет различать частый звук и нечастый звук как отдельные явления.

                                                                            0
                                                                            Тоже ковыряю в свободное время всякие экзотические вычислители. Могу подтвердить, что мозг в общей идее очень прост, но в деталях там просто кошмар.

                                                                            Я разработал архитектуру искусственного «разума, по аналогии с биологическим мозгом. Он может размышлять, усваивать опыт, переучиваться, в зависимости от обстоятельств. Все благодаря паре правил и ограничений, похожих на те, что влияют на реальную нервную систему.

                                                                            Но есть несколько проблем. Первая это ограничение по сложности — пока не придумал как оптимизировать это для графических ускорителей, т. к. вычисления происходят не квадратно-гнездовым способом, в отличии от классических нейросетей.

                                                                            Вторая — это глобальная архитектура. Мозг живых существ можно условно разделить на „ядро“ и „периферию“, от органов чувств идут сигналы через всякие фильтры и „драйвера“, объединяются в когнитивном ядре. Но физически никакого разделения нет, есть куча модулей, которые плавно друг в друга перетекают, поэтому границы ядра определить невозможно.

                                                                            Зрение протекает через всю черепную коробку, моторные функции распределены замысловатыми узлами, мозжечок торчит с огромным деревом спинного мозга. И аккуратно отсекая любую часть, никакой вред разуму не наносится.
                                                                            Только если убрать глаз или руку довольно просто, то глубже уже не подобраться с современными технологиями — слишком все плотно упаковано.

                                                                            Если разделить эти модули, то поиск архитектуры для искусственного разума, сильно бы ускорился, например, зрительную систему сделать не абсолютным продолжением мозга, а одним модулем в виде камеры с нейроморфным драйвером, управление другими рецепторами и актуаторами тоже вынести в отдельные модули с ограниченным интерфейсом.
                                                                              –2

                                                                              Объясните мне, пожалуйста, зачем нужно
                                                                              искусственно фабриковать Спиноз, когда любая баба может его родить когда
                                                                              угодно.

                                                                                0
                                                                                Какую задачу вы решали? То если взять две системы, подобных вашей, но чуть-чуть различающихся, то как определить, какая лучше?
                                                                                0

                                                                                "На мой взгляд, ученых, которые высказываются о том, что Человечеству никогда не постичь сложность человеческого мозга нужно лишать научных степеней"
                                                                                Карательная наука? А если они правы, то чего стоит лишать вас?
                                                                                Я ни на чьей стороне, но ваше высказывание в высшей степени ненаучно.

                                                                                  0
                                                                                  Задача учёного — поиск. Поиск — это разрушение ментальных границ, а не их создание. Поэтому учёные, которые применяют слово «никогда» — это люди, подобные тем, что в начале 20 века считали, что «физика почти решена» или, чуть ранее, «камни с неба падать не могут, потому что их там нет».

                                                                                  Насчёт утверждения «Человечеству никогда не постичь сложность человеческого мозга» я могу лишь сказать, что природа каким-то образом «познала и создала» мозг, а всё, что происходит в природе можно повторить и превзойти. Так что те учёные чрезмерно пессимистичны
                                                                                    0
                                                                                    «НИКОГДА не смогут изобрести вечный двигатель, а Тесла врал что его сделал» — считает официальная наука
                                                                                      0
                                                                                      Термодинамика — самая-самая основа окружающего нас мира. Нам до понимания механизма её работы ещё нереально много «копать».
                                                                                      Вероятно, когда-то мы сможем это сделать, когда наши ускорители смогут добраться до планковских энергий, когда сможем найти или опровергнуть существование гравитонов, сможем локально разворачивать стрелу времени, создадим Теорию Всего, обретём возможность создавать новые Вселенные либо машину Зенона (что суть одно и то же). Но до этих далёких времен слово «никогда» я считаю бессмысленным, так как без знаний будущего ни у какого учёного нет права делать такие безапелляционные утверждения.

                                                                                      А вместо конкретного утверждения «НИКОГДА не смогут изобрести вечный двигатель», мне кажется правильным применять «на данный момент сумма физических знаний и технологий не предполагает возможности создать вечный двигатель».
                                                                                      Есть разница, не правда ли?
                                                                                  0
                                                                                  Немного о реальности. А в реальности есть неврологические заболевания. Как знание мозга помогает в их лечении?

                                                                                  Собственно мои примитивные мысли простые — что-то неустранимо рушится после каких-то длительных (или не очень в случае ядов) химических воздействий. Но почему испорченные клетки не умирают? Почему их не замещают другие?

                                                                                  Или с другой стороны — нейроны размножаются? Если да, то они должны замещать испорченные. Если нет, то как они выживают в течении всей жизни человека?

                                                                                  Ну и механизм нарушения — что там происходит? Видимо что-то довольно избирательное, ведь отклонения у людей бывают не во всём и сразу, как в случае, например, деградации всех нейронов одинаково, но как-то так получается, что деградирует только какой-то узкий набор функций. Значит то ли нейроны как-то сложно меняются (и сами они получаются сложнее известных моделей), либо… В общем непонятно. Поэтому решил спросить, вдруг автор хоть немного в курсе.
                                                                                    0

                                                                                    Начало статьи понравилось (идея про простоту мозга). Но далее автор все равно свалился в нейросети потенциалы и т.д. не умаляя всего этого, думаю начинать надо не Сверху (ах какой чудесный у нас мозг), а снизу (мы потомки простых обезьян и биологически почти ничем от них не отличаемся). Почему то, зная это, все отрицают очевидное — наши мозги Просты и все еще базируют свою функциональность на простых рефлексах. Доказать это просто — наблюдая поведение любой прямостоящей обезьяны в быту. Скупка гречки в пандемию — процесс крайне простой в описании ))

                                                                                      0
                                                                                      (мы потомки простых обезьян и биологически почти ничем от них не отличаемся)

                                                                                      Как раз объемом оперативной памяти и отличаемся. У самых умных обезьян это 3 элемента, а у нас 4. И это небольшое отличие позволяет овладеть языками и абстрактным мышлением, научиться времясвязыванию (помнить прошлый опыт, причем не только свой, и планировать будущую деятельность), коммуникации и управлению себеподобными и созданию весьма сложных систем и структур.
                                                                                      А если бы мы могли оперировать большим количеством информации за один такт и быстрее?
                                                                                      Насколько бы другими были бы возможности?
                                                                                      Но нашим умом с имеющимися ограничениями мы не можем себе этого даже представить. :(
                                                                                      Нужен новый способ мышления и новый язык, снимающий эти ограничения.
                                                                                      Но останемся ли мы тогда людьми?
                                                                                        0
                                                                                        не не не.
                                                                                        не может обьем памяти влиять на способность обрабатывать информацию.
                                                                                        не надо смотреть на мозг как на компьютер, и машину для расчета. Умение Считать — побочный эффект.
                                                                                        Мозг не имеет Памяти, как отдельного блока для хранения данных. Как скорость распознавания, возможность «помнить многое» всегда работает в «связности» — что как бы намекает — память и процедура суть одно и тоже и формируется как Рефлекс, здесь это «Реагирование на входные данные». Запоминание — связывание данных в процедуры.
                                                                                        Термины так себе но что есть. ))
                                                                                        Эта модель работает от простейших и до наших дней, усложняется конечно но не меняет структуру, просто эволюционирует. Поэтому наше поведение все еще проще описать инстинктами чем логикой. Модель никуда не делась. Человек Разумный — просто надстройка, и чтобы вернуться много не надо )).
                                                                                          0
                                                                                          Так наш вербальный ум и абстрактное мышление и есть новая надстройка над базовыми информационными уровнями, работающими с восприятием и движением и обрабатывающими на порядки большие массивы информации. Но это все работает на автомате и не обладает свойствами саморефлексии.
                                                                                          Именно наличие следующего уровня абстрагирования, хоть и такого маломощного относительно базы, и дает такие громадные преимущества человеку. Возможность неограниченных уровней абстрагирования позволяет развивать научное знание и технические системы высокой сложности, хоть и не в одиночку.
                                                                                            0
                                                                                            в моем понимании все Высшие функции которые мы пытаемся приписать/обьяснить в поведении Человека, как «вербальный ум», «абстрактное мышление», и даже «психология» это абстракции Реагирования/рефлекса.
                                                                                            Рефлекс как средство обработки информации нужный для выработки Реакции все время усложняется. Усложняется в силу увеличения количества входящей/учитываемой информации. Что порождает условный рефлекс, Паттерн рефлекс, Эмоциональный рефлекс, Время — как средство описания цепочки последовательных реакций. Отсюда время — последовательность, цепочка событий/реакции, тактирование.
                                                                                            Это все животные уровни.
                                                                                            Дальше — моделирование. Т.е. попытка предсказывать события исходя из известных цепочек/последовательностей входящих сигналов (пример шахматы на несколько ходов вперед). Это подразумевает Расчет, модели, абстракции и прочее.
                                                                                            Модели — порождают Законы природы, которые отражают переход от статистической оценки Реакции и выработке Модели описывающей эту статистику — формулой. Т.е. все физические законы Придуманы Людьми — и поэтому являются неТочными (пример переход от Ньютона к Эйнштейну).
                                                                                            Это кстати может обьяснять уменьшение обьема мозга Человека при усложнении внутренней структуры — раньше хранилась Статистика (буквально таблицы) — теперь только Формулы, с помощью которых можно обсчитать Таблицу на ходу. ))
                                                                                            Рефлекс в пике создает «Картину Мира», буквально рисует ее в башке, детализирует для улучшения Реакции в сложных ситуациях. и вот Картина мира в общем случае и есть нейронная сеть (неокортекса).
                                                                                              0

                                                                                              С глобальныной абстракцией рефлекса согласен, но с моделью в голове не уверен. Расчёт, анализ и предсказания могут быть побочными эффектами, расширенной системы торможения движений, только вместо торможения движений происходит торможение глобальных рефлексов. Это дает нам возможность, проверять поседовательность рефлексов, без совершения самих действий, а рефлекс ответа окружающей среды на предполагаемые действия позволяет выбрать наилучший для данной ситуации.

                                                                                                0
                                                                                                Как человек, который специально учился контролировать свое абстрагирование и различать его уровни, понимаю те мысли, которые вы хотите передать, хотя слова и термины, которые вы употребляете, для меня имеют немного другие смыслы и содержания.
                                                                                                Просто важно различать рефлексы 1 уровня (в вашей терминологии) — восприятия и движения и 2-го уровня (языки, символы и абстракции) на фоне эмоциональных модификаторов, являющихся отдельной подсистемой.
                                                                                                Т.е. наш вербальный ум работает не с моделями, а моделями моделей.(Формулы, как вы назвали). С одной стороны, это дает огромные преимущества (не нужно хранить все «таблицы»), а с другой стороны содержит опасность утонуть в рекурсии отражений и абстрактной схоластике.
                                                                                                Большинство людей склонно принимать за свойства объективной реальности свойства языка, которым они эту реальность описывают.
                                                                                                Т.е. они считают, что их очень приблизительные и субъективные «формулы» и есть сама объективная реальность.
                                                                                              0
                                                                                              А с тем, что в основе всех сложных когнитивных функций лежат простые рефлексы, объединенные в системы разных уровней, вполне согласен.
                                                                                          0

                                                                                          Я практически уверен в том, что автор статьи никогда сюда не заглянет. Но тем не менее разрешите подвести некоторые промежуточные итоги и задать (даже не автору, а самому себе) пару промежуточных вопросов.


                                                                                          1. Человечеством накоплен целый пласт знаний об устройстве мозга.
                                                                                          2. Человечество обладает технологиями колоссальных вычислительных мощностей.
                                                                                          3. Человечество никак не может получить синтез этих двух вещей.

                                                                                          Очевидно, что на основании этого потенциала когда-нибудь должен случиться некий прорыв, проскочить некая искра и — "ой, а разве так можно было?"


                                                                                          А теперь отвлечемся от устройства мозга.


                                                                                          Когда сферичекий студент приходит на свою первую работу в вакуум, первое что он слышит, может выражаться примерно в таких посылах:
                                                                                          — Забудь обо всем, чему тебя там учили и слушай сюда!
                                                                                          — У нас так не принято!©
                                                                                          — Это ты у себя в институтах был отличником, а здесь ты никто!


                                                                                          Как вы думаете, получит ли наука этот прорыв?


                                                                                          В своем полиграфическом прошлом я верстал в том числе статьи для ученой братии. Это не был HTML, не был веб и вообще это никак не было связано с программированием: статьи эти печатались на бумаге в каких-то научных сборниках статей, скорее всего для прочтения такими же учеными, я не разбираюсь в кухне, сорри.


                                                                                          Верстальщики не читают текст, но иногда глаз все же цепляется за знакомые буквы, и самые частые сочетания букв складывались в такие слова:
                                                                                          "Как писал великий Х"…
                                                                                          "Как указано в статье Y"…
                                                                                          "Исходя из трудов Z"...


                                                                                          Как вы считаете, проскочит ли здесь искра?


                                                                                          Я понимаю, почему для публикации статьи вы выбрали Хабр. Вы уверены в том, что здесь полно незашоренных молодых умов, часть из которых заинтересуется проблемой, придет в вам (или не придет, или не к вам) и организует эти самые искру и прорыв. И — вуаля!


                                                                                          Но увы. Хабр — всего лишь срез общества и подавление инакомыслия здесь находится ровно на том же уровне, что и во "внешнем" обществе. Вот пример: чуть выше по треду кто-то высказал мысль о "мозге-терминале", подключаемом к некоему, неизвестному нам хосту, и поэтому мы ищем не то и не там. Посмотрите, сколько у этого комментария минусов…
                                                                                          Собственно, речь даже не о том, какое именно предположение было высказано. Речь о том, что предположение могло бы заставить думающих над проблемой людей взглянуть на проблему под другим углом. Но нет: общественность, привыкшая мыслить в общепринятой (сорри) системе координат, просто не может допустить такой разброд и шатание в умах и активно (в меру выданных полномочий) ему сопротивляется.


                                                                                          Как вы думаете, есть ли у науки надежда с таким подходом?

                                                                                            0
                                                                                            Верстальщики не читают текст, но иногда глаз все же цепляется за знакомые буквы, и самые частые сочетания букв складывались в такие слова
                                                                                            "Исходя из трудов Z"

                                                                                            Про понятие "пруф" и необходимость доказательства своих утверждений верстальщики тоже не слышали?) А про то, что необязательно делать все исследования самому, а можно ссылаться на то, что до этого сделали другие?


                                                                                            Посмотрите, сколько у этого комментария минусов…

                                                                                            Ему поставили минусы, потому что он противоречит известной информации и не содержит доказательств изложенной точки зрения. Также там есть просто технически неграмотные утверждения. Нейросети ни в каком смысле не могут быть протоколом, эти слова означают несвязанные друг с другом понятия. Люди просто выразили несогласие с тем, что там написано.


                                                                                            Речь о том, что предположение могло бы заставить думающих над проблемой людей взглянуть на проблему под другим углом.

                                                                                            Почему вы думаете, что до него никто не глядел на эту проблему под этим углом? Кто-то глядел, только подтверждений этому не нашли. А в пользу противоположной точки зрения есть больше фактов. Почему вы не рассматриваете вариант, что минусы поставили именно думающие над проблемой люди?

                                                                                              0
                                                                                              блестяще!!!
                                                                                                0
                                                                                                Наука, хотя и декларирует «научный метод», но во многом продолжает традиции религиозного и даже мифического мышления.
                                                                                                Для значительной части научного сообщества, особенно представителей административно-командной части, «научный метод» всего-лишь прикрытие для довольно догматичной религии со злобной богиней «Мать Ерия» и очень консервативным набором догматов и ритуалов. Особенно плохо дела обстоят там, где в науку начинает вмешиваться политика и идеология.
                                                                                                Поэтому надежда есть, но везде нужна золотая середина.
                                                                                                Нельзя ни безоговорочно верить авторитетам и публикациям, ни кидаться на новые идеи гиков от науки, 99% из которых являются абстрактными моделями, плохо коррелирующими с объективной реальностью.
                                                                                                Доверяй, но проверяй.
                                                                                                Практика — критерий истинности.
                                                                                                Но даже среди ученых не так много людей, которые осознают, что науки работают с научными моделями, а не с реальностью.
                                                                                                И любая модель всегда неполная, неточная и субъективная.
                                                                                                Любой торт можно разрезать на произвольное количество частей произвольным количеством способов. И утверждать, что существует только один, единственно правильный и объективный способ нарезки могут только религиозные догматики, без разницы, верят они в Бога или богиню «Мать Ерию».
                                                                                                  0
                                                                                                  Наука более податлива к переменам. Вера это изъян человека, подкреплённый биологией, хотя, в умелых руках она превращается в сильный инструмент для продвижения исследований.
                                                                                                  То что старые «бздуны» по типу Эйнштейна, не хотят принимать «случайность» как данность нашей вселенной — это только их проблемы. Свежие идеи, особенно подкрепленные весомыми исследованиями, отлично выталкивают или расширяют старые и заматерелые теории.
                                                                                                  Религия не хочет изменяться, особенно нынешние её представители. Ты не можешь просто так взяться и назваться пророком, сказав что «боженька шепчет», но ты можешь выдвинуть научную гипотезу, продвинуть её до теории, получить одобрение на исследование и заткнуть за пояс всех тех кто был против тебя или не верил в твои изложения. И они подвинутся, потому что твоё изложение будет иметь вес исследований, а не просто быть логично красиво (или красиво логично).
                                                                                                  Конечно, молодым приходится работать над тем, чтобы гипотезы были восприняты и поняты. В некоторые гипотезы легче поверить, чем в другие, особенно трудно верить в то что было создано на основе твоих данных.
                                                                                                  — Чёрные дыры испаряются? Какой вздор. Выкиньте свою докторскую в окно.
                                                                                                  — Но они испаряются потому что так говорит не логика, а физика с математикой. Так говорят законы, которые Вы сами лоббируете повсюду.
                                                                                                  — Тогда я пересчитаю всё сам.
                                                                                                  * ten years later*
                                                                                                  — Ваша идея имеет право на жизнь, даже если Вы её 9 лет назад сами доказали. Мне не с чем спорить, давайте подумаем как это работает.

                                                                                                  Супер-упёртые личности конечно бывают, но в научной среде это довольно редкие экземпляры, исследования которых давно уже превратились в веру, а не в науку. Их тупик тоже рано или поздно появится за очередным углом.
                                                                                                  Научный Вес доказательств — это вес который ты можешь набрать с ручкой и листочком. Понять что эта масса из себя представляет: надутый шарик или гранит — можно добравшись до исследований.
                                                                                                    0
                                                                                                    Наука держалась на открытости системы и возможности самостоятельно проверить каждое утверждение и вычисление.
                                                                                                    Но все более узкая специализация и увеличение сложности оборудования эту открытость сильно подрезали.
                                                                                                    Например, открытие бозона Хиггса на БАК — ненаучное в строгом смысле научного метода, потому что для его подтверждения нужен еще один независимый коллайдер, а вы его сможете построить?
                                                                                                    Насчет повторяемости экспериментов в неестественных науках типа психологии или социологии и говорить нечего.
                                                                                                      0
                                                                                                      Наука держалась на открытости системы и возможности самостоятельно проверить каждое утверждение и вычисление.


                                                                                                      Не было такого. Наука всегда бежала впереди себя. Раньше просто не нужно было строить коллайдеров для проверки своих теорий.
                                                                                                      Как бы то ни было. Вопрос свободной науки решился еще в начале цифровой эры, когда на сцену вышло больше теоретиков. Именно эти люди, начали смотреть глубже и разбирать монументальные вопросы на детали. Теоретики быстро заняли нишу и начали генерировать гипотезы, стараясь довести их до теорий.
                                                                                                      Нужно понимать, что всякие БАКи, супер-телескопы и мощные исследовательские станции — это исследовательский пик на данный момент. Никто в здравом уме просто не подпустит человека с сомнительной гипотезой до этих инструментов, потому что человек не прошел полный исследовательский круг.
                                                                                                      Идеи рождаются в мыслях.
                                                                                                      Гипотезы высказываются вслух.
                                                                                                      Теории пишутся на бумаге.
                                                                                                      Симуляции подарил нам цифровой мир и их проще делать в последнее время, потому что количество супер-компьютер растёт, а так же мощность рабочих станций растёт.
                                                                                                      И где то там, на повороте в новую петлю, находится практический эксперимент, который венчает учёного или рушит все его надежды на собранные ранее вычисления.
                                                                                                      Львиная доля идеи и гипотез отсеивается на стадии математического вычисления и на это есть веские и объективные причины. Те что доходят до симуляции обычно в таком же проценте идут потом на доработку, ну а практические работы на машинах построенных трудом тысячи людей заслуживают только реально крепких теорий. На такие теории всегда выделялись и будут выделяться огромные средства стараниями научного сообщества и это факт.
                                                                                                      Насчет повторяемости экспериментов в неестественных науках типа психологии или социологии и говорить нечего.

                                                                                                      Не совсем понимаю о чём вы. Единственное ограничение для этих «наук» — мораль. Мы бы могли уже давно построить сильное социально общество, если бы не были ограничены настолько моралью.
                                                                                                      Поэтому Ваши претенции просто беспочвенны. Они логичны, но логика это вопрос восприятия отдельно взятой личности.

                                                                                                    +1
                                                                                                    тут замечу, Наука и есть дочка религии. Что такое Религия изначально, если задуматься над основными постулатами? Религия есть попытка описание Мира как Единого Целого (теория Всего). Изначально она антропна — ну потому что чувак ее придумал. Что утверждает Религия. Весь Мир создан (!) единовременно и Цельно. Т.е. управляемо — не в смысле искусственно, а в смысле постригаемо и связанно. Т.е. собственно первое полноценное (в меру понимая и упрощения) описание всего сущего — т.е. первое научное описание. Аналог — Черный Ящик. Далее — два ответвления у религии: «опиум для народа» и «наука». и тд и тп
                                                                                                      0
                                                                                                      Как религиозное мышление было прогрессивным по отношению к мифическому, а монотеистическое по отношению к языческому, так и научное было прогрессивным по отношению к религиозному лет 300 назад.
                                                                                                      Но это не значит, что предыдущие форматы вышли из употребления и перестали влиять на человечество. А судя по разнице в популярности гороскопов и гаданий по отношению к научным и научно-популярным публикациям, то мистическое мышление так и остается доминирующим в популяции.
                                                                                                      А наука в своем развитии достигла естественного предела и также ждет переосмысления и нового формата мышления и отношений с реальностью, но, похоже, никто пока не знает, каким он будет.
                                                                                                  0
                                                                                                  … Такое представление нейрона более реалистичное, но при этом оно сильно усложняется, так как теперь предстоит понять, как настраивать все эти параметры при обучении...

                                                                                                  «Цепочк