• Логика сознания. Часть 9. Искусственные нейронные сети и миниколонки реальной коры
    0
    Да, есть такие программы. Есть для цифр и букв, есть для лиц. Скоро дойдем до них.
  • Логика сознания. Часть 9. Искусственные нейронные сети и миниколонки реальной коры
    +1
    Разве ваш Binary Sparse Distributed Representation под названием «код» — это не набор признаков? Разве то, что делает нейрон в микроколонке — это не выделение признака или признаков?
    Просто замените в статье «признак» на «элемент кода».

    Вы все время не о том. Бинарный хеш-код — это не набор бинарных признаков. Если у вас есть ячейка памяти, которая может принимать разные значения, то признаком чего является ее третий бит?
    Подождите примеров, возможно, станет понятнее.
  • Логика сознания. Часть 9. Искусственные нейронные сети и миниколонки реальной коры
    0
    Спасибо. Поправил.
  • Логика сознания. Часть 9. Искусственные нейронные сети и миниколонки реальной коры
    0
    Когда код состоит из набора бит, то каждый отдельный бит уже не является признаком.
  • Логика сознания. Часть 9. Искусственные нейронные сети и миниколонки реальной коры
    +1
    Да именно так. При этом в статье в мозг не лезут, а только показывают вариацию BP без возможности симметрично распространять сигнал по связи как туда, так и обратно. Считалось, что если связи в мозгу не могут обеспечить симметрию (веса работают в одну сторону), то и искать BP в коре смысла нет. Статья говорит, что искать стоит.
  • Логика сознания. Часть 9. Искусственные нейронные сети и миниколонки реальной коры
    +1
    Как вы знаете, концепция «нейрона-бабушки» для некоторых нейронов человеческого мозга доказана экспериментально — некоторые слои видят линии определённой ориентации. Да и вообще, для каждого нейрона можно найти объекты, которые возбуждают эти нейроны.

    Это неверно. Нейроны зрительной коры реагируют на стимулы в очень широком диапазоне значений. Нейроны в других зонах, которые реагируют на что-то реагируют и на другие стимулы.

    Приведу контрпример аналогией...

    Исходная фраза совсем о другом.

    Нейросеть из двух слоёв по два нейрона умеет делать XOR. А значит, представление после первого слоя уже не будет признаковым описанием, т.к. один из нейронов выучивает формулу 1-x1-x2, являющуюся комбинацией признаков.

    Признак, который является комбинацией других признаков не перестает быть признаком.

    Увы, только если всерьёз верить, что нейросети работают с «признаковыми описаниями».
    На практике — между слоями нейросети образуются DR (distributed representation), ничем не отличающаяся от вашего описания DR, которое вы называете «бинарным представлением», и с той же характерной ёмкостью 2^N, где N — количество нейронов на слое.
    Именно поэтому даже нейросети из 300 нейронов умеют строить неплохие векторные представления слов: https://www.tensorflow.org/tutorials/word2vec/

    distributed representation — это «распределенное представление». Его суть именно в том, что выделяется множество факторов, которые позволяют создать признаковое описание в терминах общих для всех примеров. В семантическом случае используют частоту совместного проявления слов для проведения факторного анализа. Для этого как раз хорошо подходит автоэнкодер. Все получившиеся факторы (300 штук) являются типичными «бабушками» они все хорошо интерпретируются, это особенно хорошо видно на визуализациях.

    Вы, наверное, удивитесь, но этот механизм присутствует в современных нейросетях, хоть и появляется несколько другим образом: нейроны со временем начинают брать на себя новые функции. Для этого их можно случайным образом игнорировать в прямом проходе ( так делает ставший уже классическим DropOut ) или какие-то из них занулить (семейство методов, известное под разными названиями: Knowledge Distillation, Deep Compression

    Я могу привести еще множество трюков которые позволяют добиться интересных результатов в нейронных сетях. Необходимость решать практические задачи заставляет находить все новые и новые механизмы. Эти же механизмы работают и на другой архитектуре, причем порой гораздо проще и изящнее. Мы, например, добились очень хороших результатов в распознавании лиц в различных трансформациях и мимических вариациях.Так вот, все хорошие нейросетевые алгоритмы, которые делают то же самое используют массу трюков, которые все у нас являются неотъемлимыми свойствами архитектуры. Позже я приведу подробное сравнение.

    Увы, если бы механизма микросаккад и саккад не было, у человеческого зрения наблюдались бы те же самые проблемы.

    Механизм микросаккад и саккад имеет совсем другой смысл. Позже я подробно напишу об этом. Там есть еще и тремор, и дрейф, и много чего интересного.

    Если вы неправильно настраиваете метапараметры, то первый слой нейросети строит «размытые очертания», если правильно — то линии.
    Кстати, согласно вашим верованиям, нейросети на это в принципе не способны, ведь это же не признаковое описание. Я правильно понял прошлые части данной статьи?

    Нет. Вы поняли неправильно. И размытые и четкие линии — это типичные признаки. Кстати, некорректно говорить о правильной или неправильной настройке применительно к толщине выделившихся линий.

    Ваше представление о нейронных сетях чётко говорит о том, что вы с ними не работали на практике, и поэтому совершенно не представляете, как и за счёт чего они работают.

    Ну это вы загнули :)

    Мне кажется, если бы вы всё же разобрались, как работают нейронные сети, вы бы начали видеть глубокие аналогии между вашей «независимой» моделью и современными искусственными нейросетями.

    Вы даже не представляете сколько там аналогий. Нейронные сети делают неглупые люди и делают давно. Огромное количество находок и здравых идей. Но есть и другой более общий подход (это мое мнение), о нем я и рассказываю.

    В следующей части будет пример программы. Надеюсь разница станет понятна. Вообще же, вы, похоже, не прочувствовали разницу между кодом и признаковым описанием. Семантический вектор из 300 признаков для конкретного слова может содержать несколько высоких значений. Они описывают смысловые области к которым близко это слово. Но это не код. Код — это номер, присвоенный этому слову и ничего более.

  • Логика сознания. Часть 9. Искусственные нейронные сети и миниколонки реальной коры
    +1
    Эта статья несколько о другом. Она о том, что обратное распространение в искусственых нейронных сетях можно заставить работать без того чтобы связи симметричного распространяли сигналы в обе стороны. Это ничего не говорит о том как работают биологические нейроны.
  • Логика сознания. Часть 8. Пространственные карты коры мозга
    +1
    Не получается сделать примеры так быстро, как хотелось бы. Чтобы заполнить паузу завтра запишу виде с рассказом о следующем шаге рассуждений. Это будут объяснения (по мне очень важные для понимания работы мозга) о том как мозг делает то же, что делают и нейронные сети, но делает это совсем по-другому.
    Выложу видео, видимо, послезавтра. А еще через неделю доделаю статью об этом.
  • Разработка сильного ИИ, путем копирования структур и процессов психики человека
    0
    Что врожденное, а что нет — вопрос интересный. Подробнее тут.
  • Разработка сильного ИИ, путем копирования структур и процессов психики человека
    0
    Обычно психологи исходят из того, что свойства личности — это нечто предопределенное генетически впоследствии несколько подправленное индивидуальным развитием. Я берусь утверждать, что все эти свойства формируются уже после рождения. Механизм их формирования — это неотъемлимая часть механизма обучения с подкреплением. Показаны пути формироания всех известных эмоций, в том числе восприятие крастоы во всех ее проявлениях. Моделирование личности с фиксированными свойствами не совсем корректно.
    Семантические модели главным образом упираются в неоднозначность присущую всем словам языка. Возникает потребность контекстно зависимой трактовки. Иначе говоря, необходима формализация понятий информация и смысл. Боюсь без этого результаты будут крутиться вокруг статистических закономерностей.
  • Логика сознания. Часть 8. Пространственные карты коры мозга
    +2
    Очень хочу 7 ноября выложить следующую часть. Она о том как происходит обучение с учителем и без учителя. Там очень важнный материал, который позволяет понять в чем основная проблема нейронных сетей и как ее исправить (как это делает мозг). Решил немного обновить демонстрационную программу и засосало в полное переписывание. Сейчас доотлаживаю и выложу и код и статью.
  • Новинки в линейке домашних проекторов Epson: встречайте Epson EH-TW6700/6800/7300/9300 и лазерный Epson LS10500
    0
    Первый проектор повился у меня в конце 90х. С тех пор сменил пять или шесть моделей. Сейчас у меня Epson TW9200. И это не проектор — это чудо. Дикий непроходящий восторг от качества картинки, эталонных цветов и общей продуманности всего. Спасибо вам ребята их Epson, вы делаете классные вещи!
  • Логика сознания. Часть 8. Пространственные карты коры мозга
    0
    Все равно, формальный нейрон имеет один характерный стимул, определяемый его весами. Не суть важно, что стоит за этим стимулом: целый образ, фрагмент, взаимное положение. Идеология сохраняется: один нейрон — один стимул.
  • Логика сознания. Часть 8. Пространственные карты коры мозга
    +2
    Возможно, я плохо варазил мысль. Миниколонка способна определять коды разных образов. Она не является детектором какого-либо конкретного образа. Классический подход говорит: нейрон — детектор определенного образа. Нейроны миниколонки настроены на один стимул. Я, собственно, пытаюсь показать, что это не так и объяснить, что стоит за такой реакцией нейронов.
  • Логика сознания. Часть 8. Пространственные карты коры мозга
    +2
    Сопоставление изображений левого и правого глаза позволяет по параллаксу судить о расстоянии до объекта. А это требует некой совместной обработки информации от обоих глаз. Далее я покажу интересный принцип, который позволяет очень просто получить код расстояния.
  • Логика сознания. Часть 8. Пространственные карты коры мозга
    0
    Трудно сказать. Скорее все сразу.
  • Логика сознания. Часть 8. Пространственные карты коры мозга
    +2
    Я думаю, что чем более непривычен ракурс тем меньше контекстов его обслуживают. Возможно, узнавание требует определенных итераций. В плохом ракурсе за счет этого может возрастать требуемое время.
    Мне кажется, что считать информацию общую для зоны коры — решаемая задача.
  • Что такое информация с точки зрения физики?
    0
    Относительно информации и ее смысла — https://habrahabr.ru/post/309626/
  • Женщины и убийства: есть ли тут взаимосвязь? [часть 1 из 2]
    0
    Если в общую статистику убийств входит убийство матерями новорожденных детей, то это может содать сильный перекос. Преступление достаточно распространенное, но свойственное только женщинам.
  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    0
    Это плохо по нескольким причинам. Во-первых на начальных стадиях, когда контексты еще плохо сформированы может сложиться не самая удачная расстановка. Во-вторых, новый опыт с какого-то момента не сможет менять расстановку. В-третьих, корреляции между контекстами накапливаются со временем и в начале, когда их нет, трудно сформировать размещение.
  • Логика сознания. Пояснение «на пальцах»
    0
    Как «собирается» информация, как происходят действия и мышление, что из этого осознается — это темы следующих частей.
  • Логика сознания. Пояснение «на пальцах»
    0
    Мы сделали пример распознавания изображений. В следующих частях он будет.
  • Логика сознания. Пояснение «на пальцах»
    0
    Правила преобразований — это память, которая в ответ на один узор (ключ) выдает другой узор (значение). Механизм такой памяти был описан ранее. Как формируются зрительные контексты будет описано позже. В основе этого формирования лежат микродвижения глаз.
    Каждый зрительный контекст — это результат «серии» преобразований. То есть если смещений по x рассматривать 100 вариантов, по y — 100 и 100 вариантов по углу, то понадобится 1 000 000 (миллион) контекстов. Каждый из них будет соответствовать комбинации преобразований (конкретное смещение и поворот).
  • Логика сознания. Пояснение «на пальцах»
    0
    Про инстинкты будет дальше.
    Мышление животных похоже на человеческое. У наскомых мозг устроен несколько иначе, трудно сказать насколько принципально он отличается.
  • Логика сознания. Пояснение «на пальцах»
    0
    Распознавание изображений мы сделали. В следующих частях я покажу результат и объясню алгоритмы.
  • Логика сознания. Пояснение «на пальцах»
    0
    В следующих частях обо всем этом будет подробно.
  • Логика сознания. Пояснение «на пальцах»
    +1
    Я писал на эту тему во вступлении к циклу. Известно очень много фактов о мозге, но нет ни одной концепции, которая бы объяснила как он работает. Научная основа модели — это экспериментальные данные о мозге, модель не противоречит ничему, что на сегодня известно.
  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    +1
    Подготовил следующую часть. Показалось, что несколько сложно и занудно, но главное совершенно непонято для тех, кто не читал или читал невнимательно предыдущие части. Решил сделать «разъяснение на пальцах», наболтав его на видео. Дела сильно закрутили. Надеюсь, что через пару дней выложу видео. А в воскресенье следующую часть.
  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    0
    Механизм, действительно, был в предыдущих частях.

  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    +1
    Когда нет четкого совпадения, вероятность выбора контекста определяется общей похожестью воспоминаний на трактовку в контексте. В «детских» задачах в первую очередь выбирается контекст с «лобовой» трактовкой. Зайцы и рога навевают трактовку «зайцы — звери». В этой трактовке ничего точного не находится.
    Чтобы не зациклиться на одном контексте при каждом новом обращении контекст выбирается, исходя из его вероятности. Это значит, что при длительном размышлении (много попыток обращения к коре) есть шанс, что будет выбран и контекст с низкой вероятностью, который может оказаться правильным. В данном случае — это контекст где «зайцы — безбилетники». И тогда мы сможем обнаружить, что хотя и не точное, но нечто близкое есть — это тролейбус.
    «Детская» задача строится на том, что даже в нужном контексте нет точного совпадения. Однако если есть дополнительные подсказки узнавание значительно облегчается, но это уже не называется загадками. Это алегории, иносказания, образная речь и так далее. Как правило, там мы контекст определеяем сразу с первой итерации.
  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    0
    Нет не проростание. Да, результат обучения. Вопрос в том, что одновременно должно происходить и обучение колонки и поиск колонкой самого удачного места. Что подразумевает «перенос» колонки с места на место, а точнее обмен колонок местами. Перекачка все информации от одной колонки к другой не подходит. Долго, сложно и требует механизма считывания. Память миниколонки может выдать информацию в ответ на запрос по ключу, но кто знает все ключи?
    Возможно, ответ уже очевиден :)
  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    0
    Система проекций достаточно детально изучена (ссылки на основные проекты есть на вики). Подробного разбора не будет — это слишком серьезно и масштабно.
  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    +1
    Я работаю в достаточно плотном контакте с биологами, да и сам неплохо разбираюсь в биологии мозга.

    Формирование контекстов станет понятнее на конкретных примерах, они будут в следующей части.

    Вопросам про «смысл» и его формальную модель были посвящены предыдуще части.

    Широкие пересекающиеся контексты позволяют очень изящно решить задачу обобщения, об этом будет дальше.

    Мозг имеет порядка 50 зон коры. Каждая зона работает с миллионами контекстов.

  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    +1
  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    +1
    Подскажите, пожалуйста:
    1. то, что вы описали, уже есть в виде программной реализации?

    Да, есть для распознавания изображений.
    2. ваша основная прикладная цель — переводы? Или иная?

    Цель — понять как работает мозг и создать сильный ИИ.

    Несколько вопросов по статье:
    1. почему бы контексты не связать-объединить контекстами (или «обобщенными категориями») более высокого уровня? Разве это не упростит вычислительную сложность задачи?
    Молото + Рубанок => Инструменты.
    Кот + Пес => Домашние животные
    Чашка+Вилка+Раковина+Ведро = Кухня

    При пространственной организации обобщенные категории получаются автоматически как области близких по смыслу контекстов, далее я покажу интересные механизмы по работе с ними.

    2. Чтобы обучать «сеть» нужна 2 типа информации: «позитивная» и «негативная». Одна — учит, другая — задает границы, где перестает действовать модель.
    Пример: Поз.: «мясо можно кушать», Нег.:«мясо сырое нельзя есть людям».
    Каким образом вам удается свою сеть «научить» 2ому виду информации?

    Это уже относится к обучению с подкреплением. Оно будет описано позже.

    3. При работе с «сырым» текстом встречается: юмор, поговорки, глупости, оговорки и иносказания. Как можно научить сеть хотя бы их игнорировать? ;)

    Все это решается через выделения набора смыслов.

    4. Семантические контекстные связи(СКС) могут быть очень «тончайшими» и не вербализуемыми, как в этом случае их удается представить в виде весов матрицы?
    Или схожая ситуация: 2 разных человека могут определить СКС по-разному в зависимости от воспитания, жизненного опыта и даже настроения. Для некоторых людей СКС могут быть вообще в виде поэтических ассоциаций ;)

    Корреляции между контекстами считаются не по ассоциациям или «вербализациям». Они отражают совместность срабатывания контекстов. То есть тот факт, что часто одна и та же информация может быть неплохо истолокована в каждом из них.

    5. А каким образом проверяется «чему сеть научилась»? Есть ли какая-то автоматизированная методика построения «контрольных точек» для проверки корректности работы сети после обучения?

    В следующей части я покажу такой механизм на примере автоэнкодера. Его цель — сжатие описания с максимальным сохранением точности.
  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    +1
    В следующей чати будет как раз об ориентационных колонках и всем пути информации от сетчатки до коры.
  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    +1
    Позже я подробно напишу про юмор. Все гораздо интереснее и сложнее. Нельзя просто констатировать, что что-то вызвывает смех или удовольствие. Надо понимать причины. Необходимо понимать саму природу эмоциональных оценок.
  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    0
    Да нет. Пара строк.
  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    0
    Нет, не волна и не переносит :)
  • Логика сознания. Часть 7. Самоорганизация пространства контекстов
    0
    На входе контент. Контент описан понятиями. Есть знания о том, как можно трактовать эти понтия в разных контекстах. Создается огромное количество возможных трактовок. Каждая из трактовок сравнивается со всей предыдущей памятью.