Как стать автором
Обновить

Комментарии 54

НЛО прилетело и опубликовало эту надпись здесь
Выпускник МГТУ, инженер электронщик, программист. Заметил примерно с 6й статьи, прочитал не отрываясь и следил за выходом до самого конца. Концепция захватывает тем, что строит в голове вполне осязаемый мост, соединяющий нынешнюю науку и киберпанковое будущее, так любимое по сочинениям фантастов. Постижение устройства мозга и сознания — одна из тех вещей, которые очень хочется застать при жизни, и которая становится чуточку реальнее прямо у нас на глазах. С технической точки зрения статьи написаны достаточно хорошо. Первые части с описанием общих принципов воспринимаются лучше, тогда как к более поздним частям некоторые понятия несколько размываются и местами теряется ощущение чёткой линии повествования. Ещё до конца так и не стал понятен формат, в котором автор развивает свои идеи. Научная работа? Любительский проект? Куда всё это движется, кем и как спонсируется?
А так, хочется пожелать автору успеха и поскорее познакомиться с дальнейшими результатами. Это было круто. Может помогу с переводом.
Мне все страшней становится от того, что когда-то «программа» мозга окажется не в самом лучшем положении и «взломать» человека будет проще простого.
Это наверное будут самые опасные технологии и знания во всей истории.
Я не против движения науки в этом направлении, но ошибка потом будет дорого стоить.
Математик, программист. Интересуюсь нейронными сетями довольно давно.
Поймал цикл где-то на 2й или 3й статье. Читал взахлеб — я давно искал во-первых, собранного в кучу материала по физиологии мозга, во-вторых, детального процесса работы (имею ввиду того, что уже известно). Отношение к идеям в статьях примерно такое.

Если говорить несколько более серьезно на тему науки и развития этой теории как настоящей теории, то я считаю, что нужно:
  • нужно попробовать смоделировать нечто бОльшее, чем просто волна в двух слоях. (здесь попробую помочь)
  • нужны рецензии.
  • Как правильно заметил shabanovd тут, нужно попробовать состряпать строгую алгебру над нейронами.

Примерно как-то так.
Как бы не сложилось у Вас, господа AlexeyR и shabanovd, спасибо вам за ваше время. Надеюсь модель побольше покажет себя хорошо ;-)
Жду продолжения! =)

Прошу дополнить статью ссылками на остальные статьи цикла. Ну или пусть просто в этом комменатрии полежат. Спасибо вам!
  1. Логика мышления. Часть 1. Нейрон
  2. Логика мышления. Часть 2. Факторы
  3. Логика мышления. Часть 3. Персептрон, сверточные сети
  4. Логика мышления. Часть 4. Фоновая активность
  5. Логика мышления. Часть 5. Волны мозга
  6. Логика мышления. Часть 6. Система проекций
  7. Логика мышления. Часть 7. Интерфейс человек-компьютер
  8. Логика мышления. Часть 8. Выделение факторов в волновых сетях
  9. Логика мышления. Часть 9. Паттерны нейронов-детекторов. Обратная проекция
  10. Логика мышления. Часть 10. Пространственная самоорганизация
  11. Логика мышления. Часть 11. Динамические нейронные сети. Ассоциативность
  12. Логика мышления. Часть 12. Следы памяти
  13. Логика мышления. Часть 13. Ассоциативная память
  14. Логика мышления. Часть 14. Гиппокамп
  15. Логика мышления. Часть 15. Консолидация памяти
  16. Логика мышления. Часть 16. Пакетное представление информации
  17. Логика мышления. Часть 17. Реляционная модель данных
  18. Логика мышления. Промежуточный итог
Web программист.
Я слежу за вашей работой с выхода видео лекций, тогда очень сильно зацепило и я пересмотрел их уже 2 раза, плюс прочитал Ваши книги.
Из текущих лекций успел прочитать лишь несколько, из-за отсутствия времени.

Результат: поскольку я толком не изучал другие концепции, мне очень было легко понять Вашу, нет чужеродных убеждений. Я очень рад что так случилось, мне очень нравится Ваша работа, Ваш труд.

Другим лишь дам совет — откиньте все предрассудки и попробуйте вникнуть в концепцию, оно того стоит.
Программист, специализируюсь на machine learning и тем, что иногда называют AI. :-)

Я прочел весь цикл статей, правда многие поверхностно.
Модель достаточно интересна и интуитивно понятна тем, кто не испорчен фон Неймановской архитектурой.
Волновые вычисления меня кстати интересовали давно (я физик-теоретик по основному образованию), но давно про их и забыл, т.к. никакого коммерческого интереса не видел. На обычный компьютер они ложаться плохо.
По той же причине кстати стараюсь не использовать в работе нейронки.
Вообще исхожу из «железа», поэтому не собо верю в эффективность волновой модели — у меня специфика нагруженные бэкенды.
Вы сами пишете, что все упирается в быстродействие.

Другое дело — если бы была новая аппаратная архитектура, оптимизированная под такую среду.
Тогда возможно все бы изменилось.

Мое мнение по использованию таких алгоритмов очень прагматично — если бы мы делали автомобили по образцу лошадей, на наших мерседесах были бы железные ноги, а не колеса. И стоили бы они в десятки раз больше.
Поэтому понимание процессов работы мозга очень важно — это ключ ко многим технологиям.
Но понимание и имплементация — разные вещи и любое прямое копирование будет столь же неэффективно, сколь установка ног на мерседес.

В истории техники очень мало успешных технологий, заимствованных у живой природы.
Медик, психолог, программист. Интересуюсь созданием ИИ, и объяснением реального И. Читал статьи на сайте. Цикл статей крайне интересен тем, что существующие модели нервной системы достаточно старые (рефлексы Павлова, функциональные системы Анохина и т.д.). На сколько я понял в вашей работе использовались данные последних десяти лет, что уже замечательно.

Вопрос автору(-ам) — пробовали ли вы объяснить с помощью вашей теории различные психические патологии? Например психозы, галлюцинации, бред, шизофрению, и т.д. По идее, патологические процессы должны соответствовать основным механизмам работы нервной системы (например последствия повышения или понижения количества гармона в крови при достаточном уровне понимания физиологии можно себе представить).
Есть огромная масса относительно новых теорий — Tononi и Friston, например.
Ранее рассматривался синдром Корсакова. Позже, когда дойдем до эмоций, я покажу объяснение неврозов и причин того, почему помогают существующие методики лечения. Так же будет предложено объяснение эффектам плацебо и внушения. Но неврозы, плацебо и внушение — это варианты нормы.
Патологии объяснить можно, но ценность этого объяснения, боюсь, будет невысока без действующей модели. Практически любая модель плюс допущение о поломке дают слишком большой диапазон следствий, который можно использовать для подгонки результата.
МФТИ, занимаюсь внедрением системам управления проектами. Прочитал почти все доступные материалы автора, «Мозг напрокат», Видеолекции, «Логика эмоций».
Зацепили видеолекции с объяснением природы эмоций, ее связка с опытом, разбор таких эмоций как «любовь», «смех». Пришлось по 3 раза перематывать, т.к. каждая фраза была сильно нагружена смыслом. Через день, я эти модели вовсю использовал в своей жизни, в сложных ситуациях на работе, в моих взаимоотношениях с девушкой. Эти вещи офигенно работали, и работали намного лучше чем большинство психологических советов, теорий, десятков дорогостоящих тренингов.
Потом выходит книга «Логика мышлений», где автор заходит с другой стороны. Эта модель завораживает свой красотой и сложностью одновременно, но реально оценить ее «верность», «полезность» не могу, т.к. пока это далеко от практического применения в жизни, а глубоких специальных в нейробиологии у меня пока нет.
Была надежда что когда повествование «Логика мышления» дойдет до эмоций, то откроются новые свойства эмоций, но пока я этого не ощутил или мы еще не дошли до этого места «стыковки».

Не знаю, окажется эта модель соответствующей реальности или нет, главное что она уже приносит пользу, за что большое спасибо автору!

>Эти вещи офигенно работали, и работали намного лучше чем большинство психологических советов, теорий, десятков дорогостоящих тренингов.

Это очень интересно! А не приведете ли пару-тройку случаев применения? Исходные данные + применение теории => вывод + применение вывода => результат.
И мне интересно :)
Недавно у меня был разрыв с девушкой по моей инициативе, с которой я прожил 7 лет. И мне и ей было хреново, о причине говорить не буду, можно считать что «привыкли» к друг другу. У меня было чувство вины с одной стороны и четкое понимание что если буду дальше с ней будет еще хуже, с другой. И я все никак не мог уложить в голове, как я такой подлец оказался, и почему я делаю другим людям больно.
Модель эмоций, если очень тезисно донести (прошу прощения автора за огрубление):
1. Происходящие с нами события имеет оценку основанную на реальных ощущениях + эмоциональную оценку (оценка качества ситуации)
2. Эмоциональная оценка появилась как механизм, позволяющий прогнозировать получение реального подкрепления на ближайшем шаге, т.к. одного реального подкрепления часто бывает не достаточно для принятия решения
3. Эмоциональная оценка изначально отсутствует у человека, но по мере получения «реальных подкреплений» она все больше накапливается (не путать с мимическим проявлениями)
4. В случае виртуальных переживаний эмоциональные оценки также складываются в память как и остальной опыт
5. События имеющие высокую эмоциональную оценку постоянно «выталкиваются» на проекционную зону коры

Допустим два человека друг друг понравились. У обоих появилось положительное реальное подкрепление связанное с общением друг с другом. Эти люди расстаются на какое-то время и думают друг о друге, этот виртуальный опыт имеет сильную положительную эмоциональную оценку, и попадает нам в память. Из памяти мысли об этом человеке «подпитанные» фантазиями снова попадают на проекционную кору, и мы снова фантазируем об этом человеке, еще более раздувая эту ситуацию. В итоге получается замкнутый цикл: сильная фантазия о человеке — попадает в память — еще больше усиливает предыдущие фантазии — выталкивает на проекционную зону — снова запускается сильная фантазия.

В итоге у нас появляются неадекватные завышенные ожидания по поводу человека. Эту цепочку может разорвать реальным подкреплением (я это называю «Суровая бытовуха»), которое скорректирует нашу эмоциональную оценку. Сам по себе процесс раздувания наверное имеет место быть, кто не хочет халявных положительных эмоций? Но при этом понимание этого механизма, заставляет обращать внимание на реальные вещи типа " а о чем конкретном и интересном я могу с ней поговорить", «насколько она себя любит и умеет стоять на своем», а не вещи типа «Ах она такой ангел», «такая милая, у нее такие прикольные недостататки». И быть готовым, что через год, два это реальное подкрепление придет. Также эта модель хорошо объясняет почему нам так дорог становится человек когда он далеко от нас или идет переписка смсками

После реальной корректировки суровой бытовухой, уровень может остаться все еще высоким или наоборот низким. Но люди часто наообещав своим дамам, и вспоминая былые чувства, держаться до конца, взрывая самими себе мозг внутренними противоречиями. После таких рассуждений, я по другому посмотрел на сложившуюся ситуацию, собрал все факты и понял что принятое решение было правильным. Внутренняя модель мира смогла разрешить возникший «когнитивный диссонанс» и меня перестало корежить.

Возможно это выглядит, как удобная отмазка, чтобы оправдать себя. Но по таким же механизмам действует и вся остальная «любовь», к игрушкам, машинам, деньгам. Еждневный опыт постоянно мне доказывает этот тезис, и помогает мне заранее распознать такие «ситуации зацикливания»
Лекции еще не читал и не смотрел, но сам для себя пришел примерно к таким же выводам (о системе с положительной обратной реакцией).
Для меня «Логика эмоций» была как более подробное описание видеолекций.
Говоря про «Логику мышления» имеел ввиду те главы, которые уже опубликованы.
НЛО прилетело и опубликовало эту надпись здесь
Это мои собственные исследования. Я прикладной математик. Я сам себе спонсор. Проект занимает все мое время уже много лет. Около года назад к проекту присоединился Дмитрий Шабанов, который помогает мне в моделировании, обсуждениях и критике моих идей, а кроме того имеет кучу своих мыслей :)
Цель — создание сильного ИИ, то есть понимание того как работает мозг.
Продолжение публикаций планирую через месяц. В принципе, пару тройку статей могу выложить сейчас, но потом все равно будет нужна пауза.
А вы не могли бы подвести краткий итог именно по практическим результатам?
Я имею в виду, вы использовали свои модели в приложении к практическим задачам — распознавание и классификация изображений, звука, управление какими-нибудь системами?
Практических результатов пока нет. То есть если говорить об обучении с подкреплением, которое лежит в основе этой модели, то примеров масса. Пока нет примеров реализации распределенной памяти и волновой теории. Работа еще предстоит.
Первую статью читал с особенным вниманием. Удивительно, что всё это великолепие всего лишь результат случайных мутаций органических молекул. С трудом верится, что такие «слабые» и медленные вычислительные ресурсы можно использовать для мгновенной обработки огромного потока входной информации, принятия решения и выдачи ответной реакции, а ещё в фоне следить за вегетативной системой и напевать песенку. Программная часть тоже воображает.
Благодарю за статьи.
Я программист, когда-то олимпиадник и специалист по алгоритмам, в последнее время занимаюсь коммерческим веб-программированием в условиях high-load на SOA и большим количеством разнородных доменно-специфичных баз данных, полученных из разных источников — по сути, что-то типа современного поисковика, и очень похоже на работу мозга. Когда-то сильно увлекался НЛП, а ещё раньше — радио- и цифровой электроникой. Сейчас увлекаюсь machine learning и AI, из AI в основном занимаюсь Natural Language Processing и очищением данных. Когда-то реализовывал HTM CLA Хокинса самостоятельно и пробовал его обучать, но он оказался пустышкой: очень медленная и абсолютно непрактичная модель. Самое последнее увлечение — Deep Learning, в тот момент, когда я понял, что обычного machine learning не хватает даже для уверенного получения синтактико-семантической модели русского языка, а вручную создавать её со всеми миллионами правил и исключений из правил — сложно, дорого и долго (на ABBYY Compreno трудится больше 1000 человек, начали работы почти 20 лет назад, и конца и края не видно до сих пор).
В идеале, хотелось бы покончить именно с практикой рабского труда для составления и редактирования баз данных для обучения и ручного написания эвристических алгоритмов, основанных на правилах. Но для этого нужны хорошие модели обучения: быстрые и устойчивые к ошибкам. Подобный автоматический feature learning уже победил для фотографий, но этого мало (для обработки текстов гораздо более высокие требования к качеству).
Ведь весь прогресс последних десятилетий в области AI связан исключительно с улучшением моделей обучения и построением бОльших баз данных для обучения.

За автором слежу давно, много интересных концепций, но в основном, умозрительных и популяризаторских. Хоть в этом мало пользы для специалиста, но это очень полезно для хабра и привлечения новых людей к этой области.
Из книги «логика мышления» очень понравилась идея о делении знания на несколько категорий: www.aboutbrain.ru/2012/01/30/%D0%BE%D1%81%D0%BE%D0%B7%D0%BD%D0%B0%D0%BD%D0%B8%D0%B5-%D1%8D%D0%BA%D1%81%D0%BF%D0%BB%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F-%D0%BE%D0%B1%D1%8A%D1%8F%D1%81%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5-%D0%B7%D0%BD-2/
Считаю, что это ключевой момент теории обучения, который отлично объясняет особенности человеческого мозга, а также успех современных (особенно deep learning) моделей и их преимущества, и что он ещё будет очень важен для теории автора в дальнейшем.
Последние статьи про мышление интересные, но немного напрягает то, что невозможно материал из статей как-либо проверить, применив знания из цифровой схемотехники, вычислив все параметры волновой модели в реальном мозгу, и поняв, может ли такое иметь место вообще. Ведь именно фальсифицируемость — аргумент научной теории, которая претендует на истинность. С другой стороны, с точки зрения практической полезности, в этом смысла мало — зачастую, даже на основе неправильных в каких-то мелочах теорий можно получить практически полезные программы.
Не теряю надежды на «верхнеуровневые» модели моделирования интеллекта, поскольку не вижу возможности обогнать закон Мура, и, следовательно, не верю в то, что в ближайшие 20 лет будет возможно достаточно точно смоделировать низкоуровневые модели человеческого мозга.
Соответственно, предполагаю, что нужно учиться моделировать структуры мозга с помощью «более классических»/«более быстрых» алгоритмов:
— память: взять обыкновенную базу данных / in-memory storage с выгрузкой на диск.
— алгоритмика: для многих областей можно взять обученную deep-learning модель, opencv-модель, базу данных, знаний — да всё, что угодно, главное, чтобы без проблем «влезало» по скорости и объёму данных в современные компьютеры
— соединение зон мозга: подходы с помощью облака тегов и традиционных параметров. например, на youtube у каждого ролика есть несколько структурированных параметров (длительность, автор, дата публикации, название, категория в каталоге) и с десяток плохо структурированных ключевых слов, описывающих разные аспекты ролика. То же самое можно сделать для песни, для фотографии, для отдельного объекта на фотографии, для фильма, для книги в целом, для отдельного абзаца книги (который читается в данный момент), для заголовка главы, для одного слова из книги, для понятия, описываемого этим словом, для героя книги… (в общем, присутствует удивительная однообразность используемых средств для описания объектов).
Тексты автора, рассмотрев волновое взаимодействие структур мозга, обрываются на самом интересном месте: на упрощенном верхнеуровневом описании возможного устройства этих структур мозга, их возможных верхнеуровневых протоколов обмена данными. Пока что не добрались до удобного способа их верхнеуровневого обучения.
Мысль об аналоге реляционной структуры в мозгу подталкивает к тому, чтобы попытаться смоделировать подобное взаимодействие и наложить на него модель обучения.
Я с удовольствием помогу автору в подобной верхнеуровневой реализации, подберу готовые или самописные блоки для разных частей и реализую алгоритм соединения и сопряжения разных частей. Лишь бы оно работало! Помогу сделать и оформить веб-демо или готовый продукт.
Спасибо за развернутый комментарий. Рад, что понравилась глава о делении знаний. Это действительно очень важный для понимания момент. Для моделирования информационных процессов мозга волновую модель воспроизводить не обязательно. Но она очень сильно помогает в биологической привязке более сложных моделей данных к реальному мозгу. Описание модели данных и информационных процессов, как я их вижу, будет в следующих частях. Если идеи понравятся подключайтесь к реализации. Для этого присоединяйтесь к группе.
«Когда-то реализовывал HTM CLA Хокинса самостоятельно и пробовал его обучать, но он оказался пустышкой: очень медленная и абсолютно непрактичная модель.»
Вроде как на данный момент Хокинс в составе Numenta эту модель не только реализовали, но успешно (даже экономически) уже используют. Есть и готовые продукты с закрытым кодом, так и какой-то открытый фреймворк (пока не разобрался в нём). Вы хотите сказать что вся эта группа занимается ерундой и у вас есть более эффективные алгоритмы для задач которые они решают? (Это не наезд а просто хочется получить реальный ответ. Как вы называете пустышкой алгоритм который уже успешно используется в практике?)
Ох, не люблю заочно критиковать… Но уж если очень просите… :)
Заранее прошу прощения за низкую структурированность.
Про скорость:
Пробую применять их алгоритм для двухмерных данных.
На MNIST (картинки 30x30) у меня их алгоритм работал со скоростью порядка 1000 кадров в секунду. Т.е. на картинке 320x240 уже будет не realtime. Использовалось порядка 1000 нейронов, из которых получалось SDR размерности порядка 10.
Про память:
Занимает такая область HTM несколько мегабайт памяти.
Про качество:
На MNIST с добавлением движения у меня даже наивный байес работает лучше! :) И хорошие параметры для двухслойной сети я так и не смог подобрать… С двумя слоями, коэффициент качества распознавания у меня получился порядка 57%. При этом другие модели, использующие сравнимое количество памяти и скорость, показывают результат порядка 99%, а рекорд на оригинальном MNIST — 99,8%.
Еще большие проблемы при взаимодействии блоков HTM между собой с обратной связью в виде проекций. Работает плохо. Но, может, я просто не умею это всё настраивать (но в интернете два года назад нигде было не найти инструкцию по настройке, да и сейчас, как мне кажется, не найти).
В общем, по возможностям их система ближе всего к гибриду простенького нейросетевого классификатора и корреляционной матрицы, применённой к выходу классификатора и дообучаемой по мере пополнения данных.
Классификатор — нейронная сеть, её модель обучения — конкурентная борьба за области входного сигнала, но нет никакой обратной связи от высших слоёв. Метод обратного распространения ошибки? Увы, не положено.
Тонкой настройки у такого классификатора просто не происходит (или нужно намного больше классов, чем 1000).
Алексей всё правильно сказал, их временная модель очень требовательная к точному таймингу и не может предсказывать сложные процессы.
Они или «нахватались по верхам», или скрывают свой истинный прогресс.
Кроме того, их научное направление, видимо, тоже загнулось — google scholar находит последнюю научную работу от Jeff Hawkins от 2009го года. Потом только патенты. Допускаю, что я плохо искал.
Их систему сейчас продвигают под названием Grok, преимущественно как систему для прогнозирования нагрузок на дата-центры (чтобы экономить на масштабировании: основываясь на данных о нагрузке в прошлом, поднимать предсказанное количество виртуальных машин на Amazon, вместо того, чтобы держать все включенными).
Но это, на мой взгляд, достаточно узкая и простая задача с точки зрения machine learning, с низкими требованиями по качеству (допустим, ошиблась система, ну и что, кого-то накажут за это?)
Успешных применений для рынка акций (где наказания реальны) не замечено.
Успешных выступлений на Kaggle и других состязаниях по Machine Learning не замечено.
Успешных применений их модели в других научных работах не замечено. Многие люди успешно используют DBN, RNN, CNN, SVM для тех же задач, но не видно успешных использований HTM-CLA — только маркетинговый шум.
Их Grok их сотрудники называют «successful commercial product», но вот и всё, что они говорят.

Возможно, я не объективен. Возможно, были ошибки в моей реализации, сделанной на основе numenta.org/resources/HTM_CorticalLearningAlgorithms_ru.pdf.
Я очень хочу разубедиться в весьма узкой специализации их модели.

Давайте теперь поищем по Quora по запросу «Jeff Hawkins».
Единственное утверждение, что они круты, нашлось здесь: www.quora.com/Is-the-model-for-general-AI-from-On-Intelligence-by-Jeff-Hawkins-reasonable-and-is-it-possible-to-use-it-practically
Упомянута bias.csr.unibo.it/maltoni/HTM_TR_v1.0.pdf как большой успех, но это не HTM CLA от 2009 года, это их прошлая модель от 2005го года (она называлась просто «HTM»).

Вот ещё один типичный ответ на эту тему: qr.ae/vpv3u
Он обобщает и подтверждает мои соображения.

Что ж, будем следить за их успехами в дальнейшем!

Собственно, по этим причинам я и говорю, что детальное следование биологии весьма тяжко, чисто из вычислительных соображений.
Тут как с самолётами: Нужно строить лёгкие и эффективные верхнеуровневые модели, которые выполняли бы необходимую работу, но не повторяли все биологические детали (типа махания крыльями), а вместо этого эффективно использовали особенности устройства современных компьютерных и видеочипов.
Спасибо за ответ. Может всё именно так и есть. Несколько замечаний:
Они моделируют не только нагрузку серверов. На сайте есть примеры по крайней мере программы которая по видео следит за людьми. На вход подаётся видеопоток, она находит людей и может сказать скажем когда человек простоит вот в этом месте некоторое время и т.д.
Также в презентациях говорится о том что наивная реализация самой модели потребляет слишком много ресурсов, весь шик в том чтобы правильно оптимизировать. Может быть вы не до конца оптимизировали?
Ну ещё конечно хочется заметить что детальность следования биологии — относительна. Насколько я понял из презентаций, они не пытаются ей следовать бездумно и моделируют только те процессы которые имеют значение. Просто они смотрят в их модели на большее количество процессов чем в других моделях. Естественно не факт что это эффективнее, но у них нет самоцели смоделировать всю биологию просто «потому что прикольно».
Будем следить ).
>Они моделируют не только нагрузку серверов. На сайте есть примеры по крайней мере программы которая по видео следит за людьми. На вход подаётся видеопоток, она находит людей и может сказать скажем когда человек простоит вот в этом месте некоторое время и т.д.
Тут есть много альтернативных реализаций.
Есть коммерческий продукт VitaminD с элементами модели Numenta, но это опять та старая модель. Та старая модель — это хорошая попытка повторить зону V1 мозга, поэтому неудивительно, что в этой узкой задаче она может неплохо работать.
>Также в презентациях говорится о том что наивная реализация самой модели потребляет слишком много ресурсов, весь шик в том чтобы правильно оптимизировать. Может быть вы не до конца оптимизировали?
Наверняка, но выигрыша даже ещё на порядок на CPU не получилось бы всё равно. Под GPU — возможно. Но всё равно намного удобнее оптимизировать алгоритм под имеющееся железо, например, под GPU, нежели использовать жесткий неизменный алгоритм. Но если мы меняем их алгоритм, то нельзя говорить про использование их запатентованного алгоритма.
Это, кстати, ещё одна причина, почему их алгоритм никому не нужен — если он в чём-то и лучше, то он не существенно лучше других.
Те же Deep Learning (DBN/CNN/RNN) гораздо более универсальны, и позволяют использовать слои разных типов, в т.ч. и тот тип, который повторяет HTM CLA Spatial Pooling layer. Но не использовать HTM CLA Temporal Pooling layer, когда он не нужен, заменяя его на другие механизмы, например, RNN. А также у Deep Learning есть возможность точной настройки классов под задачу, чего HTM CLA лишён в принципе (этот момент могу тоже рассказать поподробнее, если интересно).
Так что подобные Deep-learning алгоритмы обеспечивают в последнее время наилучшие результаты, и притом хорошо масштабируются.
>Просто они смотрят в их модели на большее количество процессов чем в других моделях.
Давайте конкретнее: у всех раньше был один тип связей у нейронов, а у них в работе два типа связей у Temporal Pooler. Такие модели появились в научном сообществе в избытке после их первых публикаций в 2008м, и показывают в некоторых случаях неплохие результаты, но не показывают существенно более высокие результаты, чем модели с одним типом связи, но я не видел способы обучения Temporal Pooler с учителем, а без этого польза от подобных алгоритмов невысока (это я снова про точную настройку под задачу).
Добавлю, что при всем при том изначальная цель у Хокинса была объяснить работу мозга. На это была нацелена его ключевая книга «Об интеллекте». Но в его сетях никак не реализуется и не объясняется распределенная событийная память, а это, по сути, ключевой момент.
Да, читая его книжку, я больше всего недоумевал по поводу роли гиппокампа и взаимодействия с моторными нейронами: эти взаимодействия, очевидно, существенны, но у него почему-то остались за кадром. Как мне кажется, без гиппокампа (или других внешних связей) не сделать тонкую настройку, а без моторных нейронов абсолютно непонятно, как система работает в целом.
Но это типичный американский научный подход — проводить исследования достаточно формально, упрощать и потом пытаться заработать деньги на каждом маленьком результате. Когда я помогал научному руководителю в институте по теме, связанной со сложным наследованием размеров мозжечков у мышей, наши американские коллеги быстренько выпустили данные, объясняющие 30% дисперсии однолокусным наследованием (т.е. нашли местоположение одного гена, отвечающий за эти 30% дисперсии), с помощью популярного в тех научных кругах программного средства, но не стали строить более сложные модели и пошли дальше объяснять другие данные. У нас же получалась четырёхлокусная модель (четыре местоположения генов), объяснявшая 70%-80% дисперсии, кроме того, мы обосновали, что более сложную модель не имеет смысла строить из-за шумов, возникших из-за недостаточности экспериментальных данных: мы просто не поймём в более сложной модели, какую часть реальных данных мы объяснили, а какая часть — шумы, поэтому поиск в этом пространстве не будет работать.
Действительно показательный пример. Более того, когда теория объясняет только 30% явления велика вероятность, что она не верна в корне. У вас было известно, что наследственность определяется кодом ДНК. Поэтому объяснение 30% дисперсии (или корреляции на уровне 0.55) — это уже результат. Понятно, что ваш результат принципиально лучше, но он не опровергал результат американцев. Когда же модель мозга объясняет (условно) только 30% наблюдаемых свойств, то нет никакой уверенности, что усложнение модели позволит объяснить остальное. Наоборот, скорее всего модель окажется ошибочной в корне. Как нейронная сеть HTM имеет право на существование, как и другие сети. А вот как объяснение работы мозга, мне кажется, что это тупиковый путь.
>Понятно, что ваш результат принципиально лучше, но он не опровергал результат американцев.
Я бы сказал, что как и с Хокинсом, наш результат скорее опровергал их результат. Всё чуточку сложнее было. Тот ген в одиночку был лучше, но в сложной модели он проигрывал наилучшему нашему варианту. У нас получалось несколько неплохих вариантов, связанных почти с десятком мест (я тут несколько вольно обращаюсь с терминами, поэтому поясню: локус, по определению — примерное место расположения гена). Их лучший локус входил только в несколько четвёрок из нашего top-100, притом далеко не самых лучших. А дальше уже нужно было проверять на практике, кто прав. Не знаю, добрались ли сейчас до этого или не сочли задачу практической проверки настолько интересной (и заслуживающей соответствующей траты бюджета).
Но, насколько я знаю, в том числе и за счёт нашей работы, в целом парадигма за последние годы сместилась к вере в то, что большая часть признаков всё же имеет сложное наследование, и объяснять её нужно стараться более продвинутыми моделями, не останавливаясь на примитивном варианте: «один признак — один ген».
Теперь понятно.
Огромное спасибо! Весь цикл на одном дыхании!
И напоследок, если вы прочитали опубликованные статьи цикла, отпишитесь, пожалуйста, в комментариях о своем впечатлении, это поможет остальным принять решение стоит или нет читать материал. Просьба при этом указывать свое образование и(или) направление работы.

Основное впечатление: «Где купить эту книгу, когда она будет написана?»
Я понимаю что вы специалист со стороны так сказать «алгоритмической» части, но всё же… Очень нехватает привязок к конкретике в виде реальных физиологических процессов. Например в главе про внесинаптические рецепторы, вы лишь краем бока упомянули разные медиаторы, а хотелось бы более «настоящих» что ли примеров, а не А Б как в статье.
Мне кажеться для последующих «верхнеуровневых» статей, очень важно как можно сильнее «опереться» на реальные физиологические процессы. Потому что без этого, приходиться гораздо сильнее напрягаться, что бы понять, что именно вы имеете в виду, в контексте реального мозга. :)
«У меня было восемь причин сдать крепость. Во-первых, не было пороха ...»
Все описанные схемы — это грубые упрощения, только отдаленно напоминающие реальные процессы в коре. Достоверное описание на уровне физиологических процессов требует массы размышлений и исследований.
Программист, выпускник мат-меха СПбГУ.
Постепенно изучал все статьи, мозг долго ломал, но, вроде бы, под конец стал понимать, что происходит.
Вряд ли чем-то сильно могу помочь, кроме как работы над параллельным кодом, если в качестве платформы останется .NET.

Скажите, а чем был обусловлен выбор именно VB.NET?
Я начинал программировать еще в начале 80х. Знакомые мне с детства языки — Фортран, Бейсик, Паскаль и ассемблеры. Когда спустя много лет надо было вновь начать писать выбор как то сам пал на Бейсик как на наиболее простой для меня язык.
Привет, в группе уже вроде бы есть версия на чистом C++, можно ещё попробовать, основываясь на этом коде, сделать веб-версию на клиентском JS. https://groups.google.com/forum/#!aboutgroup/the-logic-of-thinking
Да, я уже увидел, что портировали на C++.
Посмотрю, если пойму, как это работает, займусь. Отпишусь в группе тогда.
Этот цикл статей и «Логика эмоций» — определённо открытие года для меня. Спасибо, подкупает и широта замаха и идейность автора. А можно ли выкладывать ваши книги в различные сетевые библиотеки, чтобы заинтересовать знакомых?
НЛО прилетело и опубликовало эту надпись здесь
Спасибо за теплые слова.
Сейчас занят написанием алгоритма обобщения. В волновых сетях он получается просто «фантастический», это без преувеличения. Даже не думал раньше, что может существовать такая изящная информационная структура. Вот об этом в
выступлении на семинаре.
Планирую доделать через неделю-другую и вернуться к статьям.
Случайно наткнулся на видео лекцию, в которой убедительно показано, что мозг способен адаптировать свою электрическую активность, под новые сенсо-«моторные» каналы. (всякие штучки для управления игрушками, или к примеру мышкой компа, чисто силой мозга:
У меня вопрос: каким образом, это можно описать в рамках вашей теории? Я ни в коем случае щас не интересуюсь физиологическими процессами, а именно чисто абстрагировано-логическими аспектами?

Я считаю это важным, потому что похоже это хорошая возможность, вписать в вашу теорию собственно феномен «сознания». Ну или по крайней мере мостик к этому. :)
Это управление происходит за счет изменения уровня ритмов ЭЭГ. Разные мысли вызывают разный суммарный уровень активности на зонах коры. Проще говоря, одни зоны задействуются сильнее другие слабее. Эти различия можно легко уловить на многоточечной энцифалограмме. По мне это направление хотя и забавно, но не особо интересно. Корявость огромная, а перспектив что-то улучшить никаких.
В принципе вы правы, что здесь не совсем очевидно, так это то что электрическая активность, может и отсутствовать до момента всего этого процессинга. Мозг СОЗДАЁТ точку, канал, незнаю как точнее выразиться, в которой генерирует активность, специально для управления…

Собственно видео

примерно с 14-ой минуты.
Мы можем обучаться движениям и их последовательности. Точно так же мозг обучается мышлению, то есть последовательности мыслей. ЭЭГ позволяет очень грубо отличить одни мысли от других. Обратная связь позволяет обучиться тем мыслям, которые вызывают требуемые команды.
Ага, вопрос в том что с «точки зрения» мозга, это должно быть похоже на появление из ниоткуда третей руки. Причём приделанной прямо к мозгу :) Ну и конечно чисто энерго-экономический вопрос, — стоит ли образование сенсорной и моторной системы(затраты), относительно того что мозг получает взамен. В случае скажем людей с ограниченными возможностями — тут всё очевидно — конечно стоит. А вот во всех остальных случаях… И мне кстати кажется что это совсем не «мысли». Это должны быть очень простые управляющие сигналы, похожие(но отличные) на управление мышцами, — вся фишка тут в том что мозг НАПРЯМУЮ без последников в виде мышц должен управлять всеми этими внешними девайсами.
Для нормального человека это все крайне неудобно, тормозно и бессмыслено. У меня есть такое устройство, пробовал.
Я посмотрел ваше выступление в курчатнике, и увидел, что наибольшее неприятие тех, кто имеет специальные знания о работе тела, вызывает вопрос связывания всей вашей теории, и «простых», понятных им понятий.  Они конечно соглашаются воспринять как «дано», без оценочно подобную инфу, но прям видно, как она вызывает у них отторжение в сознании.
Так вот, по теме, вы фактически описываете «память на волны» как работу некоего кластера, имеющего способность вылезать и залазить обратно в мембрану, но остаётся совершенно непонятным собственно какого чёрта кластер это делает.  Ну то бишь я слышал, что многие вопросы которые вам задавали, пытались увязать «реальность нейроклетки», с вашей теорией.
Вот какая идея пришла мне в голову, — вы могли бы таким товарищам, говорить что ни будь типа, — «всё это управляется экспрессией белков, положение кластера и его надёжная фиксация снаружи управляется считанными с ДНК и экспресированными белками. Мы пока очень мало знаем об белках в нейроклетках, поэтому без деталей».
Как-то так. 
А вот на мой взгляд кандидаты на этот нелёгкий труд:
белки
Статмин/oncoprotein 18
Обозначения
Символы
STMN1; LAP18
Entrez Gene
3925
HGNC
6510
OMIM
151442
RefSeq
NM_005563
UniProt
P16949
Другие данные
Локус
1-я хр., 1p36.1-35
— Синапсин 2
Обозначения
Символы
SYN2
Entrez Gene
6854
HGNC
11495
OMIM
600755
RefSeq
NM_133625
Другие данные
Локус
3-я хр., 3p25
— Рилин
Обозначения
Символы
RELN; REELIN
Entrez Gene
5649
HGNC
9957
OMIM
600514
RefSeq
NM_173054
UniProt
P78509
Другие данные
Шифр КФ
3.4.21.-
Локус
7-я хр., 7q22


Вашу модель можно очень хорошо переложить на видеокарту — производительность поднимется на 3 порядка.
А продолжение статей будет? Обещали через месяц…
Попробую через месяц сделать что-нибудь. Появилось очень много нового и интересного, но надо выкроить несколько дней, чтобы об этом рассказать…
Прочитал всё. Это первая теория работы мозга, с которой я ознакомился. Очень интересно! Жду продолжения.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Изменить настройки темы

Истории