Numenta NuPIC: первые шаги

[Indexator]

Ух ты! Не ожидал, что они исходники выложат! Они, вроде, только теорию публиковали и разрешали самостоятельную имплементацию в целях изучения или коммерческое использование только по договоренности, а так же некоторые инструменты по распознаванию образов в виде закрытого софта для ознакомления… А тут сразу в Open Source! Вот это да! Круто! :)

[Shmuma]

Да, они открылись этим летом, сейчас понемногу набирают сообщество. До этого, где-то в 2011-2012, что ли, Numenta предоставляла закрытый доступ к предыдущей версии платформы, но с тех пор все переписали.

[Indexator]

Если будет время и интерес к теме, статьи можно продолжить.

Интерес безусловно есть, конечно продолжайте! :)

[hellman]

Для кодирования чисел с минимальными битовыми различиями между последующими можно использовать коды Грея

[efremovaleksey]

Сети будет трудновато понять, что это.

[Shmuma]

При использовании кодов грея потеряется избыточность входных данных. Связь между выходом энкодера и входами клеток вероятностная (как и в реальном мозге), поэтому избыточность важна.

[kmike]

В Numenta/NuPIC смущает то, что там все как будто «в своем мире» живет. Я в нейросетях ни разу не эксперт, но смущает, что у них на сайте/в доках/инструкциях нигде нет сравнения с «традиционными» нейросетевыми моделями и другими статистическими методами. В whitepaper вместо того, чтоб сравнивать с другими методами машинного обучения, все сравнивается с нейронами человеческого мозга — ну куда это годится. И терминология вся какая-то непонятная. Ну, например «Swarming» вместо «cross-validation + hyperparameter optimization». Как будто все писали биологи, которые понятия не имеют о статистике и машинном обучении. Или как будто старались впечатлить не-экспертов. И ссылки все только на работы основателя фирмы. Это очень все подозрительно. Короче говоря, выглядят они научными фриками. Вполне возможно, что я не прав, и в этом всем на самом деле что-то есть (тем более что в нейросетях я мало что понимаю), но подача все-же странная какая-то.

[Shmuma]

На мой взгляд, странностей тут нет, хотя я тоже не ахти какой специалист в нейробиологии и нейронных сетях. Алгоритмы и структура HTM создавалась исходя из строения неокортекса и его работы. Это в каждом выступлении Хокинса чуть ли не центральный пункт — построить искусственный интеллект, схожий с человеческим можно только следуя от биологии и никак иначе. Само собой, без компромиссов все равно не обойтись — в том же NuPIC отказались от иерархичности сети из-за проблем с производительностью. Но тем не менее, HTM гораздо ближе к биологии чем те же NN, отсюда и терминологический перекос.

Сравнение с традиционными моделями, я думаю, вопрос времени — информации по HTM и NuPIC просто катастрофически мало; из документации, по сути, только исходный код; сообщество тоже очень небольшое. Сами нументовцы, похоже, свято верят в непогрешимость Джеффа, и, насколько мне известно, сравнений не было. Буквально позавчера в рассылке было сообщениечто кто-то тестировал HTM на данных энергетиков и вышло вроде неплохо. Но, это, конечно, все не то.

Как обычно, время покажет. Но из забавного — совсем недавно в DARPA началась какая-то движуха по созданию нейропроцессоров, в требованиях к архитектуре которых лежит близость к биологическим процессам: numenta.org/blog/2013/08/13/brains-and-machine-intelligence-a-long-time-coming.html, www.networkworld.com/community/blog/darpa-wants-computers-fuse-higher-human-brain-function, lists.numenta.org/pipermail/nupic_lists.numenta.org/2013-September/001150.html

[Indexator]

Вот, я тоже как-то задумывался, что будет, если DARPA узнает о существовании Numenta и их исследованиях, как-то даже не по себе) По-моему, они имеют наиболее близкое представление об интеллекте…

[Shmuma]

Известно что:

[alz]

Когда читал их whitepaper и задумался, как можно было бы аппаратно реализовать их идеи, вспомнилось именно это

[srgg]

У них на канале есть очень хорошее видео (в концептуальном плане, конечно, т.к. технических деталей там мало), которое описывает, как работает их Grok и как можно использовать их платформу для обработки совместно с другими системами: www.youtube.com/watch?v=E7h_k72wT-o (если вы не видели ещё).
А информации не то что мало, скорее, она в очень слабо структурированном виде, что очень огорчает. Потому что само по себе то, что они делают невероятно интересно.

[Shmuma]

Спасибо! Канал grok как-то мимо меня прошел :)

[Indexator]

Очень сложно объяснить в двух словах)
Рекомендую вам и не только вам, а вообще всем, даже людям далеким от темы, даже гуманитариям (и даже верующим/религиозным людям))), ознакомиться с книгой Джеффа Хокинса «Об интеллекте», даже просто ради того, чтобы лучше понимать самого себя, почему вы (ваш мозг) на то или иное событие реагируете именно так, а не иначе, почему мы удивляемся, как мы воспринимаем пространство и время и т.д., тогда множество вопросов отпадут сами собой, это очень интересное и нескучное чтиво, написано простым и доступным языком, практически все объясняется на пальцах и без трехэтажных формул. Оттуда же вы узнаете, что Джефф занимается исследованиями мозга и интеллекта более 30 лет, уже, наверное, около сорока, и рассказывает о зарождении эры исследований и построения ИИ, о двух ее основных направлениях: о главном, мэйнстриме, основанном на создании методов и алгоритмов, повторяющих и имитирующих поведение натурального интеллекта, движимое такими людьми, как Джон Маккарти, и побочном, андеграунде, которое всячески высмеивалось и не воспринималось всерьез, основанном на изучении и понимании принципов работы мозга, натурального интеллекта, памяти с последующими математическими построениями и алгоритмическими реализациями… В ней рассказывается почему он ушел из института (MIT, кажется), где насаждалась мэйнстримовая модель, зачем он создал и зачем продал компанию Palm Computing (производившую наладонники с распознаванием рукописного ввода), о том, что основал свой институт по исследованиям мозга и интеллекта, куда привлек множество специалистов из самых различных сфер — математиков, нейрофизиологов, нейробиологов и т.д. Так же он рассказывает и объясняет какие невероятные возможности принесет ИИ человечеству, что это будет незаменимый инструмент… Эта книга, практически, содержит основы основ для понимания всех остальных работ проводимых в Numetna :)
После этой книги почитайте их whitepapers, которые станут понятней раз в сто)

[srgg]

Да, Джефф слегка прошёлся в своей книге по традиционному подходу в ИИ, хотя и довольно скромно. Забавно то, что я встречал на некоторых сайтах с его публикациями очень неприязненные комментарии как раз этих адептов :) Буквально таки в смысле, что цель Нументы — нанести максимальный ущерб тем, кто занимается исследованиями/разработками в этой области. Вот оно стало быть для чего. :) А мужики-то и не знают (с).

[CRImier]

Вау. У этого чуда есть Питоновские биндинги!
Идея-то сама выглядит классно. Осталось понять, как оно работает.

[Shmuma]

Оно изначально на питоне написано, C++ ядро еще в процессе разработки.

[Indexator]

Так и делают! Прогнозирование котировок акций, прогнозирование погоды, траффика и т.д. И даже авторы приводят это как один из примеров областей применения. Конечно, с полпинка не получится, нужно подходить основательно, со знанием дела, но эта модель вполне подходит для работы с подобного рода данными и задачами…

[zuborg]

Наверное, в статью стоит добавить прямую ссылку на русский перевод описания этого алгоритма numenta.org/resources/HTM_CorticalLearningAlgorithms_ru.pdf (61 страница, между прочим, довольно подробно все описано)

[AlbertMHLT]

Уважаемый автор! В свете недавнего выхода NuPIC 0.1 можно ли ожидать от вас публикации обещанного продолжения серии статей?
twitter.com/Numenta/status/558336485171019776