Комментарии 21
На основе этого метода вряд ли получится построить думающую машину.
На чем основано это утверждение? Возвращаясь на шаг раньше, может ли вы дать формальный критерий, который позволит отличить "думающую" машину от "не-думающей"?
Нейронные сети получаются чем-то вроде замороженного мозга, обученного раз и навсегда, неспособным меняться.
Как-то странно у вас получается. Нейронные сети прекрасно дообучаются новыми примерами.
Формулировки конечно не очень, но сама идея очень интересная. Потом, — посмотрите на последние 2 абзаца, к этому должно всё сводится…
— Вопрос автору: По сути создавая глючную нейросеть подобную человеческой (не отметая, офигенную экономию на кластеризации), необходимо где-то иметь управляющие контуры, формирующие рандомизацию (гормональный фон например), т.е. что-то, что для 2-х двух последних абзацев будет теми действиями которые приведут к «аналогия, воображение», опишите пожалуйста детальнее где именно эти механизмы, а то получилось типа «как нарисовать сову». Маски не совсем в это укладываются, вернее совсем не укладываются. Или я чего-то не понял…
— Вопрос автору: По сути создавая глючную нейросеть подобную человеческой (не отметая, офигенную экономию на кластеризации), необходимо где-то иметь управляющие контуры, формирующие рандомизацию (гормональный фон например), т.е. что-то, что для 2-х двух последних абзацев будет теми действиями которые приведут к «аналогия, воображение», опишите пожалуйста детальнее где именно эти механизмы, а то получилось типа «как нарисовать сову». Маски не совсем в это укладываются, вернее совсем не укладываются. Или я чего-то не понял…
посмотрите на последние 2 абзаца, к этому должно всё сводится…
Последние два абзаца чего? Статьи? Ну так это чистая игра разума, "вот давайте представим, что". Как их верифицировать или фальсифицировать?
Предполагаю, что на принципе описанном в статье, может работать кора головного мозга.
К примеру, миниколонка это кластер, гиперколонка это мета-кластер.
Как это конкретно управляется? Для начала могу предположить, что управлением занимаются
другие структуры мозга (базальные ядра например). Внятного описания у меня пока нет.
К примеру, миниколонка это кластер, гиперколонка это мета-кластер.
Как это конкретно управляется? Для начала могу предположить, что управлением занимаются
другие структуры мозга (базальные ядра например). Внятного описания у меня пока нет.
Целью то может быть совсем не повторение человеческого мозга. И процесс обучения может быть совсем не знакомый по сегодняшним классическим методам. Абстрагируемся от задач распознавания и можем развивать другие свойства, которые предложил использовать автор. Прикрути к подобной идее и может выйти совершенно иная «думающая» не как мозг, но с необходимыми свойствами и режимами система. Каждый дом как ограниченный, но хорошо специализированный и устойчивый организм со своей нервной системой. «Аналогия» из заключения, например, отлично зайдет для решения «выпадения» подсистемы или узла из общего комплекса инженерных систем.
Целью то может быть совсем не повторение человеческого мозга.
Тогда зачем его упоминать вообще?
Я хотел показать, что предложенный алгоритм, в принципе, может исполнять функции, которые обычно приписывают исключительно человеку. Воображение например.
Можете Вы генеративной сетке сказать «Сделай уши побольше»?
Напротив, каждый нейрон описанный в статье имеет вполне определенный смысл, понятный человеку.
Можете Вы генеративной сетке сказать «Сделай уши побольше»?
Напротив, каждый нейрон описанный в статье имеет вполне определенный смысл, понятный человеку.
Я хотел показать, что предложенный алгоритм, в принципе, может исполнять функции, которые обычно приписывают исключительно человеку. Воображение например.
Тут есть маленькая проблема: чтобы что-то показать, нужно это что-то определить. Например, нужно определить, что же такое "воображение" — потому что в описанной вами модели это тривиальная задача для соответствующей компьютерной программы: возьмем, скажем, сосканированную модель объекта и перекрасим ее в синий цвет, хотя объект был красным. Или, обобщая, возьмем признаковое описание объекта, и заменим в нем любое значение признака на любое другое.
Можете Вы генеративной сетке сказать «Сделай уши побольше»?
… вот интересно, а как же работают все эти прекрасные фото-фильтры для телефона, которые воздействуют на глаза и губы?
Напротив, каждый нейрон описанный в статье имеет вполне определенный смысл, понятный человеку.
Это, знаете ли, нормальное и привычное свойство объяснимых моделей. Возьмем банальную линейную модель — если каждый используемый признак объясним, то и каждый вес, назначенный этому признаку, объясним.
Гениально!
Пытаться понять о том, как работает мозг изучая, какие процессы происходят в дендритах и аксонах все равно, что пытаться понять, как работает компьютер, измеряя напряжения на транзисторах.
Есть большое количество трудов о работе единичных нейронов (читай транзисторов).
Не соглашусь, что их авторы работали зря.
Я же пытаюсь предположить, как работают небольшие группы нейронов.
Если измерять напряжение на схеме состоящей из десятка транзисторов, то вполне возможно понять принцип работы этой схемы.
Не соглашусь, что их авторы работали зря.
Я же пытаюсь предположить, как работают небольшие группы нейронов.
Если измерять напряжение на схеме состоящей из десятка транзисторов, то вполне возможно понять принцип работы этой схемы.
Еще не дочитал статью, но
Очевидно, что нейтроны являются единицами памяти, но как они хранят информацию?Так вроде синапсы являются единицами памяти. Есть синапс => между двумя данными нейронами есть память со значением «X».
К началу: не очень понятно, почему автор в доступнйо литературе не нашел базовых представлений об организации нейронных связей в головном мозге (текущие представления). В том же Behave у Sapolsky есть очень вменяемое приложение, где приодится вполне вменяемая информация
Буду благодарен, за ссылки на конкретные книги с описанием работы небольших групп нейронов неокортекса. Таких как мини- и гипер- колонки.
numenta.org
Может вам понравится.
Может вам понравится.
www.goodreads.com/book/show/31170723-behave — повторюсь. Мне кается, что начать с Приложения 1 будет очень верно. Там дается просто, но в системе, а с системой у вас, видимо, проблемы есть.
Насчёт сна — хорошая идея. Однако стоит ещё учесть тот факт, что мозг у живых существ учится на единичных примерах и механизм переобучения здесь немного другой.
Предположим, есть ребёнок на данный момент не имеющий должного социокультурного развития => следовательно, не имеющий некоторых абстракций зима\лето. (Если бы они были, то задача сильно упрощается, об этом дальше.)
Ребёнок, увидев и летний вариант объектов, и зимний вариант объектов, будет хранить в памяти информацию и о тех, и о тех, причём в привязке к одной ячейке объекта. Однако в зависимости от текущего окружения из памяти гораздо эффективнее будут доставаться те, что ближе к реальности. То есть вместо того, чтобы переобучать распознавание одних и тех же вещей, он их с лёгкостью дополняет ввиду отсутствия нужды в частотном подходе к статистике в мозгу. (Она ближе к байесовской и работает практически при нулевых выборках)
Интересным примером этого будет статья Ветрова о том, как они выкинули 95%+ весов из гугловской нейронки по распознаванию образов и получили практически идентичную точность распознавания.
Предположим, есть ребёнок на данный момент не имеющий должного социокультурного развития => следовательно, не имеющий некоторых абстракций зима\лето. (Если бы они были, то задача сильно упрощается, об этом дальше.)
Ребёнок, увидев и летний вариант объектов, и зимний вариант объектов, будет хранить в памяти информацию и о тех, и о тех, причём в привязке к одной ячейке объекта. Однако в зависимости от текущего окружения из памяти гораздо эффективнее будут доставаться те, что ближе к реальности. То есть вместо того, чтобы переобучать распознавание одних и тех же вещей, он их с лёгкостью дополняет ввиду отсутствия нужды в частотном подходе к статистике в мозгу. (Она ближе к байесовской и работает практически при нулевых выборках)
Интересным примером этого будет статья Ветрова о том, как они выкинули 95%+ весов из гугловской нейронки по распознаванию образов и получили практически идентичную точность распознавания.
предположение, что чем больше нейромедиатора тем чаще спайки, очевидно не выдерживает никакой критики. Если бы было так, то [...] через короткое время эта лавина захватила бы весь мозг.
Это совершенно неверно. Химический синапс работает именно так: изменение поляризации постсинаптической мембраны тем больше, чем больше было выделено в синаптическую щель медиатора. При этом медиатор может как деполяризовывать (то есть способствовать наступлению потенциала действия), так и наоборот — вызывать ещё более глубокую поляризацию (тормозные медиаторы).
нейтроны являются единицами памяти, но как они хранят информацию? [… ]единственное что остается это дендриты.
Это также неверно. Синапс — это не просто дендрит, а достаточно сложная вещь, формируемая и аксоном пресинаптического нейрона, и дендритом постсинаптического. От типа медиатора, выделяющегося в данном синапсе, а также от его количества и зависит «вес» синапса. Более того, существуют, например, аксо-аксональные связи, которые, очевидно, тоже — «единицы памяти».
И это даже если не начинать говорить о том, что в нейроне могут происходить регуляции экспрессии генов, меняющие его поведение — что тоже форма памяти, и память эта базируется в ядре клетки.
Если один нейрон растет, то соседние должны уменьшатся
Нет, это не так. Основную массу нейрона составляют его отростки, а не тело. Тела нейронов сами по себе занимают чрезвычайно малый объём нервной ткани. Это видно даже на макроуровне, на срезе мозга: серое вещество это лишь тонкая корочка на белом. Более того, и в самом сером веществе тела нейронов занимают крайне незначительный объём — по большей части там нейроглия.
Нейронные сети получаются чем-то вроде замороженного мозга, обученного раз и навсегда, неспособным меняться размышлять.
Даже если веса нейросети неизменны, это не значит, что она не может «размышлять» и менять своё поведение. Например, пластичность поведения может обеспечиваться за счёт изменения набора сигналов, циркулирующих по контурам обратной связи — получаются как бы мета-ячейки памяти. Именно так, кстати, происходит и у людей: наши веса меняются относительно медленно, но тем не менее соображаем мы быстро и адаптивно.
Если опустить все рассуждения автора о биологии и нейронах, то идея видимо в том, чтобы разделять общую нейронную сеть на специализированные, отвечающие за свой признак или набор признаков. Идея в целом здравая. Я только не понял, специализация должна быть заранее заложена или проявиться в процессе обучения?
Вопрос по самому первому примеру. Правильно ли я понял следующее?
Вы взяли 300*50=15000 случайных двумерных точек. Кластеров задано 15, и изначально все они (их центры) расположены в точке (0, 0).
Все точки последовательно по одной скормили кластеризатору. В нём для каждой точки находите самый ближайший к ней кластер и слегка сдвигаете его в направлении текущей точки.
В итоге, кластеры разбредаются по пространству и занимают равномерное распределение, собственно, оно такое из-за характера распределения входных случайных точек. Всё правильно?
Вы взяли 300*50=15000 случайных двумерных точек. Кластеров задано 15, и изначально все они (их центры) расположены в точке (0, 0).
Все точки последовательно по одной скормили кластеризатору. В нём для каждой точки находите самый ближайший к ней кластер и слегка сдвигаете его в направлении текущей точки.
В итоге, кластеры разбредаются по пространству и занимают равномерное распределение, собственно, оно такое из-за характера распределения входных случайных точек. Всё правильно?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Публикации
Мета-кластеризация с минимизацией ошибки, и почему я думаю, что так работает мозг