Comments 21
На основе этого метода вряд ли получится построить думающую машину.
На чем основано это утверждение? Возвращаясь на шаг раньше, может ли вы дать формальный критерий, который позволит отличить "думающую" машину от "не-думающей"?
Нейронные сети получаются чем-то вроде замороженного мозга, обученного раз и навсегда, неспособным меняться.
Как-то странно у вас получается. Нейронные сети прекрасно дообучаются новыми примерами.
— Вопрос автору: По сути создавая глючную нейросеть подобную человеческой (не отметая, офигенную экономию на кластеризации), необходимо где-то иметь управляющие контуры, формирующие рандомизацию (гормональный фон например), т.е. что-то, что для 2-х двух последних абзацев будет теми действиями которые приведут к «аналогия, воображение», опишите пожалуйста детальнее где именно эти механизмы, а то получилось типа «как нарисовать сову». Маски не совсем в это укладываются, вернее совсем не укладываются. Или я чего-то не понял…
посмотрите на последние 2 абзаца, к этому должно всё сводится…
Последние два абзаца чего? Статьи? Ну так это чистая игра разума, "вот давайте представим, что". Как их верифицировать или фальсифицировать?
К примеру, миниколонка это кластер, гиперколонка это мета-кластер.
Как это конкретно управляется? Для начала могу предположить, что управлением занимаются
другие структуры мозга (базальные ядра например). Внятного описания у меня пока нет.
Целью то может быть совсем не повторение человеческого мозга.
Тогда зачем его упоминать вообще?
Можете Вы генеративной сетке сказать «Сделай уши побольше»?
Напротив, каждый нейрон описанный в статье имеет вполне определенный смысл, понятный человеку.
Я хотел показать, что предложенный алгоритм, в принципе, может исполнять функции, которые обычно приписывают исключительно человеку. Воображение например.
Тут есть маленькая проблема: чтобы что-то показать, нужно это что-то определить. Например, нужно определить, что же такое "воображение" — потому что в описанной вами модели это тривиальная задача для соответствующей компьютерной программы: возьмем, скажем, сосканированную модель объекта и перекрасим ее в синий цвет, хотя объект был красным. Или, обобщая, возьмем признаковое описание объекта, и заменим в нем любое значение признака на любое другое.
Можете Вы генеративной сетке сказать «Сделай уши побольше»?
… вот интересно, а как же работают все эти прекрасные фото-фильтры для телефона, которые воздействуют на глаза и губы?
Напротив, каждый нейрон описанный в статье имеет вполне определенный смысл, понятный человеку.
Это, знаете ли, нормальное и привычное свойство объяснимых моделей. Возьмем банальную линейную модель — если каждый используемый признак объясним, то и каждый вес, назначенный этому признаку, объясним.
Не соглашусь, что их авторы работали зря.
Я же пытаюсь предположить, как работают небольшие группы нейронов.
Если измерять напряжение на схеме состоящей из десятка транзисторов, то вполне возможно понять принцип работы этой схемы.
Очевидно, что нейтроны являются единицами памяти, но как они хранят информацию?Так вроде синапсы являются единицами памяти. Есть синапс => между двумя данными нейронами есть память со значением «X».
Может вам понравится.
Предположим, есть ребёнок на данный момент не имеющий должного социокультурного развития => следовательно, не имеющий некоторых абстракций зима\лето. (Если бы они были, то задача сильно упрощается, об этом дальше.)
Ребёнок, увидев и летний вариант объектов, и зимний вариант объектов, будет хранить в памяти информацию и о тех, и о тех, причём в привязке к одной ячейке объекта. Однако в зависимости от текущего окружения из памяти гораздо эффективнее будут доставаться те, что ближе к реальности. То есть вместо того, чтобы переобучать распознавание одних и тех же вещей, он их с лёгкостью дополняет ввиду отсутствия нужды в частотном подходе к статистике в мозгу. (Она ближе к байесовской и работает практически при нулевых выборках)
Интересным примером этого будет статья Ветрова о том, как они выкинули 95%+ весов из гугловской нейронки по распознаванию образов и получили практически идентичную точность распознавания.
предположение, что чем больше нейромедиатора тем чаще спайки, очевидно не выдерживает никакой критики. Если бы было так, то [...] через короткое время эта лавина захватила бы весь мозг.
Это совершенно неверно. Химический синапс работает именно так: изменение поляризации постсинаптической мембраны тем больше, чем больше было выделено в синаптическую щель медиатора. При этом медиатор может как деполяризовывать (то есть способствовать наступлению потенциала действия), так и наоборот — вызывать ещё более глубокую поляризацию (тормозные медиаторы).
нейтроны являются единицами памяти, но как они хранят информацию? [… ]единственное что остается это дендриты.
Это также неверно. Синапс — это не просто дендрит, а достаточно сложная вещь, формируемая и аксоном пресинаптического нейрона, и дендритом постсинаптического. От типа медиатора, выделяющегося в данном синапсе, а также от его количества и зависит «вес» синапса. Более того, существуют, например, аксо-аксональные связи, которые, очевидно, тоже — «единицы памяти».
И это даже если не начинать говорить о том, что в нейроне могут происходить регуляции экспрессии генов, меняющие его поведение — что тоже форма памяти, и память эта базируется в ядре клетки.
Если один нейрон растет, то соседние должны уменьшатся
Нет, это не так. Основную массу нейрона составляют его отростки, а не тело. Тела нейронов сами по себе занимают чрезвычайно малый объём нервной ткани. Это видно даже на макроуровне, на срезе мозга: серое вещество это лишь тонкая корочка на белом. Более того, и в самом сером веществе тела нейронов занимают крайне незначительный объём — по большей части там нейроглия.
Нейронные сети получаются чем-то вроде замороженного мозга, обученного раз и навсегда, неспособным меняться размышлять.
Даже если веса нейросети неизменны, это не значит, что она не может «размышлять» и менять своё поведение. Например, пластичность поведения может обеспечиваться за счёт изменения набора сигналов, циркулирующих по контурам обратной связи — получаются как бы мета-ячейки памяти. Именно так, кстати, происходит и у людей: наши веса меняются относительно медленно, но тем не менее соображаем мы быстро и адаптивно.
Вы взяли 300*50=15000 случайных двумерных точек. Кластеров задано 15, и изначально все они (их центры) расположены в точке (0, 0).
Все точки последовательно по одной скормили кластеризатору. В нём для каждой точки находите самый ближайший к ней кластер и слегка сдвигаете его в направлении текущей точки.
В итоге, кластеры разбредаются по пространству и занимают равномерное распределение, собственно, оно такое из-за характера распределения входных случайных точек. Всё правильно?
Мета-кластеризация с минимизацией ошибки, и почему я думаю, что так работает мозг