Комментарии 15
Так, я не понял, а где вся та волновая магия от Редозубова?
Неужели скатились в обычное машинное обучение?
Неужели скатились в обычное машинное обучение?
Она объясняет механизм памяти в минколонках, которая необходима для запоминания контекстных преобразований. Да и механизмы обобщения, но их всех программировать надо
любую информацию на любом уровне обработки представлять в различных контекстах, выбирать наиболее подходящий контекст наблюдаемой ситуации и опытуА если сигналы равносильны, не удаётся выбрать один, то получается удивление и смех, да? Юмор — абсурдность того, что полученную информацию можно равнозначно интерпретировать и так и по другому.
А если знать заранее, что сейчас этот комик будет постоянно сыпать вас такими неоднозначностями, то удивление значительно снижается и остаётся только получать удовольствие.
0.95 в MNIST'е получается при применении kNN с одним соседом, без какого-либо обучения чего-либо и представлении о «волновых моделях» и кортикальных колонках.
Модель, описанная в статье, скорее всего (как минимум на этой задаче) и является сильно избыточной версией «обычной» сети. Типа как вместо 2 + 2 получили (2*100500 + 2*100500) / 100500, а в колонках заметили отпечаток этого 100500, что навело авторов на мысль об осмысленности этих колонок (в данной задаче). Думаю, чтобы действительно их наделить смыслом в архитектуре, придётся моделировать задачу посложнее (с сильно большей обучающей выборкой), а пока эти колонки — что-то типа аудиофильских проводов для более мягкого и лампового результата (пусть и с меньшим рейтингом, чем у других решений).
нет, смысл каждой миниколонки легко проверяется декодером, что и было продемонстрировано. Так что не «случайно обучилось». Но да, безусловно, избыточно
Больше похоже не на проверку, а на confirmation bias (не сформулирован фальсифицируемо эксперимент). Ваши «контексты» с неясной сутью, для которых вы сочиняете объяснения, — всего лишь отдельные выученные признаки данных из обучающей выборки, и их совместимость между образцами данных говорит лишь о малом количестве этих образцов, а не универсальности найденного признака «для всего». Вы построили избыточную версию DCIGN, в которой вся суть заключается в разрежении пространства признаков, что достигается сочетанием конволюции и деконволюции сигнала, а миниколонки служат лишь бесполезным утолщением глубинного слоя сети. (Во всяком случае так всё выглядит на мой поверхностный и непрофессиональный взгляд.)
0.983 дает
1x1................3x3................1x1
1 -16..............16-16............16-10
.....................20 раз
итого 16+16*16*3*3+16*10=2480
после каждого шага relu6
1x1................3x3................1x1
1 -16..............16-16............16-10
.....................20 раз
итого 16+16*16*3*3+16*10=2480
после каждого шага relu6
Сколько параметров в вашей сети и сколько в референсной CNN? Не переобучается ли CNN — на первый взгляд как-то многовато фильтров для мниста.
Интересно, но настоящая колонка имеет доступ только к небольшой локальной области, а не ко всему зрительному полю.
не следил за комментариями, прошу прощения. Да, все верно. Тут приходится допустить, что существует механизм устойчивого распространения дискретных понятий по зоне мозга (а в моей модели так вовсе и не дискретны), например, основанном на внесинаптических детекторах. Вот, например, тут гипотеза такая модулируется: geektimes.ru/post/214663
С работой Алексея хорошо знаком, но там есть ограничение на количество одновременно распространяемых волн через каждый локальный участок, где-то 4-5, потом наступает интерференция и ложные срабатывания. А для того, чтобы связать всё зрительное поле, похоже, нужны миллионы одновременных волн. Ну и в коре таких длинных горизонтальных связей просто нет.
Эта интерференция разруливалась с учетом, что есть где-от около 3х десятков нейромедиаторов, уникальное сочетание которых активирует метаботропный рецептор. Я сам не моделировал эту историю, но почему нет. Опять же в этих моделях это не главная фича, как, кстати, и в обычных сверточных сетях никто не задается вопросом, как все эти связи обеспечить
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Не сверточные сети