Комментарии 14
Прикольно, но не верно, и это один из тех случаев когда процесс рассуждений интересней результата... Тут в самом начале, есть некоторое лукавство, не очевидное для людей не знакомых с набором MNIST и машинным обучением, если кратенько, то хотя циферки в нём и корявые, но при этом достаточно однообразненькие в плане углов наклона, и в итоге, попытка применить сетку натасканную на MNIST в рил лайф будет куда менее впечатляюща ;-)
Рил лайф гораздо более многообразна, и никаких "нейронов бабушки" на неё не напасёшься, и если это ещё не кажется очевидным, то мы же дата статанисты, у нас аугментация есть!
Давайте если не расширим набор своими каляками-маляками, так MNIST по крутим ±90°, а в идеале бы ещё размерность увеличить, по масштабировать и по таскать по полю, ну как в жизни, а чё...
И вот тут-то, ребятки, банальный автоэнкодер курит, ибо правильный ответ к ключевым точечкам не сводится, они по всему полю размазаны. Правда пацанов пиливших системы распознавания в мохнатых годах это не остановило, у них была конкретная задача и её решили алгоритмическими костылями, типа выделяем строчки и бежим по буквам подгоняя масштаб и поворот пока не получим конкретный сигнал или словарь нам не подскажет, да-да для пущего распознавания текста они и словарь туды прикрутили, и в таком виде это всё очень даже работало...
...а сейчас, мы конечно можем заменить алгоритмическую вращаку\масштабляку набором свёрточек, добавить "понимание контекста" чем-нибудь рекуррентным с памятью, и даже словарь вызубрить, так что всё это буде работать, как и алгоритмический брат из мохнатых годов, который крутился на MIPS с кот наплакал памяти ;-)
Но вернёмся к живому мозгу, решение выше как и всякие подгонки вроде обучения с учителем, отлично ложатся на веру во всякие духовные сущности, которые могли бы их осуществлять, и я знаю людей которые на серьёзных щах ;-)
Святой Грааль ИМХО в вегетативныности нервной системы, тут надо объяснить, дело в том, что типичный сатанист имеет весьма упрощённые, инженерно образные представления о нервной системе, ну там мышцы - сервы, рецепторы - сенсоры, всё это "аксонами втыкается в нейроны" итд. В реальности, всё гораздо интересней, и естественный интеллект начинает проявлять не в высших функциях, там речь, сознание, ололо... А в самом низу, ибо шины не подписаны, и надо ещё понять какой ритмический узорчик от какого рецептора из какой части тела пришел, и какие мышцы там, и как вообще выжить не поломавшись в хлам!
Тут уж в двух словах тему нейрогенеза не опишешь да и вообще. Но просто хочется обратить внимание ищущих, что всё несколько сложней, что генетический код не G-код не разу...
Спасибо за статью. Давно когда-то читал про разреженные сети (этого самого Джеффа Хокинза) и недавно как раз думал, жив ли этот концепт ещё или нет. Насколько я понимаю, основная проблема у них в том, что они вычислительно ещё более сложные (больше нейронов, больше гиперпараметров), чем популярные сейчас плотные сети, и там приходится применять много эвристик. С другой стороны, задание структуры плотной сети на данный момент -- само по себе является эвристикой, потому что происходит методом проб и ошибок. Разреженные сети, по идее, могут сами выбирать структуру оптимальную для данных, которые им скармливаются.
Момент критики: "эмбеддинг" == "вложение" -- официальный математический термин.
Есть предположения, что GPT-4 будет разреженной: https://www.sitejuggler.com/openai-gpt-4-the-amazing-future-of-ai/
Мне, несмотря на подробность, сложно судить о корректности всего хода рассуждений, поскольку я не программист и не специалист в алгоритмах.
Могу только сказать, что биологические нейроны сильно далеки от архитектуры нейросетей.
Первое, и самое явное, входов у нейрона могут быть тысячи, но выход - это один аксон. Это нарушает принцип слоев компьютерной нейросети, где каждый связан с каждым на входе и на выходе. Конечно, в этом случае могут быть нейроны-"дубликаты", с на 99% одинаковыми входами и разными выходами, но это уже некая вероятность и не 100% совпадение по архитектуре.
Далее. Выброс нейромедиатора - не количественная вещь. Скорее количественным является электрический потенциал действия, который возникает после порогового входного воздействия. А синапс и происходящую в нем химическую нейромедиаторную передачу лучше сравнить с оптроном - узел, подобный АЦП, повышающий надежность передачи, а в связке с потенциалом действия - может быть даже примитивный недвоичный логический элемент. Прибавьте к этому все химические приколы, происходящие в синапсе: блокировку постсинаптических рецепторов антагонистами, интегральный вклад выброса и обратного захвата нейромедиаторов (например, есть вещества, ингибирующие ферменты, направленные на обратный захват нейромедиатора, и он остается в синаптической щели, непрерывно ее возбуждая: это такие классы веществ, как антидепрессанты, наркотики-стимуляторы и нервно-паралитические яды - по возрастанию силы их действия).
Затем, мозг - не машина, при всей пластичности нейронов никто из них не хранит нигде в памяти веса, что мол, этот нейрон = 0,67. Он не будет вести себя настолько точно и детерминированно. Единственное, где более-менее может формироваться чисто математический коэффициент - это плотность связей между нейронами, вот ее можно численно выразить количеством межклеточных взаимодействий между дендритами и аксонами. Но опять же вспомним об архитектуре - нейроны не образуют перцептивные, коэффициентные и выходные слои, у них есть отдельная рецепторная вегетативная система, есть моторная функция, есть тракты ведущие от них к коре, обрабатывающие всю эту информацию специальные структуры, различные ядра и т. д. Где-то есть нейрон с одним длинным аксоном, а где-то - несколько интернейронов, которые ведут этот путь сначала в ганглии - нигде вы не найдете ровный слоеный пирог вход-[веса]n-выход.
Увы, грамотно сопоставить это с нейронами, алгоритмами и методами искусственных нейросетей я не могу. Но всегда вижу несовпадения и критические нестыковки при попытке экстраполировать этот подход на биологию.
Любое моделирование требует упрощения и внесение неких условностей в суть моделируемого явления. И действительно, находясь на разных уровнях абстрактного представления всегда можно будет видеть несовпадения. Я тоже не программист и математик, но это не должно мешать.
Один аксон – не значит один выход. Не все искусственные нейронные сети организованны по принципу «каждый с каждым». Выброс нейромедиатора – именно количественная мера. Потенциал действия определяется формулой Ходжкина — Хаксли, его максимум постоянен. «Химические приколы происходящие в синапсе» - обычно искусственные нейронные сети затрагивают более высокий абстрактный уровень и это в моделях не отражено в явном виде, к примеру, глия играет большую роль в синаптической передаче, но эта роль вспомогательная, зачем в мат.модели учитывать эту сущность(?).
Мозг – не машина, нейрон не хранит чисел. – число лишь мера, вещество не хранит значение её массы, к примеру, мера размера септического шипика может быть выражена в числе синаптического веса.
Могу только сказать, что биологические нейроны сильно далеки от архитектуры нейросетей.Вы правы, если сравнивать нейроны с формальной моделью нейрона, как взвешенного по входам сумматора с некоторой функцией активации. Однако более реалистично биологические нейроны моделируются целыми сетями, см. например, 1, 2, 3, 4, 5. Такое представление лучше описывает поведение нейронов, тех же пиромидальных. С другой стороны ИНС обычно обладают регулярной слоистой структурой, что мало соответствует биологическим сетям. Тем не менее ИНС, те же сверточные архитектуры, неплохо моделируют распознавание и категоризацию объектов в зрительной системе, а большие языковые модели — ассоциативные связи в натуральном языке. Как объяснить это противоречие? Вероятно тем, что некоторые совокупности формальных нейронов в регулярных структурах ИНС моделируют функции отдельных биологических нейронов в соответствии с упомянутыми выше исследованиями. Т.е. регулярная структура больших ИНС может распадается на условные отдельные структуры приближенно описывающие свойства биологических нейронов и их связей в биологических сетях и целых отделах мозга, и по этой причине интегральный результат работы ИНС неплохо соответствует результатам функционирования биологическим прототипов. Косвенно это подтверждается тем, что после обучения больших сетей в них имеются области с весами синапсов, которые фактически не влияют на результаты работы всей сети, и могут быть удалены с помощью процедур оптимизации. Условно говоря, первоначальная регулярная структура ИНС распадается на функциональные отделы и структуры состоящие из связей приближенно биологических нейронов, напоминающее эволюционно выработанное разделение мозга на отделы и структуры. Конечно в мозге деление намного сложнее с учетом эволюционной иерархии и некоторых других факторов, но смысл тот же.
Первое, и самое явное, входов у нейрона могут быть тысячи, но выход — это один аксон. Это нарушает принцип слоев компьютерной нейросети, где каждый связан с каждым на входе и на выходе. Конечно, в этом случае могут быть нейроны-«дубликаты», с на 99% одинаковыми входами и разными выходами, но это уже некая вероятность и не 100% совпадение по архитектуре.
Далее..
Но даже такое уточнение не делает ИНС сильно похожими на биологические прототипы. Потому как они являются статическими решениями, а биологические нейроны, сети и мозг в целом принципиально динамические, активные, асинхронные системы, и энергоэффективные из за импульсного режима функционирования. Одним из показателей такой динамичности является наличие всевозможных эндогенных генераторов паттернов активности в мозге. Вероятно будущее в системах ИИ все же за нейроморфными решениями, которые больше соответствуют упомянутым критериям, а ИНС останутся в виде нишевых продуктов.
Начнем с сигнала аксона. Раз вы немного слышали об оптронах и АЦП... Характер - PDM (плотностно импульсная характеристика ПИМ, не путать с ШИМ. И фактически плотность импульсов можно было бы представить в числовом виде, но вмешивается еще одна характеристика. Фазо Частотная Характеристика. Если от в один момент времени в тело нейрона от пресинапсов постпит одновременно и ГАМК (-) и глутамат (+), то потенциал (если нейрон предварительно небыл заряжен протеинкиназой, медиатором памяти) то нейроно так и останется в "покое". Но стоит какому то из медиаторов хоть немного задержаться по времени и картина уже меняется. В четырех холмии каналы дифиренцирования сигналов левого и правого уха могут генерировать в зависиомсти от расохождения времени поступления сигнала с левого и правого уха разную степень сигналы этой самой диференции и имеем способность локализировать источник звука и получаем психоакустику и стереоэффект. И т.д.
Дальше, векторизация данных и память, тут все сложнее. Упрощенно - храним данные как векторную графику + временная координата - вуаля, четырех мерка. А что нам дает четырех мерка, верно! Способность воспринимать цифру семь не как набор пикселей, а как нас учили в школе писать цифру сем, сначала линия горизонатльная, потом косая и не важно какой размер, сверху горизонтальня потом косая вертикальная. Если при реоброзовании линий высплывает временая координата то мы умеем читать эту гребанную цифру семь на белом черным, на черном белом, в небе облачком, на столе вверх ногами и даже способны распознать тектс из набора букв (знаете такой прикол, про текст написаный цифрами?)
Про рзраяженность... это работает только на входных полях информационных ресурсов мозга для оптимизации данных, в памяти и распознавании образов все по другому ибо там уже другие механизмы поведения нейронов, там и медиаторы другие и g-белки и РНК и даже NO2.
в искусственных нейронных сетях уже всё реализовано, осталось дождаться
развития этой технологии, вычислительных ресурсов и.. и всё настоящий
искусственный интеллект будет создан.
Несколько десятков лет уже ждем, а воз и ныне там...
поиск алгоритма по которому работают биологические нейронные сети.
Искать можно вечно. Или изучить биологию и понять всю правду про ИИ.
нейросети получили популяризацию с 2014г ЕМНП. первые годы делали инструменты доступные для всех желающих. те даже 10 лет не прошло с общей доступности.
Ну, не знаю, я ещё в начале нулевых, когда был совсем глупый, не плохо поднял денег, на нейросетях для торговли... Причём не на самой торговле, а именно на "обучи сеть на таких-то индикаторах\свечах\ренках итд." но постоянство клиентов как-бы намекало что они таки были в плюсах. Хотя всё тоже можно было исследовать иными методами, но я тогда ещё тоже савсэм глюпый быль...
...а в настоящее время, мне известны способы машинного обучения и устройства для их реализации, на базе электронно-вакуумных приборах и рэле. И более поздние интересности... И это только из открытых источников, так что можно предположить что история вычислительной техники, гораздо гылбже чем мы её знаем, тк та-же электровакуумная альтернатива ферритовым колечкам могла быть реализована гораздо раньше в больших объёмах.
При рождении мозг имеет максимальное число нейронов и первые дни и недели разворачиваются максимальное число синаптических связей.
Синаптические связи всю жизнь как появляются новые, так и разрушаются старые. Естественно, в детстве и при умственном труде появляются больше.
А что на последней картинке по второй оси?
... с поиском Священного грааля, поиск алгоритма по которому работают биологические нейронные сети ...
:) Запятую забыли поставить в первом же предложении. Но дело не в этом. Применительно к естественным нейронным сетям понятие "алгоритм" не отражает всей полноты "принципов, необходимых для описания их (сетей) работы". Если же "забыть" (вольно, невольно, по каким-то другим своим соображениям) хоть один из таких "принципов" ("забыть поставить запятую"), то всё "предложение" может утратить или исказить смысл. В Вашей статье "Сравнение мозга с нейронной сетью" (20 июня 2020 года, https://habr.com/ru/post/507420/) была "схема нейрона с выходным паттерном" (https://habrastorage.org/r/w780/webt/xj/jz/pn/xjjzpnowy0fhp1zvlac1_zmf_zu.jpeg). Эта схема по сути повторяет схему нейрона "Ассоциативной широковещательной нейронной сети" (2016 год, "Эфирная нейронная сеть"). Не хватает лишь "запятой" - электропроводящей сети вокруг нейронов, в которой выходной электрический эфирный паттерн нейрона распространяется, и в которой происходит обычная электрическая суперпозиция таких паттернов. Именно "суперпозиционность широковещательных паттернов нейронов" естественной нейронной сети вкупе с "ассоциативной цикличностью" (циклическим срабатыванием эфирных (неконтактных) ассоциаций между нейронами) обеспечивают "обучение сети" (настройку ассоциаций между нейронами сети). Иными словами, "грааль граалем, но не следует забывать про 'запятые'"...
Искусственные и биологические нейронные сети