Комментарии 32
Интересно… Выглядят эти возможности на уровне дендритов так, как будто часть нейросети может управлять связями другой части нейросети. Или что нейросеть кроме исполнения основной функции, может еще и сама управлять собственным обучением.
Хм.
Я в одной дискуссии уже высказывал мысль насчет того что мозг — это куча нейросетей влияющих друг на друга.
Приятно быть провидцем ;)
Я в одной дискуссии уже высказывал мысль насчет того что мозг — это куча нейросетей влияющих друг на друга.
Приятно быть провидцем ;)
По-моему это вообще очевидная вещь. Сколько именно сетей — сказать сложно, но точно то, что эти нейросети очень плотно переплетены (и не только в разрезе возбуждающих/тормозящих).
Дендритные вычисления — довольно давно известный факт. Тут главный вопрос в том, каков именно вычислительный репертуар одного нейрона: сейчас подтвердили что это не просто суммирование/AND, но и пересыщение/XOR. Я полагаю, что это всего лишь два примера, классифицируемых так из-за близости к логике. Не удивлюсь, если будут найдены куда более разнообразные нелинейные зависимости, и более тонкие вариации.
Диплёрнинг, боюсь, такой разнообразный репертуар с нелинейностями просто умрёт повторять в рамках своих алгоритмов и формул.
Подстроечные механики должны учитывать все эти нелинейности.
Дендритные вычисления — довольно давно известный факт. Тут главный вопрос в том, каков именно вычислительный репертуар одного нейрона: сейчас подтвердили что это не просто суммирование/AND, но и пересыщение/XOR. Я полагаю, что это всего лишь два примера, классифицируемых так из-за близости к логике. Не удивлюсь, если будут найдены куда более разнообразные нелинейные зависимости, и более тонкие вариации.
Диплёрнинг, боюсь, такой разнообразный репертуар с нелинейностями просто умрёт повторять в рамках своих алгоритмов и формул.
Подстроечные механики должны учитывать все эти нелинейности.
НЛО прилетело и опубликовало эту надпись здесь
Скоро компы будут ровно из того же, из чего состоит юзер ) Только личности в них не будет.
интересно далеко ли зайдет это развитие нейросетей и ИИ в целом? Некоторые нейросети уже могут писать музыку, стихи, занимаются видеоблогингом, куда же это все приведет)
Предыдущая статья на эту же тему — "В коре вашего мозга 17 млрд компьютеров".
Об умных дендритах начали задумываться много лет назад. Теперь нашли XOR. Продолжение следует.
Об умных дендритах начали задумываться много лет назад. Теперь нашли XOR. Продолжение следует.
Отлично. То у астрофизики появились темная энергия/темная материя. Теперь в мозгу нашли «темные вычисления». Снова учебники переписывать?
Нет никаких «темных вычислений». Есть недостаточно точные инструменты, и недостаточно тщательный анализ, которые со временем становятся более тщательным и детальными.
НЛО прилетело и опубликовало эту надпись здесь
Любой достаточно сложный объект можно лишь заменить «магическим чёрным ящиком», если нужно что-то с ним изучать в прикладном плане. Невозможно рассматривать дендрит как он есть — как совокупность связанных друг с другом миллиардов молекул, взаимодействующих посредством фундаментальных взаимодействий — в вопросах его изучения как совокупности с другими дендритами и соседними нейронами. Такое полное описание невозможно никак просчитать. Эмуляция одной секунды работы отдельного дендрита при таком подходе будет требовать условно говоря часа работы суперкомпьютера, в то время как математическое приближение «магическим чёрным ящиком» при условии удовлетворяющей точности описания внешней реакции дендрита позволит за то же время просимулировать целые сутки его работы в окружении других дендритов.
Не очень понимаю, в чем новость, дендритные спайки известны уже очень давно.
( www.ncbi.nlm.nih.gov/pmc/articles/PMC5643072 )
( www.ncbi.nlm.nih.gov/pmc/articles/PMC5643072 )
Новость в том, что среди этих вычислений обнаружилась закономерность, схожая с «исключающим или», которая в норме в одним нейроне (и тем более дендритом) не производится. Раньше считалось, что для этого нужна сеть с тормозящим нейроном. Тут конечно присутствует элемент хайпа. Люди «в теме» такому открытию не удивляются.
Вот видел же где-то про тот же xor на дендритах, причем в районе 2010-ых, но статью найти не смог быстро, к сожалению. Или там просто предполагали такое поведение, я не помню, если честно.
Конкретно про xor не видел. Читал разные статьи про дендритные вычисления, без какой-либо классификации. Тут речь про иную форму сигмоиды срабатывания: не / а /\, т.е., с «пересыщением», с угасанием сработки при переходе через определенную границу. В оригинале статьи в Science говорится о том, что речь про дендритные функции пирамидальных нейронов из слоя 2/3, которые уникальны для человека. Вот это заявление об уникальности для человека мне кажется слишком уж громким. Думается что и в мозгах других млекопитающих (по меньшей мере приматов) существует то же самое, может в меньшем количестве.
Читал также про большую концентрацию трёхсторонних синапсов в префронтальной коре (и особом режиме с важной доп.модуляцией). В общем, не очень хорошо исследованных элементов органа мышления, мягко говоря, дофига. И открытия тут ещё не один десяток лет будут делаться. Какие-то элементы открытий уже происходят, но уточнения могут быть существенными, и не менее значительными, чем первоначальное открытие. Так что может что-то подобное прежде где-то могло и быть.
Читал также про большую концентрацию трёхсторонних синапсов в префронтальной коре (и особом режиме с важной доп.модуляцией). В общем, не очень хорошо исследованных элементов органа мышления, мягко говоря, дофига. И открытия тут ещё не один десяток лет будут делаться. Какие-то элементы открытий уже происходят, но уточнения могут быть существенными, и не менее значительными, чем первоначальное открытие. Так что может что-то подобное прежде где-то могло и быть.
«dendrite arm» — это не «отсеки дендритов», а разветвление дендритной ветки. Место, где ветка разветвляется надвое.
Модель показала, что дендриты выдают всплески в ответ на два входных сигнала по отдельности, но не выдают, если скомбинировать эти сигналы. Это эквивалент нелинейного вычисления, известного, как «исключающее ИЛИ», или XOR, дающего 1 только если один, и только один из входов равен 1.Механизм может быть прост. Дендритная волна, проходя через вилку, временно блокирует прохождение через неё другой волны. Одновременно пришедшие волны взаимно устраивают затор.
Вот устраивания затора двумя (и более) возбуждающими волнами вроде как и не было известно. Механизм ингибирования работает иначе, через «синапсы-прерыватели». Нет известного механизма, который бы в рамках одного нейрона создавал и возбуждение и торможение, интерферируя деполяризационные волны.
Нет, я не ингибирование имел в виду, а гистерезис мембраны, который обеспечивает однонаправленное распространение волны, когда вторичная деполяризация возможна только через некоторый промежуток времени.
Может быть, что когда две волны одновременно придут к вилке, то за собой они уже «выжгут» свои ветки. Поэтому не смогут перейти на неё из-за подпорогового уровня в этом месте.
А когда волна приходит только по одной ветке, то она может «поджечь» примыкающий к развилке нетронутый участок другой ветки, и тогда сдвига потенциала хватит, чтобы перевалить через порог.
Если позже выяснится, что какая именно функция AND или XOR реализуется в вилке, зависит от толщины веток, то это будет именно из-за такого механизма.
И к слову, я думаю этим AND и XOR придают излишнее значение. Никакую логическую функцию на случайном «логическом» дереве не построишь, разве только улучшенную хеш-функцию.
Может быть, что когда две волны одновременно придут к вилке, то за собой они уже «выжгут» свои ветки. Поэтому не смогут перейти на неё из-за подпорогового уровня в этом месте.
А когда волна приходит только по одной ветке, то она может «поджечь» примыкающий к развилке нетронутый участок другой ветки, и тогда сдвига потенциала хватит, чтобы перевалить через порог.
Если позже выяснится, что какая именно функция AND или XOR реализуется в вилке, зависит от толщины веток, то это будет именно из-за такого механизма.
И к слову, я думаю этим AND и XOR придают излишнее значение. Никакую логическую функцию на случайном «логическом» дереве не построишь, разве только улучшенную хеш-функцию.
А когда волна приходит только по одной ветке, то она может «поджечь» примыкающий к развилке нетронутый участок другой ветки, и тогда сдвига потенциала хватит, чтобы перевалить через порог.Ну вообще-то так и работают дендритные спайки, точнее обратное распространение спайков (тут об этом писалось). Нетривиальных взаимовлияющих механизмов, участвующих в процессе настройки нейронных структур (перенастройка синапсов, рост/миграция шипиков, изменение настройки внутренних многостадийных сигнальных путей) — дофига и больше. Какие-то отдельные элементы под микроскоп исследователей попадают, но толку от этого не больше, чем от разглядывания волоса на хвосте у слона с целью его (слона) описания. Общий контекст ускользает.
И к слову, я думаю этим AND и XOR придают излишнее значение. Никакую логическую функцию на случайном «логическом» дереве не построишь, разве только улучшенную хеш-функцию.Ну, собственно, эти AND/OR/XOR в рамках нейросети — чисто условности, «логику» в цифровом или человеческом смысле они не обеспечивают. Весь этот репертуар нужен для аппроксимации+анализа (т.е. разложения по базисам) произвольного многомерного внешнего сигнала, для «умной» редукции с учётом насыщенности связями. Как-то так.
Глубокие нейросети примерно это же и делают, но с учётом примитивного репертуара их элементов и самой алгоритмики автоподстройки они далеки от сколько-нибудь оптимальных.
У Сергея Лукьяненко в Танцах на снегу уже было:
Мозги людей подключали к бортовым компьютерам и использовали для сложных вычислений космических маршрутов…
Он что-то знает?
)))
Мозги людей подключали к бортовым компьютерам и использовали для сложных вычислений космических маршрутов…
Он что-то знает?
)))
До 1.5 миллионов синапсов у одного нейрона. Ясное дело умеет много чего в своей собственной нейросети. Но без ввода-вывода это беполезная трата дефицитных ресурсов.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
У отростков нейронов человека обнаружились неожиданные способности к вычислениям