У отростков нейронов человека обнаружились неожиданные способности к вычислениям

[UncleAndy]

Интересно… Выглядят эти возможности на уровне дендритов так, как будто часть нейросети может управлять связями другой части нейросети. Или что нейросеть кроме исполнения основной функции, может еще и сама управлять собственным обучением.

[hjornson]

Хм.
Я в одной дискуссии уже высказывал мысль насчет того что мозг — это куча нейросетей влияющих друг на друга.
Приятно быть провидцем ;)

[Volutar]

По-моему это вообще очевидная вещь. Сколько именно сетей — сказать сложно, но точно то, что эти нейросети очень плотно переплетены (и не только в разрезе возбуждающих/тормозящих).

Дендритные вычисления — довольно давно известный факт. Тут главный вопрос в том, каков именно вычислительный репертуар одного нейрона: сейчас подтвердили что это не просто суммирование/AND, но и пересыщение/XOR. Я полагаю, что это всего лишь два примера, классифицируемых так из-за близости к логике. Не удивлюсь, если будут найдены куда более разнообразные нелинейные зависимости, и более тонкие вариации.

Диплёрнинг, боюсь, такой разнообразный репертуар с нелинейностями просто умрёт повторять в рамках своих алгоритмов и формул.
Подстроечные механики должны учитывать все эти нелинейности.

[oalisevich]

это здорово «система эмуляции физического мира»

[joker2k1]

Скоро компы будут ровно из того же, из чего состоит юзер ) Только личности в них не будет.

[NeonMercury]

Только личности в них не будет.

Вы уверены?

[joker2k1]

Надеюсь на это, насмотревшись апокалиптичной фантастики )

[dvserg]

По описанию похоже на зомби.

[Sercius]

скорее сервитор

[Koval90sky]

интересно далеко ли зайдет это развитие нейросетей и ИИ в целом? Некоторые нейросети уже могут писать музыку, стихи, занимаются видеоблогингом, куда же это все приведет)

[spice_harj]

такого рода ИИ — чистый пиар т.к. без «тонкой настройки автора», которую отражают эти ИИ в своих работах, они просто мусор.
Я бы даже сказал, что мы ещё не успели начать.

[Al_Azif]

Просто начали по сути всего лет 5 назад — с появлением соотв. мощностей и адвансед разработок.
Было бы интересно заглянуть лет на 100 вперёд…

[dolovar]

Предыдущая статья на эту же тему — "В коре вашего мозга 17 млрд компьютеров".
Об умных дендритах начали задумываться много лет назад. Теперь нашли XOR. Продолжение следует.

[DolphinSoft]

Осталось доказать, что нейроны могут в законы Де Моргана и Жегалкина, и все — победа! :)

[v1000]

Отлично. То у астрофизики появились темная энергия/темная материя. Теперь в мозгу нашли «темные вычисления». Снова учебники переписывать?

[Volutar]

Нет никаких «темных вычислений». Есть недостаточно точные инструменты, и недостаточно тщательный анализ, которые со временем становятся более тщательным и детальными.

[v1000]

так это и хорошо. я не зря в кавычках это написал-суть в том, что появляются новые исследования, которые меняют представление о том, как устроен мир и как это все работает, в том числе и благодаря новым, более точным инструментам.

[Frankenstine]

Ничего они не меняют. Если раньше «мы не знаем как», то теперь «мы знаем отдельные части». Открывая новые части головоломки, мы не ломаем прежние, мы их дополняем. И в учебниках тоже добавляются новые главы, а не удаляются старые.

[Frankenstine]

Любой достаточно сложный объект можно лишь заменить «магическим чёрным ящиком», если нужно что-то с ним изучать в прикладном плане. Невозможно рассматривать дендрит как он есть — как совокупность связанных друг с другом миллиардов молекул, взаимодействующих посредством фундаментальных взаимодействий — в вопросах его изучения как совокупности с другими дендритами и соседними нейронами. Такое полное описание невозможно никак просчитать. Эмуляция одной секунды работы отдельного дендрита при таком подходе будет требовать условно говоря часа работы суперкомпьютера, в то время как математическое приближение «магическим чёрным ящиком» при условии удовлетворяющей точности описания внешней реакции дендрита позволит за то же время просимулировать целые сутки его работы в окружении других дендритов.

[kraglik]

Не очень понимаю, в чем новость, дендритные спайки известны уже очень давно.
( www.ncbi.nlm.nih.gov/pmc/articles/PMC5643072 )

[Volutar]

Новость в том, что среди этих вычислений обнаружилась закономерность, схожая с «исключающим или», которая в норме в одним нейроне (и тем более дендритом) не производится. Раньше считалось, что для этого нужна сеть с тормозящим нейроном. Тут конечно присутствует элемент хайпа. Люди «в теме» такому открытию не удивляются.

[kraglik]

Вот видел же где-то про тот же xor на дендритах, причем в районе 2010-ых, но статью найти не смог быстро, к сожалению. Или там просто предполагали такое поведение, я не помню, если честно.

[Volutar]

Конкретно про xor не видел. Читал разные статьи про дендритные вычисления, без какой-либо классификации. Тут речь про иную форму сигмоиды срабатывания: не / а /\, т.е., с «пересыщением», с угасанием сработки при переходе через определенную границу. В оригинале статьи в Science говорится о том, что речь про дендритные функции пирамидальных нейронов из слоя 2/3, которые уникальны для человека. Вот это заявление об уникальности для человека мне кажется слишком уж громким. Думается что и в мозгах других млекопитающих (по меньшей мере приматов) существует то же самое, может в меньшем количестве.

Читал также про большую концентрацию трёхсторонних синапсов в префронтальной коре (и особом режиме с важной доп.модуляцией). В общем, не очень хорошо исследованных элементов органа мышления, мягко говоря, дофига. И открытия тут ещё не один десяток лет будут делаться. Какие-то элементы открытий уже происходят, но уточнения могут быть существенными, и не менее значительными, чем первоначальное открытие. Так что может что-то подобное прежде где-то могло и быть.

[VDG]

«dendrite arm» — это не «отсеки дендритов», а разветвление дендритной ветки. Место, где ветка разветвляется надвое.

[VDG]

Модель показала, что дендриты выдают всплески в ответ на два входных сигнала по отдельности, но не выдают, если скомбинировать эти сигналы. Это эквивалент нелинейного вычисления, известного, как «исключающее ИЛИ», или XOR, дающего 1 только если один, и только один из входов равен 1.

Механизм может быть прост. Дендритная волна, проходя через вилку, временно блокирует прохождение через неё другой волны. Одновременно пришедшие волны взаимно устраивают затор.

[Volutar]

Вот устраивания затора двумя (и более) возбуждающими волнами вроде как и не было известно. Механизм ингибирования работает иначе, через «синапсы-прерыватели». Нет известного механизма, который бы в рамках одного нейрона создавал и возбуждение и торможение, интерферируя деполяризационные волны.

[VDG]

Нет, я не ингибирование имел в виду, а гистерезис мембраны, который обеспечивает однонаправленное распространение волны, когда вторичная деполяризация возможна только через некоторый промежуток времени.

Может быть, что когда две волны одновременно придут к вилке, то за собой они уже «выжгут» свои ветки. Поэтому не смогут перейти на неё из-за подпорогового уровня в этом месте.
А когда волна приходит только по одной ветке, то она может «поджечь» примыкающий к развилке нетронутый участок другой ветки, и тогда сдвига потенциала хватит, чтобы перевалить через порог.
Если позже выяснится, что какая именно функция AND или XOR реализуется в вилке, зависит от толщины веток, то это будет именно из-за такого механизма.

И к слову, я думаю этим AND и XOR придают излишнее значение. Никакую логическую функцию на случайном «логическом» дереве не построишь, разве только улучшенную хеш-функцию.

[Volutar]

А когда волна приходит только по одной ветке, то она может «поджечь» примыкающий к развилке нетронутый участок другой ветки, и тогда сдвига потенциала хватит, чтобы перевалить через порог.

Ну вообще-то так и работают дендритные спайки, точнее обратное распространение спайков (тут об этом писалось). Нетривиальных взаимовлияющих механизмов, участвующих в процессе настройки нейронных структур (перенастройка синапсов, рост/миграция шипиков, изменение настройки внутренних многостадийных сигнальных путей) — дофига и больше. Какие-то отдельные элементы под микроскоп исследователей попадают, но толку от этого не больше, чем от разглядывания волоса на хвосте у слона с целью его (слона) описания. Общий контекст ускользает.

И к слову, я думаю этим AND и XOR придают излишнее значение. Никакую логическую функцию на случайном «логическом» дереве не построишь, разве только улучшенную хеш-функцию.

Ну, собственно, эти AND/OR/XOR в рамках нейросети — чисто условности, «логику» в цифровом или человеческом смысле они не обеспечивают. Весь этот репертуар нужен для аппроксимации+анализа (т.е. разложения по базисам) произвольного многомерного внешнего сигнала, для «умной» редукции с учётом насыщенности связями. Как-то так.
Глубокие нейросети примерно это же и делают, но с учётом примитивного репертуара их элементов и самой алгоритмики автоподстройки они далеки от сколько-нибудь оптимальных.

[Radio-VAVAN]

У Сергея Лукьяненко в Танцах на снегу уже было:
Мозги людей подключали к бортовым компьютерам и использовали для сложных вычислений космических маршрутов…
Он что-то знает?
)))

[spam-receiver]

До 1.5 миллионов синапсов у одного нейрона. Ясное дело умеет много чего в своей собственной нейросети. Но без ввода-вывода это беполезная трата дефицитных ресурсов.