Хорошо, если я перешел грани дозволенного и задел личное , то приношу свои инзвенения. Однако же это было предельно обоснованно.
Так вот, начну с того, что Хабр - это не рецензируемый журнал и не академический кружок, где запрещены любые мнения, кроме линии партии (Ну насколько я понимаю концепцию). Пост был метафорой и размышлениями вслух, а не заявкой на нейробиологическую истину.
Вот ваш товарищ выше комментирующий, который за вас заступился, тоже принизил влияние Хабра на общий информационный движ в сети. И скептически отнесся к моей реакции, однако же ваш пост отражает очень популярное обывательское заблуждение, которое как раз таки и распространяется очень активно в массах как тот самый эффект Манделы с Ельциным. И ваш пост копипастят сообщества ВК и фэйсбуки и прочие. Именно за ваш антропоморфизм и необоснованное сопоставление модели и биологической нейросети. Потому что это модно.
Раньше я думал что это проплаченные боты намеренно так пиарят свой продукт чтобы раздуть социальный пузырь, но потом понял, что есть более совершеннные и изощоренные способы распростанять дезионформацию в массы . Достаточно придумать чушь и попытаться ее научно обосновать, в авторитетных ресурсах тмаксимально быстро массово придать огласке очень "громко", а далее массовая сми, потребители, социум, культура, сама подхватит и разнесет это создав обратный эффект спросса на данную тему и усилив дезинформационную публикационную активность.
Вы это продемонстрировали только что сами, упомянув протухший баян про синаптическую пластичность. ОК. Вы сами напросились.
Синаптическая пластичность (LTP/LTD) описывается именно как изменение силы связи - это не миф 50-х, а мейнстримная нейронаука. Да, реальный механизм несравнимо сложнее скалярного весового коэффициента, но утверждать что там "вообще ничего похожего" значит отрицать целое направление.
Откройте определение из википедии и увидите ,что это ошибочное и устаревшее представление, баззируется на "правиле Хебба" которое в 1949 гоу сформулировано. а получило экспериментальное подтверждение в 70х
.т.е. речь именно об электрофизиологических характеристиках. Это ни какая не мэйнстримная наука. Это реальный и устаревший миф, глубочайшая некомпетентность научных журналистов и обозревателей А так же дикое желание компьютерных моделистов, которые не разбираются в нейробиологии, убедить всех окружающих и научное сообщество в том, что это не их модель плохая, это на самом деле якобы в реальной нервной системе все так как в модели, якобы.
т. е если гора не идет к магомеду то магомед идет к горе. ))))
Если не получается создать похожую модеь, то давай придумаем что не модель плоха, а найдем в мозге то что есть в модели, и убедим всех что в мозге все так же)))) вот собственно этим занимаются айтишники спекулирующие на приставке (ННЕЙРО) последние 60 лет и вы продолжаете ту же самую эзотерическую лабуду.
Что же. На самом деле в мозге нет ни чего что было бы похоже на "весовые коэффициенты.
Синаптическая пластичность. Это не изменение "силы синапса в ответ на долговременную потенциацию или депрессию. это появление на дендритных деревьях в свободных местах принципиально новых синаптических бутонов и параллельное удаление либо старых или этих же новых но не получивших должной функциональной нагрузки синапсов.
Цитирую авторов.
«Считалось, что формирование памяти в основном включает в себя перестройку существующих синаптических связей, — сказал Арнольд, — тогда как в этом исследовании мы обнаружили формирование и исчезновение синапсов, но увидели лишь небольшие, случайные изменения синаптической силы существующих синапсов.
Главный вывод, сделанный при анализе этих изображений: вместо того чтобы память вызывала изменение силы существующих синапсов, синапсы в одной части мозга были разрушены, а в другой области мозга были созданы совершенно новые синапсы.
Хотя справедливости ради, Это было известно еще с конца 80-х начала 90-х. просто в этом конкретном исследовании авторы смогли продемонстрировать очень крутой метод визуализации. где каждый синапс подсвечен фуоресцентным белком поэтому исследование получило много шума.
А так,... давно уже, существовало прямое подтверждение того как формируются и удаляются синапсы в процессе обучения благодаря прямым экспериментам с покадровой фото или видеосьемкой и прямым подсчетом количества конкретных синапсов до и посе обучения в долгосрочном временном периоде непосредственно на живых модельных организмах в процессе обучения, по факту так сказать не отходяот кассы.
даже Известный с 70х наш нейробиолог Боголепов. изучающий ультраструктуру синапсов с 70х так же пишет об этом
То есть это железобетонные прямые доказательство пластичеких изменений в мозге в процессе обучения. Именно напрямую как причина иследствие связанные с памятью и обучением. А вот изменения т.н. "силы синапса" это вообще просто функциональная штука. Ну просто больше площадь контакта становится, больше порций нейромхимии выбрасывается в щель. Черт побери да это вообще ни чего не значит, потому что эти изменения в размерах синапсов происходят даже вообще без долговреенной или кратковременной потенциации, а просто спонтанно по умолчанию . Если бы такой хаос происходил в "БЯЗ " или другой нейросетевой модели то что огда? )))))) Я просто ржу в голос. Извиняюсь за такую грубость. но я не могу сдержать смеха. как тут не тролить?
Правило Хебба)))))) Черт подери да электрический импульс вообще не несет ни какой информации. Нейроны безо всякого электрического потенциала действия продолжают обмениваться нейрохимией просто на потенциалах покоя. От того и меняются площадь контактов существующих синапсов спонтанно даже без нагрузки.
Электрический импульс это просто способ мгновенной оправки. (деливери клаб ) на максималках. ))) Какие там ..,,,,???
(LTP/LTD)
Если один и тот же вес может иметь +100500 милиардов значений?
26 основных медиаторов 600 пептидов и это не все. И все это в разных бульонах составах в разных пузырьках даже одного и того же синапса при одном и том же "значении веса" спайка
ок ладно. вот модель. (неполная)синапса
Вот эти пузырьки могут содержать суп из разных сигнальных молекул. А на пост синаптической стороне рецепторы к ним. причем рецепторы могут быть несколько разных и по разному реагирующих даже на одну и туже сигнальную молекулу или реагирующих только тогда когда одновременно имеются сразу пять конкретных сигнальных молекул.
Ну и какие тут весовые коэффициенты? как вы это собрались распределять во времени и пространстве? ))) Вы о чем вообще?
Повторяю.. Правила Хебба и прочий эзотерический бред из 50-х давно устарел. И в мозге ни когда не было и нет ни каких даже метафорических "весовых коэффициентов. Даже т.н. силу синапса невозможно привязать к этому, потому что она не несет ни какого смысла в рамках модели т.к в маленькой силе может сообщаться на порядки больше информации чем в большей силе, просто за счет обьема разнообразных сигнальных молекеул. А электрический импульс или т.н. спайк- это просто способ отправки меседжа. функция скоростного постальона. ВЫ весовыми коэфициентами функции почтальона моделируете? Забавно.
Сила синапса это просто физиологический адаптивный метаболический эффект временного увеличения площади контакта вызванной повышенной нарузкой. (реакция на новизну) После приведения в стабильную фазу, он стабилизируетсяна своем значении. если работает. или вообще рассасывается. И то. это общее упрощенное обьяснение. А я грубый суровый закаленный материаист. И имею нам этот счет свое мнение.
В реальности. (ЭТО уже мое личное и обоснованное мнение) Ни какого изменения т.н. силы синапса нет и в помине. Это просто ошибка наблюдателя. Артефакт наблюдения.
Синапсы не возникают сразу функционально готовыми . В мозге в отличие от ИСК. моделей, нет "нострадамуса предсказателя господа бога) аналгалгоритма обратного распространеия, считай подгонки.)), который заблаговременно знает всю предварительно засписанную "судьбу" индивида и судьбу каждого его нейрона и их ветвления дендритов. посекундно в каждом пространственном положении что бы в каждый момент времени и в правильном месте и воремя сразу отреагировать на внешнее воздействие сразу функционально гоотовым и рабочим синапсом с правильным набором сигнальных молекул метаболитов и прочего.
Как сказано в упомянутом исследовании Боголепова Н.Н, ..синапсы проходят стадию созреваия. сначала это десмосома, выпячивается шипик. потом формируется грибовидная шляпка, потом эта шляпка увеличиваетсяв размерах. в этих процессах формируется первичная зона контакта потом она расширяетсмя потомможет втягиваться обратно. И вот получается разные исследователи ловят эти синапсы на разных стадиях созревания, наивно думая что это один и тот же синапс и заявляют про какие то там " силы синапса" ))) ржу в голос.
А наивные айтишники, повторяяя опыт их древних предков кибернетиков из 50х подхватывают это и распространяют в массы с удвоенным энтузиазмом на серьезных щах. И эта дезионформация несется через десятилетия и залетает теперь в неокрепшие зумерские головы, которые потом на уверенных щах заявляют что это ни много ни мало, а
мэйнстримная НОУКА ОДНАКО
простите еще раз
По существу: я нигде не утверждал, что LLM = мозг. Аналогия между двумя системами - это не заявление об их идентичности. Когда говорят "атом похож на солнечную систему", никто не думает, что электроны горят водородом.
Вы по существу заявили что реконсолидация памяти у людей это аналогичная штука что и в нейросетевых моделях, сжатие или архивация....
Более того... вы пошли дальше и еще и заявили что именно это лежит в основе ни много не мало аж творчества...причем одинаково как у биологической так и у искусственной. А это вообще ни в какие ворота не лезет. МНе интересно, при прохждении информации от первоисточника через множества фильтров пересказа и переинтерпретации, хоть кто то найдется, кто будет досконально проверять достоверность? вопрос риторический.
Поверте, юзая нейросети, вы ни когда этого сделать не сможете. только еще больше зароетесь в мракобесии.
И любопытно, что вы пишете "текст — это код, который запускает генерацию информации у нас в голове". Это ровно тот же уровень метафоры, за который вы меня ругаете.
НЕт. Это вообще не ровно и не тот же уровень метафоры. Это вообще не метафора и даже не аналогия. Т.к. любой символьный словарь и составленный из него текст это и есть именно КОД, текст это один из первых придуманных человечеством кодов. самый первый это наскальные рисунки и улюлюкания. )))
Ни куда не спешил просто одной рукой в телефоне набирал текст. Другой кофе. Что сиринериоо написал. В том то и дело что тут столько заблуждений что формат даже статьи не позволит пройтись по каждому. А тратить на это время с правильным оформлением лень.
Ирония ваша тоже безосновательна. Я не преследую ни каких ни злых ни добрых намерений. Предельно нейтрален.
Однако любой публичный человек которые выражает мнение публично обязан понимать что именно это мнение , а не сама персоналия может критиковаться. И тут нет места тёплому доброму вечному.
Либо мнение ошибочно либо нет.
Конкретно ваше, массово распространено среди юзеров, вот прямо как та самая фраза Ельцина. Многие реально верят что нейросети вдохновлены биологическими нейронными сетями и якобы реально так же устроены и работают.
Вот опять же , снова мы видим шумерский подход. Не разобравшись надо сочинить очередной файл.
Написал же сразу в самом начале.
Что вновь зарегистрированные пользователи не имеют возможности комментировать старые публикации. Та публикация старая. Эту могу , а ту нет.
Это не модерации первого комментария.
Если у вас ощущаются брызги слюной, то я рекомендовал бы вм обратиться к психиатру. Потому что в этой критике совершенно нет никаких гневных мотивов, только суровая ирония.
Причина по которой я не захотел и не стану оформлять в отдельную статью ,объясняется элементарно. Я хотел сделать замечание автору лично. И на публичное по знание не претендую.
Потому что даже с моим бэкграундом в нейробиологии не считаю себя достаточно просвещенным чтобы публично выражать свое мнение.
В отличие от большинства вот таких авторов , (самые опасные люди на планете. ) которые вооружившись эффектом Даннинга Крюгера , решили что они понимают о чем говорят и выражают это мнение.
Эффект Манделы за чем то приписывать.
Все что я вижу в том посте это желание выдать желаемое за действительное. Антопоморфировать алгоритм. А так же эффект вирусного пиара нейросетей .
Т.е. Социальный пузырь.
Когда он распространяется самостоятельно за счёт религиозной убеждённости юзераиков в том что это якобы реально похоже на человеческую нервную систему.
Градус дилетанства, упоранства , трансгуманизма и мракобесия, да и просто откровенной зумерской бредовой глупости в нем , просто зашкаливает. И что самое смешное, ты критикуешь многих за антропоморфизм, когда сам именно это и дклаешь как возносишь примитивную языковую модель до уровня человека проводя безосновательные, ложные и откровеннно лживые параллели.
Начнем с того, что
Мы привыкли называть подобное Эффектом Манделы или массовым искажением восприятия. Но давайте отбросим социологию и взглянем на ситуацию как на чисто технический процесс обработки данных.
Нет не давайте, в том то и дело, что данный эффект сугубо социальное явление и не имеет отношения ни к памяти ни уж тем более к реконсолидации. Пример, откровенно притянут за уши.
Ты пишешь,
Но при сравнении человеческой памяти и трансформеров становится не по себе, ведь ошибаются они абсолютно одинаково и используют одни и те же принципы сжатия информации.
Это утверждение наглая откровенная ложь и является тем самым антропоморфизмом.
1) принципы сжатия информации они используют не просто разные а вообе принципиально ни чем вообще не похожие. Биологическая нейронная сеть вообще не использует принципы сжатия информации. такой функции по определению не существует в нервной системе. Сжатие информации возникает как побочный эффект развития нервной системы. Которое протекает с активным синаптогенезом и синаптическим прунингом. То есть система имеет необратимость. Если простыми словами, это означает что один синапс взрослого состояния. несет в себе информацию целой сети нейронов и множества миллионов синапсов работавших на ранних этапах развития большинство из которых ныне уже отсутствуют в системе физически. Поэтому получается рост информационной емкости без увеличения или даже при снижении вычислительных мощностей. (что в нейросетевой модели впринципе невозможно априори) Это происходит именно за счет вырождения предшествующих синапсов и смене их поколения за поколениями, подобно людям в социуме. ( мы ведь рождаемся нам не надо заново проходить эволюцию от палки копалки и колеса до воздушных шаров паровых машин и так далее. Культурный код кпится а носители становятсяудобрением. их не нужно поддерживать живыми. Вот тоже самое и в нервной стстеме с синапсами. Разумеется в нейросетевой моджели ничего подобного нет и а помине. Еси там такое провернуть то все в момент заруинится.
2) Ошибаются они тоже не одинаково. КАк самособой разумеющееся вытекающее из 1го пункта. В чем можно убеитьсяниже.
Та пишешь
Если представить, что мозг является компьютером, то он хранит не сами файлы (события), а только хеши и веса связей между ними. Когда мы вспоминаем событие, мозг запускает генеративный процесс. Он собирает сцену заново из разрозненных фрагментов: запах, звук, эмоция.
1) в мозге нет ни каких весов, вообще нет ни чего похожего даже. вообще даже на сотую долю процента там нет ни чего что можно было бы с натягом натянуть как сову на глобус что хоть как то бы метафорически было бы похоже на синаптические веса в нейросетевой модели.
Эти мифы зародились на заре активной модына кибернетику, в 50-60х и далее. Когда даже о нейротрансмиттерах то не было ни чего известно. максимум что было и описывалось, это чтонейромедиатор нужен для (перескка) импульса с одного окончания на другое. Вся нейробиология описывалась исключительно в электрофизиологических параметрах. Именно от сюда и берет начало идемя ФИКС. т.е. миф, про то что в мозге между нейронами веса синапсов.
Краткий экскурс: 26 основных типов нейромидиаторов и более 600 нейропептидов. И все это в разных составах и пропорциях может встречатся в одном синапсе по разному в разных пузырьках везикулах, одновременно при одном и том же импульсе. Вот эти частые упоминания про серотонинергические нейроны или ГАМК. это все про большые нервные пучки где сигннализация происходит не просто как нейротрансмиттер а именно как нейрогормон и впрыскивается залпом в межклеточное пространство сразу в большую площадь нейронов для глобальной регуляции.А основная межнейронная коммуникация осуществляется именно посредством мультитрансмиссии. А нынче еще какието щелевые контакты по типу адгезивных комплексов открыли .
2) Да. когда мы вспоминаем событие мы заново реконструируем его но не из обрывков а у же из многократно сгенерированных обобщений и новых актуальныхвходных данных. И именно отсюда и возникают ошибки. Из реального многократного забываенния и замещения новыми данными понятиями и смысловыми ассоциацциями к которым мы приписываем это событие в разные периоды жизни. А не все то, что ты насочинял.
И здесь вступает в дело процесс реконсолидации. Если каких-то данных не хватает для цельной картины, мозг интерполирует их, беря паттерны из соседних кластеров
В мозге нет шаблона кокой должна быть целаякартина чтобы оценить где нехватает и какие дыры надо залатать. Мы постоянно забываем комплексно все что с нами происходило и замещаем это новым входным информационным потоком. Только асоциации косвенные признаки и прочие якоря позволяют нам точно или не очень реконструиповать память. В мозге нет ни каких " соседних КЛАСТЕРОВ" (надо же такую херню придумаь?)
Реконсолидация это процесс ....условно... попытка возбновить состояние мозга на тот момент времени, когда происходило то или иное событие, но так как кофигурация системы уже поменялась , множесто синапсов из того периода уже отсутствуют в системе физически а параллельно так же имеется множество новой информации, то мы просто производим (апгрейд) памяти тго или иного события. Все это в совокупности приводит к постоянной фальсификации нашей памяти. Вообще всей памяти в норме. Это не ошибка. А тк работает память. А уже из этой работы глядясо стороны мы можем фиксировать или нет, реальные ошибки.
Большие языковые модели (LLM) наследуют эту биологическую уязвимость.
Это снова полностью ложное заявление или же наглое вранье.
Или вообще статью писало LLM
Во первых это ни разу не уязвимсть а преимущество. так как это побочный эффект развития НС который позволяет в феерическую энергоэффективность и рост информационной емкости без пропорционального увеличения вычислительных мощностей,
А во вторых модель ни чнго подобного даже близко не наследует.
Когда мы спрашиваем: «Кто написал "Муму"?», модель не делает запрос к базе. Она предсказывает следующий токен. После последовательности векторов [Кто, написал, Муму] вектор [Тургенев] имеет вероятность 99%.
Однако эта вероятность собрана из базы и обучена на базе и построена по примитивному принципу статистического усреднения. Поэтому она не делает ошибок. эти ошибки являюисяестественным артефактом работы можели. Именно потому, что она не имеет вообще ни чего общего с биологической нейронной сетью и не умеет думать. Не умее решать нестандартные задачи. Если в обучении не было уделено достаточно внимания той или иной вероятности послдовательности симфолов. то она ни когда не сможет додуматься в чем она не права. ОНа так и будет утверждать что в слове "террариум" 2 буквы р например. и будет полностью утверждать что она права. Потому что это ни какая не ошибка. Это ее обычная работа. просто в обучении подобного сочетания последовательностей симфолов не было.
И да, это не баг. это это БАГИЩЕЕЕ целая фундаментальная деффектная проблема трансгуманистов спекулянтов которые не имея вообще ни какого понимания и биологического обазвания решили назвать этот примитивный алгоритм (НЕЙРОСЕТЬЮ) когда там от нейро нет вообще ни чего.
Именно этот шум мы называем креативностью.
А вот этот перл собственно и стригерил меня , и вынудил накатать ответ, то ли сопливому зумеру трансгуманисту, то ли намеренно обманывающему и вводящему в аблуждение людей в публичном пространстве с целью антропоморфировать примитивный ай ти продукт.
Этот шум вообще ни разу не креативность. И ни одна можель нейросети что генерация избражений или видео. вообще впринципе не способна ни на творчество ни на креативность.
Просто по определению.
Если это изображение то там прям попиксельное разбиение и заново сборка. ни какого творчества тут нет и в помине. что заложено то и генерит. На чем обучали то и выдает. только раздербанивание и компиляция из пикселей нового цнлого дает иллюзию у зкумеров неадекватных, что жто якобы творчество.
Еси же это тект , то там вообще невооруженным глазом втдно что феерический бред , который невозможно читать. ты просто вчитываться не моджешь каждое предложение завершеннаямвмль нет общей нити повествования и между строчного смысла. сухой и гладкий бред.
О каком творчестве тут можно говорить?
Творчетво и креативность это генерация принципиального новья. даже если оно уже дето известно. Это все равно синтез.
Простой пример.
перед тобой 2 системы.
1)нейросетеваямодель обученная на огромной базе(БИГДАТА) просто фееречески огпомная база квадрилионы переменных
2) естественная нервная система с принципом вырождения. всего навсего 1 млн. переменных. НО, (10% состава непрерывно растворяется в системе и тут же примерно чтолько же 10% генерируетсяв ней de novo/
Какая из этих систем будет более адаптивная?
вопрос риторический. определенно 2я
Да. первая обладает пистинеиогромным репертуаром и имеет множество решений на все случаи. НО она завершенная. Конечная. Она финальная. И этим все сказано. она может выдать ли что что в нее заложено. пусть и очень много разного. Однако вторая может выдать то чего еще не было ни в первой ни во второй причем сразу. и расширить таким образом репертуар первой.
А все потому что она А) нзавершенная и Б) необратимая. Именно эти два ключевых пункта отличают естественную чистему от искусственной.
Неужто ты ,автор, уверовал в разумный замысел*??
Что ты подразумеваешь когда хочешь убедить неокрепшие умы аудитории в том что ошибки нейросетевых языковызх моделей якобы аналоичны ошибкам человеческого мышления? Не хочешь ли ты таким образом намекнуть что нас людей человеков оказывается боженька сотворил искусственно и все завеомо везде пропимсал и расписал наперед на все случаи развития разных сценариев и прообучал модель прогнав по всем параметрам во всех пространственных положениях?? Как правил большинство айтишников креационисты. отсюда и их линейный примитивный древний тип мышления.
Способность модели (и человека) придумать несуществующее — это основа творчества, метафор и гипотез. Если зажать параметры в тиски строгой фактологии, мы получим идеальный телефонный справочник, но потеряем искру.
НЕт. основа творчества это реальная физическая генерация вырожденного состава компонентов системы. А то что поисходит в модели это вообще ни разу не творчество и даже рядом не лежало. Это лишь жалкая пародия и даже далеко не качественная имитация
Твоя гипотеза полна ошибок заблуждений и банальной религиозной антропоморфной веры. веры в рзумный замысел.
Ошибки LLM представляют собой не баг софта, а встроенную особенность архитектуры любых нейронных сетей. Мы не можем полностью устранить галлюцинации и сохранить при этом способность к обобщению или творчеству.
Поэтому, когда в следующий раз модель припишет Эйнштейну цитату, которую тот никогда не говорил, не спешите ее ругать. В этот момент она максимально похожа на человека, так как проявила фантазию там, где ей не хватило весов.
ТЕкст это не информация и ни когда не содержал в себе ни какой нформации. Текст. это код. который запускает генерацию информации у нас в голове.
Поэтому+> ошибки языковой модели- это неизбежный и априорный артефакт примитивного и тупого алгоритма обратного распространения ошибки и примитивной прямоуголной архитектуры "матрицы ячеек" с весовыми коэффициентами, помноженную на многослойность Которая вообще не имеет ни чего общего с биологической нейронной сетью вот вообще принципиально разные и ни чем вообще даже на 1 сотую долю процента не похожи.
Поэтому когда в следующий раз модель припишет Эйнштейну цитату которую он не говоил, ругайте всех айтишников и прочих ИИ одноклеточных трансгуманистов которые имеют наглость называть это (нейро) да еще и так нагло обманывать в пуличном пространстве про сходство принципов допущения ошибок.
также дополняю свой комментарий подробной иллюстрацией к обьяснению что такое синаптическая пластичность.
Хорошо, если я перешел грани дозволенного и задел личное , то приношу свои инзвенения. Однако же это было предельно обоснованно.
Вот ваш товарищ выше комментирующий, который за вас заступился, тоже принизил влияние Хабра на общий информационный движ в сети. И скептически отнесся к моей реакции, однако же ваш пост отражает очень популярное обывательское заблуждение, которое как раз таки и распространяется очень активно в массах как тот самый эффект Манделы с Ельциным. И ваш пост копипастят сообщества ВК и фэйсбуки и прочие. Именно за ваш антропоморфизм и необоснованное сопоставление модели и биологической нейросети. Потому что это модно.
Раньше я думал что это проплаченные боты намеренно так пиарят свой продукт чтобы раздуть социальный пузырь, но потом понял, что есть более совершеннные и изощоренные способы распростанять дезионформацию в массы . Достаточно придумать чушь и попытаться ее научно обосновать, в авторитетных ресурсах тмаксимально быстро массово придать огласке очень "громко", а далее массовая сми, потребители, социум, культура, сама подхватит и разнесет это создав обратный эффект спросса на данную тему и усилив дезинформационную публикационную активность.
Вы это продемонстрировали только что сами, упомянув протухший баян про синаптическую пластичность. ОК. Вы сами напросились.
Откройте определение из википедии и увидите ,что это ошибочное и устаревшее представление, баззируется на "правиле Хебба" которое в 1949 гоу сформулировано. а получило экспериментальное подтверждение в 70х
.т.е. речь именно об электрофизиологических характеристиках. Это ни какая не мэйнстримная наука. Это реальный и устаревший миф, глубочайшая некомпетентность научных журналистов и обозревателей А так же дикое желание компьютерных моделистов, которые не разбираются в нейробиологии, убедить всех окружающих и научное сообщество в том, что это не их модель плохая, это на самом деле якобы в реальной нервной системе все так как в модели, якобы.
т. е если гора не идет к магомеду то магомед идет к горе. ))))
Если не получается создать похожую модеь, то давай придумаем что не модель плоха, а найдем в мозге то что есть в модели, и убедим всех что в мозге все так же)))) вот собственно этим занимаются айтишники спекулирующие на приставке (ННЕЙРО) последние 60 лет и вы продолжаете ту же самую эзотерическую лабуду.
Что же. На самом деле в мозге нет ни чего что было бы похоже на "весовые коэффициенты.
Синаптическая пластичность. Это не изменение "силы синапса в ответ на долговременную потенциацию или депрессию. это появление на дендритных деревьях в свободных местах принципиально новых синаптических бутонов и параллельное удаление либо старых или этих же новых но не получивших должной функциональной нагрузки синапсов.
Цитирую авторов.
взято от сюда
вот оригинал
Хотя справедливости ради, Это было известно еще с конца 80-х начала 90-х. просто в этом конкретном исследовании авторы смогли продемонстрировать очень крутой метод визуализации. где каждый синапс подсвечен фуоресцентным белком поэтому исследование получило много шума.
А так,... давно уже, существовало прямое подтверждение того как формируются и удаляются синапсы в процессе обучения благодаря прямым экспериментам с покадровой фото или видеосьемкой и прямым подсчетом количества конкретных синапсов до и посе обучения в долгосрочном временном периоде непосредственно на живых модельных организмах в процессе обучения, по факту так сказать не отходяот кассы.
их достаточно много разных :
https://www.nature.com/articles/nature01273?error=cookies_not_supported&code=da257a66-16cf-49c1-9a7a-8ef21e6b5f61
https://www.nature.com/articles/nature08577
https://link.springer.com/chapter/10.1007/978-3-031-36159-3_4
https://www.cell.com/neuron/fulltext/S0896-6273(00)80283-4?_returnURL=https%3A%2F%2Flinkinghub.elsevier.com%2Fretrieve%2Fpii%2FS0896627300802834%3Fshowall%3Dtrue
https://pmc.ncbi.nlm.nih.gov/articles/PMC5554072/
https://pmc.ncbi.nlm.nih.gov/articles/PMC8186004/
https://www.nature.com/articles/nrn2699?error=cookies_not_supported&code=c1b50ba4-a264-4730-bcca-b250c1f8b4fe
https://www.sciencedirect.com/science/chapter/handbook/abs/pii/B9780444641502000058?via%3Dihub
https://pmc.ncbi.nlm.nih.gov/articles/PMC3156171/
https://www.sciencedirect.com/topics/immunology-and-microbiology/synaptogenesis
https://www.sciencedirect.com/science/chapter/handbook/abs/pii/B9780444641502000058?via%3Dihub
даже Известный с 70х наш нейробиолог Боголепов. изучающий ультраструктуру синапсов с 70х так же пишет об этом
То есть это железобетонные прямые доказательство пластичеких изменений в мозге в процессе обучения. Именно напрямую как причина иследствие связанные с памятью и обучением. А вот изменения т.н. "силы синапса" это вообще просто функциональная штука. Ну просто больше площадь контакта становится, больше порций нейромхимии выбрасывается в щель. Черт побери да это вообще ни чего не значит, потому что эти изменения в размерах синапсов происходят даже вообще без долговреенной или кратковременной потенциации, а просто спонтанно по умолчанию . Если бы такой хаос происходил в "БЯЗ " или другой нейросетевой модели то что огда? )))))) Я просто ржу в голос. Извиняюсь за такую грубость. но я не могу сдержать смеха. как тут не тролить?
Правило Хебба)))))) Черт подери да электрический импульс вообще не несет ни какой информации. Нейроны безо всякого электрического потенциала действия продолжают обмениваться нейрохимией просто на потенциалах покоя. От того и меняются площадь контактов существующих синапсов спонтанно даже без нагрузки.
Электрический импульс это просто способ мгновенной оправки. (деливери клаб ) на максималках. ))) Какие там ..,,,,???
Если один и тот же вес может иметь +100500 милиардов значений?
26 основных медиаторов 600 пептидов и это не все. И все это в разных бульонах составах в разных пузырьках даже одного и того же синапса при одном и том же "значении веса" спайка
ок ладно. вот модель. (неполная)синапса
Вот эти пузырьки могут содержать суп из разных сигнальных молекул. А на пост синаптической стороне рецепторы к ним. причем рецепторы могут быть несколько разных и по разному реагирующих даже на одну и туже сигнальную молекулу или реагирующих только тогда когда одновременно имеются сразу пять конкретных сигнальных молекул.
Ну и какие тут весовые коэффициенты? как вы это собрались распределять во времени и пространстве? ))) Вы о чем вообще?
Повторяю.. Правила Хебба и прочий эзотерический бред из 50-х давно устарел. И в мозге ни когда не было и нет ни каких даже метафорических "весовых коэффициентов. Даже т.н. силу синапса невозможно привязать к этому, потому что она не несет ни какого смысла в рамках модели т.к в маленькой силе может сообщаться на порядки больше информации чем в большей силе, просто за счет обьема разнообразных сигнальных молекеул. А электрический импульс или т.н. спайк- это просто способ отправки меседжа. функция скоростного постальона. ВЫ весовыми коэфициентами функции почтальона моделируете? Забавно.
Сила синапса это просто физиологический адаптивный метаболический эффект временного увеличения площади контакта вызванной повышенной нарузкой. (реакция на новизну) После приведения в стабильную фазу, он стабилизируетсяна своем значении. если работает. или вообще рассасывается. И то. это общее упрощенное обьяснение. А я грубый суровый закаленный материаист. И имею нам этот счет свое мнение.
В реальности. (ЭТО уже мое личное и обоснованное мнение) Ни какого изменения т.н. силы синапса нет и в помине. Это просто ошибка наблюдателя. Артефакт наблюдения.
Синапсы не возникают сразу функционально готовыми . В мозге в отличие от ИСК. моделей, нет "нострадамуса предсказателя господа бога) аналгалгоритма обратного распространеия, считай подгонки.)), который заблаговременно знает всю предварительно засписанную "судьбу" индивида и судьбу каждого его нейрона и их ветвления дендритов. посекундно в каждом пространственном положении что бы в каждый момент времени и в правильном месте и воремя сразу отреагировать на внешнее воздействие сразу функционально гоотовым и рабочим синапсом с правильным набором сигнальных молекул метаболитов и прочего.
Как сказано в упомянутом исследовании Боголепова Н.Н, ..синапсы проходят стадию созреваия. сначала это десмосома, выпячивается шипик. потом формируется грибовидная шляпка, потом эта шляпка увеличиваетсяв размерах. в этих процессах формируется первичная зона контакта потом она расширяетсмя потомможет втягиваться обратно. И вот получается разные исследователи ловят эти синапсы на разных стадиях созревания, наивно думая что это один и тот же синапс и заявляют про какие то там " силы синапса" ))) ржу в голос.
А наивные айтишники, повторяяя опыт их древних предков кибернетиков из 50х подхватывают это и распространяют в массы с удвоенным энтузиазмом на серьезных щах. И эта дезионформация несется через десятилетия и залетает теперь в неокрепшие зумерские головы, которые потом на уверенных щах заявляют что это ни много ни мало, а
простите еще раз
Вы по существу заявили что реконсолидация памяти у людей это аналогичная штука что и в нейросетевых моделях, сжатие или архивация....
Более того... вы пошли дальше и еще и заявили что именно это лежит в основе ни много не мало аж творчества...причем одинаково как у биологической так и у искусственной. А это вообще ни в какие ворота не лезет. МНе интересно, при прохждении информации от первоисточника через множества фильтров пересказа и переинтерпретации, хоть кто то найдется, кто будет досконально проверять достоверность? вопрос риторический.
Поверте, юзая нейросети, вы ни когда этого сделать не сможете. только еще больше зароетесь в мракобесии.
НЕт. Это вообще не ровно и не тот же уровень метафоры. Это вообще не метафора и даже не аналогия. Т.к. любой символьный словарь и составленный из него текст это и есть именно КОД, текст это один из первых придуманных человечеством кодов. самый первый это наскальные рисунки и улюлюкания. )))
Так что увы и ах.
Ни куда не спешил просто одной рукой в телефоне набирал текст. Другой кофе. Что сиринериоо написал. В том то и дело что тут столько заблуждений что формат даже статьи не позволит пройтись по каждому. А тратить на это время с правильным оформлением лень.
Я думаю мысль и так понятна и донесена.
Ирония ваша тоже безосновательна. Я не преследую ни каких ни злых ни добрых намерений. Предельно нейтрален.
Однако любой публичный человек которые выражает мнение публично обязан понимать что именно это мнение , а не сама персоналия может критиковаться. И тут нет места тёплому доброму вечному.
Либо мнение ошибочно либо нет.
Конкретно ваше, массово распространено среди юзеров, вот прямо как та самая фраза Ельцина. Многие реально верят что нейросети вдохновлены биологическими нейронными сетями и якобы реально так же устроены и работают.
Вот опять же , снова мы видим шумерский подход. Не разобравшись надо сочинить очередной файл.
Написал же сразу в самом начале.
Что вновь зарегистрированные пользователи не имеют возможности комментировать старые публикации. Та публикация старая. Эту могу , а ту нет.
Это не модерации первого комментария.
Если у вас ощущаются брызги слюной, то я рекомендовал бы вм обратиться к психиатру. Потому что в этой критике совершенно нет никаких гневных мотивов, только суровая ирония.
Причина по которой я не захотел и не стану оформлять в отдельную статью ,объясняется элементарно. Я хотел сделать замечание автору лично. И на публичное по знание не претендую.
Потому что даже с моим бэкграундом в нейробиологии не считаю себя достаточно просвещенным чтобы публично выражать свое мнение.
В отличие от большинства вот таких авторов , (самые опасные люди на планете. ) которые вооружившись эффектом Даннинга Крюгера , решили что они понимают о чем говорят и выражают это мнение.
Эффект Манделы за чем то приписывать.
Все что я вижу в том посте это желание выдать желаемое за действительное. Антопоморфировать алгоритм. А так же эффект вирусного пиара нейросетей .
Т.е. Социальный пузырь.
Когда он распространяется самостоятельно за счёт религиозной убеждённости юзераиков в том что это якобы реально похоже на человеческую нервную систему.
Писал с телефона наспех. По этому с опечатками.
Однако до автора мысль думаю донесена.
Автор, пардон за то, что пишу сюда, по причине того, что недавно зарегистрировался и не могу оставлять комментарии на более ранние статьи.
Но я собрался тебя ругать за вот этот твой пост.
Градус дилетанства, упоранства , трансгуманизма и мракобесия, да и просто откровенной зумерской бредовой глупости в нем , просто зашкаливает. И что самое смешное, ты критикуешь многих за антропоморфизм, когда сам именно это и дклаешь как возносишь примитивную языковую модель до уровня человека проводя безосновательные, ложные и откровеннно лживые параллели.
Начнем с того, что
Нет не давайте, в том то и дело, что данный эффект сугубо социальное явление и не имеет отношения ни к памяти ни уж тем более к реконсолидации. Пример, откровенно притянут за уши.
Ты пишешь,
Это утверждение наглая откровенная ложь и является тем самым антропоморфизмом.
1) принципы сжатия информации они используют не просто разные а вообе принципиально ни чем вообще не похожие. Биологическая нейронная сеть вообще не использует принципы сжатия информации. такой функции по определению не существует в нервной системе. Сжатие информации возникает как побочный эффект развития нервной системы. Которое протекает с активным синаптогенезом и синаптическим прунингом. То есть система имеет необратимость. Если простыми словами, это означает что один синапс взрослого состояния. несет в себе информацию целой сети нейронов и множества миллионов синапсов работавших на ранних этапах развития большинство из которых ныне уже отсутствуют в системе физически. Поэтому получается рост информационной емкости без увеличения или даже при снижении вычислительных мощностей. (что в нейросетевой модели впринципе невозможно априори) Это происходит именно за счет вырождения предшествующих синапсов и смене их поколения за поколениями, подобно людям в социуме. ( мы ведь рождаемся нам не надо заново проходить эволюцию от палки копалки и колеса до воздушных шаров паровых машин и так далее. Культурный код кпится а носители становятсяудобрением. их не нужно поддерживать живыми. Вот тоже самое и в нервной стстеме с синапсами. Разумеется в нейросетевой моджели ничего подобного нет и а помине. Еси там такое провернуть то все в момент заруинится.
2) Ошибаются они тоже не одинаково. КАк самособой разумеющееся вытекающее из 1го пункта. В чем можно убеитьсяниже.
Та пишешь
1) в мозге нет ни каких весов, вообще нет ни чего похожего даже. вообще даже на сотую долю процента там нет ни чего что можно было бы с натягом натянуть как сову на глобус что хоть как то бы метафорически было бы похоже на синаптические веса в нейросетевой модели.
Эти мифы зародились на заре активной модына кибернетику, в 50-60х и далее. Когда даже о нейротрансмиттерах то не было ни чего известно. максимум что было и описывалось, это чтонейромедиатор нужен для (перескка) импульса с одного окончания на другое. Вся нейробиология описывалась исключительно в электрофизиологических параметрах. Именно от сюда и берет начало идемя ФИКС. т.е. миф, про то что в мозге между нейронами веса синапсов.
Краткий экскурс: 26 основных типов нейромидиаторов и более 600 нейропептидов. И все это в разных составах и пропорциях может встречатся в одном синапсе по разному в разных пузырьках везикулах, одновременно при одном и том же импульсе. Вот эти частые упоминания про серотонинергические нейроны или ГАМК. это все про большые нервные пучки где сигннализация происходит не просто как нейротрансмиттер а именно как нейрогормон и впрыскивается залпом в межклеточное пространство сразу в большую площадь нейронов для глобальной регуляции.А основная межнейронная коммуникация осуществляется именно посредством мультитрансмиссии. А нынче еще какието щелевые контакты по типу адгезивных комплексов открыли .
2) Да. когда мы вспоминаем событие мы заново реконструируем его но не из обрывков а у же из многократно сгенерированных обобщений и новых актуальныхвходных данных. И именно отсюда и возникают ошибки. Из реального многократного забываенния и замещения новыми данными понятиями и смысловыми ассоциацциями к которым мы приписываем это событие в разные периоды жизни. А не все то, что ты насочинял.
В мозге нет шаблона кокой должна быть целаякартина чтобы оценить где нехватает и какие дыры надо залатать. Мы постоянно забываем комплексно все что с нами происходило и замещаем это новым входным информационным потоком. Только асоциации косвенные признаки и прочие якоря позволяют нам точно или не очень реконструиповать память. В мозге нет ни каких " соседних КЛАСТЕРОВ" (надо же такую херню придумаь?)
Реконсолидация это процесс ....условно... попытка возбновить состояние мозга на тот момент времени, когда происходило то или иное событие, но так как кофигурация системы уже поменялась , множесто синапсов из того периода уже отсутствуют в системе физически а параллельно так же имеется множество новой информации, то мы просто производим (апгрейд) памяти тго или иного события. Все это в совокупности приводит к постоянной фальсификации нашей памяти. Вообще всей памяти в норме. Это не ошибка. А тк работает память. А уже из этой работы глядясо стороны мы можем фиксировать или нет, реальные ошибки.
Это снова полностью ложное заявление или же наглое вранье.
Или вообще статью писало LLM
Во первых это ни разу не уязвимсть а преимущество. так как это побочный эффект развития НС который позволяет в феерическую энергоэффективность и рост информационной емкости без пропорционального увеличения вычислительных мощностей,
А во вторых модель ни чнго подобного даже близко не наследует.
Однако эта вероятность собрана из базы и обучена на базе и построена по примитивному принципу статистического усреднения. Поэтому она не делает ошибок. эти ошибки являюисяестественным артефактом работы можели. Именно потому, что она не имеет вообще ни чего общего с биологической нейронной сетью и не умеет думать. Не умее решать нестандартные задачи. Если в обучении не было уделено достаточно внимания той или иной вероятности послдовательности симфолов. то она ни когда не сможет додуматься в чем она не права. ОНа так и будет утверждать что в слове "террариум" 2 буквы р например. и будет полностью утверждать что она права. Потому что это ни какая не ошибка. Это ее обычная работа. просто в обучении подобного сочетания последовательностей симфолов не было.
И да, это не баг. это это БАГИЩЕЕЕ целая фундаментальная деффектная проблема трансгуманистов спекулянтов которые не имея вообще ни какого понимания и биологического обазвания решили назвать этот примитивный алгоритм (НЕЙРОСЕТЬЮ) когда там от нейро нет вообще ни чего.
А вот этот перл собственно и стригерил меня , и вынудил накатать ответ, то ли сопливому зумеру трансгуманисту, то ли намеренно обманывающему и вводящему в аблуждение людей в публичном пространстве с целью антропоморфировать примитивный ай ти продукт.
Этот шум вообще ни разу не креативность. И ни одна можель нейросети что генерация избражений или видео. вообще впринципе не способна ни на творчество ни на креативность.
Просто по определению.
Если это изображение то там прям попиксельное разбиение и заново сборка. ни какого творчества тут нет и в помине. что заложено то и генерит. На чем обучали то и выдает. только раздербанивание и компиляция из пикселей нового цнлого дает иллюзию у зкумеров неадекватных, что жто якобы творчество.
Еси же это тект , то там вообще невооруженным глазом втдно что феерический бред , который невозможно читать. ты просто вчитываться не моджешь каждое предложение завершеннаямвмль нет общей нити повествования и между строчного смысла. сухой и гладкий бред.
О каком творчестве тут можно говорить?
Творчетво и креативность это генерация принципиального новья. даже если оно уже дето известно. Это все равно синтез.
Простой пример.
перед тобой 2 системы.
1)нейросетеваямодель обученная на огромной базе(БИГДАТА) просто фееречески огпомная база квадрилионы переменных
2) естественная нервная система с принципом вырождения. всего навсего 1 млн. переменных. НО, (10% состава непрерывно растворяется в системе и тут же примерно чтолько же 10% генерируетсяв ней de novo/
Какая из этих систем будет более адаптивная?
вопрос риторический. определенно 2я
Да. первая обладает пистинеиогромным репертуаром и имеет множество решений на все случаи. НО она завершенная. Конечная. Она финальная. И этим все сказано. она может выдать ли что что в нее заложено. пусть и очень много разного. Однако вторая может выдать то чего еще не было ни в первой ни во второй причем сразу. и расширить таким образом репертуар первой.
А все потому что она А) нзавершенная и Б) необратимая. Именно эти два ключевых пункта отличают естественную чистему от искусственной.
Неужто ты ,автор, уверовал в разумный замысел*??
Что ты подразумеваешь когда хочешь убедить неокрепшие умы аудитории в том что ошибки нейросетевых языковызх моделей якобы аналоичны ошибкам человеческого мышления? Не хочешь ли ты таким образом намекнуть что нас людей человеков оказывается боженька сотворил искусственно и все завеомо везде пропимсал и расписал наперед на все случаи развития разных сценариев и прообучал модель прогнав по всем параметрам во всех пространственных положениях?? Как правил большинство айтишников креационисты. отсюда и их линейный примитивный древний тип мышления.
НЕт. основа творчества это реальная физическая генерация вырожденного состава компонентов системы. А то что поисходит в модели это вообще ни разу не творчество и даже рядом не лежало. Это лишь жалкая пародия и даже далеко не качественная имитация
Твоя гипотеза полна ошибок заблуждений и банальной религиозной антропоморфной веры. веры в рзумный замысел.
ТЕкст это не информация и ни когда не содержал в себе ни какой нформации. Текст. это код. который запускает генерацию информации у нас в голове.
Поэтому+> ошибки языковой модели- это неизбежный и априорный артефакт примитивного и тупого алгоритма обратного распространения ошибки и примитивной прямоуголной архитектуры "матрицы ячеек" с весовыми коэффициентами, помноженную на многослойность Которая вообще не имеет ни чего общего с биологической нейронной сетью вот вообще принципиально разные и ни чем вообще даже на 1 сотую долю процента не похожи.
Поэтому когда в следующий раз модель припишет Эйнштейну цитату которую он не говоил, ругайте всех айтишников и прочих ИИ одноклеточных трансгуманистов которые имеют наглость называть это (нейро) да еще и так нагло обманывать в пуличном пространстве про сходство принципов допущения ошибок.