Согласен - вся левая часть ушла в тернарный оператор. Это был просто пример как можно было бы ещё подсократить запись, а в проекте всегда надо проходить в тестах по всем веткам кода. Это просто золотое правило. Ну я и намёк дал насчёт скобочек...
Читаемость - чем проще тем лучше. Чем меньше всяких символом для понимания тем лучше. Тут конечно меру знать надо. Символы должны быть чётко понятны тому кто читает. Машинный код - это уже наверно перебор. Но я например когда прогал на асме натренировался что вполне неплохо читал почти машинный код.
Что же касается одной строки - то если условие if и далее 2 коротких значения то почти всегда читаемость через тернарный оператор выглядит нагляднее.
Если это сложение строк и строки короткие - то читаемость в одну строку почти всегда нагляднее.
P.S. А вообще это всё вкусовщина. И спор тут - что лучше красное или лёгкое. Я постоянно пользуюсь тернарными операторами, мне так удобнее. А кого то от них в дрожь бросает. Вкусовщина короче.
Скажем так. Очень малое количество людей вообще пишут книги. Достаточно малое количество людей имеют талант. И главное - у некоторых людей из пред идущей выборки доступен уникальный жизненный датасет. Он в них, скажем так поступает постоянно. Именно что уникальный для конкретного человека.
Взять любого наёмника на войне. Так такие истории бывают - не поверишь.
Так что люди время о времени таки создают "что то новое"
Или даже не так. Даже вокруг самой "серой мыши", человека не выходящего из комнаты общежития могут происходить поистине фантастические истории. Взять например книгу "Преступление и наказание". Гениальное произведение по глубокой психологии личности.
В противоположность этому стоят LLM. После обучения - они статичны. И выдать на выход могут только компиляцию из обучающей выборки. Про психологию вообще не могут чего то размышлять. Сомневаюсь что в выборке уж очень много про это инфы. Люди не особо любят выкладывать в текст внуктренние переживания. От куда их могла бы взять LLM.
Если загрузить в нейронку датасет из миллионов выигранных партий - то такакя нейронка будет содержать в себе последовательности выигрышных стратегий из практически любого хода. Никакого "думания" там и в помине нет. А под думанием я подразумеваю как минимум программный модуль в котором крутятся минипартии шахмат. Типо просчитать все возможные ходы наперёд на 7 позиций. Или ещё что там думают мясные неросети когда в шахматы играют.
Есть только тупой поиск правильного пути из множества правильных путей. Да это и поиском трудно назвать. Превратили позицию шамхат в эмбединг, а эмбединг это просто набор векторов который представляет из себя тензор. И который по сути координаты. И эти координаты просто указали нам место в огромной векторной БД где содержится адрес следующего тензора. Ладно ладно - там чуть сложнее, напридумывали трансформеров, разложение векоров на key,value,query и промежуточные операции с ними что сами не понимают как это помогает (реально улучшает точность) в векторном поиске. Но сути это не меняет. Вся цепочка этих точек будет путь ведущий к выигрышу из текущего состояния. И вся эта цепочка была загружена в векторную БД на этапе обучения. Весь этап обучения это просто аппроксимация всех партий в один большой массив правильных путей.
И если мы такую специализированно обученную векторную БД начнём дообучать другими данными, например ядерной физикой, то в вопросе игры в шахматы - она сильно отупеет. И получается что мы же новые данные загрузили - машина умнее стать должна. Ан нет. Так этот алгоритм не работает.
Поэтому и очень не рекомендуют дообучать современные LLM на своих данных. Потому как вероятность что она отупеет намного больше чем что поумнеет. Потому как датасет на котором она обучалась - пилили напильником годами чтобы он нормально работал.
И в первою очередь советую играйтесь с промтингами, даже новую псевдо-професию изобрели (скоро и она канет в лету как и все предыдущие кадавры) - промт-инженер, играйтесь с RAG, но не лезьте в обучение.
Идея была что если сделать датасет всего чего можно то вдруг получится что LLM будет решать всё что можно - на отлично, как то сейчас всё больше и больше затухает. Загрузили туда все книги, весь интернет, все форумы, вообще всё до чего дотянулись - а результат... LLM начали тупеть. chatGPT5 оказался тупее 4. Ну по крайней мере многие про это говорят и недовольны выдачей.
Если вы зададите вопрос LLM - решают ли они задачи, или думают ли они, или ещё сто то похожее. То они все будут доказывать сто они вообще не понимают и не анализируют входящий промт. Они только ищут наиболее вероятное следующее слов.
Если была загружена задача и она на выходе решена правильно - это означает что в датасет, а сейчас вообще такие датасеты мама негорюй, загрузили все книги которые смогли найти, загрузили весь интернет. Загрузили все форумы на которых миллиардные переписки.
Короче нашлась похожая задача и по алгоритму этой похожей задачи была решена входящая.
И вообще постоянно путаница из за слово решена. Не решает она там внутри ничего.
Хотя вру. Современные чат-боты это реально кадавр. Это дикая смесь всего, и конкретно LLM - там не самое главное может оказаться. Если вдаватся в детали то LLM реально только одно звено наряду например с RAG и прочим.
Короче там работаю алгоритмы где может быть вызваны компиляторы всех языков программирования, могут скомпилированные программы запустится - короче там много чего под капотом.
И когда просят решить какую то математическую функцию - там под капотом может оказаться что быстро пишется программа, компилируется, выполняется, а результат выдаётся в чатботе.
Калькулятор решает миллионы примеров. Сколько там комбинация можно напридумывать из цифр? Значит ли это что калькулятор решает неизвестные ему задачи?
У калькулятора есть алгоритм решения задачи, а вот цифры для алгоритма не важны. Какие туда подставим - такие и решатся.
Так и с LLM. Если мы просим сделат задачу, LLM просто ищет похожую в своей базе данных. Собственно сама магия и шаманство - это то что она это делает по словам или даже по слогам. Но если попробовать представить как это работает - то при загрузки задачи в LLM, т.е. её обучение, внутри создаётся как бы алгоритм туннеля, который работает на векторной алгебре. Сами нейронные сети - это миллиарды таких переплетающихся между собой туннелей.
И входным промтом мы просто попадём в этот туннель, путь, и пройдём по нему попутно собирая слова по дороге этого туннеля. На выходе получим - текст! Чудо LLM думают. Но на самом деле просто пропустила входной промт по загруженному ранее пути-алгоритму.
Короче - LLM никогда не решит никакую задачу если внутр не найдётся правильный путь.
А в реальности LLM всегда решает задачу - потому как там действует рандом на выбор соседних векторов. Короче На неизвестную задачу просто будет галлюцинация.
Человек когда думает над неизвестной задачей действует по совершенно другому принципу. Он моделируем в уме пространство сущностей и их возможных взаимодействие. Так просто сложилось эволюционно - мы живём в материальном мире, и дальше свои гены передавали только те кто лучше мог модулировать внутреннее отображение реальности с прогнозированием.
Хищник что бы не умереть и сожрать зайца - прыгает не в зайца, а вперёд по движению. И подобное короче.
Опять простыня.... Ну не LLM я . У них ограничения хоть в видеде [end] токенов в датасете есть и ограничение контекстного окна.
Если попросить написать сказку - то это будет всегда подобие существующей сказки. Или книгу. А вот люди иногда (талантливые) пишут реально совершенно новые истории. А вот принцип работы LLM это построить текст похожий на ранее загруженный в датасет.
Ладно. Давайте тогда определим понятие нового.
Если взять 3 истории и перемешать и выдать четвёртую историю. То это будет конечно новая история. Но и не новая. Будут все старые логические куски, но перемешаны между собой. Скажем так - такой винегрет считается низкопробным информационным мусором.
А вот придумать реально новую историю - что бы не повторялись сюжеты, что бы не повторялись герои. Что бы не повторялись обстоятельства. Что бы были реально новые логические куски. Такое LLM не сделает принципиально в силу своей архитектуры.
И люди на такое конечно не каждый способен. Реально нужен талант. Под талантом подразумеваю - выиграть в генетическую лотерею, повезло с мясной нейросетью, и главное повезло с центрами дофаминового подкрепления. По простому что бы было интересно именно писать. И второе - тебе повезло с жизнью. А жизнь - это неисчерпаемый источник уникального датасета.
Пример. Кен Киз написал гениальное произведение по психологии человека. Пролетая над гнездом кукушки. А всё потому что описал свою работу в психбольице. Кстати - он потом попытался продолжить писать, но это был провал. Всё из-за того что кончился датасет. Или взять того же Стивена Кинга. Он вообще всю жизнь не вылазит из своего Мена. Но при этом повезло с мясной неройсетью. Новые данные (например из интернета или телевидиния) очень хорошо перераспределяли карту аксонно-дендритного графа для задачи генерации уникального контента.
P.S. LLM не придумают ничего нового потому что у них после обучения - нового ничего никогда не будет. Так устроены современные LLM. Не заложен в них принцип постоянного принятия новой информации и постоянной перестройки весов в нейронных слоях. У человека наоборот.
Хороший вопрос. Я так же давно писал здесь что - что бы давать правильный ответ, нужно сначала определить чёткие критерии оценки. Пример - постоянно встречаю фразы что мол мы никогда не поймём природу сознания. Но как нам дать ответ что такое сознание, или не так, как нам отличить сознание от не-сознания если вообще нету определения этого самого сознания. Если мы сначала определим чёткие критерии сознания, то тога можно будет сказать что в этом мясном мешке - сознание есть, а в этом железном ящике - его нету. Ну или наоборот.
Или есть ли сознание у обезьяны или мыши?
Я например для себя вывел следующие критерии. Во первых у животных нету такого аппарата как речи. Но при этом есть развитая внутренняя модель проецирование внешнего мира на внутреннюю модель. Основу этой модели составляют сигналы от всех рецепторов осязания и рецепторов давления мышц (те которые контролируют насколько мышца сокращена). Эта информация рисует внутреннюю модель положения тела в пространстве. А само пространство создаётся из зрительной информации.
Изначально в простейших организмах была чисто механическая связь - реакция боли -> сигнал к сокращению мышцы (бег от боли). Но с усложнением нейронной модели до проекции внутреннего мира, эти простейшие реакции превратились в феномен боли. Грубо говоря боль это иллюзия. Собственно как и все чувства в этой модели.
Вот это первый тип сознания. Ну и первичный интеллект. Скажем так ничего общего с тем как работает LLM.
Второй тип сознания, а собственно это эволюционная надстройка над первым типом, появился с появлением неокортекса и самое главное речи.
Внутренний диалог с самим собой с использованием речевого аппарата (а за речь отвечает конкретный участок мозга, например у детей маугли он никогда не сформировывается).
Ведь мы конкретно осознаём себя, только когда конкретно задаём себе вопрос внутри - я есть, И отвечаем опять же словами - я есть. В повседневной жизни мы обычно не пользуемся внутренним диалогом. Грубо говоря функционируем по первому типу сознания.
Кошки например иногда смотря в зеркало могут понять что в зеркале именно они. Потому как это пересекается с внутренним моделированием тушки в пространстве.
Короче я написал эту простыню - что бы показать, LLM и человеческое сознание и многие ставят знак равенства с интеллектом, это вообще разные алгоритмы.
P.S. Для ИИ вообще не нужно копировать алгоритм человеческого сознания. Т.к. оно несовершенно. Люди не способны держать в голове дословно даже пару книг.
Но ИИ должен взять некоторые алгоритмы из человеческого сознания -что бы мы могли с уверенностью сказать. Да оно мыслит и обладает интеллектом. Хоть эта фраза и будет достаточна только для масмедиа. Разработчик - всегда будет видеть разницу.
Дополню ответ. Принцип работы LLM подразумевает превратить входные данные в набор смысловых векторов. Вся та работа которая велась раньше и ведётся сейчас - это придумывание алгоритмов как более точно упаковать текст в вектор.
Входной промт тоже пропускаем через эмбедер и получаем вектор. Далее через умножение матриц - находим соответствие. Всё.
Отсюда никакая LLM никогда не придумает что то принципиально новое. Это будет всегда смесь существующей обучающей информации перемешанной со входящим промтом. Собственно и прародитель из которого появился этот эрзац - это текстовый смысловой поиск (который и сейчас применяется по более всех этих LLM, это всякие BERT и производное)
Никаких мыслей в LLM нету. Там сигнал строго проходит с входа на выход. Не буду тут подымать всякие алгоритмы которые могут закольцовывать некоторые проходы. Суть остаётся одна.
Никакой это не интеллект короче.
P.S. Я тут раньше подымал идею появления человеческого интеллекта и феномена фокуса сознания - Я. Если вкратце - то краеугольный принцип этого механизма это проецирование внешнего пространства на внутреннее его модулирование. Для предсказания опасностей. Модель тушки в этом пространстве - в высшей нервной деятельности трансформировалось в эффект Я.
Да там костылей... Вообще если посмотреть откуда родилась LLM - от переводчика гугла, и посмотреть что и как с ней делаю - дат там просто сотни алгоритмом и их скрещивают друг с другом просто на рандоме, авось что-то да и получится. Не зря постоянно слышишь от создателей - что они сами не поинмают как это работает. Целые студии выпускают все кому не лень - где в визуальном редакторе квадратиками соединяешь модули.
Хотя для меня пока что все алгоритмы достаточно понятны. Конечно трудно представить себе как пройдёт сигнал в каком нибудь 10 слойном перцептроне 50-тысяч нейронов на слой. Хотя при желании можно проследить каждый сигнал - это всё тот же конечный автомат.
А что касается вашего вопроса, то сейчас почти все используют механизм RAG. По русски ищем, прибавляем к входному промту, пропускаем всю эту входную кашу через LLM. Так что вы правы - можно на выходе получить вообще не то. Алгоритмов этого RAG тоже напридумывали и придумывают всё новые. И он тот же самый векторный поисковик со всеми своими галлюцинациями
Начав изучать внутреннее строение LLM (трансформеры, эмбедеры, векторизация текста и прочии векторные БД) я увидел (хоть и понимал раньше, но не мог привести конкретику) - насколько некорректны, или вообще псевдонаучны или даже сказочные, почти все статьи пор ИИ для масмедиа.
Вот и в этой статье тоже самое. Неужели те кто проектируют и пишут подобные статьи это одни и те же люди?
Галлюцинации - это просто архитектурная особенность LLM. Она так работает. В ней нету ни одного чёткого факта. Только вектора. LLM - всегда выдаст ответ - выберет из пачки соседниx векторов.
А если ещё учитывать алгоритм температуры на выходе, как по мне именно для ИИ ошибочный алгоритм. Но создателям ИИ нужен креативный текстогенератор.
Короче на выходе имеем кучу вариантов ответа с процентом вероятности для каждого. И в большинстве случаев будет выбран ответ с большим процентом.
Но выбор производится из всех вариантов! И процент 0.0001 рано или поздно тоже сработает и ответ какая голова у человека будет - квадратная.
Как по мне статья не опровергает факт что под давлением лёд тает. Она просто объясняет этот физический процесс. А именно - чем выше давление тем ближе и больше (из за неровностей) будут соприкасаться выровненные (встроенные в кристаллическую решетку льда) молекулы воды и молекулы (либо атомы если это например кристаллическая решетка как в металлах) давящего тела.
Как говорится в статье - сила притяжения в молекулах давящего тела больше чем сила притяжения в кристаллической решетки льда. И верхний слой молекул льда вырывает из решетки. Хз насколько это истина. Но так говорится в статье.
Может происходит просто механический слом решетки под давлением - и верхняя часть молекул становится хаотичная, т.е. превращается в жидкость.
Я бы сказал что любая программа где есть конструкция if-else.
Меня тоже реально бесит тенденция. Не потому что пишут всякие копипастеры, я их особо не читаю, а потому что вместо хоть чуть-чуть описания что там реально за алгоритмы, достаточно поставить слово ИИ - и статья готова.
Этим можно описать просто работу всего! От кофеварки - в которой используется ИИ механический термостат, до градусника - в котором ИИ кванотовый компьютер на эффекте расширения материи.
Как работают LLM известно. По крайней мере исходники открыты - все кто хочет могут поизучать.
LLM ищут наиболее подходящий патерн ответа. Если LLM спросить то чему она обучалась то она это выдаст в качестве ответа.
Но если её спросить неизвестную информацию, чего нет в её графе и весах нейронов, то она попросту выдаст наиболее похожую информацию. Вот и весь фокус.
Попросту LLM сделана так что бы всегда отвечать. Т.е. сигнал всегда проходит с входа на выход.
И LLM не знает правильно она отвечает или нет. Просто так прошёл сигнал. И конец цепочки выдаётся в качестве ответа.
Но при этом - современные LLM просто мега мозги информации. Они правильно ответят практически на все известные вопросы человечества. Потому как туда загрузили почти весь интернет и не только. И распарсили это в граф для быстрого поиска.
В этом LLM уже попросту на порядки препрыгнул человеческий мозг.
Я не говорил что нейросети нужны чувства. Я обсуждал сам феномен чувств. Это ведь получается иллюзия. Иллюзия возникшая в сложной информационной нейросети. Это как центробежная сила - тоже иллюзия, возникающая из за инерции. Это как архимедова сила - иллюзия возникающая в следствии гравитации - вода как бы подтекает под предметы и давит на них снизу.
Но при этом - мы как участники этого спектакля, воспринимаем эту иллюзию очень реально. Боль - это страдания. Значит ли что боль это иллюзия только для фокуса сознания? Мы же не чувствуем боли если находимся без сознания. Есть люди с генетическим заболеванием - они не чувствуют боли.
Цвет. Вижу я зелёный, так же как другие его видят? Или они другой цвет видят? И вообще цвет это лишь серия импульсов в нейронной сети.
Феномен я. Человек заявляет что он есть и он не робот. Но парадокс в том что в реальной жизни люди ведут себя как роботы. Они идут на работу. Делают дела. И лишь когда они затевают свой внутренний диалог - и спрашивают себя а есть ли они, только тогда может и происходит иллюзия самосознания.
Это хорошо видно на примере просмотра фильмов. Когда фильм интересны и человек в него погружается, происходит как бы отключения сознания. Картинка напрямую идёт в память минуя модуль оценки. Человеческое я проецируется на главного героя. Человек как бы становится ГГ. И всё что происходит в фильме с ГГ как бы мозгом воспринимается что это происходит и с самим человеком. В этой схеме идёт полное отключение собственного я. Иногда тебя отвлекают - и ты выпадаешь из этого состояния и осознаёшь что просто пялишся в ящик.
Примерно так гипноз работает. Слова гипнотезёра идут напрямую в модуль модулирования пространства. Мозг на самом деле видит не глазми. С глаз идут всё те же импульсы. А в мозге уже производится высоуоуровневая абстракция иллюзии образов.
Учёные доэксперементировались что понаходили конкретные нейроны отвечающие за конкретный образ. Физическое возбуждение неqрона вызывало образ.
Вообще тут и там читаешь про забавные эксперименты про глюки сознания. Из которых можно понять как оно работает. Например эксперимент с зеркалом и резиновой рукой. Подопытному с помощью зеркала заставляли поверить что резиновая рука его. Трогали её. при этом трогали и рельную руку под столом. А потом шмяк молотком по резиновой руке. И подопытный испытывал боль - которой не существовало. Не значит ли это что боль это иллюзия генерируемая в сложной нейронной сети?
Написал очень сумбурно - трудно уложить в одинокий коммент весь накопленный жизненный вариант представления работы нейросетей.
Короче я написал эту простыню - что всё это будет и в железной нейросети. Нет ни каких причин почему там не могут быть подобные иллюзии. А кто знает может в ней появятся иллюзии более высокого недоступного нам порядка.
Скажем так. Нейросети по типу LLM, да и наши мясные нейросети используют граф для апроксимации (максимального сжатия) огромного объёма информации. Как раз мозг, а именно белое вещество очень оптимально реализуют и поддерживают этот граф в активном состоянии. Триллионы физически соеденённых проводов. Триллионы точек соединения в графе.
В видеокартах такого нет. Там это эмулируется программно. Отсюда и эффективность мозга. Работает на частоте alfa beta ритмов - десятки герц, но с чудовищным параллелизмом. И ему хватает каких то 20 ватт что бы работать.
То что видеокарты могут рендерить картинку - это другое. Это разные вещи. Мы же обсуждаем именно работу нейросети.
А то что человек проигрывает с треском число-дробилкам - пор это никто и не спорит.
Мы живём в удивительное время. Когда казалось бы не преодолимая гора - рациональные рассуждения, которые относились только к мясным нейросетям, как то буднично и резко вдруг стали воспроизводиться вполне себе на обычном железе, по типу матриц вычислительных ядер в обычной видеокарте.
Многие не могут в это поверить до сих пор.
Главное нащупан план. Алгоритм. Скоро появятся специализированные микросхемы - и не нужны будут гигаваты энергии и мега датацентры с видеокартами.
Вы сами реализовывали перцептрон в программе? Я реализовывал. С нуля. Для взлома капч. Что там "разгармливать"? Я полностью представляю его работа и он мне дал то что я хотел. С капчами справлялся.
А подсмотренные в мясном мозге а потом повторенный АЛГОРИТМ, а не биохимия, свёрточные сети? Которые в мясной нейросети занимались первичной обработкой и выявлению патернов в видеоизображении?
Реализованный алгоритм в железе работает наура. Точнее и быстрее своего мясного прорадителя.
Я понимаю вашу критику ну пару лет назад. Да можно было бы защищать мясной мозг как нечто недостижимое.
Но сейчас. С появлением LLM.
Единственное с чем пока я не определился это с эфектом "чувств". Боль, чувство цвета, звука. В мясной нейросети эти иллюзии воспроизведены в совершенстве. Миллионы лет эволюции заставляли мясную тушку воспринимать боль как то что нужно избегать любым способом.
Взять кузнечика например - там боль чисто аппаратное поведение. Но когда на эту платформу наросла нейросеть посложнее, неокортекс там, с эмуляцией сознания (кстати тоже эффект связанный с эмуляцией пространства и определения тушки в этом пространстве для предсказания будущего, по типу крокодил укусил - всё можешь предсказать что все крокодилы опасны). Вобщем скрещивание аппаратных функций с сложной нейронной сеткой привело к появлению эффекта, иллюзии чувств.
Короче опять в словоблудие ударился. Вобщем эмуляция чувств в железе - это пока хз как будет. Страшно представить себе АД для машины чувствующей боль.
Давайте разделять понятия - логическая работа. Т.е. булева алгебра. И биохимия - где в секунду могут происходить сотни химических реакций.
Так вот логически нейрон работает просто - на входы подаются импульсы, электрические импульсы, с чего вы взяли что их там нет ? Даже есть графики величины в милливольтах на предмет срабатывания (гуглите сами). И сам нейрон внутренней своей структурой настроен на порог срабатывания, как только количество импульсов в секунду превысят этот порог, идёт сработка нейрона и он уже выдаёт свои импульсы на выход. Повторяю - предача данных между нейронами происходит не аналоговым сигналом (т.е. не учитывается величена напряжения), а предаётся грубо говоря цифровым. Учитывается только частота импульсов. Это как бы общеизвестная информация. Поэтому и применил ШИМ термин. Хотя он не сильно конечно коректен. В этом согласен. Решил подсакротить в моменте себе писанину - но как всегда поплатился.
Я не собираюсь спорить с нейробиолагами на предмет конкретного строения нейрона как биоклетки, как он там эти импульсы сравнивает и другая биохимия. Потому как это же бред - кто в этом варится годами заткнёт меня как просто мимопроходил-почитал. И то потому как я этим не интересуюсь.
Но! В деле построения подчёркиваю ИСКУССТВЕННОГО интеллекта, важен именно алгоритм. Не нужно эмулировать всю биохимию клетки.
Ну разумеется найдутся те кто утверждает что в клетке нужно учитывать мифические квантовые эффекты или вообще божественное проведение и без души всё это работать не будет.
Но этот спор будет просто переливании воды. И этот спор может разрешить только реальность. А реальность такова что современные LLM - попросту догнали по интеллекту большинство людей. Остались маленькие косяки - посмотрим на их решение что будет уже в ближайшие даже не годы.Тут соревнования уже на месяцы идут.
Давайте не будем поражаться своим высокомерием - просто постоянно тут это отовсюду слышу.
Единственная моя ошибка что аксоны с дендритами путаю. Где вход где выход. Потому как это вообще не мой профиль. Мой профиль программист и электронщик. Привык иметь дело с входами и выходами.
Что касается по теме - я писал (вы не удосужились прочитать или понять) - входы (дендриты), постоянно устанавливают и разрушают новые соединения.
Я писал (вы не удосужились прочитать или понять) - нейроны(тонкая миллиметровая прослойка коры), их количество медленно уменьшается к концу жизни. Хотя я читал исследования что мол есть механизмы появления новых нейронов, но это не сравнить с процессом образования новых соединений - которые как раз и обуславливают построение графа - именно соединения определяют работу мозга.
Я писал (вы не удосужились прочитать или понять) - дендритов или соединений может быть тысячи. Даже на вики написано что десятки тысяч. Я читал исследование где говорили что у отдельных нейронов могут доходить до сотен тысяч.
Читал про исследования работа мозга определялась поведением не только самих нейронов но всяких вспомогательных вещей, сейчас не буду писать конкретику (попросту не помню) а то опять придерутся, но там находили всякие нелинейные зависимости прохождения сигнала и по дендритам и по аксонам. Какие то самостоятельные центры обработки сигнала.
Но всё это обсуждать - не хватит ни какого времени, да и желания. И я уверен что для построение ИИ достаточно эмулировать основные принципы работы нейрона. Без всяких (возможно уже редуцированных) активностей.
Ну я как бы про это и писал. Всем очевидна что работа гигантского графа эффективнее в параллелизме. И фоннеймовская архетектура современных процессоров это не про параллелизм.
Видеокарты - это лишь жалкое приближение к структуре мозга. Где миллиарды нейронов и триллионы физических постоянно перестраиваемых соединений.
Вся проблема это сделать нано элемент (по типу КМОП транзисторов в современной электронике) но только с внутренней памятью. Грубо говоря скрестить RAM и ALU в единице нономаштаба
Надежду в этом направлявшие проявляют технологии мемристоров. Может ещё куча всего есть. Не слежу за этим.
Согласен - вся левая часть ушла в тернарный оператор. Это был просто пример как можно было бы ещё подсократить запись, а в проекте всегда надо проходить в тестах по всем веткам кода. Это просто золотое правило. Ну я и намёк дал насчёт скобочек...
Что косается читаемости.
Читаемость - чем проще тем лучше. Чем меньше всяких символом для понимания тем лучше. Тут конечно меру знать надо. Символы должны быть чётко понятны тому кто читает. Машинный код - это уже наверно перебор. Но я например когда прогал на асме натренировался что вполне неплохо читал почти машинный код.
Что же касается одной строки - то если условие if и далее 2 коротких значения то почти всегда читаемость через тернарный оператор выглядит нагляднее.
Если это сложение строк и строки короткие - то читаемость в одну строку почти всегда нагляднее.
P.S. А вообще это всё вкусовщина. И спор тут - что лучше красное или лёгкое. Я постоянно пользуюсь тернарными операторами, мне так удобнее. А кого то от них в дрожь бросает. Вкусовщина короче.
В 2 строки лучше так:
Можно скобок расставить по вкусу
Скажем так. Очень малое количество людей вообще пишут книги. Достаточно малое количество людей имеют талант. И главное - у некоторых людей из пред идущей выборки доступен уникальный жизненный датасет. Он в них, скажем так поступает постоянно. Именно что уникальный для конкретного человека.
Взять любого наёмника на войне. Так такие истории бывают - не поверишь.
Так что люди время о времени таки создают "что то новое"
Или даже не так. Даже вокруг самой "серой мыши", человека не выходящего из комнаты общежития могут происходить поистине фантастические истории. Взять например книгу "Преступление и наказание". Гениальное произведение по глубокой психологии личности.
В противоположность этому стоят LLM. После обучения - они статичны. И выдать на выход могут только компиляцию из обучающей выборки. Про психологию вообще не могут чего то размышлять. Сомневаюсь что в выборке уж очень много про это инфы. Люди не особо любят выкладывать в текст внуктренние переживания. От куда их могла бы взять LLM.
Если загрузить в нейронку датасет из миллионов выигранных партий - то такакя нейронка будет содержать в себе последовательности выигрышных стратегий из практически любого хода. Никакого "думания" там и в помине нет. А под думанием я подразумеваю как минимум программный модуль в котором крутятся минипартии шахмат. Типо просчитать все возможные ходы наперёд на 7 позиций. Или ещё что там думают мясные неросети когда в шахматы играют.
Есть только тупой поиск правильного пути из множества правильных путей. Да это и поиском трудно назвать. Превратили позицию шамхат в эмбединг, а эмбединг это просто набор векторов который представляет из себя тензор. И который по сути координаты. И эти координаты просто указали нам место в огромной векторной БД где содержится адрес следующего тензора. Ладно ладно - там чуть сложнее, напридумывали трансформеров, разложение векоров на key,value,query и промежуточные операции с ними что сами не понимают как это помогает (реально улучшает точность) в векторном поиске. Но сути это не меняет. Вся цепочка этих точек будет путь ведущий к выигрышу из текущего состояния. И вся эта цепочка была загружена в векторную БД на этапе обучения. Весь этап обучения это просто аппроксимация всех партий в один большой массив правильных путей.
И если мы такую специализированно обученную векторную БД начнём дообучать другими данными, например ядерной физикой, то в вопросе игры в шахматы - она сильно отупеет. И получается что мы же новые данные загрузили - машина умнее стать должна. Ан нет. Так этот алгоритм не работает.
Поэтому и очень не рекомендуют дообучать современные LLM на своих данных. Потому как вероятность что она отупеет намного больше чем что поумнеет. Потому как датасет на котором она обучалась - пилили напильником годами чтобы он нормально работал.
И в первою очередь советую играйтесь с промтингами, даже новую псевдо-професию изобрели (скоро и она канет в лету как и все предыдущие кадавры) - промт-инженер, играйтесь с RAG, но не лезьте в обучение.
Идея была что если сделать датасет всего чего можно то вдруг получится что LLM будет решать всё что можно - на отлично, как то сейчас всё больше и больше затухает. Загрузили туда все книги, весь интернет, все форумы, вообще всё до чего дотянулись - а результат... LLM начали тупеть. chatGPT5 оказался тупее 4. Ну по крайней мере многие про это говорят и недовольны выдачей.
Если вы зададите вопрос LLM - решают ли они задачи, или думают ли они, или ещё сто то похожее. То они все будут доказывать сто они вообще не понимают и не анализируют входящий промт. Они только ищут наиболее вероятное следующее слов.
Если была загружена задача и она на выходе решена правильно - это означает что в датасет, а сейчас вообще такие датасеты мама негорюй, загрузили все книги которые смогли найти, загрузили весь интернет. Загрузили все форумы на которых миллиардные переписки.
Короче нашлась похожая задача и по алгоритму этой похожей задачи была решена входящая.
И вообще постоянно путаница из за слово решена. Не решает она там внутри ничего.
Хотя вру. Современные чат-боты это реально кадавр. Это дикая смесь всего, и конкретно LLM - там не самое главное может оказаться. Если вдаватся в детали то LLM реально только одно звено наряду например с RAG и прочим.
Короче там работаю алгоритмы где может быть вызваны компиляторы всех языков программирования, могут скомпилированные программы запустится - короче там много чего под капотом.
И когда просят решить какую то математическую функцию - там под капотом может оказаться что быстро пишется программа, компилируется, выполняется, а результат выдаётся в чатботе.
Калькулятор решает миллионы примеров. Сколько там комбинация можно напридумывать из цифр? Значит ли это что калькулятор решает неизвестные ему задачи?
У калькулятора есть алгоритм решения задачи, а вот цифры для алгоритма не важны. Какие туда подставим - такие и решатся.
Так и с LLM. Если мы просим сделат задачу, LLM просто ищет похожую в своей базе данных. Собственно сама магия и шаманство - это то что она это делает по словам или даже по слогам. Но если попробовать представить как это работает - то при загрузки задачи в LLM, т.е. её обучение, внутри создаётся как бы алгоритм туннеля, который работает на векторной алгебре. Сами нейронные сети - это миллиарды таких переплетающихся между собой туннелей.
И входным промтом мы просто попадём в этот туннель, путь, и пройдём по нему попутно собирая слова по дороге этого туннеля. На выходе получим - текст! Чудо LLM думают. Но на самом деле просто пропустила входной промт по загруженному ранее пути-алгоритму.
Короче - LLM никогда не решит никакую задачу если внутр не найдётся правильный путь.
А в реальности LLM всегда решает задачу - потому как там действует рандом на выбор соседних векторов. Короче На неизвестную задачу просто будет галлюцинация.
Человек когда думает над неизвестной задачей действует по совершенно другому принципу. Он моделируем в уме пространство сущностей и их возможных взаимодействие. Так просто сложилось эволюционно - мы живём в материальном мире, и дальше свои гены передавали только те кто лучше мог модулировать внутреннее отображение реальности с прогнозированием.
Хищник что бы не умереть и сожрать зайца - прыгает не в зайца, а вперёд по движению. И подобное короче.
Опять простыня.... Ну не LLM я . У них ограничения хоть в видеде [end] токенов в датасете есть и ограничение контекстного окна.
Если попросить написать сказку - то это будет всегда подобие существующей сказки. Или книгу. А вот люди иногда (талантливые) пишут реально совершенно новые истории. А вот принцип работы LLM это построить текст похожий на ранее загруженный в датасет.
Ладно. Давайте тогда определим понятие нового.
Если взять 3 истории и перемешать и выдать четвёртую историю. То это будет конечно новая история. Но и не новая. Будут все старые логические куски, но перемешаны между собой. Скажем так - такой винегрет считается низкопробным информационным мусором.
А вот придумать реально новую историю - что бы не повторялись сюжеты, что бы не повторялись герои. Что бы не повторялись обстоятельства. Что бы были реально новые логические куски. Такое LLM не сделает принципиально в силу своей архитектуры.
И люди на такое конечно не каждый способен. Реально нужен талант. Под талантом подразумеваю - выиграть в генетическую лотерею, повезло с мясной нейросетью, и главное повезло с центрами дофаминового подкрепления. По простому что бы было интересно именно писать. И второе - тебе повезло с жизнью. А жизнь - это неисчерпаемый источник уникального датасета.
Пример. Кен Киз написал гениальное произведение по психологии человека. Пролетая над гнездом кукушки. А всё потому что описал свою работу в психбольице. Кстати - он потом попытался продолжить писать, но это был провал. Всё из-за того что кончился датасет. Или взять того же Стивена Кинга. Он вообще всю жизнь не вылазит из своего Мена. Но при этом повезло с мясной неройсетью. Новые данные (например из интернета или телевидиния) очень хорошо перераспределяли карту аксонно-дендритного графа для задачи генерации уникального контента.
P.S. LLM не придумают ничего нового потому что у них после обучения - нового ничего никогда не будет. Так устроены современные LLM. Не заложен в них принцип постоянного принятия новой информации и постоянной перестройки весов в нейронных слоях. У человека наоборот.
Хороший вопрос. Я так же давно писал здесь что - что бы давать правильный ответ, нужно сначала определить чёткие критерии оценки. Пример - постоянно встречаю фразы что мол мы никогда не поймём природу сознания. Но как нам дать ответ что такое сознание, или не так, как нам отличить сознание от не-сознания если вообще нету определения этого самого сознания. Если мы сначала определим чёткие критерии сознания, то тога можно будет сказать что в этом мясном мешке - сознание есть, а в этом железном ящике - его нету. Ну или наоборот.
Или есть ли сознание у обезьяны или мыши?
Я например для себя вывел следующие критерии. Во первых у животных нету такого аппарата как речи. Но при этом есть развитая внутренняя модель проецирование внешнего мира на внутреннюю модель. Основу этой модели составляют сигналы от всех рецепторов осязания и рецепторов давления мышц (те которые контролируют насколько мышца сокращена). Эта информация рисует внутреннюю модель положения тела в пространстве. А само пространство создаётся из зрительной информации.
Изначально в простейших организмах была чисто механическая связь - реакция боли -> сигнал к сокращению мышцы (бег от боли). Но с усложнением нейронной модели до проекции внутреннего мира, эти простейшие реакции превратились в феномен боли. Грубо говоря боль это иллюзия. Собственно как и все чувства в этой модели.
Вот это первый тип сознания. Ну и первичный интеллект. Скажем так ничего общего с тем как работает LLM.
Второй тип сознания, а собственно это эволюционная надстройка над первым типом, появился с появлением неокортекса и самое главное речи.
Внутренний диалог с самим собой с использованием речевого аппарата (а за речь отвечает конкретный участок мозга, например у детей маугли он никогда не сформировывается).
Ведь мы конкретно осознаём себя, только когда конкретно задаём себе вопрос внутри - я есть, И отвечаем опять же словами - я есть. В повседневной жизни мы обычно не пользуемся внутренним диалогом. Грубо говоря функционируем по первому типу сознания.
Кошки например иногда смотря в зеркало могут понять что в зеркале именно они. Потому как это пересекается с внутренним моделированием тушки в пространстве.
Короче я написал эту простыню - что бы показать, LLM и человеческое сознание и многие ставят знак равенства с интеллектом, это вообще разные алгоритмы.
P.S. Для ИИ вообще не нужно копировать алгоритм человеческого сознания. Т.к. оно несовершенно. Люди не способны держать в голове дословно даже пару книг.
Но ИИ должен взять некоторые алгоритмы из человеческого сознания -что бы мы могли с уверенностью сказать. Да оно мыслит и обладает интеллектом. Хоть эта фраза и будет достаточна только для масмедиа. Разработчик - всегда будет видеть разницу.
Дополню ответ. Принцип работы LLM подразумевает превратить входные данные в набор смысловых векторов. Вся та работа которая велась раньше и ведётся сейчас - это придумывание алгоритмов как более точно упаковать текст в вектор.
Входной промт тоже пропускаем через эмбедер и получаем вектор. Далее через умножение матриц - находим соответствие. Всё.
Отсюда никакая LLM никогда не придумает что то принципиально новое. Это будет всегда смесь существующей обучающей информации перемешанной со входящим промтом. Собственно и прародитель из которого появился этот эрзац - это текстовый смысловой поиск (который и сейчас применяется по более всех этих LLM, это всякие BERT и производное)
Никаких мыслей в LLM нету. Там сигнал строго проходит с входа на выход. Не буду тут подымать всякие алгоритмы которые могут закольцовывать некоторые проходы. Суть остаётся одна.
Никакой это не интеллект короче.
P.S. Я тут раньше подымал идею появления человеческого интеллекта и феномена фокуса сознания - Я. Если вкратце - то краеугольный принцип этого механизма это проецирование внешнего пространства на внутреннее его модулирование. Для предсказания опасностей. Модель тушки в этом пространстве - в высшей нервной деятельности трансформировалось в эффект Я.
Да там костылей... Вообще если посмотреть откуда родилась LLM - от переводчика гугла, и посмотреть что и как с ней делаю - дат там просто сотни алгоритмом и их скрещивают друг с другом просто на рандоме, авось что-то да и получится. Не зря постоянно слышишь от создателей - что они сами не поинмают как это работает. Целые студии выпускают все кому не лень - где в визуальном редакторе квадратиками соединяешь модули.
Хотя для меня пока что все алгоритмы достаточно понятны. Конечно трудно представить себе как пройдёт сигнал в каком нибудь 10 слойном перцептроне 50-тысяч нейронов на слой. Хотя при желании можно проследить каждый сигнал - это всё тот же конечный автомат.
А что касается вашего вопроса, то сейчас почти все используют механизм RAG. По русски ищем, прибавляем к входному промту, пропускаем всю эту входную кашу через LLM. Так что вы правы - можно на выходе получить вообще не то. Алгоритмов этого RAG тоже напридумывали и придумывают всё новые. И он тот же самый векторный поисковик со всеми своими галлюцинациями
Начав изучать внутреннее строение LLM (трансформеры, эмбедеры, векторизация текста и прочии векторные БД) я увидел (хоть и понимал раньше, но не мог привести конкретику) - насколько некорректны, или вообще псевдонаучны или даже сказочные, почти все статьи пор ИИ для масмедиа.
Вот и в этой статье тоже самое. Неужели те кто проектируют и пишут подобные статьи это одни и те же люди?
Галлюцинации - это просто архитектурная особенность LLM. Она так работает. В ней нету ни одного чёткого факта. Только вектора. LLM - всегда выдаст ответ - выберет из пачки соседниx векторов.
А если ещё учитывать алгоритм температуры на выходе, как по мне именно для ИИ ошибочный алгоритм. Но создателям ИИ нужен креативный текстогенератор.
Короче на выходе имеем кучу вариантов ответа с процентом вероятности для каждого. И в большинстве случаев будет выбран ответ с большим процентом.
Но выбор производится из всех вариантов! И процент 0.0001 рано или поздно тоже сработает и ответ какая голова у человека будет - квадратная.
Как по мне статья не опровергает факт что под давлением лёд тает. Она просто объясняет этот физический процесс. А именно - чем выше давление тем ближе и больше (из за неровностей) будут соприкасаться выровненные (встроенные в кристаллическую решетку льда) молекулы воды и молекулы (либо атомы если это например кристаллическая решетка как в металлах) давящего тела.
Как говорится в статье - сила притяжения в молекулах давящего тела больше чем сила притяжения в кристаллической решетки льда. И верхний слой молекул льда вырывает из решетки. Хз насколько это истина. Но так говорится в статье.
Может происходит просто механический слом решетки под давлением - и верхняя часть молекул становится хаотичная, т.е. превращается в жидкость.
Я бы сказал что любая программа где есть конструкция if-else.
Меня тоже реально бесит тенденция. Не потому что пишут всякие копипастеры, я их особо не читаю, а потому что вместо хоть чуть-чуть описания что там реально за алгоритмы, достаточно поставить слово ИИ - и статья готова.
Этим можно описать просто работу всего! От кофеварки - в которой используется ИИ механический термостат, до градусника - в котором ИИ кванотовый компьютер на эффекте расширения материи.
Как работают LLM известно. По крайней мере исходники открыты - все кто хочет могут поизучать.
LLM ищут наиболее подходящий патерн ответа. Если LLM спросить то чему она обучалась то она это выдаст в качестве ответа.
Но если её спросить неизвестную информацию, чего нет в её графе и весах нейронов, то она попросту выдаст наиболее похожую информацию. Вот и весь фокус.
Попросту LLM сделана так что бы всегда отвечать. Т.е. сигнал всегда проходит с входа на выход.
И LLM не знает правильно она отвечает или нет. Просто так прошёл сигнал. И конец цепочки выдаётся в качестве ответа.
Но при этом - современные LLM просто мега мозги информации. Они правильно ответят практически на все известные вопросы человечества. Потому как туда загрузили почти весь интернет и не только. И распарсили это в граф для быстрого поиска.
В этом LLM уже попросту на порядки препрыгнул человеческий мозг.
Я не говорил что нейросети нужны чувства. Я обсуждал сам феномен чувств. Это ведь получается иллюзия. Иллюзия возникшая в сложной информационной нейросети. Это как центробежная сила - тоже иллюзия, возникающая из за инерции. Это как архимедова сила - иллюзия возникающая в следствии гравитации - вода как бы подтекает под предметы и давит на них снизу.
Но при этом - мы как участники этого спектакля, воспринимаем эту иллюзию очень реально. Боль - это страдания. Значит ли что боль это иллюзия только для фокуса сознания? Мы же не чувствуем боли если находимся без сознания. Есть люди с генетическим заболеванием - они не чувствуют боли.
Цвет. Вижу я зелёный, так же как другие его видят? Или они другой цвет видят? И вообще цвет это лишь серия импульсов в нейронной сети.
Феномен я. Человек заявляет что он есть и он не робот. Но парадокс в том что в реальной жизни люди ведут себя как роботы. Они идут на работу. Делают дела. И лишь когда они затевают свой внутренний диалог - и спрашивают себя а есть ли они, только тогда может и происходит иллюзия самосознания.
Это хорошо видно на примере просмотра фильмов. Когда фильм интересны и человек в него погружается, происходит как бы отключения сознания. Картинка напрямую идёт в память минуя модуль оценки. Человеческое я проецируется на главного героя. Человек как бы становится ГГ. И всё что происходит в фильме с ГГ как бы мозгом воспринимается что это происходит и с самим человеком. В этой схеме идёт полное отключение собственного я. Иногда тебя отвлекают - и ты выпадаешь из этого состояния и осознаёшь что просто пялишся в ящик.
Примерно так гипноз работает. Слова гипнотезёра идут напрямую в модуль модулирования пространства. Мозг на самом деле видит не глазми. С глаз идут всё те же импульсы. А в мозге уже производится высоуоуровневая абстракция иллюзии образов.
Учёные доэксперементировались что понаходили конкретные нейроны отвечающие за конкретный образ. Физическое возбуждение неqрона вызывало образ.
Вообще тут и там читаешь про забавные эксперименты про глюки сознания. Из которых можно понять как оно работает. Например эксперимент с зеркалом и резиновой рукой. Подопытному с помощью зеркала заставляли поверить что резиновая рука его. Трогали её. при этом трогали и рельную руку под столом. А потом шмяк молотком по резиновой руке. И подопытный испытывал боль - которой не существовало. Не значит ли это что боль это иллюзия генерируемая в сложной нейронной сети?
Написал очень сумбурно - трудно уложить в одинокий коммент весь накопленный жизненный вариант представления работы нейросетей.
Короче я написал эту простыню - что всё это будет и в железной нейросети. Нет ни каких причин почему там не могут быть подобные иллюзии. А кто знает может в ней появятся иллюзии более высокого недоступного нам порядка.
Скажем так. Нейросети по типу LLM, да и наши мясные нейросети используют граф для апроксимации (максимального сжатия) огромного объёма информации. Как раз мозг, а именно белое вещество очень оптимально реализуют и поддерживают этот граф в активном состоянии. Триллионы физически соеденённых проводов. Триллионы точек соединения в графе.
В видеокартах такого нет. Там это эмулируется программно. Отсюда и эффективность мозга. Работает на частоте alfa beta ритмов - десятки герц, но с чудовищным параллелизмом. И ему хватает каких то 20 ватт что бы работать.
То что видеокарты могут рендерить картинку - это другое. Это разные вещи. Мы же обсуждаем именно работу нейросети.
А то что человек проигрывает с треском число-дробилкам - пор это никто и не спорит.
Мы живём в удивительное время. Когда казалось бы не преодолимая гора - рациональные рассуждения, которые относились только к мясным нейросетям, как то буднично и резко вдруг стали воспроизводиться вполне себе на обычном железе, по типу матриц вычислительных ядер в обычной видеокарте.
Многие не могут в это поверить до сих пор.
Главное нащупан план. Алгоритм. Скоро появятся специализированные микросхемы - и не нужны будут гигаваты энергии и мега датацентры с видеокартами.
Вы сами реализовывали перцептрон в программе? Я реализовывал. С нуля. Для взлома капч. Что там "разгармливать"? Я полностью представляю его работа и он мне дал то что я хотел. С капчами справлялся.
А подсмотренные в мясном мозге а потом повторенный АЛГОРИТМ, а не биохимия, свёрточные сети? Которые в мясной нейросети занимались первичной обработкой и выявлению патернов в видеоизображении?
Реализованный алгоритм в железе работает наура. Точнее и быстрее своего мясного прорадителя.
Я понимаю вашу критику ну пару лет назад. Да можно было бы защищать мясной мозг как нечто недостижимое.
Но сейчас. С появлением LLM.
Единственное с чем пока я не определился это с эфектом "чувств". Боль, чувство цвета, звука. В мясной нейросети эти иллюзии воспроизведены в совершенстве. Миллионы лет эволюции заставляли мясную тушку воспринимать боль как то что нужно избегать любым способом.
Взять кузнечика например - там боль чисто аппаратное поведение. Но когда на эту платформу наросла нейросеть посложнее, неокортекс там, с эмуляцией сознания (кстати тоже эффект связанный с эмуляцией пространства и определения тушки в этом пространстве для предсказания будущего, по типу крокодил укусил - всё можешь предсказать что все крокодилы опасны). Вобщем скрещивание аппаратных функций с сложной нейронной сеткой привело к появлению эффекта, иллюзии чувств.
Короче опять в словоблудие ударился. Вобщем эмуляция чувств в железе - это пока хз как будет. Страшно представить себе АД для машины чувствующей боль.
А потом пишете что да. Как это понимать?
Давайте разделять понятия - логическая работа. Т.е. булева алгебра. И биохимия - где в секунду могут происходить сотни химических реакций.
Так вот логически нейрон работает просто - на входы подаются импульсы, электрические импульсы, с чего вы взяли что их там нет ? Даже есть графики величины в милливольтах на предмет срабатывания (гуглите сами). И сам нейрон внутренней своей структурой настроен на порог срабатывания, как только количество импульсов в секунду превысят этот порог, идёт сработка нейрона и он уже выдаёт свои импульсы на выход. Повторяю - предача данных между нейронами происходит не аналоговым сигналом (т.е. не учитывается величена напряжения), а предаётся грубо говоря цифровым. Учитывается только частота импульсов. Это как бы общеизвестная информация. Поэтому и применил ШИМ термин. Хотя он не сильно конечно коректен. В этом согласен. Решил подсакротить в моменте себе писанину - но как всегда поплатился.
Я не собираюсь спорить с нейробиолагами на предмет конкретного строения нейрона как биоклетки, как он там эти импульсы сравнивает и другая биохимия. Потому как это же бред - кто в этом варится годами заткнёт меня как просто мимопроходил-почитал. И то потому как я этим не интересуюсь.
Но! В деле построения подчёркиваю ИСКУССТВЕННОГО интеллекта, важен именно алгоритм. Не нужно эмулировать всю биохимию клетки.
Ну разумеется найдутся те кто утверждает что в клетке нужно учитывать мифические квантовые эффекты или вообще божественное проведение и без души всё это работать не будет.
Но этот спор будет просто переливании воды. И этот спор может разрешить только реальность. А реальность такова что современные LLM - попросту догнали по интеллекту большинство людей. Остались маленькие косяки - посмотрим на их решение что будет уже в ближайшие даже не годы.Тут соревнования уже на месяцы идут.
Давайте не будем поражаться своим высокомерием - просто постоянно тут это отовсюду слышу.
Единственная моя ошибка что аксоны с дендритами путаю. Где вход где выход. Потому как это вообще не мой профиль. Мой профиль программист и электронщик. Привык иметь дело с входами и выходами.
Что касается по теме - я писал (вы не удосужились прочитать или понять) - входы (дендриты), постоянно устанавливают и разрушают новые соединения.
Я писал (вы не удосужились прочитать или понять) - нейроны(тонкая миллиметровая прослойка коры), их количество медленно уменьшается к концу жизни. Хотя я читал исследования что мол есть механизмы появления новых нейронов, но это не сравнить с процессом образования новых соединений - которые как раз и обуславливают построение графа - именно соединения определяют работу мозга.
Я писал (вы не удосужились прочитать или понять) - дендритов или соединений может быть тысячи. Даже на вики написано что десятки тысяч. Я читал исследование где говорили что у отдельных нейронов могут доходить до сотен тысяч.
Читал про исследования работа мозга определялась поведением не только самих нейронов но всяких вспомогательных вещей, сейчас не буду писать конкретику (попросту не помню) а то опять придерутся, но там находили всякие нелинейные зависимости прохождения сигнала и по дендритам и по аксонам. Какие то самостоятельные центры обработки сигнала.
Но всё это обсуждать - не хватит ни какого времени, да и желания. И я уверен что для построение ИИ достаточно эмулировать основные принципы работы нейрона. Без всяких (возможно уже редуцированных) активностей.
Ну я как бы про это и писал. Всем очевидна что работа гигантского графа эффективнее в параллелизме. И фоннеймовская архетектура современных процессоров это не про параллелизм.
Видеокарты - это лишь жалкое приближение к структуре мозга. Где миллиарды нейронов и триллионы физических постоянно перестраиваемых соединений.
Вся проблема это сделать нано элемент (по типу КМОП транзисторов в современной электронике) но только с внутренней памятью. Грубо говоря скрестить RAM и ALU в единице нономаштаба
Надежду в этом направлявшие проявляют технологии мемристоров. Может ещё куча всего есть. Не слежу за этим.