этот вопрос вообще не имеет семантического содержания.
А от куда вообще взялось такое понятие как самомознание? Любой (ну почти любой - всегда есть какие то отклонения) человек считает что он существует. Что он личность. Постоянно обсуждают феномен "Я".
Любой человек осознаёт себя как личность, как самостоятельная еденица - через внутренний диалог.
Вы утверждаете что внутренний диалог ничего не значит или вообще некоторые с дефектами вообще не могут им пользоваться. Вопрос конечно к таким - как можно не пользоваться внутренним диалогом при этом пользоваться внешним - иметь речь. Это по сути одно и тоже. Один и те же мясные алгоритмы. Есть дети маугли. Там как раз проблема с речью - не формируется участок мозга отвечающий за речь. Такие дети в последствии ведут себя как животные.
Вобщем всё сводится к тому что нас как человека определяет именно речь. Потому что с помощью речи мы можем строить логические композизици - отсюда произошла логика мышления.
Речь привязана к образам. Но речь даёт очень большую абстракцию - которую образами не представить. Например математический аппарат не представить только образами. А речью - легко.
Так же я знаю что некоторые кошки в зеркале могут понять что это они. Это я объясняю хорошо развитым аппаратом внутреннего моделирования мира.
Кстати словил себя на мысли - а почему глухонемые не животные. Если подумать они пользуются аналогом речи - визуальные фигуры построенные руками.
Надо будет обдумать как этот факт ложится на гипотезу что речь породила самосознание. Сейчас что то лень пока.
И да я бы из всего сказанного разделял понятия Сознание и Самосознание.
Сознанием обладают все животные. Даже муравьи в кокой то степени. Все внутри себя строят проекцию внешнего мира. От примитивных видов до сложнейших у высших животных.
А вот самосознание - это уже внутренний диалог с самим собой. Это подразумевает под собой что можно ставить виртуальные запросы и отвечать на них. Можно строить виртуальные проекции мира и модулировать поведение в этом мире по собственному желанию.
Как по мне нету чёткого разделения между этими мирами. Переход идёт плавно. От высших животных к человеку. Хотя наверно с появлением речи - преход к самомознанию сделал скачкообразный рывок
Получается что чем больше в системе алгоритмов для построения и манипуляции обстракциями (кирпичиками для модулирования - образами или словами/речью или другими единицами) тем больше система обладает самосознанием.
Я не знаю, кого вы подразумеваете под современной наукой, но о работе человеческого мозга вы можете почитать и послушать, например, профессора Савельева, посвятившего этому вопросу всю жизнь.
А сами уже аргументировать не хотите? Призываете на помощь кого то другого? Какая разница кто там всю жизнь чему то посвятил. Если профессор Савельев отрицает работу мозга как взаимодействия нейронов друг с другом по средством передчи частотных импульсов - то грош цена такому профессору. А ничего более я и не утверждал. И я говорю что этого достаточно для эмуляции виртуального мира. Никаких магий или квантовых или религиозных вещей не надо для организации машины для эмуляции внешнего мира во внутреннюю абстракцию. И получения ряда интерфейсов из этой абстракции. Таких например как иллюзия сознания.
всячески издевается над идеей подобия компьютерных нейросетей мозгу.
Я не знаю что он там издевается. Но походу он издевается над здравым смыслом. Скажи такому проффессору лет 5 назад что на локальном ноутбуке можно будет запустить LLM которая будет владеть человеческой речью не хуже любого человека- наверно он бы поиздевался бы над таким аппонентом по полной. Да и вообще - не надо этой демагогии. Есть что сказать - говорите. Интересно читать здесь диалог аппонентов. Я вообще не утверждаю что я прав. Просто у меня такая картина мира сейчас - которая подкреплена текущими знаниями. И в интересном диалоге я хочу найти новый знания.
Не буду обобщать, но лично у меня никакого внутреннего диалога нет
Не верю. Любой человек ведёт внутренний диалог на языке которым владеет. Этим мы кстати отличаемся от животных.
Да можно заставить себя думать только образами - мы как никак есть животные, и речь это только надстройка над образной архитектурой. Люди даже могут наглататся каких нибудь наркотиков что бы ввести себя в какие нибудь пограничные сотояния. Но почти всегда когда мы оперируем логикой - внутренний диалог имеется.
Да вы даже не сможете задать себе вопрос "Я есть ?" используя только образы. Отсюда забавный факт - а не является ли иллюзия самосознания только следствием речи ?
Интересно почитать людей которые знают несколько языков - на каком языке они думают. Там интересная каша получается.
Даже если так (что спорно), то человек, тем не менее, не работает чётко по внутренней программе. А то, что вы пишете, называется механицизмом, и в европейской философской мысли лет двести как раскритиковано с разных позиций.
Ну философы могут считать что угодно - на то они и философы. Особенно 200 лет назад.
По современным представлением науки - человек самая настоящая машина. Работающая на строгих алгоритмах передачи информации по средством частотных импульсов.
В конкретный момент времени такая машина будет работать строго в соответствие с текущей сложившейся архитектурой.
Если есть нейроны находящиеся в пограничном состоянии - то в них будет рандом сработки основанный на тепловом шуме в химической реакции.
Да есть состояние когда нейрон может сработать сам по себе - эпилепсия называется. Целые участки мозга начинают самопроизвольно срабатывать. И да - человек в это время полностью отключается. Нету ничего - даже памяти не остаётся. Попросту разрушается внутренний алгоритм эмуляции мира.
Проще всего тут сказать, что система не сводится к своим составным частям.
Всё там сводится. Сознание. Чувство собственного Я. Всё это иллюзии появляющиеся в ситеме эмуляции мира. У животных нету речи - но они оперируют образами и чувством пространства и чувством нахождения тушки в этом пространстве.
У человека появилась речь. Внутренний диалог - вот где пик иллюзии. Мы строим внутренний диалог - "азм Я ЕСТЬ?" - так как слова привязаны к образам - идёт проекция на эмуляцию своей тушки в внутреннем мире. Далее вступает вдело древний животный алгоритм.
Например, он даёт преимущество непредсказуемости в игре с противником.
Я имею ввиду что если дан выбор равнозначных вариантов - то любой выбор будет оптимален. Например всегда выбирать первый вариант из равнозначных.
Опять же при игре с противником - у кого преимущество? Один с рандомом, другой нет. В случае более лучшего выбора - оба выберут лучший вариант. В случае выбора в одинаковой позиции - рандом выберет рандом. А нерандом - выберет вариант который заложен в текущем алгоритме.
Так вот обладающий рандомом - не знает текущий алгоритм нерандома. И он не знает что выберет нерандом.
Разверну мысль - мы не знаем какое состояние имеют все нейроны в головном мозге нерандома что бы предсказать его выбор.
Да и не имеет это всё значение. Как я говорил - мы живём в материальном мире. Отдельная часть мира - нерандом. Но взаимодействие всех частей - даёт непредсказуемую вычислительность. Которая превращается в самый настоящий рандом. Локальный рандом. Никто ФИЗИЧЕСКИЙ не сможет просчитать взаимодействие всех нерандомных состовляющих. Ну Бог сможет )
P.S. Да я знаю про 1 факт который современная физика не может объяснить причинно-следственными связями. Время распада ядра частицы. Но такой рандом не влияет на поведение в такой сложной системе как мозг. И да я уверен - ни каких квантовых эффектов задействованных в общей архитектуре работы мозга - нету.
Хабр призвал меня сюда. Не знал что у него такой функционал есть.
Я посматривал тему но в дисскусию не вмешивался. Хотя несколько раз спорил про свободу воли и мне есть что сказать.
Господа вы спорите есть ли свобода воли или ёё нет - но вы так и не определили критерии этого термина.
Что есть вообще свобода воли?
Человек всегда поступает из логики работы своей нейронной мясной сети. Которая обучилась жизненным опытом. С обывательской точки зрения - человек поступает так как считает лучше для себя.
LLM - вообще строго детерминирована. И если бы не костыль в виде алгоритма температуры то её выход всегда был бы одинаков на одинаковый входной промт.
И так мы приходим к сути свободы воли. Что она есть для человека или для машины?
Ну с натяжкой можно предположить что это делать рандомный выбор в двух одинаковых равнозначных вариантах. Ну типо хочу есть сосиску или котлету когда одинаково их люблю.
И толку от такой свободы воли? Если человек любит больше котлеты чем сосиски - он выберет котлеты. А если сделает наоборот - в противоположность своим убеждениям (ну или текущего запроса организма), то это будет свидетельствовать о болезни. Нарушении системы. Шизофрении.
В LLM рандомизатор выбора для одинаковых условий обеспечивает - генератор рандома. Который может быть аппаратный встроенный в процессор. Который может быть основан на тепловом шуме транзистора например.
Человек может выбрать ДА или НЕТ на равные условия в зависимости от спец химии вколотой в организм. А так скорее всего зависит от температуры и химического состава нейрона. Который будет находится в пограничном состоянии и будет готов сработать или нет от любого чиха - например от нейтрино пронзившего его из космоса и вызвавшего ионизацию отдельного атома - который запустит лавинообразную химическую реакцию.
Вы знаете сколько через вас проходит высокоэнергетических частиц каждую минуту? Ответ вас удивит. Если закрыть глаза то иногда можно увидеть вспышку света - это свечение Черенково в жидкости глаза вызванная пролётом через этот глаз каково нибудь высокоэнергетического протона.
Но повторяю - вы слишком сильно придаёте значение "свободе воли". Чем чётче человек работает по внутренней программе - тем лучше для него. Если человек будет действовать во вред себе - это сбой. Выбор рандома из одинаковых выборов - это ничего не дающий, никаких преимуществ алгоритм. Он либо есть и работает одинаково у всех. Либо его нет.
Как видите в следствии физической природы мясного AI а также LLM которые берут рандом у аппаратных генераторов рандома, эти системы можно назвать обладающими свободой воли. Вот только сам термин этот бессмысленный! Он вообще ни чего толком не обозначает и не объясняет.
Он стал какой то иконой которую используют для обозначения человека. При этом используют абсолютно бездумно.
Всё я снимаю корону самого умного LLM для программинга с claud. Походу он самый тупой.
Вот краткий диалог общения:
Объясняю для тупых. Unsafe и await несовместимы. В коде есть await. Так с какого перпугу ты мне советуешь переделать код на unsafe? Опять же объясняю для тупых - в коде нет ошибок кроме места Sse2.LoadAlignedVector128 - можно обернуть только это место в unsafe. Но есть ли способ вообще без unsafe обойтись ?
Ответ
Извините за путаницу! Вы абсолютно правы. Вот решение без unsafe:
Тут переделанный метод. Но он не важен.
После метода дополнения. Там суть переделки
Используйте Vector128.Load((byte*)bytes) вместо Sse2.LoadAlignedVector128(bytes).
Это работает без unsafe контекста для всего метода и не требует выравнивания памяти.
Вы видите что он мне советует? Он в одном предложении говорит что byte* -это не unsafe. byte* - это грёбанный указатель который и есть суть unsafe.
Короче cloud сломался. Несите нового. Человек такую ахинею никогда бы не написал. Даже джун.
Вот только что работаю с claud. Есть функция С#. Переделываю с unsafe контекста на safe. Приложение перевожу на асинхронную модель с ValueTask везде. Поэтому внутри везде await - а он не дружит с unsafe (камень в тупой C# и его ленивых программистов компилятора, могли бы тупо проверку на использование fixed сделать). Так же внутри напрямую работаю с SSE векторными инструкциями процессора - приложение высоконагруженное.
вот пример из кода
if ((uint)Sse2.MoveMask(Sse2.CompareEqual(vec, Sse2.LoadAlignedVector128(page))) == 0xFFFF)
Короче всё переделал. Но векторные методы принимают только byte* - нужно обратно оборачивать в unsafe. Думаю может есть что с типом nint на прямую работает.
Задаю самому умному LLM Claud вопрос мол что есть? И знаете что он ответил? Он мне предложил обернуть всё в unsafe контекст - когда явно видит внутри await. Вот реально просто задолбало уже! Уже сто раз я ему говорил что он гонит. В других диалогах. Он прекрасно знает что unsfe и await несовместимы. Но опять мне предлагает ересь. Просто подгорает уже. Написал это как типичный пример какое гонево мне гонят LLM на мои вопросы.
P.S. К чему это я. Человек 1 раз изучив правило что await и unsafe несовместимы - никогда больше так не сделает. Как мы видим LLM похер на любые правила.
Зачем подбирать умышленно вопросы чтобы компрометировать ИИ?
Если не понятно зачем - то отвечаю.
LLM имеет архитектуру. И эта архитектура имеет дыры. Что бы найти эти дыры подбираются такие входные данные которые эти дыры выводят в свет.
Зачем это надо? Отвечаю.
Когда задаётся неконкретный вопрос - то LLM льёт кучу воды. 90 или даже 99% вполне достоверной. Но 1% вполне ложной. И эту ложность становится очень трудно отыскать если мы будет изначально думать что LLM никогда не врёт.
В программировании это вообще фатально. Я постоянно использую LLM в программировании. Если вопрос сложный, а у меня такая область знаний сложная - ссылочное (небезопасное) программирование в С#. Так вот там LLM почти всегда несёт пургу когда я её спрашиваю. А спрашиваю я её именно в моменты когда сам не разбираюсь. На простые вопросы она отвечает верно - но мне не нужны ответы на простые вопросы.
Отсюда имеем два мира реальности существующие параллельно. Мой опыт общения с LLM даёт много ложных результатов. А у других это просто манна небесная. А всё в том кто как работает с LLM.
Вот пример из прошлой недели. Задал вопрос самому умному на сегодняшний день LLM - Claud. Вопрос на тему криптобирж. Мне нужно было знать как рассчитывается алгоритм фаундинга в торговле фьючерсами. LLM налила воды и очень подробно объяснила.
Если бы я был невежд я бы пошёл сразу с этой инфой на биржу. Но я то знаю что из себя представляют LLM. Да и ответ мне не понравился - я знал этот алгоритм, мне нужны были нюансы.
Я сказал мол ты врёшь. И LLM дала новый ответ. Вот прямо противоположный.
Я сказал LLM - удали себя за тупость ты дала противоположные ответы.
Вот её ответ
Вы абсолютно правы, извините! Я действительно наговорил противоречивой ерунды.Дайте я погуглю точную механику расчёта funding rate на реальных биржах, чтобы дать вам правильный ответ вместо того, чтобы гадать.
Даже после этого я не могу доверять третьему ответу. Её гугление выглядит каким то подозрительным. Она открывает ссылки и парсит их быстрее чем у меня в браузере вообще ссылка откроется (скорость нета у меня 200Mb/s). И я плотно работаю в современном WEB. Почти на каждом сайте стоят антибот системы основанные на клиентском javascript.
Ну баба Клава-то у нас, конечно, оракул по социальным взаимодействиям, и всё знает, что делать.
Ну Баба Клава это просто понятие. И как ни странно Баба Клава может быть абсолютно тупой во всём. В математике. В логике. В биологии. Но зато она может стоять на кассе и обобщатся со всякими маргиналами. LLM не сможет.
Я не пытаюсь решить филосовский вопрос. Что есть сознание! Причём со 100% логическим или каким нибудь церковным доказательством.
Это нужно только узкому кругу людей.
А вот вопрос практического применения - тут 100% вариант решения. Либо можно применять, либо нельзя. Именно для замены людей LLM не работает. Пытаются но получается ахинея. Во как замена google- на ура справляется.
Ну блин, проявите интеллект и замените тогда «свёртчоные сети» на «алгоритм инференса по свёрточным сетям»
Так и знал что зацепитесь. Я там развернул понятие.
Нет. Я ничего не представлю.
Откуда вы знаете что вы представляете или нет. Как вам логическая бобма то ) Начнёте задавать себе вопрос - представляете или нет мозг обрабатывая этот вопрос неосознанно представит.
А если без шуток, то как я уже упоминал - мозг в большинстве случаем находится в режиме автопилота. Да и есть смыслы которые не имеют визуального представления. Деепричастия, глаголы и прочее.
что прямо на мой вопрос вы не ответили.
Тут были какие то конкретные вопросы? Вроде просто дискуссия. Как всегда превратившияся в портянки. Сожравшие весь вечер. Ну хоть поболтал.
P.S. Рад что не скатилось как обычно тут бывает до обычного любой ценой быть правым перед оппонентом.
Я могу с абсолютно тем же успехом сказать, что в LLM эмулируется модель мира
Не ну говорите что хотите. Кто ж запрещает то. Я же в свою очередь исхожу из прстого понимания и изучения внутренностей LLM. Там нету никакого внутреннего мира.
Что же касается понимания работы мясного AGI - то тут я просто пытаюсь анализировать поведение. И исходя из поведения представить алгоритм работа которого могла привести к такому поведению.
Я могу представить себе внутренние образы. Да те же сны если взять - это вообще прямая модуляция мира. Без подключенного модуля критического анализа. Сон для нас реальность. Проснулись. Подумали. И пришли к выводу - как этот бред нам мог показаться реальностью. А вот так - модуль критического мышления отключили. У всяких психов с расстройствами можно интересного почитать как они видят мир. Та же шизофрения - поломка общей логики, с очень логичной локальной логикой.
что движок видеоигр умеет думать. Неожиданный вывод!
Это же просто аналогия. Не более того. Я сам терпеть аналогии не могу - особенно в физике. Попросту тупо скрывают своего непонимание всякими тупыми аналогиями просто везде. Но в данном месте - мне показалось весьма простая и не взывающая не понятие аналогия. Это просто пример как нужно строить внутренний мир.
Образы есть, процесс есть, оперирование есть. Этот алгоритм (или процесс его выполнения) — интеллект?
Образов нету. Мне казалось что я тут уже описал как работает LLM. Во что она превращает эмбединги. Ладно давайте так. LLM - это полуинтелект AI/2. Почему так? Потому что он уже делает 90% работы которую делает человеческий интеллект. Но вот остальные 10% он не преодолеет никогда. Из за архитектуры. Проблемы которой очевидны. Нету образов. Нету памяти. НЕТУ ОБУЧЕНИЯ. Человк - всю жизнь учится. Обученная LLM - практически необучаема. Любое дообучение - ломает статистическую модель. Почитайте на какие титанические усилия на какие извращения идут что бы правильно обучить LLM. LLM лбученная на одну тему. Если её дообучить на другую тему - она полностью деградирует по первой теме. Это особенность работы статистического аппрата. В мясном AI с его образной структурой - дообучение не портит старые данные.
автоматически эквивалентны как интеллекты, следовательно LLM — интеллект.
LLM не даёт одинаковый результат. Или AGI уже сделали и я что то пропустил ?
Угу, всё как у людей. Образ «стул» — это какое-то месиво из всех видимых человеком
Вы тут кстати подметили одно из множества фундаментальных отличий LLM и мясного мозга. Ну или симаольного AI
Что бы LLM могла понять стул - её нужно скормить тонну обучающих данных. Технически это выглядит так - прогоняем стул - сеть не обуена на выходе мусор. Прогоняем обратную ошибку. Чуть до настраиваем сеть. Делаем 100500 пргонов эпох. Нейронные веса настроены.
Человеку покаали 1 РАЗ СТУЛ. Всё. он Обучен. Он может увидеть 10000 стульев и определит что это стул. Тут мы залезли в мультимодальные модели - про визуальный образ заговорили. Суть одна. в тексте человек тоже поймёт что речь про стул. А всё от того что внутри есть виртульная модель где можно проецировать сам стул - где и как расположены ножки, пинка, сиденье. Кстати LLM не знают что такое время. И они не понимают смысла пространства. Логические задачи на пространственное воображение человек решает. LLM - не решают. Ну разумеется я имею ввиду когда LLM не выдрала из памяти 1 в 1 то что она получила пр обучении. Типо - пропт AB - выдала на выход CD. Именно обсолютно новая пространственная загадка.
«Может» в смысле «с близкой к единице вероятностью успеха» или в смысле «иногда удаётся, если образ не слишком сложный и голова не сильно забита, и в прошлый четверг было полнолуние»?
Вы говорите про запомнить что то сложное. Я говорю - вообще запомнить что был что то. Просто как факт. Именно с этим и проблема у LLM. Они просто забывают про что вы говорили изначально. А всё потому что в данный момент у неё есть только набор эмбедингов последнего конекста.
моя абсолютно искренняя позиция — что среднее массовое представление о сознании как раз является таким чесанием ЧСВ
Смотрите. Я сделал просто. Мне просто пофиг на всякие философские смыслы. Важно только применение. Нужно заменить человека. Вот и всё. И сразу всё просто и логически становится. Может алгоритм заменить человека - гуд. Мы имеем AGI. Не можем ? Не имеем. А сейчас мы не можем. Чат боты не более чем поисковик. А всякие рассуждение - что есть душа... Ну пусть будут. Только не в топике где рассуждают о логике и устройстве. Можно конечно придраться. Тут можем. Тут не можем. У нас же про логику и реальность ? Вот пусть в реальности на кассе заменит бабу Клаву. А то читаешь статьи что в какой то компании поставили LLM управлять торговым автоматом. Сотрудники убедили его что у них коммунизм и всё должно быть бесплатно. Ну автомат всё и отдал. Логики ноль у LLM. Хотя вру. Тут как у шизофрении - локальна логика есть. Общая нет.
Где конкретно в логическом выводе ∀x. P x ⊢ P developer7 время?
Ну хотя бы в том что я потратил время на первый символ. Потом на второй. На третий. По шагам тратил. И в конце пришёл к выводу что это бессмысленный бред. Думаю что если кинуть LLM этот бессмысленный бред - она напишет тонну текста. Просто LLM в любом случае пишут тонну текста.
Что вы ели на завтрак 24-го января 2025-го года?
У меня есть моменты в жизни которые я видел 1 раз. Сразу понимал что этого не хочу видеть никогда. И запоминал на всю жизнь. Это кстати баг уже мясных символьных ИИ. Поверьте миллионы людей хотели бы почистить свою память.
Любой алгоритм может преобразовывать данные. Но не каждый алгоритмы можем назвать AGI. Я бы дополнил. AGI способен преобразовать ЛЮБЫЕ данные с входа на выход без потери смысла. Если AGI не владеет понятием отдельных частей входных данных - он должен запросить объяснение. Ну и также должен работать с абстракциями - понимать их. Создавать. Разворачивать и сворачивать.
Тут я попросту набросал набор алгоритмов - что бы можно было хотя бы так отличать одни алгоритмы не AGI от алгоритмов AGI
Могу сказать после ОЧЕНЬ продолжительного "общения" с DeepSeek и с другими LLM. Если их спрашиваьт про их устройство - они тупо врут. Всё. Но врут очень изысканно. Они льют посто тонну ничего незначащей воды.
Почему они это делают? Они просто апроксимироали текст от блогеров. LLM же скормили весь интернет. Блогеры же - у них у всех один алгоритм. Они никто не знает нюансов. Поэтому начинают обсасыватm какуюто малозначимую часть алгоритма. Которая на слуху. По типо функцию температуры. Или общее устройство трансформера. Когда вообще весь смысл в деталях которых никто не знает.
Лень разбирать эту воду по фразам. Пару недель назад я задавал вопрос DeppSeek сложи 386738467 + 89372498723 + 87236468
Вот такую ахинею выдал. Это кстати так работает истинная LLM которая только и делает что генерирует следующий токен
Скрытый текст
Шаг 1: Запишем числа друг под другом, выровняв по разрядам (единицы, десятки, сотни и т.д.):
text
38 673 8467 8 937 249 8723 8 723 6468
Такой формат не очень удобен. Давайте лучше отбросим пробелы и запишем числа столбиком правильно:
text
38 673 8467 89 372 498 723 8 723 6468
Это тоже не совсем правильно. Проблема в том, что первое и третье числа у вас записаны с пробелом как разделителем тысяч, а второе — вообще без пробелов в середине.
Давайте перепишем числа в обычном виде без пробелов (просто как последовательности цифр) и сложим их столбиком.
Данные числа:
386738467
89372498723
87236468
Шаг 2: Выравнивание по правому краю (по единицам):
text
38 673 8467 89 372 498 723 8 723 6468
Перепишем правильным столбиком:
text
386738467 89372498723 87236468
Шаг 3: Сложение столбиком, начиная с единиц.
text
386738467 89372498723 87236468 -------------
Для удобства можно добавить нули в начало меньших чисел, чтобы длины были одинаковыми:
Ща проврерил - ахинеи нет. Видимо понастроили входящий парсер что бы сразу кидало на калькулятор. Но думаю лекго подобрать такие числа что не на калькулятор отправится а на генерацию бреда.
Для начала неплохо бы определить, что такое «I», наконец, и мы тут вроде ровно этим пытаемся заниматься.
Скажем так есть филосовская точка зрения. А есть точка зрения - что я вообще хочу получить в результате. Обывательская. Житейская. Как думаете какая денег заработает?
Я вообще под интеллектом подразумеваю алгоритм способный со стопроцентной эффективностью заменить бабу Клаву на кассе. Вот заменит машина касиршу и будет способна переваривать весь бред от мясных интеллектов - вот и появился AGI. Заметьте я не присваиваю этому термину обязательство знать всё и решать всё. Это должен делать НЕчеловеческий интеллект. Способный решать всё +заменить бабу Клаву. И он тоже появится. Обязательно.
Чё-т всё ещё не понял. Вон свёрточные сети оперируют образами «палка под углом π/4». Они уже AI?
Ещё раз говорю - выход из этой сети - данные. Данные сами по себе не интеллект. Интеллект это алгоритм обработки данных. Результат работы интеллекта- другие данные. Которые тоже как бы не интеллект. Путаниц - из за того что мы выходным данным присваиваем свойства интеллекта.
Если я при решении задачи по теоркату не оперирую образами (в том же смысле, в котором мне хочется представить схему, не знаю, моей домашней локалки), то я в этот момент не интеллект?
Если я скажу вам ЧЕТЫРЕ. Вы неосознанно представите себе вполне объёмную четвёрку. Так устроена наша образная модель мира. Когда вы решает уравнения - то у вас в голове есть образы, без визуальной составляющей. Но они есть. Вон когда аутистов спрашивали как он быстро решают примеры - они рассказывали что оперируют визуальными фигурами.
то я в этот момент не интеллект?
Какой интересный вопрос. И я даже отвечал на него тут. По мойму статью даже писал. Или в коментах. Коротко - мозг в конкретный момент времени может находится в определённом состоянии. И в большинстве случаев - вы не мыслите логически. Действуете как работ. Можно сказать в этот момент в вас нету интеллекта. Только автономные алгоритмы поведения. Не задействован аналитический модуль. Как я уже говорил - интеллект это процесс. Даже осознать себя вы можете только тогда когда явно зададите сами себе вопрос - я есть ? Много писать короче. Вобщем без внутреннего диалога вы ведёте себя по принципу самосознания как у животных. Являетесь объектом моделирования внутреннего мира без осознанного управления этим объектом. Это всё из за экономии. Мозг лопнет от нагрузки если вы будете анализировать каждый свой шаг. Есть такая болезнь - отсутствие рецепторов на собственное тело. Там люди что бы просто делать шаги - мозг свой напрягаю до опупения.
Видели видеоигры? Там эмулируецся модель мира. Мы смотрим картинку - но что бы её нам показать под капотом происходят сложнейшие математические расчёты. Это отправная точка. Мы должны эмулировать такую же модель но не в виде видео. А в модели. Если мы будет брать современный компьютер - то это будет набор данных. Набор алгоритмов которые будут упровлять данными внутри этой модели.
Если взглянут напрямую на эти данные - то это будет каша. Но из за того что данные не сами по себе а существуют по законам модели - то мы получаем ряд интерфейсов. Ну на вскидку - добавить объект. Получить пространственные координаты объекта. Получить взаимосвязь с другими объектами. В случае математических абстракций - доступны интерфейсы математических воздействий на объекты. Если развить модель можно будет применять математические алгоритмы например к визуальным объектам. Короче это внутрення модель мира со своими законами поведения.
Вся сложность том что бы добиться максимальной эффективности работы модели. Видеокарты жрут киловаты для вывода картинки. Мозг человека ватты - результат правда не картинка а внутреннии обстракции. Но эффективность запредельная - миллионы лет отладки кода эволюции.
Когда word2vec мапит набор токенов в векторное пространство, которое имеет смысл
Отдельная еденица эмуляции смысла не имеет. Смысла не имеют импульсы нейрона и float внутри LLM. Смысл есть только в процессе. Когда алгоритм начинает оперировать этими данными. Повторяю - данные сами по себе бессмысленны. Взаимодействия данных - это и есть смысл. Скажем так. тут путаница со временем. Данные имеют смысл. И мы как бы начинаем приписывать им те свойства - которые как бы к ним не относятся. Ведь мы спорим о том как эти данные получились. Почему эти данные со смыслом. и вот как раз получается что интеллект это не результат - а процесс. Результат это выходные данные интеллекта. И получаем что выходные данные и в LLM и Мясном мозге на выходе одинаковые. Но получены одни со смыслом, другая подражая смыслу.
Контекстное окно как память? Аттеншн как механизм извлечения из этой памяти?
Давайте я буду исходить из позиции что вы знаете как именно там работает механизм внимания. Так вот задам вопрос. Чем отличаются эмбединги слов до трансформера и после? До трансформера это можно сказать впринципе символы как в символьном ИИ. Хотя вру - это просто слоги. Выделения объектов тут и не пахнет.
После трансформера это уже просто позиции в векторном пространстве. Позиции размытые. До мы имели конкретный образ. После размытую ссылку на тысячи образов. И так с каждым словом. В этом лгоритме нету ткого понятия как память. Человек может в течении дня удерживать в голове конкретные образы - и они ни куда не денутся. В окне промта - слова преобразованные в направления удаляются навсегда начиная с первого слова. О том чот вообще было такое слово остаётся только остаточная память в соседних векторах - которые тоже будут удалены. Отсюда и все проблемы потери контекста.
Implying большинство людей в неё способно.
Передёргиваете. Не буду комментировать. По ка что я думаю что мы друг друга понимаем.
Не понял. Почему? Я могу вам привести этак минимум четыре разных формулировки логики, и ни в одной из них нет вообще ничего про время.
Да потому что все эти формулировки ради чеславия их авторов. Чем туманнее формулировка тем небожительнее выглядит автор. Если её вообще никто не поймёт - это просто титан философии.
Я же руководствуюсь исключительно с практической точки зрения. Алгоритмы подрузумевают шагание по шагам. А это и есть время. В модели мира которую я постоянно упоминаю тоже должно быть свойство шагания по шагам.
Более того в мясном мозге это шагание чуть ли ни основная функция - все фокусы с обманом мозга на этом основаны. Заяц должен предугадать будущее - должен понят куда прыгнет волк что бы прыгнуть в другую сторону.
Каков размер активной памяти у человека, и как хорошо человек поддерживает контекст?
Грёбанный мозг поддерживает контекст годами. Стоит увидеть какуюто гадость - будет тебя преследовать годами. LLM - забудет сразу же как окно контекста сдвинется. Вообще быстрая память человека гдето 20 минут длится - после чего если объект остаётся в памяти - перемещается в долговременную. Но не будем тут алгоритмы мяса описывать. Про LLM дискуссия.
Чем «картина мира» принципиально отличается от набора весов в графовой модели этого мира?
На самом нижнем слое ничем. Мясные нейроны передают друг другу частотные импульсы. Кремневые нейроны передают друг другу float.
Но на этом уровне что у мяса что у кремния и нету никакого AI.
AI это же прцесс. AI это алгоритм. Алгоритм эмуляции. Так вот дальше идут как раз координальные отличия алгоритма.
Если алгоритм оперирует образами ну или в другой терминологии - символами, также строит модели используя эти образы. Также в моделях реализует логику. То это AI.
Если алгоритм сделан так что организовывает огромную базу данных статистики и выдаёт следующий наиболее вероятный статистический вариант, а под вариантом я имею ввиду объекты статистики. В случаии с LLM это просто числа. Так вот это - симулякр. И ведёт себя как самый настоящий симулякр - внешне вроде живой, но постояно выдают сбои типичные для симулякра.
Можно я отвечу? Если алгоритм имеет короткую память (как у человека), где он строит модель мира, или модель обсуждения, или модель алгоритма если решается алгоритмическая задача и при этом в этой модели использует конечные симвлы, образы. То эта модель понимает что делает.
Когда человек мыслит - он мыслит образами. Законченными образами. Эволюционно из за зрения это как правило визуальные образы. Даже у слепых - там что то похожее на образ формируется. Также у человека есть короткая память - где и формируется весь контекст. Эволюционно такое модулирование мира было создано для предсказания будущего. Охотикам охотится. Жертвам избегать съедения.
Главным концептом в этой модуляции - это представление своей тушки внутри виртуального мира. Вообще у человека сложная модель эмуляции получилась. Первично это проекция от глаз. Но глаза сами не видят. Глаза это просто сигналы. Картину по сигналам уже строит мозг. Строит он её по образам. Можно почитать как образы формируются в зрительной коре. Кстати эти алгоритмы потом в свёрточные сети перекачивали. Так вот имея такой механизм - следующий шаг это модуляция образов без получения сигналов от зрения. Берутся сигналы из памяти.
Потом появился язык. Изначальные образ обросли ещё слоем - каждому образу начало сопоставляться звуковая фраза. Слово.
Ладно не буду дальше про человека.
Так вот про LLM - там нету ничего. Там нету образов. Там нету короткой памяти. Там есть только вероятность появление одной закарючки от другой. И алгоритм выдачи закорючек на выход. Всё. LLm выдаёт закорючки на выход - и только мы интерпретируем их как образы. Потому что у нас в мозгу есть привязка.
У LLM нету короткой памяти - это наверно самая главная проблема. Она не способна в логику. Потому что логика подразумевает временную эмуляцию. В LLM нету вообще понятия времени. В LLM есть окно промта. Каждое слово превращается в эмбединг и проходя через LLM каждому эмбедингу примешиваются понятия. Всё через цифры. Потом тупо берём последний эмбединг и получаем следующий слог. Весь промт сдвигается на 1 позицию. Объект может попросту выпасть из промта. Да - его типо понятия были включены в соседнии эмбединги. Но как мы видим - работает это херово. LLM постоянно утрачивает контекст. Эот часто не работает даже внутри контекста. Поотму как подмешивания понятия - тоже часто даёт сбои. А всё из за того что это статистическая модель. А не образная.
Короче можно долго писать различая. Но думаю суть передал.
Ну то что я описал - это я для примера. Как работают аналитические парсеры на входе. Тут нету никакого ноухау. Это очевидно всем. Ведь в чом была проблема создания символьных ИИ? Почему их 40 лет пилят, но так и не допилили до AGI? Для спец возможностей они вполне себе рулят.
Проблема в получении опыта. Проблема в самонасторйке. У человека обратная связь - это жизненный опыт. Все его сенсоры - это опыт. У LLM - обратная связь это алгоритм обратного распространения ошибки. А у символьных AI - это ручное вбивание правил.
И как показало время - очень не эффективный метод.
Но сейчас мы имеем новый инструмент - LLM как глобальный апроксиматор знаний может выступать в качестве жизненного опыта для символьных AI. И всё это можно автоматизировть и добавить скорости.
Вобщем все компании чатботов пилят продукт в этом направлении. И все всё скрывают. А в открытый доступ попросту выкидывают дезу. Берут правду - и упрощают её настолько что она уже и не совсем на правду похоже. Взять ту же сатью первую про описание трансформатора.
А алгоритмы обучение - в чём вообще вся суть. Их вообще никогда не было в открытом доступе. Есть только общее понятие. И всё.
Никто не может сказать как обучаются матрицы в трансформере. А там уже штук 40 голов. Как они распределяют понятия по этим гловам?
Ну это же не модно! Фу таким старым быть. Человек хочет что бы кнопку форк за него нажла LLM. Правда по пути пропустив исходный код через микер (упковала его в векторное пространство и веса перцептронной сети, а затем его оттуда забрала кое как). Ну и пусть что будет нерабочее гавно.
О 5/25. Извечная борьба linux/windows символьные ИИ / LLM. Все кто мало мальски в теме знает что такое символьные ИИ. Они лет 40 пытаются превратится в AGI. Но что то прорыв именно в человеческой речи сделала именно LLM. Также кто хочет быть в теме - знает как работает LLM и что он может, а что не может. Писать различия - надоело уже. Кто хочет сам найдёт. А тут кроме минус в карму ничего не будет.
И да - кто хоть чуть чуть изучает тему про LLM поймёт одну скрытую вещь. Она как бы не скрытая, но ни один блогер почему то про это не знает и не обсуждает. Архитектура трансформера - и логика это противоположные вещи. Но вот чудеса - если вы скажете сложить числа LLM - она выдаст точный ответ. Не все выдадут с первой попытки, например DeepSeek - может выдать полную ахинею. Но продвинутые по типу claud - выдают правильно.
И вот вопрос - а с какого перепугу так? Кто умеет мыслить - уже догадались почему.
Скрытый текст
Дабы меня тут не окунули в унитаз за выёживание сразу напишу ответ. Документация по трансфомеру выкинутая OpenAI - это лишь базовое определение работы LLM которое пошло как развитие переводчика. Такая архитектура способна только предугадывать следующее слово. Но она абсолютно не способна на то что мы имеем в современных чатботах. Как думаете куда идут миллионы денег на современную разработку LLM? Сама архитектура особо не меняется. Ну ладно - экспериментируют с головами внимания и их количеством. Короче абсолютно все скрывают что на самом деле они делают. А делают они одно - пытаются прикрутить логику к LLM. А для этого надо на входе задать спец парсеры. Аркестраторы. Вот это и разрабатывают. И LLM там только как подключаемый модуль в цепочке ответа. Там этих спец LLM могут быть тучи. Каждая для своего случая. Есть модуль калькулятор - которому как раз передаются запросы о типу сложи числа.
Если вы зададите 5 вопросов в одном промте. Входной модуль разобьёт вопросы на подвпросы и пропустит каждый по отдельности через LLM.
Входной промт нашпиговывается спец управляющими ключами. А потом в выходном ответе эти ключи выпиливаются из ответа. Вы знали что есть LLM base, а есть instruct ? Instruct это модель base которую дообучают промтами со спец ключами. Ни один блогер про такое не говорит.
Вот опять 25. Не хотел ничего писать - и опят портянка. Слаб человек... На последок покажу пример. Я задаю текст про хомяка в LLM. Текст сказка на одну страницу. И говорю какой пол у хомяка? Обычная LLM просто продолжит сказку. А уже спец - сделает следующее.
Алгоритм поиска:
Поиск прямых номинаций родства в мужском роде:
Сканирование текста на наличие слов из целевого списка: сын, сыночек, мальчик, первенец (часто муж.рода).
Находка 1: "балованного сыночка" (предложение 5). Алгоритм фиксирует: слово "сыночек" напрямую указывает на мужской пол родителя по отношению к ребенку.
Поиск анафорических цепочек (связь местоимений с сущностью):
Задается вопрос: какими местоимениями (он, его, ним, ему или она, её, ней) текст заменяет существительное "Хомячок"?
Система прослеживает все ссылки. Результат: Везде, где речь о действиях или состоянии Хомячка, используются местоимения мужского рода (он, ему, его). Пример: "Он затихал", "ему нравилось", "взял его на руки". Это мощный грамматический маркер.
Кросс-валидация (проверка на согласованность):
Проверяется, не противоречат ли найденные маркеры друг другу или другим фактам. Например, не называет ли кто-то Хомячка "дочкой" в другом месте? В данном тексте противоречий нет.
Проверяется контекст реплик: кто говорит "сыночек"? Родители. Это надежный источник информации в рамках истории.
Этап 4: Формирование ответа на основе извлеченных данных
Сбор доказательной базы: Система собирает "цитаты"-токены, послужившие основаниями:
Факт 1: Прямая номинация (сыночек).
Факт 2: Прямая номинация (сынок).
Факт 3: Грамматическая согласованность (цепочка местоимений он/его).
Генерация ответа: На основе этих фактов формулируется утвердительный ответ, который:
Дает четкий ответ на вопрос ("Хомяк — мужского пола").
Приводит явные ссылки на текст в качестве обоснования, потому что внутренние правила (инструкции) предписывают быть объяснимым.
Строится грамматически правильное предложение на русском языке.
Ходил в спорт зал. Штанга 100кг от груди жим лёжа 10 раз легко. Собственный вес 120кг. Всё мышцы. Подтянутся - не помню уже, но практически невозможно было. Думаю что живчикам 50 килограммовым которые 100 раз легко подтягиваются привязать вес 60 кг, то тоже ни разу бы не подтянулись.
А от куда вообще взялось такое понятие как самомознание? Любой (ну почти любой - всегда есть какие то отклонения) человек считает что он существует. Что он личность. Постоянно обсуждают феномен "Я".
Любой человек осознаёт себя как личность, как самостоятельная еденица - через внутренний диалог.
Вы утверждаете что внутренний диалог ничего не значит или вообще некоторые с дефектами вообще не могут им пользоваться. Вопрос конечно к таким - как можно не пользоваться внутренним диалогом при этом пользоваться внешним - иметь речь. Это по сути одно и тоже. Один и те же мясные алгоритмы. Есть дети маугли. Там как раз проблема с речью - не формируется участок мозга отвечающий за речь. Такие дети в последствии ведут себя как животные.
Вобщем всё сводится к тому что нас как человека определяет именно речь. Потому что с помощью речи мы можем строить логические композизици - отсюда произошла логика мышления.
Речь привязана к образам. Но речь даёт очень большую абстракцию - которую образами не представить. Например математический аппарат не представить только образами. А речью - легко.
Так же я знаю что некоторые кошки в зеркале могут понять что это они. Это я объясняю хорошо развитым аппаратом внутреннего моделирования мира.
Кстати словил себя на мысли - а почему глухонемые не животные. Если подумать они пользуются аналогом речи - визуальные фигуры построенные руками.
Надо будет обдумать как этот факт ложится на гипотезу что речь породила самосознание. Сейчас что то лень пока.
И да я бы из всего сказанного разделял понятия Сознание и Самосознание.
Сознанием обладают все животные. Даже муравьи в кокой то степени. Все внутри себя строят проекцию внешнего мира. От примитивных видов до сложнейших у высших животных.
А вот самосознание - это уже внутренний диалог с самим собой. Это подразумевает под собой что можно ставить виртуальные запросы и отвечать на них. Можно строить виртуальные проекции мира и модулировать поведение в этом мире по собственному желанию.
Как по мне нету чёткого разделения между этими мирами. Переход идёт плавно. От высших животных к человеку. Хотя наверно с появлением речи - преход к самомознанию сделал скачкообразный рывок
Получается что чем больше в системе алгоритмов для построения и манипуляции обстракциями (кирпичиками для модулирования - образами или словами/речью или другими единицами) тем больше система обладает самосознанием.
А сами уже аргументировать не хотите? Призываете на помощь кого то другого? Какая разница кто там всю жизнь чему то посвятил. Если профессор Савельев отрицает работу мозга как взаимодействия нейронов друг с другом по средством передчи частотных импульсов - то грош цена такому профессору. А ничего более я и не утверждал. И я говорю что этого достаточно для эмуляции виртуального мира. Никаких магий или квантовых или религиозных вещей не надо для организации машины для эмуляции внешнего мира во внутреннюю абстракцию. И получения ряда интерфейсов из этой абстракции. Таких например как иллюзия сознания.
Я не знаю что он там издевается. Но походу он издевается над здравым смыслом. Скажи такому проффессору лет 5 назад что на локальном ноутбуке можно будет запустить LLM которая будет владеть человеческой речью не хуже любого человека- наверно он бы поиздевался бы над таким аппонентом по полной. Да и вообще - не надо этой демагогии. Есть что сказать - говорите. Интересно читать здесь диалог аппонентов. Я вообще не утверждаю что я прав. Просто у меня такая картина мира сейчас - которая подкреплена текущими знаниями. И в интересном диалоге я хочу найти новый знания.
Не верю. Любой человек ведёт внутренний диалог на языке которым владеет. Этим мы кстати отличаемся от животных.
Да можно заставить себя думать только образами - мы как никак есть животные, и речь это только надстройка над образной архитектурой. Люди даже могут наглататся каких нибудь наркотиков что бы ввести себя в какие нибудь пограничные сотояния. Но почти всегда когда мы оперируем логикой - внутренний диалог имеется.
Да вы даже не сможете задать себе вопрос "Я есть ?" используя только образы. Отсюда забавный факт - а не является ли иллюзия самосознания только следствием речи ?
Интересно почитать людей которые знают несколько языков - на каком языке они думают. Там интересная каша получается.
Ну философы могут считать что угодно - на то они и философы. Особенно 200 лет назад.
По современным представлением науки - человек самая настоящая машина. Работающая на строгих алгоритмах передачи информации по средством частотных импульсов.
В конкретный момент времени такая машина будет работать строго в соответствие с текущей сложившейся архитектурой.
Если есть нейроны находящиеся в пограничном состоянии - то в них будет рандом сработки основанный на тепловом шуме в химической реакции.
Да есть состояние когда нейрон может сработать сам по себе - эпилепсия называется. Целые участки мозга начинают самопроизвольно срабатывать. И да - человек в это время полностью отключается. Нету ничего - даже памяти не остаётся. Попросту разрушается внутренний алгоритм эмуляции мира.
Всё там сводится. Сознание. Чувство собственного Я. Всё это иллюзии появляющиеся в ситеме эмуляции мира. У животных нету речи - но они оперируют образами и чувством пространства и чувством нахождения тушки в этом пространстве.
У человека появилась речь. Внутренний диалог - вот где пик иллюзии. Мы строим внутренний диалог - "азм Я ЕСТЬ?" - так как слова привязаны к образам - идёт проекция на эмуляцию своей тушки в внутреннем мире. Далее вступает вдело древний животный алгоритм.
Я имею ввиду что если дан выбор равнозначных вариантов - то любой выбор будет оптимален. Например всегда выбирать первый вариант из равнозначных.
Опять же при игре с противником - у кого преимущество? Один с рандомом, другой нет. В случае более лучшего выбора - оба выберут лучший вариант. В случае выбора в одинаковой позиции - рандом выберет рандом. А нерандом - выберет вариант который заложен в текущем алгоритме.
Так вот обладающий рандомом - не знает текущий алгоритм нерандома. И он не знает что выберет нерандом.
Разверну мысль - мы не знаем какое состояние имеют все нейроны в головном мозге нерандома что бы предсказать его выбор.
Да и не имеет это всё значение. Как я говорил - мы живём в материальном мире. Отдельная часть мира - нерандом. Но взаимодействие всех частей - даёт непредсказуемую вычислительность. Которая превращается в самый настоящий рандом. Локальный рандом. Никто ФИЗИЧЕСКИЙ не сможет просчитать взаимодействие всех нерандомных состовляющих. Ну Бог сможет )
P.S. Да я знаю про 1 факт который современная физика не может объяснить причинно-следственными связями. Время распада ядра частицы. Но такой рандом не влияет на поведение в такой сложной системе как мозг. И да я уверен - ни каких квантовых эффектов задействованных в общей архитектуре работы мозга - нету.
Хабр призвал меня сюда. Не знал что у него такой функционал есть.
Я посматривал тему но в дисскусию не вмешивался. Хотя несколько раз спорил про свободу воли и мне есть что сказать.
Господа вы спорите есть ли свобода воли или ёё нет - но вы так и не определили критерии этого термина.
Что есть вообще свобода воли?
Человек всегда поступает из логики работы своей нейронной мясной сети. Которая обучилась жизненным опытом. С обывательской точки зрения - человек поступает так как считает лучше для себя.
LLM - вообще строго детерминирована. И если бы не костыль в виде алгоритма температуры то её выход всегда был бы одинаков на одинаковый входной промт.
И так мы приходим к сути свободы воли. Что она есть для человека или для машины?
Ну с натяжкой можно предположить что это делать рандомный выбор в двух одинаковых равнозначных вариантах. Ну типо хочу есть сосиску или котлету когда одинаково их люблю.
И толку от такой свободы воли? Если человек любит больше котлеты чем сосиски - он выберет котлеты. А если сделает наоборот - в противоположность своим убеждениям (ну или текущего запроса организма), то это будет свидетельствовать о болезни. Нарушении системы. Шизофрении.
В LLM рандомизатор выбора для одинаковых условий обеспечивает - генератор рандома. Который может быть аппаратный встроенный в процессор. Который может быть основан на тепловом шуме транзистора например.
Человек может выбрать ДА или НЕТ на равные условия в зависимости от спец химии вколотой в организм. А так скорее всего зависит от температуры и химического состава нейрона. Который будет находится в пограничном состоянии и будет готов сработать или нет от любого чиха - например от нейтрино пронзившего его из космоса и вызвавшего ионизацию отдельного атома - который запустит лавинообразную химическую реакцию.
Вы знаете сколько через вас проходит высокоэнергетических частиц каждую минуту? Ответ вас удивит. Если закрыть глаза то иногда можно увидеть вспышку света - это свечение Черенково в жидкости глаза вызванная пролётом через этот глаз каково нибудь высокоэнергетического протона.
Но повторяю - вы слишком сильно придаёте значение "свободе воли". Чем чётче человек работает по внутренней программе - тем лучше для него. Если человек будет действовать во вред себе - это сбой. Выбор рандома из одинаковых выборов - это ничего не дающий, никаких преимуществ алгоритм. Он либо есть и работает одинаково у всех. Либо его нет.
Как видите в следствии физической природы мясного AI а также LLM которые берут рандом у аппаратных генераторов рандома, эти системы можно назвать обладающими свободой воли. Вот только сам термин этот бессмысленный! Он вообще ни чего толком не обозначает и не объясняет.
Он стал какой то иконой которую используют для обозначения человека. При этом используют абсолютно бездумно.
Всё я снимаю корону самого умного LLM для программинга с claud. Походу он самый тупой.
Вот краткий диалог общения:
Ответ
Вы видите что он мне советует? Он в одном предложении говорит что
byte* -это не unsafe. byte* - это грёбанный указатель который и есть суть unsafe.Короче cloud сломался. Несите нового. Человек такую ахинею никогда бы не написал. Даже джун.Вот только что работаю с claud. Есть функция С#. Переделываю с unsafe контекста на safe. Приложение перевожу на асинхронную модель с ValueTask везде. Поэтому внутри везде await - а он не дружит с unsafe (камень в тупой C# и его ленивых программистов компилятора, могли бы тупо проверку на использование fixed сделать). Так же внутри напрямую работаю с SSE векторными инструкциями процессора - приложение высоконагруженное.
вот пример из кода
Короче всё переделал. Но векторные методы принимают только byte* - нужно обратно оборачивать в unsafe. Думаю может есть что с типом nint на прямую работает.
Задаю самому умному LLM Claud вопрос мол что есть? И знаете что он ответил? Он мне предложил обернуть всё в unsafe контекст - когда явно видит внутри await. Вот реально просто задолбало уже! Уже сто раз я ему говорил что он гонит. В других диалогах. Он прекрасно знает что unsfe и await несовместимы. Но опять мне предлагает ересь. Просто подгорает уже. Написал это как типичный пример какое гонево мне гонят LLM на мои вопросы.
P.S. К чему это я. Человек 1 раз изучив правило что await и unsafe несовместимы - никогда больше так не сделает. Как мы видим LLM похер на любые правила.
Если не понятно зачем - то отвечаю.
LLM имеет архитектуру. И эта архитектура имеет дыры. Что бы найти эти дыры подбираются такие входные данные которые эти дыры выводят в свет.
Зачем это надо? Отвечаю.
Когда задаётся неконкретный вопрос - то LLM льёт кучу воды. 90 или даже 99% вполне достоверной. Но 1% вполне ложной. И эту ложность становится очень трудно отыскать если мы будет изначально думать что LLM никогда не врёт.
В программировании это вообще фатально. Я постоянно использую LLM в программировании. Если вопрос сложный, а у меня такая область знаний сложная - ссылочное (небезопасное) программирование в С#. Так вот там LLM почти всегда несёт пургу когда я её спрашиваю. А спрашиваю я её именно в моменты когда сам не разбираюсь. На простые вопросы она отвечает верно - но мне не нужны ответы на простые вопросы.
Отсюда имеем два мира реальности существующие параллельно. Мой опыт общения с LLM даёт много ложных результатов. А у других это просто манна небесная. А всё в том кто как работает с LLM.
Вот пример из прошлой недели. Задал вопрос самому умному на сегодняшний день LLM - Claud. Вопрос на тему криптобирж. Мне нужно было знать как рассчитывается алгоритм фаундинга в торговле фьючерсами. LLM налила воды и очень подробно объяснила.
Если бы я был невежд я бы пошёл сразу с этой инфой на биржу. Но я то знаю что из себя представляют LLM. Да и ответ мне не понравился - я знал этот алгоритм, мне нужны были нюансы.
Я сказал мол ты врёшь. И LLM дала новый ответ. Вот прямо противоположный.
Я сказал LLM -
удали себя за тупостьты дала противоположные ответы.Вот её ответ
Даже после этого я не могу доверять третьему ответу. Её гугление выглядит каким то подозрительным. Она открывает ссылки и парсит их быстрее чем у меня в браузере вообще ссылка откроется (скорость нета у меня 200Mb/s). И я плотно работаю в современном WEB. Почти на каждом сайте стоят антибот системы основанные на клиентском javascript.
Короче соврамши единожды будет врать всегда...
Ну Баба Клава это просто понятие. И как ни странно Баба Клава может быть абсолютно тупой во всём. В математике. В логике. В биологии. Но зато она может стоять на кассе и обобщатся со всякими маргиналами. LLM не сможет.
Я не пытаюсь решить филосовский вопрос. Что есть сознание! Причём со 100% логическим или каким нибудь церковным доказательством.
Это нужно только узкому кругу людей.
А вот вопрос практического применения - тут 100% вариант решения. Либо можно применять, либо нельзя. Именно для замены людей LLM не работает. Пытаются но получается ахинея. Во как замена google- на ура справляется.
Так и знал что зацепитесь. Я там развернул понятие.
Откуда вы знаете что вы представляете или нет. Как вам логическая бобма то ) Начнёте задавать себе вопрос - представляете или нет мозг обрабатывая этот вопрос неосознанно представит.
А если без шуток, то как я уже упоминал - мозг в большинстве случаем находится в режиме автопилота. Да и есть смыслы которые не имеют визуального представления. Деепричастия, глаголы и прочее.
Тут были какие то конкретные вопросы? Вроде просто дискуссия. Как всегда превратившияся в портянки. Сожравшие весь вечер. Ну хоть поболтал.
P.S. Рад что не скатилось как обычно тут бывает до обычного любой ценой быть правым перед оппонентом.
Не ну говорите что хотите. Кто ж запрещает то. Я же в свою очередь исхожу из прстого понимания и изучения внутренностей LLM. Там нету никакого внутреннего мира.
Что же касается понимания работы мясного AGI - то тут я просто пытаюсь анализировать поведение. И исходя из поведения представить алгоритм работа которого могла привести к такому поведению.
Я могу представить себе внутренние образы. Да те же сны если взять - это вообще прямая модуляция мира. Без подключенного модуля критического анализа. Сон для нас реальность. Проснулись. Подумали. И пришли к выводу - как этот бред нам мог показаться реальностью. А вот так - модуль критического мышления отключили. У всяких психов с расстройствами можно интересного почитать как они видят мир. Та же шизофрения - поломка общей логики, с очень логичной локальной логикой.
Это же просто аналогия. Не более того. Я сам терпеть аналогии не могу - особенно в физике. Попросту тупо скрывают своего непонимание всякими тупыми аналогиями просто везде. Но в данном месте - мне показалось весьма простая и не взывающая не понятие аналогия. Это просто пример как нужно строить внутренний мир.
Образов нету. Мне казалось что я тут уже описал как работает LLM. Во что она превращает эмбединги. Ладно давайте так. LLM - это полуинтелект AI/2. Почему так? Потому что он уже делает 90% работы которую делает человеческий интеллект. Но вот остальные 10% он не преодолеет никогда. Из за архитектуры. Проблемы которой очевидны. Нету образов. Нету памяти. НЕТУ ОБУЧЕНИЯ. Человк - всю жизнь учится. Обученная LLM - практически необучаема. Любое дообучение - ломает статистическую модель. Почитайте на какие титанические усилия на какие извращения идут что бы правильно обучить LLM. LLM лбученная на одну тему. Если её дообучить на другую тему - она полностью деградирует по первой теме. Это особенность работы статистического аппрата. В мясном AI с его образной структурой - дообучение не портит старые данные.
LLM не даёт одинаковый результат. Или AGI уже сделали и я что то пропустил ?
Вы тут кстати подметили одно из множества фундаментальных отличий LLM и мясного мозга. Ну или симаольного AI
Что бы LLM могла понять стул - её нужно скормить тонну обучающих данных. Технически это выглядит так - прогоняем стул - сеть не обуена на выходе мусор. Прогоняем обратную ошибку. Чуть до настраиваем сеть. Делаем 100500 пргонов эпох. Нейронные веса настроены.
Человеку покаали 1 РАЗ СТУЛ. Всё. он Обучен. Он может увидеть 10000 стульев и определит что это стул. Тут мы залезли в мультимодальные модели - про визуальный образ заговорили. Суть одна. в тексте человек тоже поймёт что речь про стул. А всё от того что внутри есть виртульная модель где можно проецировать сам стул - где и как расположены ножки, пинка, сиденье. Кстати LLM не знают что такое время. И они не понимают смысла пространства. Логические задачи на пространственное воображение человек решает. LLM - не решают. Ну разумеется я имею ввиду когда LLM не выдрала из памяти 1 в 1 то что она получила пр обучении. Типо - пропт AB - выдала на выход CD. Именно обсолютно новая пространственная загадка.
Вы говорите про запомнить что то сложное. Я говорю - вообще запомнить что был что то. Просто как факт. Именно с этим и проблема у LLM. Они просто забывают про что вы говорили изначально. А всё потому что в данный момент у неё есть только набор эмбедингов последнего конекста.
Смотрите. Я сделал просто. Мне просто пофиг на всякие философские смыслы. Важно только применение. Нужно заменить человека. Вот и всё. И сразу всё просто и логически становится. Может алгоритм заменить человека - гуд. Мы имеем AGI. Не можем ? Не имеем. А сейчас мы не можем. Чат боты не более чем поисковик. А всякие рассуждение - что есть душа... Ну пусть будут. Только не в топике где рассуждают о логике и устройстве. Можно конечно придраться. Тут можем. Тут не можем. У нас же про логику и реальность ? Вот пусть в реальности на кассе заменит бабу Клаву. А то читаешь статьи что в какой то компании поставили LLM управлять торговым автоматом. Сотрудники убедили его что у них коммунизм и всё должно быть бесплатно. Ну автомат всё и отдал. Логики ноль у LLM. Хотя вру. Тут как у шизофрении - локальна логика есть. Общая нет.
Ну хотя бы в том что я потратил время на первый символ. Потом на второй. На третий. По шагам тратил. И в конце пришёл к выводу что это бессмысленный бред. Думаю что если кинуть LLM этот бессмысленный бред - она напишет тонну текста. Просто LLM в любом случае пишут тонну текста.
У меня есть моменты в жизни которые я видел 1 раз. Сразу понимал что этого не хочу видеть никогда. И запоминал на всю жизнь. Это кстати баг уже мясных символьных ИИ. Поверьте миллионы людей хотели бы почистить свою память.
Тут допустил двусмысленность
Любой алгоритм может преобразовывать данные. Но не каждый алгоритмы можем назвать AGI. Я бы дополнил. AGI способен преобразовать ЛЮБЫЕ данные с входа на выход без потери смысла. Если AGI не владеет понятием отдельных частей входных данных - он должен запросить объяснение. Ну и также должен работать с абстракциями - понимать их. Создавать. Разворачивать и сворачивать.
Тут я попросту набросал набор алгоритмов - что бы можно было хотя бы так отличать одни алгоритмы не AGI от алгоритмов AGI
Могу сказать после ОЧЕНЬ продолжительного "общения" с DeepSeek и с другими LLM. Если их спрашиваьт про их устройство - они тупо врут. Всё. Но врут очень изысканно. Они льют посто тонну ничего незначащей воды.
Почему они это делают? Они просто апроксимироали текст от блогеров. LLM же скормили весь интернет. Блогеры же - у них у всех один алгоритм. Они никто не знает нюансов. Поэтому начинают обсасыватm какуюто малозначимую часть алгоритма. Которая на слуху. По типо функцию температуры. Или общее устройство трансформера. Когда вообще весь смысл в деталях которых никто не знает.
Лень разбирать эту воду по фразам. Пару недель назад я задавал вопрос DeppSeek сложи 386738467 + 89372498723 + 87236468
Вот такую ахинею выдал. Это кстати так работает истинная LLM которая только и делает что генерирует следующий токен
Скрытый текст
Шаг 1: Запишем числа друг под другом, выровняв по разрядам (единицы, десятки, сотни и т.д.):
text
Такой формат не очень удобен. Давайте лучше отбросим пробелы и запишем числа столбиком правильно:
text
Это тоже не совсем правильно. Проблема в том, что первое и третье числа у вас записаны с пробелом как разделителем тысяч, а второе — вообще без пробелов в середине.
Давайте перепишем числа в обычном виде без пробелов (просто как последовательности цифр) и сложим их столбиком.
Данные числа:
386738467
89372498723
87236468
Шаг 2: Выравнивание по правому краю (по единицам):
text
Перепишем правильным столбиком:
text
Шаг 3: Сложение столбиком, начиная с единиц.
text
Для удобства можно добавить нули в начало меньших чисел, чтобы длины были одинаковыми:
(Но можно складывать и без этого)
Просто сложим:
Сумма разряда единиц: 7 + 3 + 8 = 18 (пишем 8, переносим 1)
Сумма десятков: 6 + 2 + 6 + (1 перенос) = 15 (пишем 5, переносим 1)
Сумма сотен: 4 + 7 + 4 + 1 = 16 (пишем 6, переносим 1)
Сумма тысяч: 3 + 8 + 3 + 1 = 15 (пишем 5, переносим 1)
Десятки тысяч: 8 + 9 + 2 + 1 = 20 (пишем 0, переносим 2)
Сотни тысяч: 7 + 4 + 7 + 2 = 20 (пишем 0, переносим 2)
Миллионы: 6 + 7 + 3 + 2 = 18 (пишем 8, переносим 1)
Десятки миллионов: 8 + 3 + 8 + 1 = 20 (пишем 0, переносим 2)
Сотни миллионов: (в первом числе 3) + (во втором 9) + (в третьем нет) + 2 = 3 + 9 + 2 = 14 (пишем 4, переносим 1)
Миллиарды: (в первом нет) + (во втором 8) + 1 = 8 + 1 = 9 (пишем 9)
Десятки миллиардов: (только во втором числе 9) → пишем 9.
Шаг 4: Читаем результат сверху вниз (после сложения):
Получаем: 90 385 695 658
Шаг 5: Проверим сложением в более наглядном виде:
386 738 467 + 89 372 498 723 = 89 759 237 190
89 759 237 190 + 87 236 468 = 90 385 695 658
Ща проврерил - ахинеи нет. Видимо понастроили входящий парсер что бы сразу кидало на калькулятор. Но думаю лекго подобрать такие числа что не на калькулятор отправится а на генерацию бреда.
Скажем так есть филосовская точка зрения. А есть точка зрения - что я вообще хочу получить в результате. Обывательская. Житейская. Как думаете какая денег заработает?
Я вообще под интеллектом подразумеваю алгоритм способный со стопроцентной эффективностью заменить бабу Клаву на кассе. Вот заменит машина касиршу и будет способна переваривать весь бред от мясных интеллектов - вот и появился AGI. Заметьте я не присваиваю этому термину обязательство знать всё и решать всё. Это должен делать НЕчеловеческий интеллект. Способный решать всё +заменить бабу Клаву. И он тоже появится. Обязательно.
Ещё раз говорю - выход из этой сети - данные. Данные сами по себе не интеллект. Интеллект это алгоритм обработки данных. Результат работы интеллекта- другие данные. Которые тоже как бы не интеллект. Путаниц - из за того что мы выходным данным присваиваем свойства интеллекта.
Если я скажу вам ЧЕТЫРЕ. Вы неосознанно представите себе вполне объёмную четвёрку. Так устроена наша образная модель мира. Когда вы решает уравнения - то у вас в голове есть образы, без визуальной составляющей. Но они есть. Вон когда аутистов спрашивали как он быстро решают примеры - они рассказывали что оперируют визуальными фигурами.
Какой интересный вопрос. И я даже отвечал на него тут. По мойму статью даже писал. Или в коментах. Коротко - мозг в конкретный момент времени может находится в определённом состоянии. И в большинстве случаев - вы не мыслите логически. Действуете как работ. Можно сказать в этот момент в вас нету интеллекта. Только автономные алгоритмы поведения. Не задействован аналитический модуль. Как я уже говорил - интеллект это процесс. Даже осознать себя вы можете только тогда когда явно зададите сами себе вопрос - я есть ? Много писать короче. Вобщем без внутреннего диалога вы ведёте себя по принципу самосознания как у животных. Являетесь объектом моделирования внутреннего мира без осознанного управления этим объектом. Это всё из за экономии. Мозг лопнет от нагрузки если вы будете анализировать каждый свой шаг. Есть такая болезнь - отсутствие рецепторов на собственное тело. Там люди что бы просто делать шаги - мозг свой напрягаю до опупения.
Видели видеоигры? Там эмулируецся модель мира. Мы смотрим картинку - но что бы её нам показать под капотом происходят сложнейшие математические расчёты. Это отправная точка. Мы должны эмулировать такую же модель но не в виде видео. А в модели. Если мы будет брать современный компьютер - то это будет набор данных. Набор алгоритмов которые будут упровлять данными внутри этой модели.
Если взглянут напрямую на эти данные - то это будет каша. Но из за того что данные не сами по себе а существуют по законам модели - то мы получаем ряд интерфейсов. Ну на вскидку - добавить объект. Получить пространственные координаты объекта. Получить взаимосвязь с другими объектами. В случае математических абстракций - доступны интерфейсы математических воздействий на объекты. Если развить модель можно будет применять математические алгоритмы например к визуальным объектам. Короче это внутрення модель мира со своими законами поведения.
Вся сложность том что бы добиться максимальной эффективности работы модели. Видеокарты жрут киловаты для вывода картинки. Мозг человека ватты - результат правда не картинка а внутреннии обстракции. Но эффективность запредельная - миллионы лет
отладки кодаэволюции.Отдельная еденица эмуляции смысла не имеет. Смысла не имеют импульсы нейрона и float внутри LLM. Смысл есть только в процессе. Когда алгоритм начинает оперировать этими данными. Повторяю - данные сами по себе бессмысленны. Взаимодействия данных - это и есть смысл. Скажем так. тут путаница со временем. Данные имеют смысл. И мы как бы начинаем приписывать им те свойства - которые как бы к ним не относятся. Ведь мы спорим о том как эти данные получились. Почему эти данные со смыслом. и вот как раз получается что интеллект это не результат - а процесс. Результат это выходные данные интеллекта. И получаем что выходные данные и в LLM и Мясном мозге на выходе одинаковые. Но получены одни со смыслом, другая подражая смыслу.
Давайте я буду исходить из позиции что вы знаете как именно там работает механизм внимания. Так вот задам вопрос. Чем отличаются эмбединги слов до трансформера и после? До трансформера это можно сказать впринципе символы как в символьном ИИ. Хотя вру - это просто слоги. Выделения объектов тут и не пахнет.
После трансформера это уже просто позиции в векторном пространстве. Позиции размытые. До мы имели конкретный образ. После размытую ссылку на тысячи образов. И так с каждым словом. В этом лгоритме нету ткого понятия как память. Человек может в течении дня удерживать в голове конкретные образы - и они ни куда не денутся. В окне промта - слова преобразованные в направления удаляются навсегда начиная с первого слова. О том чот вообще было такое слово остаётся только остаточная память в соседних векторах - которые тоже будут удалены. Отсюда и все проблемы потери контекста.
Передёргиваете. Не буду комментировать. По ка что я думаю что мы друг друга понимаем.
Да потому что все эти формулировки ради чеславия их авторов. Чем туманнее формулировка тем небожительнее выглядит автор. Если её вообще никто не поймёт - это просто титан философии.
Я же руководствуюсь исключительно с практической точки зрения. Алгоритмы подрузумевают шагание по шагам. А это и есть время. В модели мира которую я постоянно упоминаю тоже должно быть свойство шагания по шагам.
Более того в мясном мозге это шагание чуть ли ни основная функция - все фокусы с обманом мозга на этом основаны. Заяц должен предугадать будущее - должен понят куда прыгнет волк что бы прыгнуть в другую сторону.
Грёбанный мозг поддерживает контекст годами. Стоит увидеть какуюто гадость - будет тебя преследовать годами. LLM - забудет сразу же как окно контекста сдвинется. Вообще быстрая память человека гдето 20 минут длится - после чего если объект остаётся в памяти - перемещается в долговременную. Но не будем тут алгоритмы мяса описывать. Про LLM дискуссия.
На самом нижнем слое ничем. Мясные нейроны передают друг другу частотные импульсы. Кремневые нейроны передают друг другу float.
Но на этом уровне что у мяса что у кремния и нету никакого AI.
AI это же прцесс. AI это алгоритм. Алгоритм эмуляции. Так вот дальше идут как раз координальные отличия алгоритма.
Если алгоритм оперирует образами ну или в другой терминологии - символами, также строит модели используя эти образы. Также в моделях реализует логику. То это AI.
Если алгоритм сделан так что организовывает огромную базу данных статистики и выдаёт следующий наиболее вероятный статистический вариант, а под вариантом я имею ввиду объекты статистики. В случаии с LLM это просто числа. Так вот это - симулякр. И ведёт себя как самый настоящий симулякр - внешне вроде живой, но постояно выдают сбои типичные для симулякра.
Можно я отвечу? Если алгоритм имеет короткую память (как у человека), где он строит модель мира, или модель обсуждения, или модель алгоритма если решается алгоритмическая задача и при этом в этой модели использует конечные симвлы, образы. То эта модель понимает что делает.
Когда человек мыслит - он мыслит образами. Законченными образами. Эволюционно из за зрения это как правило визуальные образы. Даже у слепых - там что то похожее на образ формируется. Также у человека есть короткая память - где и формируется весь контекст. Эволюционно такое модулирование мира было создано для предсказания будущего. Охотикам охотится. Жертвам избегать съедения.
Главным концептом в этой модуляции - это представление своей тушки внутри виртуального мира. Вообще у человека сложная модель эмуляции получилась. Первично это проекция от глаз. Но глаза сами не видят. Глаза это просто сигналы. Картину по сигналам уже строит мозг. Строит он её по образам. Можно почитать как образы формируются в зрительной коре. Кстати эти алгоритмы потом в свёрточные сети перекачивали. Так вот имея такой механизм - следующий шаг это модуляция образов без получения сигналов от зрения. Берутся сигналы из памяти.
Потом появился язык. Изначальные образ обросли ещё слоем - каждому образу начало сопоставляться звуковая фраза. Слово.
Ладно не буду дальше про человека.
Так вот про LLM - там нету ничего. Там нету образов. Там нету короткой памяти. Там есть только вероятность появление одной закарючки от другой. И алгоритм выдачи закорючек на выход. Всё. LLm выдаёт закорючки на выход - и только мы интерпретируем их как образы. Потому что у нас в мозгу есть привязка.
У LLM нету короткой памяти - это наверно самая главная проблема. Она не способна в логику. Потому что логика подразумевает временную эмуляцию. В LLM нету вообще понятия времени. В LLM есть окно промта. Каждое слово превращается в эмбединг и проходя через LLM каждому эмбедингу примешиваются понятия. Всё через цифры. Потом тупо берём последний эмбединг и получаем следующий слог. Весь промт сдвигается на 1 позицию. Объект может попросту выпасть из промта. Да - его типо понятия были включены в соседнии эмбединги. Но как мы видим - работает это херово. LLM постоянно утрачивает контекст. Эот часто не работает даже внутри контекста. Поотму как подмешивания понятия - тоже часто даёт сбои. А всё из за того что это статистическая модель. А не образная.
Короче можно долго писать различая. Но думаю суть передал.
Ну то что я описал - это я для примера. Как работают аналитические парсеры на входе. Тут нету никакого ноухау. Это очевидно всем. Ведь в чом была проблема создания символьных ИИ? Почему их 40 лет пилят, но так и не допилили до AGI? Для спец возможностей они вполне себе рулят.
Проблема в получении опыта. Проблема в самонасторйке. У человека обратная связь - это жизненный опыт. Все его сенсоры - это опыт. У LLM - обратная связь это алгоритм обратного распространения ошибки. А у символьных AI - это ручное вбивание правил.
И как показало время - очень не эффективный метод.
Но сейчас мы имеем новый инструмент - LLM как глобальный апроксиматор знаний может выступать в качестве жизненного опыта для символьных AI. И всё это можно автоматизировть и добавить скорости.
Вобщем все компании чатботов пилят продукт в этом направлении. И все всё скрывают. А в открытый доступ попросту выкидывают дезу. Берут правду - и упрощают её настолько что она уже и не совсем на правду похоже. Взять ту же сатью первую про описание трансформатора.
А алгоритмы обучение - в чём вообще вся суть. Их вообще никогда не было в открытом доступе. Есть только общее понятие. И всё.
Никто не может сказать как обучаются матрицы в трансформере. А там уже штук 40 голов. Как они распределяют понятия по этим гловам?
Ну это же не модно! Фу таким старым быть. Человек хочет что бы кнопку форк за него нажла LLM. Правда по пути пропустив исходный код через микер (упковала его в векторное пространство и веса перцептронной сети, а затем его оттуда забрала кое как). Ну и пусть что будет нерабочее гавно.
О 5/25. Извечная борьба
linux/windowsсимвольные ИИ / LLM. Все кто мало мальски в теме знает что такое символьные ИИ. Они лет 40 пытаются превратится в AGI. Но что то прорыв именно в человеческой речи сделала именно LLM. Также кто хочет быть в теме - знает как работает LLM и что он может, а что не может. Писать различия - надоело уже. Кто хочет сам найдёт. А тут кроме минус в карму ничего не будет.И да - кто хоть чуть чуть изучает тему про LLM поймёт одну скрытую вещь. Она как бы не скрытая, но ни один блогер почему то про это не знает и не обсуждает. Архитектура трансформера - и логика это противоположные вещи. Но вот чудеса - если вы скажете сложить числа LLM - она выдаст точный ответ. Не все выдадут с первой попытки, например DeepSeek - может выдать полную ахинею. Но продвинутые по типу claud - выдают правильно.
И вот вопрос - а с какого перепугу так? Кто умеет мыслить - уже догадались почему.
Скрытый текст
Дабы меня тут не окунули в унитаз за выёживание сразу напишу ответ. Документация по трансфомеру выкинутая OpenAI - это лишь базовое определение работы LLM которое пошло как развитие переводчика. Такая архитектура способна только предугадывать следующее слово. Но она абсолютно не способна на то что мы имеем в современных чатботах. Как думаете куда идут миллионы денег на современную разработку LLM? Сама архитектура особо не меняется. Ну ладно - экспериментируют с головами внимания и их количеством. Короче абсолютно все скрывают что на самом деле они делают. А делают они одно - пытаются прикрутить логику к LLM. А для этого надо на входе задать спец парсеры. Аркестраторы. Вот это и разрабатывают. И LLM там только как подключаемый модуль в цепочке ответа. Там этих спец LLM могут быть тучи. Каждая для своего случая. Есть модуль калькулятор - которому как раз передаются запросы о типу сложи числа.
Если вы зададите 5 вопросов в одном промте. Входной модуль разобьёт вопросы на подвпросы и пропустит каждый по отдельности через LLM.
Входной промт нашпиговывается спец управляющими ключами. А потом в выходном ответе эти ключи выпиливаются из ответа. Вы знали что есть LLM base, а есть instruct ? Instruct это модель base которую дообучают промтами со спец ключами. Ни один блогер про такое не говорит.
Вот опять 25. Не хотел ничего писать - и опят портянка. Слаб человек... На последок покажу пример. Я задаю текст про хомяка в LLM. Текст сказка на одну страницу. И говорю какой пол у хомяка? Обычная LLM просто продолжит сказку. А уже спец - сделает следующее.
То то человеку надо всего 20 ватт. Вот гад притворяется мыслящим! А на самом деле вообще оказывается симулякр какой то!
Ходил в спорт зал. Штанга 100кг от груди жим лёжа 10 раз легко. Собственный вес 120кг. Всё мышцы. Подтянутся - не помню уже, но практически невозможно было. Думаю что живчикам 50 килограммовым которые 100 раз легко подтягиваются привязать вес 60 кг, то тоже ни разу бы не подтянулись.