Всё я снимаю корону самого умного LLM для программинга с claud. Походу он самый тупой.
Вот краткий диалог общения:
Объясняю для тупых. Unsafe и await несовместимы. В коде есть await. Так с какого перпугу ты мне советуешь переделать код на unsafe? Опять же объясняю для тупых - в коде нет ошибок кроме места Sse2.LoadAlignedVector128 - можно обернуть только это место в unsafe. Но есть ли способ вообще без unsafe обойтись ?
Ответ
Извините за путаницу! Вы абсолютно правы. Вот решение без unsafe:
Тут переделанный метод. Но он не важен.
После метода дополнения. Там суть переделки
Используйте Vector128.Load((byte*)bytes) вместо Sse2.LoadAlignedVector128(bytes).
Это работает без unsafe контекста для всего метода и не требует выравнивания памяти.
Вы видите что он мне советует? Он в одном предложении говорит что byte* -это не unsafe. byte* - это грёбанный указатель который и есть суть unsafe.
Короче cloud сломался. Несите нового. Человек такую ахинею никогда бы не написал. Даже джун.
Вот только что работаю с claud. Есть функция С#. Переделываю с unsafe контекста на safe. Приложение перевожу на асинхронную модель с ValueTask везде. Поэтому внутри везде await - а он не дружит с unsafe (камень в тупой C# и его ленивых программистов компилятора, могли бы тупо проверку на использование fixed сделать). Так же внутри напрямую работаю с SSE векторными инструкциями процессора - приложение высоконагруженное.
вот пример из кода
if ((uint)Sse2.MoveMask(Sse2.CompareEqual(vec, Sse2.LoadAlignedVector128(page))) == 0xFFFF)
Короче всё переделал. Но векторные методы принимают только byte* - нужно обратно оборачивать в unsafe. Думаю может есть что с типом nint на прямую работает.
Задаю самому умному LLM Claud вопрос мол что есть? И знаете что он ответил? Он мне предложил обернуть всё в unsafe контекст - когда явно видит внутри await. Вот реально просто задолбало уже! Уже сто раз я ему говорил что он гонит. В других диалогах. Он прекрасно знает что unsfe и await несовместимы. Но опять мне предлагает ересь. Просто подгорает уже. Написал это как типичный пример какое гонево мне гонят LLM на мои вопросы.
P.S. К чему это я. Человек 1 раз изучив правило что await и unsafe несовместимы - никогда больше так не сделает. Как мы видим LLM похер на любые правила.
Зачем подбирать умышленно вопросы чтобы компрометировать ИИ?
Если не понятно зачем - то отвечаю.
LLM имеет архитектуру. И эта архитектура имеет дыры. Что бы найти эти дыры подбираются такие входные данные которые эти дыры выводят в свет.
Зачем это надо? Отвечаю.
Когда задаётся неконкретный вопрос - то LLM льёт кучу воды. 90 или даже 99% вполне достоверной. Но 1% вполне ложной. И эту ложность становится очень трудно отыскать если мы будет изначально думать что LLM никогда не врёт.
В программировании это вообще фатально. Я постоянно использую LLM в программировании. Если вопрос сложный, а у меня такая область знаний сложная - ссылочное (небезопасное) программирование в С#. Так вот там LLM почти всегда несёт пургу когда я её спрашиваю. А спрашиваю я её именно в моменты когда сам не разбираюсь. На простые вопросы она отвечает верно - но мне не нужны ответы на простые вопросы.
Отсюда имеем два мира реальности существующие параллельно. Мой опыт общения с LLM даёт много ложных результатов. А у других это просто манна небесная. А всё в том кто как работает с LLM.
Вот пример из прошлой недели. Задал вопрос самому умному на сегодняшний день LLM - Claud. Вопрос на тему криптобирж. Мне нужно было знать как рассчитывается алгоритм фаундинга в торговле фьючерсами. LLM налила воды и очень подробно объяснила.
Если бы я был невежд я бы пошёл сразу с этой инфой на биржу. Но я то знаю что из себя представляют LLM. Да и ответ мне не понравился - я знал этот алгоритм, мне нужны были нюансы.
Я сказал мол ты врёшь. И LLM дала новый ответ. Вот прямо противоположный.
Я сказал LLM - удали себя за тупость ты дала противоположные ответы.
Вот её ответ
Вы абсолютно правы, извините! Я действительно наговорил противоречивой ерунды.Дайте я погуглю точную механику расчёта funding rate на реальных биржах, чтобы дать вам правильный ответ вместо того, чтобы гадать.
Даже после этого я не могу доверять третьему ответу. Её гугление выглядит каким то подозрительным. Она открывает ссылки и парсит их быстрее чем у меня в браузере вообще ссылка откроется (скорость нета у меня 200Mb/s). И я плотно работаю в современном WEB. Почти на каждом сайте стоят антибот системы основанные на клиентском javascript.
Ну баба Клава-то у нас, конечно, оракул по социальным взаимодействиям, и всё знает, что делать.
Ну Баба Клава это просто понятие. И как ни странно Баба Клава может быть абсолютно тупой во всём. В математике. В логике. В биологии. Но зато она может стоять на кассе и обобщатся со всякими маргиналами. LLM не сможет.
Я не пытаюсь решить филосовский вопрос. Что есть сознание! Причём со 100% логическим или каким нибудь церковным доказательством.
Это нужно только узкому кругу людей.
А вот вопрос практического применения - тут 100% вариант решения. Либо можно применять, либо нельзя. Именно для замены людей LLM не работает. Пытаются но получается ахинея. Во как замена google- на ура справляется.
Ну блин, проявите интеллект и замените тогда «свёртчоные сети» на «алгоритм инференса по свёрточным сетям»
Так и знал что зацепитесь. Я там развернул понятие.
Нет. Я ничего не представлю.
Откуда вы знаете что вы представляете или нет. Как вам логическая бобма то ) Начнёте задавать себе вопрос - представляете или нет мозг обрабатывая этот вопрос неосознанно представит.
А если без шуток, то как я уже упоминал - мозг в большинстве случаем находится в режиме автопилота. Да и есть смыслы которые не имеют визуального представления. Деепричастия, глаголы и прочее.
что прямо на мой вопрос вы не ответили.
Тут были какие то конкретные вопросы? Вроде просто дискуссия. Как всегда превратившияся в портянки. Сожравшие весь вечер. Ну хоть поболтал.
P.S. Рад что не скатилось как обычно тут бывает до обычного любой ценой быть правым перед оппонентом.
Я могу с абсолютно тем же успехом сказать, что в LLM эмулируется модель мира
Не ну говорите что хотите. Кто ж запрещает то. Я же в свою очередь исхожу из прстого понимания и изучения внутренностей LLM. Там нету никакого внутреннего мира.
Что же касается понимания работы мясного AGI - то тут я просто пытаюсь анализировать поведение. И исходя из поведения представить алгоритм работа которого могла привести к такому поведению.
Я могу представить себе внутренние образы. Да те же сны если взять - это вообще прямая модуляция мира. Без подключенного модуля критического анализа. Сон для нас реальность. Проснулись. Подумали. И пришли к выводу - как этот бред нам мог показаться реальностью. А вот так - модуль критического мышления отключили. У всяких психов с расстройствами можно интересного почитать как они видят мир. Та же шизофрения - поломка общей логики, с очень логичной локальной логикой.
что движок видеоигр умеет думать. Неожиданный вывод!
Это же просто аналогия. Не более того. Я сам терпеть аналогии не могу - особенно в физике. Попросту тупо скрывают своего непонимание всякими тупыми аналогиями просто везде. Но в данном месте - мне показалось весьма простая и не взывающая не понятие аналогия. Это просто пример как нужно строить внутренний мир.
Образы есть, процесс есть, оперирование есть. Этот алгоритм (или процесс его выполнения) — интеллект?
Образов нету. Мне казалось что я тут уже описал как работает LLM. Во что она превращает эмбединги. Ладно давайте так. LLM - это полуинтелект AI/2. Почему так? Потому что он уже делает 90% работы которую делает человеческий интеллект. Но вот остальные 10% он не преодолеет никогда. Из за архитектуры. Проблемы которой очевидны. Нету образов. Нету памяти. НЕТУ ОБУЧЕНИЯ. Человк - всю жизнь учится. Обученная LLM - практически необучаема. Любое дообучение - ломает статистическую модель. Почитайте на какие титанические усилия на какие извращения идут что бы правильно обучить LLM. LLM лбученная на одну тему. Если её дообучить на другую тему - она полностью деградирует по первой теме. Это особенность работы статистического аппрата. В мясном AI с его образной структурой - дообучение не портит старые данные.
автоматически эквивалентны как интеллекты, следовательно LLM — интеллект.
LLM не даёт одинаковый результат. Или AGI уже сделали и я что то пропустил ?
Угу, всё как у людей. Образ «стул» — это какое-то месиво из всех видимых человеком
Вы тут кстати подметили одно из множества фундаментальных отличий LLM и мясного мозга. Ну или симаольного AI
Что бы LLM могла понять стул - её нужно скормить тонну обучающих данных. Технически это выглядит так - прогоняем стул - сеть не обуена на выходе мусор. Прогоняем обратную ошибку. Чуть до настраиваем сеть. Делаем 100500 пргонов эпох. Нейронные веса настроены.
Человеку покаали 1 РАЗ СТУЛ. Всё. он Обучен. Он может увидеть 10000 стульев и определит что это стул. Тут мы залезли в мультимодальные модели - про визуальный образ заговорили. Суть одна. в тексте человек тоже поймёт что речь про стул. А всё от того что внутри есть виртульная модель где можно проецировать сам стул - где и как расположены ножки, пинка, сиденье. Кстати LLM не знают что такое время. И они не понимают смысла пространства. Логические задачи на пространственное воображение человек решает. LLM - не решают. Ну разумеется я имею ввиду когда LLM не выдрала из памяти 1 в 1 то что она получила пр обучении. Типо - пропт AB - выдала на выход CD. Именно обсолютно новая пространственная загадка.
«Может» в смысле «с близкой к единице вероятностью успеха» или в смысле «иногда удаётся, если образ не слишком сложный и голова не сильно забита, и в прошлый четверг было полнолуние»?
Вы говорите про запомнить что то сложное. Я говорю - вообще запомнить что был что то. Просто как факт. Именно с этим и проблема у LLM. Они просто забывают про что вы говорили изначально. А всё потому что в данный момент у неё есть только набор эмбедингов последнего конекста.
моя абсолютно искренняя позиция — что среднее массовое представление о сознании как раз является таким чесанием ЧСВ
Смотрите. Я сделал просто. Мне просто пофиг на всякие философские смыслы. Важно только применение. Нужно заменить человека. Вот и всё. И сразу всё просто и логически становится. Может алгоритм заменить человека - гуд. Мы имеем AGI. Не можем ? Не имеем. А сейчас мы не можем. Чат боты не более чем поисковик. А всякие рассуждение - что есть душа... Ну пусть будут. Только не в топике где рассуждают о логике и устройстве. Можно конечно придраться. Тут можем. Тут не можем. У нас же про логику и реальность ? Вот пусть в реальности на кассе заменит бабу Клаву. А то читаешь статьи что в какой то компании поставили LLM управлять торговым автоматом. Сотрудники убедили его что у них коммунизм и всё должно быть бесплатно. Ну автомат всё и отдал. Логики ноль у LLM. Хотя вру. Тут как у шизофрении - локальна логика есть. Общая нет.
Где конкретно в логическом выводе ∀x. P x ⊢ P developer7 время?
Ну хотя бы в том что я потратил время на первый символ. Потом на второй. На третий. По шагам тратил. И в конце пришёл к выводу что это бессмысленный бред. Думаю что если кинуть LLM этот бессмысленный бред - она напишет тонну текста. Просто LLM в любом случае пишут тонну текста.
Что вы ели на завтрак 24-го января 2025-го года?
У меня есть моменты в жизни которые я видел 1 раз. Сразу понимал что этого не хочу видеть никогда. И запоминал на всю жизнь. Это кстати баг уже мясных символьных ИИ. Поверьте миллионы людей хотели бы почистить свою память.
Любой алгоритм может преобразовывать данные. Но не каждый алгоритмы можем назвать AGI. Я бы дополнил. AGI способен преобразовать ЛЮБЫЕ данные с входа на выход без потери смысла. Если AGI не владеет понятием отдельных частей входных данных - он должен запросить объяснение. Ну и также должен работать с абстракциями - понимать их. Создавать. Разворачивать и сворачивать.
Тут я попросту набросал набор алгоритмов - что бы можно было хотя бы так отличать одни алгоритмы не AGI от алгоритмов AGI
Могу сказать после ОЧЕНЬ продолжительного "общения" с DeepSeek и с другими LLM. Если их спрашиваьт про их устройство - они тупо врут. Всё. Но врут очень изысканно. Они льют посто тонну ничего незначащей воды.
Почему они это делают? Они просто апроксимироали текст от блогеров. LLM же скормили весь интернет. Блогеры же - у них у всех один алгоритм. Они никто не знает нюансов. Поэтому начинают обсасыватm какуюто малозначимую часть алгоритма. Которая на слуху. По типо функцию температуры. Или общее устройство трансформера. Когда вообще весь смысл в деталях которых никто не знает.
Лень разбирать эту воду по фразам. Пару недель назад я задавал вопрос DeppSeek сложи 386738467 + 89372498723 + 87236468
Вот такую ахинею выдал. Это кстати так работает истинная LLM которая только и делает что генерирует следующий токен
Скрытый текст
Шаг 1: Запишем числа друг под другом, выровняв по разрядам (единицы, десятки, сотни и т.д.):
text
38 673 8467 8 937 249 8723 8 723 6468
Такой формат не очень удобен. Давайте лучше отбросим пробелы и запишем числа столбиком правильно:
text
38 673 8467 89 372 498 723 8 723 6468
Это тоже не совсем правильно. Проблема в том, что первое и третье числа у вас записаны с пробелом как разделителем тысяч, а второе — вообще без пробелов в середине.
Давайте перепишем числа в обычном виде без пробелов (просто как последовательности цифр) и сложим их столбиком.
Данные числа:
386738467
89372498723
87236468
Шаг 2: Выравнивание по правому краю (по единицам):
text
38 673 8467 89 372 498 723 8 723 6468
Перепишем правильным столбиком:
text
386738467 89372498723 87236468
Шаг 3: Сложение столбиком, начиная с единиц.
text
386738467 89372498723 87236468 -------------
Для удобства можно добавить нули в начало меньших чисел, чтобы длины были одинаковыми:
Ща проврерил - ахинеи нет. Видимо понастроили входящий парсер что бы сразу кидало на калькулятор. Но думаю лекго подобрать такие числа что не на калькулятор отправится а на генерацию бреда.
Для начала неплохо бы определить, что такое «I», наконец, и мы тут вроде ровно этим пытаемся заниматься.
Скажем так есть филосовская точка зрения. А есть точка зрения - что я вообще хочу получить в результате. Обывательская. Житейская. Как думаете какая денег заработает?
Я вообще под интеллектом подразумеваю алгоритм способный со стопроцентной эффективностью заменить бабу Клаву на кассе. Вот заменит машина касиршу и будет способна переваривать весь бред от мясных интеллектов - вот и появился AGI. Заметьте я не присваиваю этому термину обязательство знать всё и решать всё. Это должен делать НЕчеловеческий интеллект. Способный решать всё +заменить бабу Клаву. И он тоже появится. Обязательно.
Чё-т всё ещё не понял. Вон свёрточные сети оперируют образами «палка под углом π/4». Они уже AI?
Ещё раз говорю - выход из этой сети - данные. Данные сами по себе не интеллект. Интеллект это алгоритм обработки данных. Результат работы интеллекта- другие данные. Которые тоже как бы не интеллект. Путаниц - из за того что мы выходным данным присваиваем свойства интеллекта.
Если я при решении задачи по теоркату не оперирую образами (в том же смысле, в котором мне хочется представить схему, не знаю, моей домашней локалки), то я в этот момент не интеллект?
Если я скажу вам ЧЕТЫРЕ. Вы неосознанно представите себе вполне объёмную четвёрку. Так устроена наша образная модель мира. Когда вы решает уравнения - то у вас в голове есть образы, без визуальной составляющей. Но они есть. Вон когда аутистов спрашивали как он быстро решают примеры - они рассказывали что оперируют визуальными фигурами.
то я в этот момент не интеллект?
Какой интересный вопрос. И я даже отвечал на него тут. По мойму статью даже писал. Или в коментах. Коротко - мозг в конкретный момент времени может находится в определённом состоянии. И в большинстве случаев - вы не мыслите логически. Действуете как работ. Можно сказать в этот момент в вас нету интеллекта. Только автономные алгоритмы поведения. Не задействован аналитический модуль. Как я уже говорил - интеллект это процесс. Даже осознать себя вы можете только тогда когда явно зададите сами себе вопрос - я есть ? Много писать короче. Вобщем без внутреннего диалога вы ведёте себя по принципу самосознания как у животных. Являетесь объектом моделирования внутреннего мира без осознанного управления этим объектом. Это всё из за экономии. Мозг лопнет от нагрузки если вы будете анализировать каждый свой шаг. Есть такая болезнь - отсутствие рецепторов на собственное тело. Там люди что бы просто делать шаги - мозг свой напрягаю до опупения.
Видели видеоигры? Там эмулируецся модель мира. Мы смотрим картинку - но что бы её нам показать под капотом происходят сложнейшие математические расчёты. Это отправная точка. Мы должны эмулировать такую же модель но не в виде видео. А в модели. Если мы будет брать современный компьютер - то это будет набор данных. Набор алгоритмов которые будут упровлять данными внутри этой модели.
Если взглянут напрямую на эти данные - то это будет каша. Но из за того что данные не сами по себе а существуют по законам модели - то мы получаем ряд интерфейсов. Ну на вскидку - добавить объект. Получить пространственные координаты объекта. Получить взаимосвязь с другими объектами. В случае математических абстракций - доступны интерфейсы математических воздействий на объекты. Если развить модель можно будет применять математические алгоритмы например к визуальным объектам. Короче это внутрення модель мира со своими законами поведения.
Вся сложность том что бы добиться максимальной эффективности работы модели. Видеокарты жрут киловаты для вывода картинки. Мозг человека ватты - результат правда не картинка а внутреннии обстракции. Но эффективность запредельная - миллионы лет отладки кода эволюции.
Когда word2vec мапит набор токенов в векторное пространство, которое имеет смысл
Отдельная еденица эмуляции смысла не имеет. Смысла не имеют импульсы нейрона и float внутри LLM. Смысл есть только в процессе. Когда алгоритм начинает оперировать этими данными. Повторяю - данные сами по себе бессмысленны. Взаимодействия данных - это и есть смысл. Скажем так. тут путаница со временем. Данные имеют смысл. И мы как бы начинаем приписывать им те свойства - которые как бы к ним не относятся. Ведь мы спорим о том как эти данные получились. Почему эти данные со смыслом. и вот как раз получается что интеллект это не результат - а процесс. Результат это выходные данные интеллекта. И получаем что выходные данные и в LLM и Мясном мозге на выходе одинаковые. Но получены одни со смыслом, другая подражая смыслу.
Контекстное окно как память? Аттеншн как механизм извлечения из этой памяти?
Давайте я буду исходить из позиции что вы знаете как именно там работает механизм внимания. Так вот задам вопрос. Чем отличаются эмбединги слов до трансформера и после? До трансформера это можно сказать впринципе символы как в символьном ИИ. Хотя вру - это просто слоги. Выделения объектов тут и не пахнет.
После трансформера это уже просто позиции в векторном пространстве. Позиции размытые. До мы имели конкретный образ. После размытую ссылку на тысячи образов. И так с каждым словом. В этом лгоритме нету ткого понятия как память. Человек может в течении дня удерживать в голове конкретные образы - и они ни куда не денутся. В окне промта - слова преобразованные в направления удаляются навсегда начиная с первого слова. О том чот вообще было такое слово остаётся только остаточная память в соседних векторах - которые тоже будут удалены. Отсюда и все проблемы потери контекста.
Implying большинство людей в неё способно.
Передёргиваете. Не буду комментировать. По ка что я думаю что мы друг друга понимаем.
Не понял. Почему? Я могу вам привести этак минимум четыре разных формулировки логики, и ни в одной из них нет вообще ничего про время.
Да потому что все эти формулировки ради чеславия их авторов. Чем туманнее формулировка тем небожительнее выглядит автор. Если её вообще никто не поймёт - это просто титан философии.
Я же руководствуюсь исключительно с практической точки зрения. Алгоритмы подрузумевают шагание по шагам. А это и есть время. В модели мира которую я постоянно упоминаю тоже должно быть свойство шагания по шагам.
Более того в мясном мозге это шагание чуть ли ни основная функция - все фокусы с обманом мозга на этом основаны. Заяц должен предугадать будущее - должен понят куда прыгнет волк что бы прыгнуть в другую сторону.
Каков размер активной памяти у человека, и как хорошо человек поддерживает контекст?
Грёбанный мозг поддерживает контекст годами. Стоит увидеть какуюто гадость - будет тебя преследовать годами. LLM - забудет сразу же как окно контекста сдвинется. Вообще быстрая память человека гдето 20 минут длится - после чего если объект остаётся в памяти - перемещается в долговременную. Но не будем тут алгоритмы мяса описывать. Про LLM дискуссия.
Чем «картина мира» принципиально отличается от набора весов в графовой модели этого мира?
На самом нижнем слое ничем. Мясные нейроны передают друг другу частотные импульсы. Кремневые нейроны передают друг другу float.
Но на этом уровне что у мяса что у кремния и нету никакого AI.
AI это же прцесс. AI это алгоритм. Алгоритм эмуляции. Так вот дальше идут как раз координальные отличия алгоритма.
Если алгоритм оперирует образами ну или в другой терминологии - символами, также строит модели используя эти образы. Также в моделях реализует логику. То это AI.
Если алгоритм сделан так что организовывает огромную базу данных статистики и выдаёт следующий наиболее вероятный статистический вариант, а под вариантом я имею ввиду объекты статистики. В случаии с LLM это просто числа. Так вот это - симулякр. И ведёт себя как самый настоящий симулякр - внешне вроде живой, но постояно выдают сбои типичные для симулякра.
Можно я отвечу? Если алгоритм имеет короткую память (как у человека), где он строит модель мира, или модель обсуждения, или модель алгоритма если решается алгоритмическая задача и при этом в этой модели использует конечные симвлы, образы. То эта модель понимает что делает.
Когда человек мыслит - он мыслит образами. Законченными образами. Эволюционно из за зрения это как правило визуальные образы. Даже у слепых - там что то похожее на образ формируется. Также у человека есть короткая память - где и формируется весь контекст. Эволюционно такое модулирование мира было создано для предсказания будущего. Охотикам охотится. Жертвам избегать съедения.
Главным концептом в этой модуляции - это представление своей тушки внутри виртуального мира. Вообще у человека сложная модель эмуляции получилась. Первично это проекция от глаз. Но глаза сами не видят. Глаза это просто сигналы. Картину по сигналам уже строит мозг. Строит он её по образам. Можно почитать как образы формируются в зрительной коре. Кстати эти алгоритмы потом в свёрточные сети перекачивали. Так вот имея такой механизм - следующий шаг это модуляция образов без получения сигналов от зрения. Берутся сигналы из памяти.
Потом появился язык. Изначальные образ обросли ещё слоем - каждому образу начало сопоставляться звуковая фраза. Слово.
Ладно не буду дальше про человека.
Так вот про LLM - там нету ничего. Там нету образов. Там нету короткой памяти. Там есть только вероятность появление одной закарючки от другой. И алгоритм выдачи закорючек на выход. Всё. LLm выдаёт закорючки на выход - и только мы интерпретируем их как образы. Потому что у нас в мозгу есть привязка.
У LLM нету короткой памяти - это наверно самая главная проблема. Она не способна в логику. Потому что логика подразумевает временную эмуляцию. В LLM нету вообще понятия времени. В LLM есть окно промта. Каждое слово превращается в эмбединг и проходя через LLM каждому эмбедингу примешиваются понятия. Всё через цифры. Потом тупо берём последний эмбединг и получаем следующий слог. Весь промт сдвигается на 1 позицию. Объект может попросту выпасть из промта. Да - его типо понятия были включены в соседнии эмбединги. Но как мы видим - работает это херово. LLM постоянно утрачивает контекст. Эот часто не работает даже внутри контекста. Поотму как подмешивания понятия - тоже часто даёт сбои. А всё из за того что это статистическая модель. А не образная.
Короче можно долго писать различая. Но думаю суть передал.
Ну то что я описал - это я для примера. Как работают аналитические парсеры на входе. Тут нету никакого ноухау. Это очевидно всем. Ведь в чом была проблема создания символьных ИИ? Почему их 40 лет пилят, но так и не допилили до AGI? Для спец возможностей они вполне себе рулят.
Проблема в получении опыта. Проблема в самонасторйке. У человека обратная связь - это жизненный опыт. Все его сенсоры - это опыт. У LLM - обратная связь это алгоритм обратного распространения ошибки. А у символьных AI - это ручное вбивание правил.
И как показало время - очень не эффективный метод.
Но сейчас мы имеем новый инструмент - LLM как глобальный апроксиматор знаний может выступать в качестве жизненного опыта для символьных AI. И всё это можно автоматизировть и добавить скорости.
Вобщем все компании чатботов пилят продукт в этом направлении. И все всё скрывают. А в открытый доступ попросту выкидывают дезу. Берут правду - и упрощают её настолько что она уже и не совсем на правду похоже. Взять ту же сатью первую про описание трансформатора.
А алгоритмы обучение - в чём вообще вся суть. Их вообще никогда не было в открытом доступе. Есть только общее понятие. И всё.
Никто не может сказать как обучаются матрицы в трансформере. А там уже штук 40 голов. Как они распределяют понятия по этим гловам?
Ну это же не модно! Фу таким старым быть. Человек хочет что бы кнопку форк за него нажла LLM. Правда по пути пропустив исходный код через микер (упковала его в векторное пространство и веса перцептронной сети, а затем его оттуда забрала кое как). Ну и пусть что будет нерабочее гавно.
О 5/25. Извечная борьба linux/windows символьные ИИ / LLM. Все кто мало мальски в теме знает что такое символьные ИИ. Они лет 40 пытаются превратится в AGI. Но что то прорыв именно в человеческой речи сделала именно LLM. Также кто хочет быть в теме - знает как работает LLM и что он может, а что не может. Писать различия - надоело уже. Кто хочет сам найдёт. А тут кроме минус в карму ничего не будет.
И да - кто хоть чуть чуть изучает тему про LLM поймёт одну скрытую вещь. Она как бы не скрытая, но ни один блогер почему то про это не знает и не обсуждает. Архитектура трансформера - и логика это противоположные вещи. Но вот чудеса - если вы скажете сложить числа LLM - она выдаст точный ответ. Не все выдадут с первой попытки, например DeepSeek - может выдать полную ахинею. Но продвинутые по типу claud - выдают правильно.
И вот вопрос - а с какого перепугу так? Кто умеет мыслить - уже догадались почему.
Скрытый текст
Дабы меня тут не окунули в унитаз за выёживание сразу напишу ответ. Документация по трансфомеру выкинутая OpenAI - это лишь базовое определение работы LLM которое пошло как развитие переводчика. Такая архитектура способна только предугадывать следующее слово. Но она абсолютно не способна на то что мы имеем в современных чатботах. Как думаете куда идут миллионы денег на современную разработку LLM? Сама архитектура особо не меняется. Ну ладно - экспериментируют с головами внимания и их количеством. Короче абсолютно все скрывают что на самом деле они делают. А делают они одно - пытаются прикрутить логику к LLM. А для этого надо на входе задать спец парсеры. Аркестраторы. Вот это и разрабатывают. И LLM там только как подключаемый модуль в цепочке ответа. Там этих спец LLM могут быть тучи. Каждая для своего случая. Есть модуль калькулятор - которому как раз передаются запросы о типу сложи числа.
Если вы зададите 5 вопросов в одном промте. Входной модуль разобьёт вопросы на подвпросы и пропустит каждый по отдельности через LLM.
Входной промт нашпиговывается спец управляющими ключами. А потом в выходном ответе эти ключи выпиливаются из ответа. Вы знали что есть LLM base, а есть instruct ? Instruct это модель base которую дообучают промтами со спец ключами. Ни один блогер про такое не говорит.
Вот опять 25. Не хотел ничего писать - и опят портянка. Слаб человек... На последок покажу пример. Я задаю текст про хомяка в LLM. Текст сказка на одну страницу. И говорю какой пол у хомяка? Обычная LLM просто продолжит сказку. А уже спец - сделает следующее.
Алгоритм поиска:
Поиск прямых номинаций родства в мужском роде:
Сканирование текста на наличие слов из целевого списка: сын, сыночек, мальчик, первенец (часто муж.рода).
Находка 1: "балованного сыночка" (предложение 5). Алгоритм фиксирует: слово "сыночек" напрямую указывает на мужской пол родителя по отношению к ребенку.
Поиск анафорических цепочек (связь местоимений с сущностью):
Задается вопрос: какими местоимениями (он, его, ним, ему или она, её, ней) текст заменяет существительное "Хомячок"?
Система прослеживает все ссылки. Результат: Везде, где речь о действиях или состоянии Хомячка, используются местоимения мужского рода (он, ему, его). Пример: "Он затихал", "ему нравилось", "взял его на руки". Это мощный грамматический маркер.
Кросс-валидация (проверка на согласованность):
Проверяется, не противоречат ли найденные маркеры друг другу или другим фактам. Например, не называет ли кто-то Хомячка "дочкой" в другом месте? В данном тексте противоречий нет.
Проверяется контекст реплик: кто говорит "сыночек"? Родители. Это надежный источник информации в рамках истории.
Этап 4: Формирование ответа на основе извлеченных данных
Сбор доказательной базы: Система собирает "цитаты"-токены, послужившие основаниями:
Факт 1: Прямая номинация (сыночек).
Факт 2: Прямая номинация (сынок).
Факт 3: Грамматическая согласованность (цепочка местоимений он/его).
Генерация ответа: На основе этих фактов формулируется утвердительный ответ, который:
Дает четкий ответ на вопрос ("Хомяк — мужского пола").
Приводит явные ссылки на текст в качестве обоснования, потому что внутренние правила (инструкции) предписывают быть объяснимым.
Строится грамматически правильное предложение на русском языке.
Ходил в спорт зал. Штанга 100кг от груди жим лёжа 10 раз легко. Собственный вес 120кг. Всё мышцы. Подтянутся - не помню уже, но практически невозможно было. Думаю что живчикам 50 килограммовым которые 100 раз легко подтягиваются привязать вес 60 кг, то тоже ни разу бы не подтянулись.
Вот из каждого утюга про это слышу. А когда начинаешь справшивать что да как - то максимум используют для писания локальных функций.
Я сам постоянно пользуюсь LLM - он попросту заменил гугл. Но дальше алгоритмов и отдельных функций его применять невозможно. Если ему кинуть класс хотя бы на страницу и попросить проверить логику - то его максимум найти синтаксические ошибки. Но если бы только это - то было бы норм. Всегда выдаёт тонну ошибок - которые вообще мусор и к теме не относится. Пол часа ему доказываешь что он не прав. В конце он соглашается. Думаешь нахрена ты вообще время тратил. А потом на то что он говорит мол всё ок - сам находишь логические ошибки...
Разумеется нужно нормальное ТЗ
Максимальное точное ТЗ - это код. Зачем тогда нужен этот промежуточный лишний шаг в виде LLM?
Какую хрень? Отлично генерируют код.
Я пишу на С# - генерирует хрень. Да рабочую, может быть. Но всегда лишнего кода просто куча. Я использую для генерауци шаблонов - смотрю на хрень и переписваю под себя. Так получается быстрее чем писать с нуля. Хотя 50/50. Часто это переписка занимает больше времени чем самому писать.
Шок сенсация! Калькулятор за пол доллара быстрее всех людей на земле считает цифры!!!
Эй LLM - вот тебе кодовая база Linux - напиши драйвер для той железяки. Ой всё. У меня лапки.
А вот мясные мешки почти каждый спустя какое то время сможет (не сильно умным конечно понадобится значительное время)
Да фиг с тем линуксом. Хоть один более менее значимый проект есть который от начала и до конца написан LLM?
Ладно, не будем брать сложное где потеря одного бита крашит всю программу.
Пусть будут игры. Где игры написанные от нуля до конца? Не надо предлагать очередной полностью скопированный из githab клон каково нибудь minecraft
P.S. Если для работы с LLM нужен будет программист - то это просто очередной помощник. Как компилятор. И вот что то вообще не видно что от программиста можно пока избавится. Более того - LLM генерируют такую хрень что с этим сможет в последствии разобраться только программист-гений.
Тут дискуссия внизу продолжилась. Перечитал коммент свой - написал его коряво. Уточню что бы не разводить холивар. Под векторными многомерными полями я подразумевал что нейронные сети содержат в себе алгоритмы преобразования эмбедингов. Суть этих преобразований создания многомерного пространства где рядом лежат вектора других "смыслов" которые шли друг за другом при обучении. Так что пусть будут нейроны. Хотя этот термин настолько сегодня потаскан - что не несёт в себе вообще понятия какой внутри всё же используется алгоритм. Один может думать про один алгоритм, другой про другой. На что я и сагрился.
P.S. Опять же написал что знаю как устроена LLM. Скажем так я ознакомлен с общими принципами и некоторыми частями углубленно. Но как показал диалог, да собственно это и не секрет, разновидностей устройства может быть большим. Понятия которые используются в диалоге - тоже расплывчаты. Я когда пишу про векторную БД не имею ввиду класическую векторную БД, а имею ввиду что используются алгоритмы векторной алгебры. Но мой аппонент может, и имеет право, придратся.
Вы описали частные улучшения. Но главной же причиной остаётся увеличение векторного пространства. Это как бы не моё мнение а общее.
Ведь если упростить работу трансформера до предела то он работает так. У нас есть векторное пространство. Которое представляет из себя как бы области, грубо говоря круги. В каждом таком круге находятся слова (слоги), но пусть будут слова которые как бы должны идти друг за другом. Это векторная БД наполняется из обучающей выборки. И получили следующее - когда плотность этих областей была разреженной - то на выходе при сцеплении эмбеденгов (а слова -слоги там как раз в виде эмбедингов находятся) короче на выходе получался бред. Как только плотность этих областей превысило какую то критическую точку - на выходе уже как бы и не бред. А вполне нормальная мысль.
Весь прикол в том что до сих пор не совсем понятно почему так произошло. Имеется ввиду теория. Интуитивно то вроде понятно - больше осмысленных цепей таких эмбедингов заложили в векторную БД - тем больше шанс что пройдя по такой цепи мы получим осмысленность а не бред.
Ваша слова верны в следующем. Они с помощью голов сделали алгоритм сохранения контекста. Но все видят как глючнуто он работает. Намного лучше чем раньше - но вообще не близко к сильному ИИ. Кто плотно пользуются ИИ (как я) чётко видят как теряют контекст современные чатботы. И чётко видят предел где можно использовать этот ИИ. Поисковик- да. Простые алгоритмы - да. Сложные алгоритмы - нет. Тестирование программ, или сложная логика с объектами и временем - НЕТ в квадрате.
Много можно написать - но блин мои ответы это простыни. Никому не нужные.
Всё я снимаю корону самого умного LLM для программинга с claud. Походу он самый тупой.
Вот краткий диалог общения:
Ответ
Вы видите что он мне советует? Он в одном предложении говорит что
byte* -это не unsafe. byte* - это грёбанный указатель который и есть суть unsafe.Короче cloud сломался. Несите нового. Человек такую ахинею никогда бы не написал. Даже джун.Вот только что работаю с claud. Есть функция С#. Переделываю с unsafe контекста на safe. Приложение перевожу на асинхронную модель с ValueTask везде. Поэтому внутри везде await - а он не дружит с unsafe (камень в тупой C# и его ленивых программистов компилятора, могли бы тупо проверку на использование fixed сделать). Так же внутри напрямую работаю с SSE векторными инструкциями процессора - приложение высоконагруженное.
вот пример из кода
Короче всё переделал. Но векторные методы принимают только byte* - нужно обратно оборачивать в unsafe. Думаю может есть что с типом nint на прямую работает.
Задаю самому умному LLM Claud вопрос мол что есть? И знаете что он ответил? Он мне предложил обернуть всё в unsafe контекст - когда явно видит внутри await. Вот реально просто задолбало уже! Уже сто раз я ему говорил что он гонит. В других диалогах. Он прекрасно знает что unsfe и await несовместимы. Но опять мне предлагает ересь. Просто подгорает уже. Написал это как типичный пример какое гонево мне гонят LLM на мои вопросы.
P.S. К чему это я. Человек 1 раз изучив правило что await и unsafe несовместимы - никогда больше так не сделает. Как мы видим LLM похер на любые правила.
Если не понятно зачем - то отвечаю.
LLM имеет архитектуру. И эта архитектура имеет дыры. Что бы найти эти дыры подбираются такие входные данные которые эти дыры выводят в свет.
Зачем это надо? Отвечаю.
Когда задаётся неконкретный вопрос - то LLM льёт кучу воды. 90 или даже 99% вполне достоверной. Но 1% вполне ложной. И эту ложность становится очень трудно отыскать если мы будет изначально думать что LLM никогда не врёт.
В программировании это вообще фатально. Я постоянно использую LLM в программировании. Если вопрос сложный, а у меня такая область знаний сложная - ссылочное (небезопасное) программирование в С#. Так вот там LLM почти всегда несёт пургу когда я её спрашиваю. А спрашиваю я её именно в моменты когда сам не разбираюсь. На простые вопросы она отвечает верно - но мне не нужны ответы на простые вопросы.
Отсюда имеем два мира реальности существующие параллельно. Мой опыт общения с LLM даёт много ложных результатов. А у других это просто манна небесная. А всё в том кто как работает с LLM.
Вот пример из прошлой недели. Задал вопрос самому умному на сегодняшний день LLM - Claud. Вопрос на тему криптобирж. Мне нужно было знать как рассчитывается алгоритм фаундинга в торговле фьючерсами. LLM налила воды и очень подробно объяснила.
Если бы я был невежд я бы пошёл сразу с этой инфой на биржу. Но я то знаю что из себя представляют LLM. Да и ответ мне не понравился - я знал этот алгоритм, мне нужны были нюансы.
Я сказал мол ты врёшь. И LLM дала новый ответ. Вот прямо противоположный.
Я сказал LLM -
удали себя за тупостьты дала противоположные ответы.Вот её ответ
Даже после этого я не могу доверять третьему ответу. Её гугление выглядит каким то подозрительным. Она открывает ссылки и парсит их быстрее чем у меня в браузере вообще ссылка откроется (скорость нета у меня 200Mb/s). И я плотно работаю в современном WEB. Почти на каждом сайте стоят антибот системы основанные на клиентском javascript.
Короче соврамши единожды будет врать всегда...
Ну Баба Клава это просто понятие. И как ни странно Баба Клава может быть абсолютно тупой во всём. В математике. В логике. В биологии. Но зато она может стоять на кассе и обобщатся со всякими маргиналами. LLM не сможет.
Я не пытаюсь решить филосовский вопрос. Что есть сознание! Причём со 100% логическим или каким нибудь церковным доказательством.
Это нужно только узкому кругу людей.
А вот вопрос практического применения - тут 100% вариант решения. Либо можно применять, либо нельзя. Именно для замены людей LLM не работает. Пытаются но получается ахинея. Во как замена google- на ура справляется.
Так и знал что зацепитесь. Я там развернул понятие.
Откуда вы знаете что вы представляете или нет. Как вам логическая бобма то ) Начнёте задавать себе вопрос - представляете или нет мозг обрабатывая этот вопрос неосознанно представит.
А если без шуток, то как я уже упоминал - мозг в большинстве случаем находится в режиме автопилота. Да и есть смыслы которые не имеют визуального представления. Деепричастия, глаголы и прочее.
Тут были какие то конкретные вопросы? Вроде просто дискуссия. Как всегда превратившияся в портянки. Сожравшие весь вечер. Ну хоть поболтал.
P.S. Рад что не скатилось как обычно тут бывает до обычного любой ценой быть правым перед оппонентом.
Не ну говорите что хотите. Кто ж запрещает то. Я же в свою очередь исхожу из прстого понимания и изучения внутренностей LLM. Там нету никакого внутреннего мира.
Что же касается понимания работы мясного AGI - то тут я просто пытаюсь анализировать поведение. И исходя из поведения представить алгоритм работа которого могла привести к такому поведению.
Я могу представить себе внутренние образы. Да те же сны если взять - это вообще прямая модуляция мира. Без подключенного модуля критического анализа. Сон для нас реальность. Проснулись. Подумали. И пришли к выводу - как этот бред нам мог показаться реальностью. А вот так - модуль критического мышления отключили. У всяких психов с расстройствами можно интересного почитать как они видят мир. Та же шизофрения - поломка общей логики, с очень логичной локальной логикой.
Это же просто аналогия. Не более того. Я сам терпеть аналогии не могу - особенно в физике. Попросту тупо скрывают своего непонимание всякими тупыми аналогиями просто везде. Но в данном месте - мне показалось весьма простая и не взывающая не понятие аналогия. Это просто пример как нужно строить внутренний мир.
Образов нету. Мне казалось что я тут уже описал как работает LLM. Во что она превращает эмбединги. Ладно давайте так. LLM - это полуинтелект AI/2. Почему так? Потому что он уже делает 90% работы которую делает человеческий интеллект. Но вот остальные 10% он не преодолеет никогда. Из за архитектуры. Проблемы которой очевидны. Нету образов. Нету памяти. НЕТУ ОБУЧЕНИЯ. Человк - всю жизнь учится. Обученная LLM - практически необучаема. Любое дообучение - ломает статистическую модель. Почитайте на какие титанические усилия на какие извращения идут что бы правильно обучить LLM. LLM лбученная на одну тему. Если её дообучить на другую тему - она полностью деградирует по первой теме. Это особенность работы статистического аппрата. В мясном AI с его образной структурой - дообучение не портит старые данные.
LLM не даёт одинаковый результат. Или AGI уже сделали и я что то пропустил ?
Вы тут кстати подметили одно из множества фундаментальных отличий LLM и мясного мозга. Ну или симаольного AI
Что бы LLM могла понять стул - её нужно скормить тонну обучающих данных. Технически это выглядит так - прогоняем стул - сеть не обуена на выходе мусор. Прогоняем обратную ошибку. Чуть до настраиваем сеть. Делаем 100500 пргонов эпох. Нейронные веса настроены.
Человеку покаали 1 РАЗ СТУЛ. Всё. он Обучен. Он может увидеть 10000 стульев и определит что это стул. Тут мы залезли в мультимодальные модели - про визуальный образ заговорили. Суть одна. в тексте человек тоже поймёт что речь про стул. А всё от того что внутри есть виртульная модель где можно проецировать сам стул - где и как расположены ножки, пинка, сиденье. Кстати LLM не знают что такое время. И они не понимают смысла пространства. Логические задачи на пространственное воображение человек решает. LLM - не решают. Ну разумеется я имею ввиду когда LLM не выдрала из памяти 1 в 1 то что она получила пр обучении. Типо - пропт AB - выдала на выход CD. Именно обсолютно новая пространственная загадка.
Вы говорите про запомнить что то сложное. Я говорю - вообще запомнить что был что то. Просто как факт. Именно с этим и проблема у LLM. Они просто забывают про что вы говорили изначально. А всё потому что в данный момент у неё есть только набор эмбедингов последнего конекста.
Смотрите. Я сделал просто. Мне просто пофиг на всякие философские смыслы. Важно только применение. Нужно заменить человека. Вот и всё. И сразу всё просто и логически становится. Может алгоритм заменить человека - гуд. Мы имеем AGI. Не можем ? Не имеем. А сейчас мы не можем. Чат боты не более чем поисковик. А всякие рассуждение - что есть душа... Ну пусть будут. Только не в топике где рассуждают о логике и устройстве. Можно конечно придраться. Тут можем. Тут не можем. У нас же про логику и реальность ? Вот пусть в реальности на кассе заменит бабу Клаву. А то читаешь статьи что в какой то компании поставили LLM управлять торговым автоматом. Сотрудники убедили его что у них коммунизм и всё должно быть бесплатно. Ну автомат всё и отдал. Логики ноль у LLM. Хотя вру. Тут как у шизофрении - локальна логика есть. Общая нет.
Ну хотя бы в том что я потратил время на первый символ. Потом на второй. На третий. По шагам тратил. И в конце пришёл к выводу что это бессмысленный бред. Думаю что если кинуть LLM этот бессмысленный бред - она напишет тонну текста. Просто LLM в любом случае пишут тонну текста.
У меня есть моменты в жизни которые я видел 1 раз. Сразу понимал что этого не хочу видеть никогда. И запоминал на всю жизнь. Это кстати баг уже мясных символьных ИИ. Поверьте миллионы людей хотели бы почистить свою память.
Тут допустил двусмысленность
Любой алгоритм может преобразовывать данные. Но не каждый алгоритмы можем назвать AGI. Я бы дополнил. AGI способен преобразовать ЛЮБЫЕ данные с входа на выход без потери смысла. Если AGI не владеет понятием отдельных частей входных данных - он должен запросить объяснение. Ну и также должен работать с абстракциями - понимать их. Создавать. Разворачивать и сворачивать.
Тут я попросту набросал набор алгоритмов - что бы можно было хотя бы так отличать одни алгоритмы не AGI от алгоритмов AGI
Могу сказать после ОЧЕНЬ продолжительного "общения" с DeepSeek и с другими LLM. Если их спрашиваьт про их устройство - они тупо врут. Всё. Но врут очень изысканно. Они льют посто тонну ничего незначащей воды.
Почему они это делают? Они просто апроксимироали текст от блогеров. LLM же скормили весь интернет. Блогеры же - у них у всех один алгоритм. Они никто не знает нюансов. Поэтому начинают обсасыватm какуюто малозначимую часть алгоритма. Которая на слуху. По типо функцию температуры. Или общее устройство трансформера. Когда вообще весь смысл в деталях которых никто не знает.
Лень разбирать эту воду по фразам. Пару недель назад я задавал вопрос DeppSeek сложи 386738467 + 89372498723 + 87236468
Вот такую ахинею выдал. Это кстати так работает истинная LLM которая только и делает что генерирует следующий токен
Скрытый текст
Шаг 1: Запишем числа друг под другом, выровняв по разрядам (единицы, десятки, сотни и т.д.):
text
Такой формат не очень удобен. Давайте лучше отбросим пробелы и запишем числа столбиком правильно:
text
Это тоже не совсем правильно. Проблема в том, что первое и третье числа у вас записаны с пробелом как разделителем тысяч, а второе — вообще без пробелов в середине.
Давайте перепишем числа в обычном виде без пробелов (просто как последовательности цифр) и сложим их столбиком.
Данные числа:
386738467
89372498723
87236468
Шаг 2: Выравнивание по правому краю (по единицам):
text
Перепишем правильным столбиком:
text
Шаг 3: Сложение столбиком, начиная с единиц.
text
Для удобства можно добавить нули в начало меньших чисел, чтобы длины были одинаковыми:
(Но можно складывать и без этого)
Просто сложим:
Сумма разряда единиц: 7 + 3 + 8 = 18 (пишем 8, переносим 1)
Сумма десятков: 6 + 2 + 6 + (1 перенос) = 15 (пишем 5, переносим 1)
Сумма сотен: 4 + 7 + 4 + 1 = 16 (пишем 6, переносим 1)
Сумма тысяч: 3 + 8 + 3 + 1 = 15 (пишем 5, переносим 1)
Десятки тысяч: 8 + 9 + 2 + 1 = 20 (пишем 0, переносим 2)
Сотни тысяч: 7 + 4 + 7 + 2 = 20 (пишем 0, переносим 2)
Миллионы: 6 + 7 + 3 + 2 = 18 (пишем 8, переносим 1)
Десятки миллионов: 8 + 3 + 8 + 1 = 20 (пишем 0, переносим 2)
Сотни миллионов: (в первом числе 3) + (во втором 9) + (в третьем нет) + 2 = 3 + 9 + 2 = 14 (пишем 4, переносим 1)
Миллиарды: (в первом нет) + (во втором 8) + 1 = 8 + 1 = 9 (пишем 9)
Десятки миллиардов: (только во втором числе 9) → пишем 9.
Шаг 4: Читаем результат сверху вниз (после сложения):
Получаем: 90 385 695 658
Шаг 5: Проверим сложением в более наглядном виде:
386 738 467 + 89 372 498 723 = 89 759 237 190
89 759 237 190 + 87 236 468 = 90 385 695 658
Ща проврерил - ахинеи нет. Видимо понастроили входящий парсер что бы сразу кидало на калькулятор. Но думаю лекго подобрать такие числа что не на калькулятор отправится а на генерацию бреда.
Скажем так есть филосовская точка зрения. А есть точка зрения - что я вообще хочу получить в результате. Обывательская. Житейская. Как думаете какая денег заработает?
Я вообще под интеллектом подразумеваю алгоритм способный со стопроцентной эффективностью заменить бабу Клаву на кассе. Вот заменит машина касиршу и будет способна переваривать весь бред от мясных интеллектов - вот и появился AGI. Заметьте я не присваиваю этому термину обязательство знать всё и решать всё. Это должен делать НЕчеловеческий интеллект. Способный решать всё +заменить бабу Клаву. И он тоже появится. Обязательно.
Ещё раз говорю - выход из этой сети - данные. Данные сами по себе не интеллект. Интеллект это алгоритм обработки данных. Результат работы интеллекта- другие данные. Которые тоже как бы не интеллект. Путаниц - из за того что мы выходным данным присваиваем свойства интеллекта.
Если я скажу вам ЧЕТЫРЕ. Вы неосознанно представите себе вполне объёмную четвёрку. Так устроена наша образная модель мира. Когда вы решает уравнения - то у вас в голове есть образы, без визуальной составляющей. Но они есть. Вон когда аутистов спрашивали как он быстро решают примеры - они рассказывали что оперируют визуальными фигурами.
Какой интересный вопрос. И я даже отвечал на него тут. По мойму статью даже писал. Или в коментах. Коротко - мозг в конкретный момент времени может находится в определённом состоянии. И в большинстве случаев - вы не мыслите логически. Действуете как работ. Можно сказать в этот момент в вас нету интеллекта. Только автономные алгоритмы поведения. Не задействован аналитический модуль. Как я уже говорил - интеллект это процесс. Даже осознать себя вы можете только тогда когда явно зададите сами себе вопрос - я есть ? Много писать короче. Вобщем без внутреннего диалога вы ведёте себя по принципу самосознания как у животных. Являетесь объектом моделирования внутреннего мира без осознанного управления этим объектом. Это всё из за экономии. Мозг лопнет от нагрузки если вы будете анализировать каждый свой шаг. Есть такая болезнь - отсутствие рецепторов на собственное тело. Там люди что бы просто делать шаги - мозг свой напрягаю до опупения.
Видели видеоигры? Там эмулируецся модель мира. Мы смотрим картинку - но что бы её нам показать под капотом происходят сложнейшие математические расчёты. Это отправная точка. Мы должны эмулировать такую же модель но не в виде видео. А в модели. Если мы будет брать современный компьютер - то это будет набор данных. Набор алгоритмов которые будут упровлять данными внутри этой модели.
Если взглянут напрямую на эти данные - то это будет каша. Но из за того что данные не сами по себе а существуют по законам модели - то мы получаем ряд интерфейсов. Ну на вскидку - добавить объект. Получить пространственные координаты объекта. Получить взаимосвязь с другими объектами. В случае математических абстракций - доступны интерфейсы математических воздействий на объекты. Если развить модель можно будет применять математические алгоритмы например к визуальным объектам. Короче это внутрення модель мира со своими законами поведения.
Вся сложность том что бы добиться максимальной эффективности работы модели. Видеокарты жрут киловаты для вывода картинки. Мозг человека ватты - результат правда не картинка а внутреннии обстракции. Но эффективность запредельная - миллионы лет
отладки кодаэволюции.Отдельная еденица эмуляции смысла не имеет. Смысла не имеют импульсы нейрона и float внутри LLM. Смысл есть только в процессе. Когда алгоритм начинает оперировать этими данными. Повторяю - данные сами по себе бессмысленны. Взаимодействия данных - это и есть смысл. Скажем так. тут путаница со временем. Данные имеют смысл. И мы как бы начинаем приписывать им те свойства - которые как бы к ним не относятся. Ведь мы спорим о том как эти данные получились. Почему эти данные со смыслом. и вот как раз получается что интеллект это не результат - а процесс. Результат это выходные данные интеллекта. И получаем что выходные данные и в LLM и Мясном мозге на выходе одинаковые. Но получены одни со смыслом, другая подражая смыслу.
Давайте я буду исходить из позиции что вы знаете как именно там работает механизм внимания. Так вот задам вопрос. Чем отличаются эмбединги слов до трансформера и после? До трансформера это можно сказать впринципе символы как в символьном ИИ. Хотя вру - это просто слоги. Выделения объектов тут и не пахнет.
После трансформера это уже просто позиции в векторном пространстве. Позиции размытые. До мы имели конкретный образ. После размытую ссылку на тысячи образов. И так с каждым словом. В этом лгоритме нету ткого понятия как память. Человек может в течении дня удерживать в голове конкретные образы - и они ни куда не денутся. В окне промта - слова преобразованные в направления удаляются навсегда начиная с первого слова. О том чот вообще было такое слово остаётся только остаточная память в соседних векторах - которые тоже будут удалены. Отсюда и все проблемы потери контекста.
Передёргиваете. Не буду комментировать. По ка что я думаю что мы друг друга понимаем.
Да потому что все эти формулировки ради чеславия их авторов. Чем туманнее формулировка тем небожительнее выглядит автор. Если её вообще никто не поймёт - это просто титан философии.
Я же руководствуюсь исключительно с практической точки зрения. Алгоритмы подрузумевают шагание по шагам. А это и есть время. В модели мира которую я постоянно упоминаю тоже должно быть свойство шагания по шагам.
Более того в мясном мозге это шагание чуть ли ни основная функция - все фокусы с обманом мозга на этом основаны. Заяц должен предугадать будущее - должен понят куда прыгнет волк что бы прыгнуть в другую сторону.
Грёбанный мозг поддерживает контекст годами. Стоит увидеть какуюто гадость - будет тебя преследовать годами. LLM - забудет сразу же как окно контекста сдвинется. Вообще быстрая память человека гдето 20 минут длится - после чего если объект остаётся в памяти - перемещается в долговременную. Но не будем тут алгоритмы мяса описывать. Про LLM дискуссия.
На самом нижнем слое ничем. Мясные нейроны передают друг другу частотные импульсы. Кремневые нейроны передают друг другу float.
Но на этом уровне что у мяса что у кремния и нету никакого AI.
AI это же прцесс. AI это алгоритм. Алгоритм эмуляции. Так вот дальше идут как раз координальные отличия алгоритма.
Если алгоритм оперирует образами ну или в другой терминологии - символами, также строит модели используя эти образы. Также в моделях реализует логику. То это AI.
Если алгоритм сделан так что организовывает огромную базу данных статистики и выдаёт следующий наиболее вероятный статистический вариант, а под вариантом я имею ввиду объекты статистики. В случаии с LLM это просто числа. Так вот это - симулякр. И ведёт себя как самый настоящий симулякр - внешне вроде живой, но постояно выдают сбои типичные для симулякра.
Можно я отвечу? Если алгоритм имеет короткую память (как у человека), где он строит модель мира, или модель обсуждения, или модель алгоритма если решается алгоритмическая задача и при этом в этой модели использует конечные симвлы, образы. То эта модель понимает что делает.
Когда человек мыслит - он мыслит образами. Законченными образами. Эволюционно из за зрения это как правило визуальные образы. Даже у слепых - там что то похожее на образ формируется. Также у человека есть короткая память - где и формируется весь контекст. Эволюционно такое модулирование мира было создано для предсказания будущего. Охотикам охотится. Жертвам избегать съедения.
Главным концептом в этой модуляции - это представление своей тушки внутри виртуального мира. Вообще у человека сложная модель эмуляции получилась. Первично это проекция от глаз. Но глаза сами не видят. Глаза это просто сигналы. Картину по сигналам уже строит мозг. Строит он её по образам. Можно почитать как образы формируются в зрительной коре. Кстати эти алгоритмы потом в свёрточные сети перекачивали. Так вот имея такой механизм - следующий шаг это модуляция образов без получения сигналов от зрения. Берутся сигналы из памяти.
Потом появился язык. Изначальные образ обросли ещё слоем - каждому образу начало сопоставляться звуковая фраза. Слово.
Ладно не буду дальше про человека.
Так вот про LLM - там нету ничего. Там нету образов. Там нету короткой памяти. Там есть только вероятность появление одной закарючки от другой. И алгоритм выдачи закорючек на выход. Всё. LLm выдаёт закорючки на выход - и только мы интерпретируем их как образы. Потому что у нас в мозгу есть привязка.
У LLM нету короткой памяти - это наверно самая главная проблема. Она не способна в логику. Потому что логика подразумевает временную эмуляцию. В LLM нету вообще понятия времени. В LLM есть окно промта. Каждое слово превращается в эмбединг и проходя через LLM каждому эмбедингу примешиваются понятия. Всё через цифры. Потом тупо берём последний эмбединг и получаем следующий слог. Весь промт сдвигается на 1 позицию. Объект может попросту выпасть из промта. Да - его типо понятия были включены в соседнии эмбединги. Но как мы видим - работает это херово. LLM постоянно утрачивает контекст. Эот часто не работает даже внутри контекста. Поотму как подмешивания понятия - тоже часто даёт сбои. А всё из за того что это статистическая модель. А не образная.
Короче можно долго писать различая. Но думаю суть передал.
Ну то что я описал - это я для примера. Как работают аналитические парсеры на входе. Тут нету никакого ноухау. Это очевидно всем. Ведь в чом была проблема создания символьных ИИ? Почему их 40 лет пилят, но так и не допилили до AGI? Для спец возможностей они вполне себе рулят.
Проблема в получении опыта. Проблема в самонасторйке. У человека обратная связь - это жизненный опыт. Все его сенсоры - это опыт. У LLM - обратная связь это алгоритм обратного распространения ошибки. А у символьных AI - это ручное вбивание правил.
И как показало время - очень не эффективный метод.
Но сейчас мы имеем новый инструмент - LLM как глобальный апроксиматор знаний может выступать в качестве жизненного опыта для символьных AI. И всё это можно автоматизировть и добавить скорости.
Вобщем все компании чатботов пилят продукт в этом направлении. И все всё скрывают. А в открытый доступ попросту выкидывают дезу. Берут правду - и упрощают её настолько что она уже и не совсем на правду похоже. Взять ту же сатью первую про описание трансформатора.
А алгоритмы обучение - в чём вообще вся суть. Их вообще никогда не было в открытом доступе. Есть только общее понятие. И всё.
Никто не может сказать как обучаются матрицы в трансформере. А там уже штук 40 голов. Как они распределяют понятия по этим гловам?
Ну это же не модно! Фу таким старым быть. Человек хочет что бы кнопку форк за него нажла LLM. Правда по пути пропустив исходный код через микер (упковала его в векторное пространство и веса перцептронной сети, а затем его оттуда забрала кое как). Ну и пусть что будет нерабочее гавно.
О 5/25. Извечная борьба
linux/windowsсимвольные ИИ / LLM. Все кто мало мальски в теме знает что такое символьные ИИ. Они лет 40 пытаются превратится в AGI. Но что то прорыв именно в человеческой речи сделала именно LLM. Также кто хочет быть в теме - знает как работает LLM и что он может, а что не может. Писать различия - надоело уже. Кто хочет сам найдёт. А тут кроме минус в карму ничего не будет.И да - кто хоть чуть чуть изучает тему про LLM поймёт одну скрытую вещь. Она как бы не скрытая, но ни один блогер почему то про это не знает и не обсуждает. Архитектура трансформера - и логика это противоположные вещи. Но вот чудеса - если вы скажете сложить числа LLM - она выдаст точный ответ. Не все выдадут с первой попытки, например DeepSeek - может выдать полную ахинею. Но продвинутые по типу claud - выдают правильно.
И вот вопрос - а с какого перепугу так? Кто умеет мыслить - уже догадались почему.
Скрытый текст
Дабы меня тут не окунули в унитаз за выёживание сразу напишу ответ. Документация по трансфомеру выкинутая OpenAI - это лишь базовое определение работы LLM которое пошло как развитие переводчика. Такая архитектура способна только предугадывать следующее слово. Но она абсолютно не способна на то что мы имеем в современных чатботах. Как думаете куда идут миллионы денег на современную разработку LLM? Сама архитектура особо не меняется. Ну ладно - экспериментируют с головами внимания и их количеством. Короче абсолютно все скрывают что на самом деле они делают. А делают они одно - пытаются прикрутить логику к LLM. А для этого надо на входе задать спец парсеры. Аркестраторы. Вот это и разрабатывают. И LLM там только как подключаемый модуль в цепочке ответа. Там этих спец LLM могут быть тучи. Каждая для своего случая. Есть модуль калькулятор - которому как раз передаются запросы о типу сложи числа.
Если вы зададите 5 вопросов в одном промте. Входной модуль разобьёт вопросы на подвпросы и пропустит каждый по отдельности через LLM.
Входной промт нашпиговывается спец управляющими ключами. А потом в выходном ответе эти ключи выпиливаются из ответа. Вы знали что есть LLM base, а есть instruct ? Instruct это модель base которую дообучают промтами со спец ключами. Ни один блогер про такое не говорит.
Вот опять 25. Не хотел ничего писать - и опят портянка. Слаб человек... На последок покажу пример. Я задаю текст про хомяка в LLM. Текст сказка на одну страницу. И говорю какой пол у хомяка? Обычная LLM просто продолжит сказку. А уже спец - сделает следующее.
То то человеку надо всего 20 ватт. Вот гад притворяется мыслящим! А на самом деле вообще оказывается симулякр какой то!
Ходил в спорт зал. Штанга 100кг от груди жим лёжа 10 раз легко. Собственный вес 120кг. Всё мышцы. Подтянутся - не помню уже, но практически невозможно было. Думаю что живчикам 50 килограммовым которые 100 раз легко подтягиваются привязать вес 60 кг, то тоже ни разу бы не подтянулись.
Вот из каждого утюга про это слышу. А когда начинаешь справшивать что да как - то максимум используют для писания локальных функций.
Я сам постоянно пользуюсь LLM - он попросту заменил гугл. Но дальше алгоритмов и отдельных функций его применять невозможно. Если ему кинуть класс хотя бы на страницу и попросить проверить логику - то его максимум найти синтаксические ошибки. Но если бы только это - то было бы норм. Всегда выдаёт тонну ошибок - которые вообще мусор и к теме не относится. Пол часа ему доказываешь что он не прав. В конце он соглашается. Думаешь нахрена ты вообще время тратил. А потом на то что он говорит мол всё ок - сам находишь логические ошибки...
Максимальное точное ТЗ - это код. Зачем тогда нужен этот промежуточный лишний шаг в виде LLM?
Я пишу на С# - генерирует хрень. Да рабочую, может быть. Но всегда лишнего кода просто куча. Я использую для генерауци шаблонов - смотрю на хрень и переписваю под себя. Так получается быстрее чем писать с нуля. Хотя 50/50. Часто это переписка занимает больше времени чем самому писать.
Шок сенсация! Калькулятор за пол доллара быстрее всех людей на земле считает цифры!!!
Эй LLM - вот тебе кодовая база Linux - напиши драйвер для той железяки. Ой всё. У меня лапки.
А вот мясные мешки почти каждый спустя какое то время сможет (не сильно умным конечно понадобится значительное время)
Да фиг с тем линуксом. Хоть один более менее значимый проект есть который от начала и до конца написан LLM?
Ладно, не будем брать сложное где потеря одного бита крашит всю программу.
Пусть будут игры. Где игры написанные от нуля до конца? Не надо предлагать очередной полностью скопированный из githab клон каково нибудь minecraft
P.S. Если для работы с LLM нужен будет программист - то это просто очередной помощник. Как компилятор. И вот что то вообще не видно что от программиста можно пока избавится. Более того - LLM генерируют такую хрень что с этим сможет в последствии разобраться только программист-гений.
Тут дискуссия внизу продолжилась. Перечитал коммент свой - написал его коряво. Уточню что бы не разводить холивар. Под векторными многомерными полями я подразумевал что нейронные сети содержат в себе алгоритмы преобразования эмбедингов. Суть этих преобразований создания многомерного пространства где рядом лежат вектора других "смыслов" которые шли друг за другом при обучении. Так что пусть будут нейроны. Хотя этот термин настолько сегодня потаскан - что не несёт в себе вообще понятия какой внутри всё же используется алгоритм. Один может думать про один алгоритм, другой про другой. На что я и сагрился.
P.S. Опять же написал что знаю как устроена LLM. Скажем так я ознакомлен с общими принципами и некоторыми частями углубленно. Но как показал диалог, да собственно это и не секрет, разновидностей устройства может быть большим. Понятия которые используются в диалоге - тоже расплывчаты. Я когда пишу про векторную БД не имею ввиду класическую векторную БД, а имею ввиду что используются алгоритмы векторной алгебры. Но мой аппонент может, и имеет право, придратся.
Вы описали частные улучшения. Но главной же причиной остаётся увеличение векторного пространства. Это как бы не моё мнение а общее.
Ведь если упростить работу трансформера до предела то он работает так. У нас есть векторное пространство. Которое представляет из себя как бы области, грубо говоря круги. В каждом таком круге находятся слова (слоги), но пусть будут слова которые как бы должны идти друг за другом. Это векторная БД наполняется из обучающей выборки. И получили следующее - когда плотность этих областей была разреженной - то на выходе при сцеплении эмбеденгов (а слова -слоги там как раз в виде эмбедингов находятся) короче на выходе получался бред. Как только плотность этих областей превысило какую то критическую точку - на выходе уже как бы и не бред. А вполне нормальная мысль.
Весь прикол в том что до сих пор не совсем понятно почему так произошло. Имеется ввиду теория. Интуитивно то вроде понятно - больше осмысленных цепей таких эмбедингов заложили в векторную БД - тем больше шанс что пройдя по такой цепи мы получим осмысленность а не бред.
Ваша слова верны в следующем. Они с помощью голов сделали алгоритм сохранения контекста. Но все видят как глючнуто он работает. Намного лучше чем раньше - но вообще не близко к сильному ИИ. Кто плотно пользуются ИИ (как я) чётко видят как теряют контекст современные чатботы. И чётко видят предел где можно использовать этот ИИ. Поисковик- да. Простые алгоритмы - да. Сложные алгоритмы - нет. Тестирование программ, или сложная логика с объектами и временем - НЕТ в квадрате.
Много можно написать - но блин мои ответы это простыни. Никому не нужные.