За то вы хорошо знаете. Воспринимаете как догму и не видите противоречий. Однородность пространства и закон сохранения энергии это аксиомы одного уровня. Они не доказывают друг друга а я являются одним и тем же проявлением. 2 стороны одной монеты. Равномерное движения тела не меняется т.к. физические законы не меняются по ходу движения. Но как мы доказываем что физические законы не меняются? А всё тем же равномерным движением. Раз оно равномерно - значит не меняется.
Я же говорил что сам этот закон - это первичный закон природы. Он не содержит в себе более низкоуровневых составных законов. Может они и есть но не то что вы определили.
Под нижестоящими законами я подразумеваю следующее - например в законе архимедовой силы, главную роль играет гравитация. В центробежных силах - главную роль играет как раз закон сохранения импульса. А вот в законе сохранения импульса (движения, энергии) главную роль играет - "Боженька". Надеюсь что это утверждение временно.
Что по поводу лифта - и вам не мешало бы почитать учебники.
Находясь в лифте можно определить гравитация это или ускорение. Гравитация имеет градиент искривления времени. У пола медленнее идёт. Вот этот градиент и меряем. При ускорении - время у пола не будет отличатся от времени у потолка. Так же гравитация имеет радиальное направление к центру масс. Ускорение нет.
Если создать измеритель с точностью как в эксперименте по гравиволнам то с такой чудовищной чувствительностью и в лифте смогут найти эти отклонения гравитации.
P.S. За сим откланиваюсь. Мне тут лупят только минусы. Нету никакого желания что то дальше тут писать. Хотел написать рассуждения по теме однородности пространства, чёрные дыры там, тёмная материя, как хорошо нет ОТО работает в квантовой физике, но чувствую меня тут вообще разорвут.
Проблема в том что формулы НЕ отвечают на этот вопрос ВООБЩЕ. Физика это как раз формулы. Формулы просто могут дать расчёт одного от другого. И всё. Для физиков это аксиома настолько используемая что они вообще не упоминают этот факт в рассуждениях.
И на этом недопонимании существует армия полу-физиков, блогеров, ютуберов. Которые говорят что всё объяснено - формулы есть. Они точны. И ВСЁ объясняют.
Стоит тебе робкий вопрос задать - а что именно они тебе объясняют. Тебя жёстко гнобят, обзывают альтернативщиком (что бы это не значило), и загоняют в минусы. Мне пофиг на минусы - мне не пофиг что я потратил время на писанину, а выхлопа 0. Никто из минусующих не ответит на мои сомнения и вопросы.
Вон ниже вообще разделили физику. Которая и не должна что то объяснять. И философию - которая пытается объяснять но признана лженаукой, т.к. не оперирует математикой.
Как по мне философия должна оперировать логикой. Если физическое явление объяснено логикой и не придраться ни с какой стороны, то это определение и будет истинно. Если логика хромает или вообще отсутствует - то это определение лишь гипотеза. Ждущая появлению новых фактов которые либо подтвердят гипотезу либо опровергнут.
Тут могут придраться -а что же такое логика? Логика это набор фундаментальных правил основанных за наблюдением реальности. Аксиомы реальности. Ну например. Закон сохранения импульса. Физическая аксиома, насколько я знаю нету более глубокой теории объясняющий сей факт на более низком уровне. Набор таких наблюдений-аксиом будет создавать фундамент логического объяснения.
В противоположность этому - математика, это чистая абстракция. Где к числам привязаны реальные физические явления. И допуск того что операции с числами - прямо проецируются на реальность. Математика настолько гибка - что в ней можно очень легко натягивать сову на глобус в любой ситуации. Если что то не совпадает, попросту навешать поправочных коэффициентов или вообще выдумать несуществующие понятие.
Как пример комплексные числа - это пример антилогики. Но так как это математика, можем нафигачить кучу таких антилогичных понятий, главное что бы в выводе это всё сократить согласно математическим законам.
Гибкость математики - не равна гибкости реальности. Как по мне это будет одна из аксиом в логике.
Подвожу итог. Всё моё возмущение вызвано фактом что я хочу больше логики в объяснениях. А противоположная сторона говорит - философия (лженаука) не нужна. Достаточно только формулы.
С начала накатал тут порятнку по устройству LLM, про ОТО, а потом удалил. ДА кому это надо.... Кроме минусов ничего не будет. Вывод пожалуй только оставлю.
Меня тут прям постоянно называют каким то альтернативщеком. Мантра такая походу. Повторяю - я не предлагаю никаких новых теорий. Я не опровергаю ОТО. Я вообще физикой не занимаюсь - просто мне интересны всегда детали. Проф деформация программиста.
Я просто вижу конкретно для себя (для построения внутреннего видения устройства мира) - объяснение реальности (не математика) это гипотеза не имеющая доказательств. Есть ряд наблюдений. По типу замедления времени. На эти наблюдения наложили математику. Но что мы получили ? Просто зависимость массы объектов на коэффициент замедления времени. Как это объясняет реальность? А ни как. Объяснение реальности - это просто отдельное объяснение.
Оно даже не говорит что первично гравитация порождает искривление времени (в таком случае гравитация это поле), либо искривление времени поражает гравитацию. Уравнения симметричны. Оно вообще не объясняет почему искривление времени порождает гравитацию. Просто на сегодня из наблюдаемых фактов есть гравитация, замедление времени. Всё! (основные наблюдения, есть и второстепенные) Значит надо натянуть сову на глобус и объяснить одно другим. Даже порядок что чем объяснять - не удосужились как то обосновать.
Даже попросил найти минусы в моём ответе у LLM (ща за это я тут реальных минусов нахватаю, потому как использовать LLM - это позор). Короче приведу одну строку которая мне понравилась. Так как чуть чуть расширяет мой кругозор.
Ваше требование "объяснить реальность" — это требование не к физике, а к философии. Физика создает инструменты, философия — их интерпретации.
Ну к счастью мы живём в век LLM которые собрали и аппроксимировали за нас все эти статьи.
Я за 10 минут порасспросил и про то почему нейтрино видно в воде - они бьются в ядра вызывая черенковое излучение, и как устроены детекторы в измерители гравиволн - измеряют отклонение фазы лазера, и как определили что это не шум - штук 10видов шумов включая местное изменение гравитации - туча сверху прошла (а туча может весить огого), почему нейтрино не могут вызывать искажения в детекторах - потому как сигнал имеет чёткую форму "чирп" и что был случай когда сначала волны пришли а потом от туда уже и весь спектр всяких излучений при как при слиянии чёрных дыр. Узнал что теория про грави волны это лишь наиболее распространённое предположение укладывающееся в формулы ОТО и что при желании можно натянуть сову на глобус.
Короче за 10 минут - узнал тучу инфы которую особо и не хотел знать. Вернее я и так знал что вы сказали - глубоки объяснения природы это почти всегда гипотеза. Я не против гипотез. Я против того что забывают что это гипотеза и готовы сожрать любого кто например косо посмотрит на ОТО. А математика - это просто математика.
Единственно непонятно - почему с наличием LLM кто то ещё пытается что то объяснять поверхностно и неинтересно.
P.S. Допуская что есть вероятность что некоторые фундаментальные вещи не объяснить более глубокими фундаментальными вещами, т.к. они могут быть попросту первичными кирпичиками природы.
Спросите у LLM - вам ответят на все ваши вопросы. Можете скинуть свой пост целиком и увидеть экспертное мнение.
Что касается гравиволн я например и без LLM знаю как их ловят. Тупо ставят 2 перпендикулярных лазера и на расстоянии смотрят какой из них запаздывает какой нет. Отталкиваясь что мол скорость света ни при каких обстоятельствах не может изменится - значит сжимается пространство.
Но как по мне я с вами согласен. Всё это зиждется на настолько малых фактах что можно напридумывать ещё кучу всяких теорий. Что учёные с удовольствием и делают.
Я вот всегда возмущаюсь почему досконально не рассказывают про устройство экспериментов. Ловят в тех же поисках гравиволн всякие нано и пико отклонении во времени, но на таких масштабах на детекторы может повлиять вообще что угодно. Поток каких нибудь нейтрино. Знаю знаю - нейтрно может пролетать звёзды насквозь не задерживаясь, на то они и нейтрино. Но вот детекторы человеческие (тупо басеин воды) какие то нейтрино не пролетают. Чудо -чудное.
Весь смысл векторов что они лежат рядом друг с другом по смыслу. И типо если взять координаты вектора "столица Парижа" то по идее по соседству будут лежать координаты всех других столиц.
Это как бы основа работы LLM. Она берёт рядом стоящие вектора и складывает слоги из словоря по этим векторам. И получается псевдо интеллектуальный текст полученный вообще не интеллектуальным путём. В этом и есть чудо!
И весь спор в том - считать ли этот новый путь интеллектом или не считать. Потому как сама работа получается путём перемножения матриц.
В мясном же ИИ - работа заключается в передачи частотно изменчивых импульсов от нейрона к нейрону. Инфа передаётся количеством импульсов от конкретного нейрона. По типу вогнали иглу в нейрон и он начал выдавать 100 импульсов в секунду. Вместо 1.
Короче архитектуры вообще разные. На выходе вроде что то одинаковое.
Но что меня вообще выбивает из колеи что вектора не содержат понятие парижа и прочего. там будут просто объёмные области векторов которые будут в себе содержать размазанное понятие Парижа. И в зависимости с какой стороны придёшь можно на выходе получить что угодно. Вобщем я не до конца владею деталями. Сейчас как раз изучают тему подробно. Хочу раз и навсегда в коде увидеть эту магию и понять как реально работает, а не обобщенные не связанные с реальностью рекламные статьи.
Я бы сказал что обучение LLM вывернуто наизнанку по сравнению с обучением человека. Человек обучается на рельности. Он знает что такое город. И париж он будет ассоциировать с городом.
LLM же все свои понятия определят просто взаимосвязью слов в тексте. И понятие времени, обёма, вообще физического пространства там нету. Только частота распределения слов.
Получился какой то эрзац кадавр - который работает. Ну как работает. Текст выдаёт. Выдаёт по слогам.
Можно сказать что мозг тоже хрен пойми как работает. Но! Есть вещи которые мы чётко знаем что они есть. Это внутренние мечтание. Да сны в конечном счёте. Мозг явно модулирует внутри себя окружающую среду. Мы можем воображать.
Я вообще не спорил с вами что комп работает как жёсткий автомат полностью подчиняясь булевой алгебре. Я с вами в этом согласен. Это другой товарищ вверху вроде что то другое говорил.
А что косается температуры в LLM - это как раз не кор механика, а самый настоящий костыль. У них на выходе получается пачка векторов с вероятностями. Как по мне - бери самый высокий и будет норм. Ведь я пользуюсь LLM как машиной поиска точной инфы.
Без этого костыля на одинаковый промт всегда будет одинаковый выход
Но разработчики хотят что бы LLM проявляла креативность. Что бы не была похоже на бездушную машину (но она и есть бездушная машина).
Вот и прицепили этот рандомизатор.
Я даже раньше интересовался у LLM - могу ли я задавать процент этого рандомизатора? Что бы сам мог управлять шкалой <Точные данные.......Бред>. Сказало что это жёстко зашитый параметр и управлять нельзя. Только если я локально запущу LLM и буду её исходники править.
А вот кор-механика это упаковка через перцептроны всего промта в маленький вектор и далее поиск соседнего вектора в векторном пространстве - и (по мне ИМХО тупой способ) - склеивание куска предыдущего вектора и нового (типо что бы сохранить контекст) вот этот механизм везде неизменен. И это работает -что удивительно.
P.S. Почему я говорю что это тупой способ? Потому как передача контекста должна идти через построение карты объектов обсуждения. И должна быть локальная память для этой карты для текущего обсуждения. У человека это быстрая память.
Когда я читал про это склеивание и про расчёт коэффициентов Q,K,V - то постоянно слышал - что это вообще наугад сделали и оно каким то хреном заработало.
Под работает я подразумеваю что на выходе получается осмысленный текст, а не осмысленный и логичный(в деталях) но в общей картине - бред.
Изначально как раз работало как бредогенератор. И никто не верил openAI что тупое увеличение векторного пространства даст качественный скачок. А они упорно продвигались в деле увеличения мощностей. И у них получилось!
И когда они говорят - что не понимают как это работает, имеется ввиду что не понимают почему произошёл этот качественный скачок только из за увеличение мощностей.
Это непонимание как раз и является краеугольным камнем преткновения который не даёт сделать следующий качественный скачок.
LLM в своих возможностях на данном этапе упёрлись в невидимую стену. Чудесный способ который помог на предыдущей итерации - в этот раз не помог - gpt5 оказался тупее.
Поэтому и разработка сейчас идёт методом тыка.
Погуглил "теорема аппроксимации для трансформеров" - разумеется ничего путного нет. Ok спросил у LLM. Она как всегда выдала ответ (хз выдумала или нет) Вот приведу кусок:
Скрытый текст
3. Что это значит на практике и какие есть ограничения?
Теорема — это мощная гарантия "мощности" архитектуры, но у нее есть важные практические ограничения:
Размер модели: Теорема гарантирует, что для аппроксимации любой функции существует трансформер достаточно большого размера (достаточно большое количество голов внимания, размерность embedding'а и т.д.). Но этот размер может быть астрономически большим и недостижимым на практике.
Обучение: Даже если такой трансформер существует, алгоритм обратного распространения ошибки (backpropagation) может не найти оптимальные веса из-за проблем с локальными минимумами, затухающими градиентами и т.д.
Контекстное окно: Теоремы часто предполагают фиксированную длину последовательности. Хотя на практике трансформеры могут обрабатывать последовательности разной длины (благодаря маскированию и позиционным кодировкам), обобщение на значительно более длинные последовательности, чем те, что были в обучающих данных, — это отдельная проблема.
Вычислительная сложность: "Достаточно большая" модель может требовать нереальных вычислительных ресурсов. Полносвязное внимание имеет сложность O(n²), что делает обработку очень длинных последовательностей крайне дорогой.
Как я понял - это теорема доказывает что имея безграничные возможности для трансформера можно произвести упаковку любой информации в маленький вектор который в векторном пространстве опять же безграничном найдёт точный ответ.
Ну хз что с этой информацией делать... Метематика не запрещает, но как нам это на практике то поможет? Уже сейчас практически достигли потолка мощностей - а LLM не то что новый качественный скачок не показывают, они деградировать начали. Что говорит об одном - архитектура не подходящая для нового скачка.
Ну тема этой ветки была мол работают процы со 100% точностью или нет. Вот я как бы на это и ответил. Если в главном потоке будет ошибка доступа к памяти то прога аварийно завершится.
А вы описали классические глюки логики в программном коде. Что порграммер вложил в свою программу - то и получит.
И кстати зря вы говорите что обычный юзер не сталкивается с проблемами железа. Сталкивается постоянно. От этого очень страдает. Всякие несовместимости видеокарт, процессоров, и материнских плат. Криво разведённая трассировка до RAM обеспечивающую гонку сигналов.
Лично сам сталкивался с проблемой которая сильно повлияла на мой жизненный путь. А именно гнилой или недо-вставленный data кабель в HDD который работал но сыпал постоянно ошибками. И это не было заметно вообще нигде в программной логике. Т.к. это типа вотчина драйверов микросхем SATA контроллера. Но на всём компе это выглядело как всё глючит везде и непонятно почему.
LLM легко ищут ошибки синтаксиса (собственно это гораздо лучше делает компилятор). Но это палка о двух концах. Новые синтаксисы она считает - грубейшими ошибками. Как ВСЕ даже чат гпт4 LLM достали меня поправлять в C# что объявление List или массива через [] - это ошибка.
Также LLM определяет ошибки в локальной логики - на несколько слов или строк.
На этом всё.
Когда кидаешь ей класс с 2 методами занимающий страницу или полторы экрана - она сначала полностью переделывает твой класс - создаёт тучу лишних методов. Заводит какую то лишнюю логику. Понятно почему. Она в своей базе данных нашла похожий шаблон и просто скопировала его на выход. Разбератся в этой неработающей каше как правило нету никакого желания. И когда горишь не переделывать код - она находит тучу несуществующих ошибок.
А всё из самой сути работы LLM. Что бы проверить класс на логику - надо построить виртуальную модель этого класса и просчитать взаимосвязи узлов этой модели.
LLM же работает по другому. Она ищет похожие куски из вашего класса и если находит, а она всегда находит, и сравнивает их - и разумеется ваш код будет не правильным.
Меня вообще поражает как это может работать. Ведь по сути - логический срез текущего момента "думания" это движение одного вектора. Там вообще вектор за вектор цепляется. Да в него упаковали весь типо смысл. Но всё держится на связи одного вектора с другим. Чудо что это не рассыпается в бессмыслицу.
Как по мне - когда мы в мясной LLM обдумываем задачу - мы в голове держим как минимум несколько понятий с которыми работаем. И из этих понятий уже строим логику.
Скажем так - программы работают со 100% точностью. Потеря даже одного бита в адресе приведёт к возникновению исключения доступ к запрещённому адресу, либо к искажению данных. Что не говорит что такое не происходит. Программы постоянно вылетают с ошибками.
Для предотвращения этого используют память ECC - там единично искаженные биты исправляются простым алгоритмом коррекции чётности на лету.
Я даже где то статистику читал - как часто срабатывает механизм исправления ошибок в памяти ECC. Примерно 1 ошибка бита на гигабайт оперативной памяти за 1,8 часа.
Но не стоит различать логические ошибки задуманного алгоритма и ошибки выполнения инструкций процессор. Это 2 совершенно разные вещи - хоть и называются ошибками.
Собственно как криво вы напишите алгоритм - он с 100% точностью будет выполнять всю кривизну задуманного.
Удивительный хабр. Вообще в этой теме никого не минусил. Ставил только плюсы. Никого не оскорблял. Навалил кучу инфы - на подумать. И всё равно получил минусы в карму )))
С удовольствием почитаю про хоть какие нибудь реализации. Разумеется сам тоже буду гуглить. Но может у вас есть пару ссылок?
И так сказать для дискуссии. Как вы считаете почему LLM со своими трансформерами взлетели, а про другие технологии что то не слышно что бы были доступны в массовом испльзовании?
Главное что даёт LLM - она способна понимать человеческий текст. Просто сейчас из неё пытаются выжить все соки и придать её чуть ли не божественные возможности.
А текст она понимает потому как работает с буквами и слогами и сочетаниями слов.
Это примерно как человеческий мозг работает - мы читаем слова не по буквам а целой картинкой. Свёрточные сети затылочной зрительной части мозга неплохо преврящают картинку целого слова в нужный сигнал.
Даже есть забавный эксперимент - если выкинуть большую часть букв из слова или переставить их местаим - всё равно будет понятно.
Я бы даже сказал что человек может воспринимать несколько слов одновременно или даже целое предложение - если у него в мозгах под это шаблон есть.
LLM работает точно также - она входящий текст с ошибками с склеенными словами и прочим мусором превращает в входные токены которые превращаются в нужные эмбединги.
Проблема SOAR, ACT-R и подобных жёстко структурированных систем это то что они могут работать с чётко поставленными данными. LLM это им обеспечит.
Ну и второе - LLM обеспечивает нахождение связей между понятиями. Это очень сильный механизм. Его надо использовать.
Это я написал так очевидное. Думаю может кто ещё каких интересных идей накинет.
SOAR и ACT-R это как раз методология подхода к проблеме интеллекта как - чётко определить что надо и отсюда реализовать это в алгоритмах. По моему мнению именно классическое определение (как именно реализуют эти алгоритмы сейчас фиг его знает) это более низкоуровневое поведение. Т.е. механизм объектной памяти и механизм алгоритмов поведения.
Я же тут во вех портянках продвигаю мысль - развития этого механизма до виртуального моделирования среды. Хотя кто его знает - может где кто прямо сейчас это делает.
LLM - это же алгоритм поиска скрытых связей в понятиях. Через близкое расположение векторов понятий.
Думаю что гибрид первого подхода и второго даст качественный скачок в построении AGI.
Один чудовищный эксперимент когда человека лишили возможность перемещения данных из быстрой памяти в долговременную я знаю. В общих чертах один любитель покрамсать мозги - обрезал что то в долях мозга, при этом нарушил своё же правило доктора - сделал одинаковую операцию на левой и на правой доле одновременно. В результате получился человек который помнил старое, а всё новое помнил лишь то что было не позже 15 минут - время быстрой памяти.
Но как это относится к проблеме мыслей? Мысли как раз в быстрой памяти и крутятся. Вот если бы доктор покрамсал участок отвечающий за быструю память - думаю в результате получился бы овощ. Или вы о проблеме проецирование образов из долговременной памяти на быструю? Честно говоря не вы не я не можем знать что и как там детально происходит. Я лишь для себя определю поверхностную логику работы. И кстати я вообще не утверждаю что это правда. Просто для меня текущая версия бытия такая. Новые данные - новые версии.
Хватит ли вам этого, что бы назвать перемножение матриц мышлением?
Мышление в моём понимании - это алгоритм, механизм, который строит виртуальную модель. Виртуальная модель включает в себя объекты. Виртуальная модель включает в себя законы внешнего мира. И главное это модель не статична. В ней происходит текущая последовательность активностей. Блин вот на ходу придумываю формулировки. Вобщем кроме механизма модели, есть ещё и механизм действий этой модели. У человека например этот механиз напрямую зависит от внешних сенсоров - глаза вилт хищника - бежать. Желудок сообщает что надо жрать - запускается механизм поиска еды. Короче у животных - этот механизм выживания. У человека с высшей нервной деятельностью - внешние сенсоры подменяются на виртуальные. Мы можем представить как едим лимон - и нам даже станет кисло.
В LLM вообще другая архитектура. Вот я как ни стараюсь не могу её архитектуру сравнить с архитектурой которая по моим определениям работает в голове человека. Вообще разные вещи. Но это не главное. Как я говjрил - AGI не должен быть человеческим. Но то что есть сейчас не выполняет тех минимальных требований который может сделать мясной интелект. LLM не может сидеть на кассе магазина. LLM не может писать код проекта от начала до конца. LLM вообще ничего интелектуального длинного не сделает. Она может генерировать бесконечный текст - который будет в результате бредом. LLM - сегодня это просто большая база данных. С API для запросов к этой базе данных. Да API по сложнее чем какой нибудь SQL. Но тем не менее это просто запросы.
Не относится к делу, у человека их нет (ах да, один назвать сможете, но это всё).
Ну скажем так - человек это почти целиком и полностью безусловный рефлекс. Эндокринная система, работа сердца. Это всё аппартно зашитые рефлексы. Отдёргивание руки от огня происходит раньше чем сигнал доходит до мозга. Но честно вообще не пойму при чём здесь это.
И чего это вы на меня наехали? Альтернативщик какой то. Статьи не хотите приводить о внутреннем устройстве очередного ИИ. А я бы почитал. И чего вам шортсы то не угодили? Никто по шортсам не изучает - это просто доступный католог. Увидел интересного чела - пошёл гуглить видео или статьи по нём. Мне например в шортсах никогда ничего интресного не попадается - там все несут полную пургу. Ну и что?
Вы меня рассмешили ))) Я никому ничего не доказываю ))) Как вы думает - зачем я тут пишу эти простыни ? Ну главным образом для себя - я так прокрастинирую. Мне кабздец как лень писать очередной код. И второе - а вдруг я увижу что то дельное и интересное от других?
Когда человеку сообщают новые знания - они попадают сначала в быструю память. А потом в долговременную. Физически это выглядит как прорастание новой дендритно-аксонной сети. Т.е. Человеческий мозг постоянно переобучается.
Пямять LLM - это веса в перцептронных слоях и вектора в векторной БД. Они статичны. Это обусловлено архитектурой.
Ваш пример краткосрочного обучения непонятен. Весь наш текст упаковывается в эмбединг - это что обучение по вашему? Это просто упаковка. Сжатие. А дальше с этим вектором просто происходит перемножение матриц.
По поводу мыслей. Я тут уже высказывал своё видиние развитие человеческого сознания. Если кратко - то сознания как бы 2 типа.
Первый тип - животное сознание. Присутствует у всех живых существ. Это модулирование внешней среды во внутреннее представление. Развито эволюцией для целей предсказания будущего. Хищники предсказывают куда прыгнет заяц. А зайцы следовательно наоборот.
Потомство оставляли те кто лучше это делал.
Это тип сознания я бы назвал автоматическим - там главенствуют безусловные рефлексы.
Второй тип сознания появился с появлением неокортекса и главное появлением речи. Мы получили возможность вести внутренний диалог с самим собой.
В повседневной жизни человек ведёт себя обычно по первому типу сознания - всё делает на автомате как робот. Но может переключится и на второй тип. Ведь мы осознаём себя именно в моменты внутреннего диалога.
Проекции образов из первого типа сознания на слова второго типа сознания и внутренний диалог - это и есть мысли.
В LLM мыслей нету - потому как нету внутренней проекции мира. Ну например мы читаем книгу - в голове сразу автоматически рисуется картина локальной арки книги. Рисуются герои. Наше сознание вообще отключается - мы переносимся в этот вымышленный мир. Читая диалоги книги - мы одновременно живём героем в этом виртуальном мире. Тоже самое когда мы смотрим кино. Тоже самое когда программист входит в так называемое состояние потока. Вообще проблема вопроса "Я" - я тут тоже неоднократно обсуждал.
Короче всего этого механизма в LLM нету.
Что касается учёных статей....Я вам их не приведу. Тема настолько новая что нету сейчас таких учёных. А учёных старой школы слушать их рассуждения о работе LLM без слёз невозможно. Да, он учёный - но просто вообще не в зуб ногой как устроена внутри современная LLM. Это я камень в огород некоторых которые иногда попадаются на ютубе или в шортсах
Ах да забыл. Вот https://www.youtube.com/watch?v=9ue_NLaSf0Y серия лекций просто потрясающего качества деталей. Вышла буквально "вчера". Ничего более подробного в русскоязычном секторе не найдёте. А если найдёте буду благодарен за ссылку.
Ну не пишут код они.. Вот все кто не пробовал все обломались. Просто это выглядит так - задаёшь простой промт - напиши мне сайт. Можешь даже расписать его - типа там менюшки, кнопки. И LLM естественно в своей огромной векторной БД найдёт шаблон похожего сайта и выдаст тебе портянку нерабочего кода.
Но это же только начало. Дальше ты начинаешь разработку этого сайта - и начинается ад.
Когда ты начинаешь просить найти ошибки в существующем новом увеличенном коде или доработать его - это прост превращается в самобичевание. LLM найдёт ошибки там где их нет. Там где они есть не найдёт. И вместо самостоятельной разработки и тестирования - ты попросту занимаешься болтовнёй с LLM - а это занимает очень много времени. Больше если бы сам писал и тестировал.
У меня LLM занял следующую нишу. Написать маленький алгоритм. Сортировка там какая нибудь - который копипастишь и сам проверяешь на работоспособность.
И анализ кода. Скинул портянку - и читаешь вывод. Потому как она хорошо подмечает какие то локальные вещи. Иногда то что она выдала помогает самому обратить внимание на место в коде на которое у тебя зашорился взгляд. Но скажу честно такой двойной анализ бреда выданного LLM и анализ собственного кода - жутко выматывающая процедура. Мне смешно слышать когда кричат - программисты скоро не понадобятся. Да даже опытному программисту трудно вести такую двойную работу по анализу.
Скажем так. Я смотрел множество интерпретаций от разработчиков на тему - а что же там собственно происходит. Не буду говорить что самым частым эпитетом которым они пользовались было - мы вообще не понимаем почему это работает, а также как они вообще разрабатывают дальше современные LLM. А разрабатывают они их просто наугад. Просто пробуют разные коэффициенты для локальных алгоритмов или просто тусуют эти алгоритмы. ПО типу а давайте пропустим не через 12 слоёв перецептрона, а через 16 и зациклим это через трансфомер. Или давайте переобучим 2,5,10 слои. Через месяц обучения смотрим что получилось - нихера не получилось. А давайте RAG на вход прикрутим ! Или в середину. И по новому. И при этих всех модификациях именно кор-алгоритм не меняется.
Так вот. Они (натягивали сову на глобус) предполагали что поиск в многомерном векторном пространстве, а в реальности тупое перемножение матриц, стал подобен... мыслям! Как по мне - они просто создали огромную БД куда аппроксимировали всю обучающую мега выборку. Т.е. сложили рядом друг с другом (в векторном виде) просто даже не слова. А слоги или даже буквы! Если глянуть величину эмбединг словаря - он будет занимать ushort величину. 64K всех возможных слогов, букв.
Если убрать притянутый за уши рандомизатор - механизм температуры. То на входящий промпт LLM будет отвечать всегда одним и тем же выводом слог. Что говорит что это просто конечный автомат.
Человек одним входящим предложением может переосмыслить весь свой жизненный опыт, т.е. переобучить мясную нейросеть. LLM же принципиально не обучаются от входящих промтов. Они статичны.
У LLM нету локальной памяти. Что бы они могли поддерживать контекст - весь предыдущий трёп каждый раз помещается в входящий промт - что бы получить один единственный маленький вектор, точка отправления которого и будет служить в векторном пространстве.
Кстати механизм внимания меня вообще убил - тупо складываем кусок предыдущего вектора с новым в итерации. Удивительно что это работает.
Вывод этой портянки текста. Современные LLM не имеют внутри фактов объектов. Не обучаются на входящей информации. Не модулируют факты объекты в виртуальном пространстве. Не имеют короткую память - как у человека. Не имеют внутреннего диалога - это следствие отсутствие визуализации внешнего мира. Не имеют никаких стимулов - это тупой конечный автомат по предсказанию следующего слога, буквы. Они не мыслят вообще - их вывод это иллюзия мысли. Внутри нету никаких проекций в быстрой памяти которой тоже нет.
Короче я задолбался писать. И да - они весьма полезные поисковики информации.
Всевозможные гибриды SOAR, ACT-R и LLM это то что на слуху. Вроде как в спец конторах такие гибриды применяют. Слышал что в Америке в конторах для модулирования и предсказания войн и подобного. В конторах прогнозирующих мировые рынки и их тенденции развития. Там годами пилят подобные спец под себя заточенные программы. Наружу они не выходят.
За то вы хорошо знаете. Воспринимаете как догму и не видите противоречий. Однородность пространства и закон сохранения энергии это аксиомы одного уровня. Они не доказывают друг друга а я являются одним и тем же проявлением. 2 стороны одной монеты. Равномерное движения тела не меняется т.к. физические законы не меняются по ходу движения. Но как мы доказываем что физические законы не меняются? А всё тем же равномерным движением. Раз оно равномерно - значит не меняется.
Я же говорил что сам этот закон - это первичный закон природы. Он не содержит в себе более низкоуровневых составных законов. Может они и есть но не то что вы определили.
Под нижестоящими законами я подразумеваю следующее - например в законе архимедовой силы, главную роль играет гравитация. В центробежных силах - главную роль играет как раз закон сохранения импульса. А вот в законе сохранения импульса (движения, энергии) главную роль играет - "Боженька". Надеюсь что это утверждение временно.
Что по поводу лифта - и вам не мешало бы почитать учебники.
Находясь в лифте можно определить гравитация это или ускорение. Гравитация имеет градиент искривления времени. У пола медленнее идёт. Вот этот градиент и меряем. При ускорении - время у пола не будет отличатся от времени у потолка. Так же гравитация имеет радиальное направление к центру масс. Ускорение нет.
Если создать измеритель с точностью как в эксперименте по гравиволнам то с такой чудовищной чувствительностью и в лифте смогут найти эти отклонения гравитации.
P.S. За сим откланиваюсь. Мне тут лупят только минусы. Нету никакого желания что то дальше тут писать. Хотел написать рассуждения по теме однородности пространства, чёрные дыры там, тёмная материя, как хорошо
нетОТО работает в квантовой физике, но чувствую меня тут вообще разорвут.Проблема в том что формулы НЕ отвечают на этот вопрос ВООБЩЕ. Физика это как раз формулы. Формулы просто могут дать расчёт одного от другого. И всё. Для физиков это аксиома настолько используемая что они вообще не упоминают этот факт в рассуждениях.
И на этом недопонимании существует армия полу-физиков, блогеров, ютуберов. Которые говорят что всё объяснено - формулы есть. Они точны. И ВСЁ объясняют.
Стоит тебе робкий вопрос задать - а что именно они тебе объясняют. Тебя жёстко гнобят, обзывают альтернативщиком (что бы это не значило), и загоняют в минусы. Мне пофиг на минусы - мне не пофиг что я потратил время на писанину, а выхлопа 0. Никто из минусующих не ответит на мои сомнения и вопросы.
Вон ниже вообще разделили физику. Которая и не должна что то объяснять. И философию - которая пытается объяснять но признана лженаукой, т.к. не оперирует математикой.
Как по мне философия должна оперировать логикой. Если физическое явление объяснено логикой и не придраться ни с какой стороны, то это определение и будет истинно. Если логика хромает или вообще отсутствует - то это определение лишь гипотеза. Ждущая появлению новых фактов которые либо подтвердят гипотезу либо опровергнут.
Тут могут придраться -а что же такое логика? Логика это набор фундаментальных правил основанных за наблюдением реальности. Аксиомы реальности. Ну например. Закон сохранения импульса. Физическая аксиома, насколько я знаю нету более глубокой теории объясняющий сей факт на более низком уровне. Набор таких наблюдений-аксиом будет создавать фундамент логического объяснения.
В противоположность этому - математика, это чистая абстракция. Где к числам привязаны реальные физические явления. И допуск того что операции с числами - прямо проецируются на реальность. Математика настолько гибка - что в ней можно очень легко натягивать сову на глобус в любой ситуации. Если что то не совпадает, попросту навешать поправочных коэффициентов или вообще выдумать несуществующие понятие.
Как пример комплексные числа - это пример антилогики. Но так как это математика, можем нафигачить кучу таких антилогичных понятий, главное что бы в выводе это всё сократить согласно математическим законам.
Гибкость математики - не равна гибкости реальности. Как по мне это будет одна из аксиом в логике.
Подвожу итог. Всё моё возмущение вызвано фактом что я хочу больше логики в объяснениях. А противоположная сторона говорит - философия (лженаука) не нужна. Достаточно только формулы.
О как вас заплюсовали а мне минусов наставили.
С начала накатал тут порятнку по устройству LLM, про ОТО, а потом удалил. ДА кому это надо.... Кроме минусов ничего не будет. Вывод пожалуй только оставлю.
Меня тут прям постоянно называют каким то альтернативщеком. Мантра такая походу. Повторяю - я не предлагаю никаких новых теорий. Я не опровергаю ОТО. Я вообще физикой не занимаюсь - просто мне интересны всегда детали. Проф деформация программиста.
Я просто вижу конкретно для себя (для построения внутреннего видения устройства мира) - объяснение реальности (не математика) это гипотеза не имеющая доказательств. Есть ряд наблюдений. По типу замедления времени. На эти наблюдения наложили математику. Но что мы получили ? Просто зависимость массы объектов на коэффициент замедления времени. Как это объясняет реальность? А ни как. Объяснение реальности - это просто отдельное объяснение.
Оно даже не говорит что первично гравитация порождает искривление времени (в таком случае гравитация это поле), либо искривление времени поражает гравитацию. Уравнения симметричны. Оно вообще не объясняет почему искривление времени порождает гравитацию. Просто на сегодня из наблюдаемых фактов есть гравитация, замедление времени. Всё! (основные наблюдения, есть и второстепенные) Значит надо натянуть сову на глобус и объяснить одно другим. Даже порядок что чем объяснять - не удосужились как то обосновать.
Даже попросил найти минусы в моём ответе у LLM (ща за это я тут реальных минусов нахватаю, потому как использовать LLM - это позор). Короче приведу одну строку которая мне понравилась. Так как чуть чуть расширяет мой кругозор.
Короче философ я походу....
Ну к счастью мы живём в век LLM которые собрали и аппроксимировали за нас все эти статьи.
Я за 10 минут порасспросил и про то почему нейтрино видно в воде - они бьются в ядра вызывая черенковое излучение, и как устроены детекторы в измерители гравиволн - измеряют отклонение фазы лазера, и как определили что это не шум - штук 10видов шумов включая местное изменение гравитации - туча сверху прошла (а туча может весить огого), почему нейтрино не могут вызывать искажения в детекторах - потому как сигнал имеет чёткую форму "чирп" и что был случай когда сначала волны пришли а потом от туда уже и весь спектр всяких излучений при как при слиянии чёрных дыр. Узнал что теория про грави волны это лишь наиболее распространённое предположение укладывающееся в формулы ОТО и что при желании можно натянуть сову на глобус.
Короче за 10 минут - узнал тучу инфы которую особо и не хотел знать. Вернее я и так знал что вы сказали - глубоки объяснения природы это почти всегда гипотеза. Я не против гипотез. Я против того что забывают что это гипотеза и готовы сожрать любого кто например косо посмотрит на ОТО. А математика - это просто математика.
Единственно непонятно - почему с наличием LLM кто то ещё пытается что то объяснять поверхностно и неинтересно.
P.S. Допуская что есть вероятность что некоторые фундаментальные вещи не объяснить более глубокими фундаментальными вещами, т.к. они могут быть попросту первичными кирпичиками природы.
Спросите у LLM - вам ответят на все ваши вопросы. Можете скинуть свой пост целиком и увидеть экспертное мнение.
Что касается гравиволн я например и без LLM знаю как их ловят. Тупо ставят 2 перпендикулярных лазера и на расстоянии смотрят какой из них запаздывает какой нет. Отталкиваясь что мол скорость света ни при каких обстоятельствах не может изменится - значит сжимается пространство.
Но как по мне я с вами согласен. Всё это зиждется на настолько малых фактах что можно напридумывать ещё кучу всяких теорий. Что учёные с удовольствием и делают.
Я вот всегда возмущаюсь почему досконально не рассказывают про устройство экспериментов. Ловят в тех же поисках гравиволн всякие нано и пико отклонении во времени, но на таких масштабах на детекторы может повлиять вообще что угодно. Поток каких нибудь нейтрино. Знаю знаю - нейтрно может пролетать звёзды насквозь не задерживаясь, на то они и нейтрино. Но вот детекторы человеческие (тупо басеин воды) какие то нейтрино не пролетают. Чудо -чудное.
Весь смысл векторов что они лежат рядом друг с другом по смыслу. И типо если взять координаты вектора "столица Парижа" то по идее по соседству будут лежать координаты всех других столиц.
Это как бы основа работы LLM. Она берёт рядом стоящие вектора и складывает слоги из словоря по этим векторам. И получается псевдо интеллектуальный текст полученный вообще не интеллектуальным путём. В этом и есть чудо!
И весь спор в том - считать ли этот новый путь интеллектом или не считать. Потому как сама работа получается путём перемножения матриц.
В мясном же ИИ - работа заключается в передачи частотно изменчивых импульсов от нейрона к нейрону. Инфа передаётся количеством импульсов от конкретного нейрона. По типу вогнали иглу в нейрон и он начал выдавать 100 импульсов в секунду. Вместо 1.
Короче архитектуры вообще разные. На выходе вроде что то одинаковое.
Но что меня вообще выбивает из колеи что вектора не содержат понятие парижа и прочего. там будут просто объёмные области векторов которые будут в себе содержать размазанное понятие Парижа. И в зависимости с какой стороны придёшь можно на выходе получить что угодно. Вобщем я не до конца владею деталями. Сейчас как раз изучают тему подробно. Хочу раз и навсегда в коде увидеть эту магию и понять как реально работает, а не обобщенные не связанные с реальностью рекламные статьи.
Я бы сказал что обучение LLM вывернуто наизнанку по сравнению с обучением человека. Человек обучается на рельности. Он знает что такое город. И париж он будет ассоциировать с городом.
LLM же все свои понятия определят просто взаимосвязью слов в тексте. И понятие времени, обёма, вообще физического пространства там нету. Только частота распределения слов.
Получился какой то эрзац кадавр - который работает. Ну как работает. Текст выдаёт. Выдаёт по слогам.
Можно сказать что мозг тоже хрен пойми как работает. Но! Есть вещи которые мы чётко знаем что они есть. Это внутренние мечтание. Да сны в конечном счёте. Мозг явно модулирует внутри себя окружающую среду. Мы можем воображать.
В LLM такого точно нету.
Я вообще не спорил с вами что комп работает как жёсткий автомат полностью подчиняясь булевой алгебре. Я с вами в этом согласен. Это другой товарищ вверху вроде что то другое говорил.
А что косается температуры в LLM - это как раз не кор механика, а самый настоящий костыль. У них на выходе получается пачка векторов с вероятностями. Как по мне - бери самый высокий и будет норм. Ведь я пользуюсь LLM как машиной поиска точной инфы.
Без этого костыля на одинаковый промт всегда будет одинаковый выход
Но разработчики хотят что бы LLM проявляла креативность. Что бы не была похоже на бездушную машину (но она и есть бездушная машина).
Вот и прицепили этот рандомизатор.
Я даже раньше интересовался у LLM - могу ли я задавать процент этого рандомизатора? Что бы сам мог управлять шкалой <Точные данные.......Бред>. Сказало что это жёстко зашитый параметр и управлять нельзя. Только если я локально запущу LLM и буду её исходники править.
А вот кор-механика это упаковка через перцептроны всего промта в маленький вектор и далее поиск соседнего вектора в векторном пространстве - и (по мне ИМХО тупой способ) - склеивание куска предыдущего вектора и нового (типо что бы сохранить контекст) вот этот механизм везде неизменен. И это работает -что удивительно.
P.S. Почему я говорю что это тупой способ? Потому как передача контекста должна идти через построение карты объектов обсуждения. И должна быть локальная память для этой карты для текущего обсуждения. У человека это быстрая память.
Когда я читал про это склеивание и про расчёт коэффициентов Q,K,V - то постоянно слышал - что это вообще наугад сделали и оно каким то хреном заработало.
Под работает я подразумеваю что на выходе получается осмысленный текст, а не осмысленный и логичный(в деталях) но в общей картине - бред.
Изначально как раз работало как бредогенератор. И никто не верил openAI что тупое увеличение векторного пространства даст качественный скачок. А они упорно продвигались в деле увеличения мощностей. И у них получилось!
И когда они говорят - что не понимают как это работает, имеется ввиду что не понимают почему произошёл этот качественный скачок только из за увеличение мощностей.
Это непонимание как раз и является краеугольным камнем преткновения который не даёт сделать следующий качественный скачок.
LLM в своих возможностях на данном этапе упёрлись в невидимую стену. Чудесный способ который помог на предыдущей итерации - в этот раз не помог - gpt5 оказался тупее.
Поэтому и разработка сейчас идёт методом тыка.
Погуглил "теорема аппроксимации для трансформеров" - разумеется ничего путного нет. Ok спросил у LLM. Она как всегда выдала ответ (хз выдумала или нет) Вот приведу кусок:
Скрытый текст
3. Что это значит на практике и какие есть ограничения?
Теорема — это мощная гарантия "мощности" архитектуры, но у нее есть важные практические ограничения:
Размер модели: Теорема гарантирует, что для аппроксимации любой функции существует трансформер достаточно большого размера (достаточно большое количество голов внимания, размерность embedding'а и т.д.). Но этот размер может быть астрономически большим и недостижимым на практике.
Обучение: Даже если такой трансформер существует, алгоритм обратного распространения ошибки (backpropagation) может не найти оптимальные веса из-за проблем с локальными минимумами, затухающими градиентами и т.д.
Контекстное окно: Теоремы часто предполагают фиксированную длину последовательности. Хотя на практике трансформеры могут обрабатывать последовательности разной длины (благодаря маскированию и позиционным кодировкам), обобщение на значительно более длинные последовательности, чем те, что были в обучающих данных, — это отдельная проблема.
Вычислительная сложность: "Достаточно большая" модель может требовать нереальных вычислительных ресурсов. Полносвязное внимание имеет сложность O(n²), что делает обработку очень длинных последовательностей крайне дорогой.
Как я понял - это теорема доказывает что имея безграничные возможности для трансформера можно произвести упаковку любой информации в маленький вектор который в векторном пространстве опять же безграничном найдёт точный ответ.
Ну хз что с этой информацией делать... Метематика не запрещает, но как нам это на практике то поможет? Уже сейчас практически достигли потолка мощностей - а LLM не то что новый качественный скачок не показывают, они деградировать начали. Что говорит об одном - архитектура не подходящая для нового скачка.
Ну тема этой ветки была мол работают процы со 100% точностью или нет. Вот я как бы на это и ответил. Если в главном потоке будет ошибка доступа к памяти то прога аварийно завершится.
А вы описали классические глюки логики в программном коде. Что порграммер вложил в свою программу - то и получит.
И кстати зря вы говорите что обычный юзер не сталкивается с проблемами железа. Сталкивается постоянно. От этого очень страдает. Всякие несовместимости видеокарт, процессоров, и материнских плат. Криво разведённая трассировка до RAM обеспечивающую гонку сигналов.
Лично сам сталкивался с проблемой которая сильно повлияла на мой жизненный путь. А именно гнилой или недо-вставленный data кабель в HDD который работал но сыпал постоянно ошибками. И это не было заметно вообще нигде в программной логике. Т.к. это типа вотчина драйверов микросхем SATA контроллера. Но на всём компе это выглядело как всё глючит везде и непонятно почему.
Согласен. Дополню ваш ответ.
LLM легко ищут ошибки синтаксиса (собственно это гораздо лучше делает компилятор). Но это палка о двух концах. Новые синтаксисы она считает - грубейшими ошибками. Как ВСЕ даже чат гпт4 LLM достали меня поправлять в C# что объявление List или массива через [] - это ошибка.
Также LLM определяет ошибки в локальной логики - на несколько слов или строк.
На этом всё.
Когда кидаешь ей класс с 2 методами занимающий страницу или полторы экрана - она сначала полностью переделывает твой класс - создаёт тучу лишних методов. Заводит какую то лишнюю логику. Понятно почему. Она в своей базе данных нашла похожий шаблон и просто скопировала его на выход. Разбератся в этой неработающей каше как правило нету никакого желания. И когда горишь не переделывать код - она находит тучу несуществующих ошибок.
А всё из самой сути работы LLM. Что бы проверить класс на логику - надо построить виртуальную модель этого класса и просчитать взаимосвязи узлов этой модели.
LLM же работает по другому. Она ищет похожие куски из вашего класса и если находит, а она всегда находит, и сравнивает их - и разумеется ваш код будет не правильным.
Меня вообще поражает как это может работать. Ведь по сути - логический срез текущего момента "думания" это движение одного вектора. Там вообще вектор за вектор цепляется. Да в него упаковали весь типо смысл. Но всё держится на связи одного вектора с другим. Чудо что это не рассыпается в бессмыслицу.
Как по мне - когда мы в мясной LLM обдумываем задачу - мы в голове держим как минимум несколько понятий с которыми работаем. И из этих понятий уже строим логику.
Скажем так - программы работают со 100% точностью. Потеря даже одного бита в адресе приведёт к возникновению исключения доступ к запрещённому адресу, либо к искажению данных. Что не говорит что такое не происходит. Программы постоянно вылетают с ошибками.
Для предотвращения этого используют память ECC - там единично искаженные биты исправляются простым алгоритмом коррекции чётности на лету.
Я даже где то статистику читал - как часто срабатывает механизм исправления ошибок в памяти ECC. Примерно 1 ошибка бита на гигабайт оперативной памяти за 1,8 часа.
Но не стоит различать логические ошибки задуманного алгоритма и ошибки выполнения инструкций процессор. Это 2 совершенно разные вещи - хоть и называются ошибками.
Собственно как криво вы напишите алгоритм - он с 100% точностью будет выполнять всю кривизну задуманного.
Oftop/
Удивительный хабр. Вообще в этой теме никого не минусил. Ставил только плюсы. Никого не оскорблял. Навалил кучу инфы - на подумать. И всё равно получил минусы в карму )))
С удовольствием почитаю про хоть какие нибудь реализации. Разумеется сам тоже буду гуглить. Но может у вас есть пару ссылок?
И так сказать для дискуссии. Как вы считаете почему LLM со своими трансформерами взлетели, а про другие технологии что то не слышно что бы были доступны в массовом испльзовании?
Главное что даёт LLM - она способна понимать человеческий текст. Просто сейчас из неё пытаются выжить все соки и придать её чуть ли не божественные возможности.
А текст она понимает потому как работает с буквами и слогами и сочетаниями слов.
Это примерно как человеческий мозг работает - мы читаем слова не по буквам а целой картинкой. Свёрточные сети затылочной зрительной части мозга неплохо преврящают картинку целого слова в нужный сигнал.
Даже есть забавный эксперимент - если выкинуть большую часть букв из слова или переставить их местаим - всё равно будет понятно.
Я бы даже сказал что человек может воспринимать несколько слов одновременно или даже целое предложение - если у него в мозгах под это шаблон есть.
LLM работает точно также - она входящий текст с ошибками с склеенными словами и прочим мусором превращает в входные токены которые превращаются в нужные эмбединги.
Проблема SOAR, ACT-R и подобных жёстко структурированных систем это то что они могут работать с чётко поставленными данными. LLM это им обеспечит.
Ну и второе - LLM обеспечивает нахождение связей между понятиями. Это очень сильный механизм. Его надо использовать.
Это я написал так очевидное. Думаю может кто ещё каких интересных идей накинет.
SOAR и ACT-R это как раз методология подхода к проблеме интеллекта как - чётко определить что надо и отсюда реализовать это в алгоритмах. По моему мнению именно классическое определение (как именно реализуют эти алгоритмы сейчас фиг его знает) это более низкоуровневое поведение. Т.е. механизм объектной памяти и механизм алгоритмов поведения.
Я же тут во вех портянках продвигаю мысль - развития этого механизма до виртуального моделирования среды. Хотя кто его знает - может где кто прямо сейчас это делает.
LLM - это же алгоритм поиска скрытых связей в понятиях. Через близкое расположение векторов понятий.
Думаю что гибрид первого подхода и второго даст качественный скачок в построении AGI.
Один чудовищный эксперимент когда человека лишили возможность перемещения данных из быстрой памяти в долговременную я знаю. В общих чертах один любитель покрамсать мозги - обрезал что то в долях мозга, при этом нарушил своё же правило доктора - сделал одинаковую операцию на левой и на правой доле одновременно. В результате получился человек который помнил старое, а всё новое помнил лишь то что было не позже 15 минут - время быстрой памяти.
Но как это относится к проблеме мыслей? Мысли как раз в быстрой памяти и крутятся. Вот если бы доктор покрамсал участок отвечающий за быструю память - думаю в результате получился бы овощ. Или вы о проблеме проецирование образов из долговременной памяти на быструю? Честно говоря не вы не я не можем знать что и как там детально происходит. Я лишь для себя определю поверхностную логику работы. И кстати я вообще не утверждаю что это правда. Просто для меня текущая версия бытия такая. Новые данные - новые версии.
Мышление в моём понимании - это алгоритм, механизм, который строит виртуальную модель. Виртуальная модель включает в себя объекты. Виртуальная модель включает в себя законы внешнего мира. И главное это модель не статична. В ней происходит текущая последовательность активностей. Блин вот на ходу придумываю формулировки. Вобщем кроме механизма модели, есть ещё и механизм действий этой модели. У человека например этот механиз напрямую зависит от внешних сенсоров - глаза вилт хищника - бежать. Желудок сообщает что надо жрать - запускается механизм поиска еды. Короче у животных - этот механизм выживания. У человека с высшей нервной деятельностью - внешние сенсоры подменяются на виртуальные. Мы можем представить как едим лимон - и нам даже станет кисло.
В LLM вообще другая архитектура. Вот я как ни стараюсь не могу её архитектуру сравнить с архитектурой которая по моим определениям работает в голове человека. Вообще разные вещи. Но это не главное. Как я говjрил - AGI не должен быть человеческим. Но то что есть сейчас не выполняет тех минимальных требований который может сделать мясной интелект. LLM не может сидеть на кассе магазина. LLM не может писать код проекта от начала до конца. LLM вообще ничего интелектуального длинного не сделает. Она может генерировать бесконечный текст - который будет в результате бредом. LLM - сегодня это просто большая база данных. С API для запросов к этой базе данных. Да API по сложнее чем какой нибудь SQL. Но тем не менее это просто запросы.
Ну скажем так - человек это почти целиком и полностью безусловный рефлекс. Эндокринная система, работа сердца. Это всё аппартно зашитые рефлексы. Отдёргивание руки от огня происходит раньше чем сигнал доходит до мозга. Но честно вообще не пойму при чём здесь это.
И чего это вы на меня наехали? Альтернативщик какой то. Статьи не хотите приводить о внутреннем устройстве очередного ИИ. А я бы почитал. И чего вам шортсы то не угодили? Никто по шортсам не изучает - это просто доступный католог. Увидел интересного чела - пошёл гуглить видео или статьи по нём. Мне например в шортсах никогда ничего интресного не попадается - там все несут полную пургу. Ну и что?
Вы меня рассмешили ))) Я никому ничего не доказываю ))) Как вы думает - зачем я тут пишу эти простыни ? Ну главным образом для себя - я так прокрастинирую. Мне кабздец как лень писать очередной код. И второе - а вдруг я увижу что то дельное и интересное от других?
Ладно. Пойду уже спать.
Когда человеку сообщают новые знания - они попадают сначала в быструю память. А потом в долговременную. Физически это выглядит как прорастание новой дендритно-аксонной сети. Т.е. Человеческий мозг постоянно переобучается.
Пямять LLM - это веса в перцептронных слоях и вектора в векторной БД. Они статичны. Это обусловлено архитектурой.
Ваш пример краткосрочного обучения непонятен. Весь наш текст упаковывается в эмбединг - это что обучение по вашему? Это просто упаковка. Сжатие. А дальше с этим вектором просто происходит перемножение матриц.
По поводу мыслей. Я тут уже высказывал своё видиние развитие человеческого сознания. Если кратко - то сознания как бы 2 типа.
Первый тип - животное сознание. Присутствует у всех живых существ. Это модулирование внешней среды во внутреннее представление. Развито эволюцией для целей предсказания будущего. Хищники предсказывают куда прыгнет заяц. А зайцы следовательно наоборот.
Потомство оставляли те кто лучше это делал.
Это тип сознания я бы назвал автоматическим - там главенствуют безусловные рефлексы.
Второй тип сознания появился с появлением неокортекса и главное появлением речи. Мы получили возможность вести внутренний диалог с самим собой.
В повседневной жизни человек ведёт себя обычно по первому типу сознания - всё делает на автомате как робот. Но может переключится и на второй тип. Ведь мы осознаём себя именно в моменты внутреннего диалога.
Проекции образов из первого типа сознания на слова второго типа сознания и внутренний диалог - это и есть мысли.
В LLM мыслей нету - потому как нету внутренней проекции мира. Ну например мы читаем книгу - в голове сразу автоматически рисуется картина локальной арки книги. Рисуются герои. Наше сознание вообще отключается - мы переносимся в этот вымышленный мир. Читая диалоги книги - мы одновременно живём героем в этом виртуальном мире. Тоже самое когда мы смотрим кино. Тоже самое когда программист входит в так называемое состояние потока. Вообще проблема вопроса "Я" - я тут тоже неоднократно обсуждал.
Короче всего этого механизма в LLM нету.
Что касается учёных статей....Я вам их не приведу. Тема настолько новая что нету сейчас таких учёных. А учёных старой школы слушать их рассуждения о работе LLM без слёз невозможно. Да, он учёный - но просто вообще не в зуб ногой как устроена внутри современная LLM. Это я камень в огород некоторых которые иногда попадаются на ютубе или в шортсах
Ах да забыл. Вот https://www.youtube.com/watch?v=9ue_NLaSf0Y серия лекций просто потрясающего качества деталей. Вышла буквально "вчера". Ничего более подробного в русскоязычном секторе не найдёте. А если найдёте буду благодарен за ссылку.
Ну не пишут код они.. Вот все кто не пробовал все обломались. Просто это выглядит так - задаёшь простой промт - напиши мне сайт. Можешь даже расписать его - типа там менюшки, кнопки. И LLM естественно в своей огромной векторной БД найдёт шаблон похожего сайта и выдаст тебе портянку нерабочего кода.
Но это же только начало. Дальше ты начинаешь разработку этого сайта - и начинается ад.
Когда ты начинаешь просить найти ошибки в существующем новом увеличенном коде или доработать его - это прост превращается в самобичевание. LLM найдёт ошибки там где их нет. Там где они есть не найдёт. И вместо самостоятельной разработки и тестирования - ты попросту занимаешься болтовнёй с LLM - а это занимает очень много времени. Больше если бы сам писал и тестировал.
У меня LLM занял следующую нишу. Написать маленький алгоритм. Сортировка там какая нибудь - который копипастишь и сам проверяешь на работоспособность.
И анализ кода. Скинул портянку - и читаешь вывод. Потому как она хорошо подмечает какие то локальные вещи. Иногда то что она выдала помогает самому обратить внимание на место в коде на которое у тебя зашорился взгляд. Но скажу честно такой двойной анализ бреда выданного LLM и анализ собственного кода - жутко выматывающая процедура. Мне смешно слышать когда кричат - программисты скоро не понадобятся. Да даже опытному программисту трудно вести такую двойную работу по анализу.
Скажем так. Я смотрел множество интерпретаций от разработчиков на тему - а что же там собственно происходит. Не буду говорить что самым частым эпитетом которым они пользовались было - мы вообще не понимаем почему это работает, а также как они вообще разрабатывают дальше современные LLM. А разрабатывают они их просто наугад. Просто пробуют разные коэффициенты для локальных алгоритмов или просто тусуют эти алгоритмы. ПО типу а давайте пропустим не через 12 слоёв перецептрона, а через 16 и зациклим это через трансфомер. Или давайте переобучим 2,5,10 слои. Через месяц обучения смотрим что получилось - нихера не получилось. А давайте RAG на вход прикрутим ! Или в середину. И по новому. И при этих всех модификациях именно кор-алгоритм не меняется.
Так вот. Они (натягивали сову на глобус) предполагали что поиск в многомерном векторном пространстве, а в реальности тупое перемножение матриц, стал подобен... мыслям! Как по мне - они просто создали огромную БД куда аппроксимировали всю обучающую мега выборку. Т.е. сложили рядом друг с другом (в векторном виде) просто даже не слова. А слоги или даже буквы! Если глянуть величину эмбединг словаря - он будет занимать ushort величину. 64K всех возможных слогов, букв.
Если убрать притянутый за уши рандомизатор - механизм температуры. То на входящий промпт LLM будет отвечать всегда одним и тем же выводом слог. Что говорит что это просто конечный автомат.
Человек одним входящим предложением может переосмыслить весь свой жизненный опыт, т.е. переобучить мясную нейросеть. LLM же принципиально не обучаются от входящих промтов. Они статичны.
У LLM нету локальной памяти. Что бы они могли поддерживать контекст - весь предыдущий трёп каждый раз помещается в входящий промт - что бы получить один единственный маленький вектор, точка отправления которого и будет служить в векторном пространстве.
Кстати механизм внимания меня вообще убил - тупо складываем кусок предыдущего вектора с новым в итерации. Удивительно что это работает.
Вывод этой портянки текста. Современные LLM не имеют внутри фактов объектов. Не обучаются на входящей информации. Не модулируют факты объекты в виртуальном пространстве. Не имеют короткую память - как у человека. Не имеют внутреннего диалога - это следствие отсутствие визуализации внешнего мира. Не имеют никаких стимулов - это тупой конечный автомат по предсказанию следующего слога, буквы. Они не мыслят вообще - их вывод это иллюзия мысли. Внутри нету никаких проекций в быстрой памяти которой тоже нет.
Короче я задолбался писать. И да - они весьма полезные поисковики информации.
Всевозможные гибриды SOAR, ACT-R и LLM это то что на слуху. Вроде как в спец конторах такие гибриды применяют. Слышал что в Америке в конторах для модулирования и предсказания войн и подобного. В конторах прогнозирующих мировые рынки и их тенденции развития. Там годами пилят подобные спец под себя заточенные программы. Наружу они не выходят.