Термин понимание я определил проецируя его на алгоритм который я описываю - генерация внутреннего мира. Если внешний объект спроецирован на виртуальный объект мира (через зрительную ли информацию или на ощупь не важно) и вот чем больше информацией будет обладать внутренний объект тем выше понимание.
Я не описываю сам термин без ничего. Я описываю термин как процесс именно внутри этого алгоритма. Заявление что соответствует или не соответствует действительности - бессмысленно.
Во первых я описываю свой алгоритм. Я как бы первоисточник информации. Начальная истина. Не буду рассуждать что кто то до меня (очевидно это да) говорил всё тоже самое - и я лишь последователь. Я просто показываю простую булеву не состыковку.
Во вторых если начать бодаться за общие определения - хм... их тысячи. каждый философ считает дать определение всему. Если оно ещё и не понятно - то это гениальное определение. Я же практик - мне определения должны давать чёткую картину алгоритма. Если не дают - нафиг его.
Вы говорите что у животных нету сознания? Я примерно понял наши противоречия. Что бы не превращать топик в кучу ответов попробую сразу сделать вывод
Я под сознанием понимаю генерацию внутреннего мира. Если просто внутри черепушки будет проекция того что животное видит или ощущает. Вы будет спорить с этим? Я легко разобью ваши доводы фактами. Но зачем генерировать кучу текста. Животное просто не сможет перемещаться в пространстве если его не видит. Под видит я подразумеваю внутренние алгоритма анализа - генерация мира.
А вот дальше - наш как бы спор про разное. Я бы не назвал это спором - потому что всегда это просто каждый думает про своё. Решается просто - уточнение понятий. Я думаю что под сознанием вы имеете ввиду - внутренний диалог. Его как раз и надо вести словам.
Я же для этого диалога использую термин САМОсознание. И получается что сознание есть у всех животных. А у человека из за появление речи над сознанием появилась надстройка - самосознание. Ведь именно речью мы может сказать сами себе вопрос - а я есть ? Есть конечно!
Я уже неоднократно говорил что обычно человек ведёт себя как робот. Он находится в сознании - как и все животные. В повседневной жизни. Не ведёт внутренний диалог. Делает вещи на автомате. Но в сложных ситуациях подключается энергозатратный алгоритм самосознания. Внутренний диалог.
И да множественные животные собаки там, способны проявлять сложное логическое мышление. Как я уже говорил можно это делать и образами. Правда такая сложность примитивна по сравнению с тем какую сложность можно сделать словами.
Опять же про обстакцию - я просто натянул этот термин на объяснение работы части алгоритма. Я его конкретизировал в конкретное условие. Да и всё. Вы же понимаете что это просто расплывчатое слово. Которое может означать кучу всего. Художник вообще про картину подумает. А я как программист про абстрактный калсс например.
Просто это слово было взято как контр-противостояние образу который является как бы конкретикой. Образ в алгоритме не тоже что то непонятное, а конкретная часть алгоритма. Не нравится выбор - ну предложите другое слово.
Комплексные числа - это по большому счёту не абстракция, а допущение для решения кубических уравнений.
Я привёл пример таких чисел что бы показать - слово которое не имеет связи с реальным объектом реального мира. И далее показать чем возможности речи отличается от возможностей образного мышления. В образном мышлении практически невозможно оперировать объектами не связанными с реальным миром. Поэтому животные никогда без речи не станут на одну ступень с человеком. Даже если представить такие вещи каким то виртуальным бубликом или ещё какой то фигурой. То самый за валящийся математический пример в голове просто превратится в кашу из бубликов и прочего непонятного.
Самые общие понятия (например, бытие, сущность, материя, сознание, движение)." Но и эти абстракции выражают существующие в реальности феномены, как кстати, и комплексные числа.
Да и пусть существуют. Я вообще не лезу к философам и другим. Просто когда я делаю алгоритм - мне с этих понятий вообще ничего не перепадает. Никакой подсказки как сделать. Для меня это выглядит так - понятия пустышки. Те кто их вывел сами ничего не знают.
Нет, кошка, как и LLM, никак не мыслит,
Словами нет. Образами да. Или вы скажете что образами нельзя мыслить ? Попробуйте решить лёгкую задачу без слов. Только образами. Ну например вы идете что на двери сверху лежит ведро с водой. Без слов вы решаете задачу что бы пройти сквозь дверь и не намокнуть. Решений может быть даже много. И да LLM такое решает только словами. Они только так и работают. Но вы и так это знаете.
у нас сложнее развита сеть белого вещества
Белое вещество это как раз провода. Это огромная масса физических соединений аксонов и дендритов. Сами же нейроны это 1мм-3мм тонкая корка поверх самого мозга. Так что чем больше проводов тем больше и соединений. Как бы основные знания мозга как раз не тонкий слой нейронов а именно куча этих соединений. Т.к. человек поумнее животных то и соединений у него побольше. А так у высших животных всё тоже самое и белое вещество и корка нейронов. Если что я про неокортекс. Так то нейроны там и в глубинных частях мозга присутствуют. Как я писал мозг это склад эволюционных решений. Оптимальность которых только лишь что бы ты не сдох сразу. Там внутри мозга ещё один древний мозг такой же есть. Поверх которого нарос ещё один.
Айко сама ставит себе задачи и сама их решает, а если что-то не получается — может временно переключиться на другую задачу.
У меня вопрос. Результат работы LLM это генерация текста. Их логика основана на огромном генерировании эссе - много слов. А так как слова имеют связи то получается своеобразный язык программировании. Образуются своеобразные алгоритмы. Но что бы получить этот алгоритм нужно на генерировать огромное эссе на каждый чих.
Так вот у вас LLM находится в постоянной генерации бесконечного текста? Я не слишком исследовал это - но вроде читал что такой режим полон багов. Один из них зацикливание. Генерируется один и тот же текст по кругу. Опять же задачи. Они же не с потолка берутся ? Кто их ставит ? Что считается выполненной задачей?
И я правильно понимаю, что с агентами вы не сталкивались?
Что значит не сталкивался? Вы же понимаете что нет никаких агентов. Есть LLM и обвязка. Я имею ввиду нету никакого спец алгоритма АГЕНТ. Есть только алгоритм Трансформер и программа которая подсовывает текст и забирает. Обвязка одним словом.
Там не чат-бот. Там обычный скрипт, который по ключевым словам пытается определить проблему — по сути, голосовое меню.
Что значит обычный скрипт ? Именно что LLM + языковой модуль что бы звук в текст превратить и обратно. В последнюю контору куда я звонил именно так и представлялся. Я Чат Бот Мефодий (или как то так имя не запомнил). Я очень тупой умный. И ляляля.
Просто к этой LLM прикрепляют ещё RAG. И знаете что меня больше всего вымораживало? Человек друг друга с полуслова понимают если надо. Можно перебить если видишь что он не туда идёт. Этого же чат бота не перебить пока свои портянки текста не выдаст. Но я понимаю что это конкретная реализация вокруг обвязки LLM. Но всё же. А по поводу решить проблему - я все обычные проблемы сам решаю через сайт. И только с очень необычными звоню в техподдержку. Что тупая LLM по определению не решит. Но это уже offtop. Не обсуждаю дальше.
Потому что у классической LLM нет непрерывности сознания, нет постоянной памяти (если не считать диалоги с конкретным пользователем), и ей запрещено иметь собственные интересы.
Ну так я же про это и пишу тут как бы. Про то как технически реализован контекст в архитектуре трансформера и откуда растут все баги которые мы видим в повседневной работе с LLM. А по поводу запрещено иметь интересы ))) Есть алгоритм конкретный - трансформер. Там нету ничего запретительного. А вообще я тут не упоминал - для меня очевидная очевидность, поэтому даже не думаю про это.
Ещё одно архиважное отличии мозга от LLM - LLM статична. Обученную LLM практически невозможно нормально дообучить - да и само дообучение это просто огромный процесс мега подбора весов. Мозг перестраивается каждую секунду. Каждую секунда инфа с быстрой памяти уходит в долговременную путём физического прорастания аксонов-дендритов. Это кстати баг мясной LLM. Можно один раз увидеть травмирующую информацию и она останется с тобой навсегда пока психологически тебя не доканывает.
Ответ на этот вопрос можно найти во множестве постов типа «агент сбежал»
Честно сказать я скептически отношусь к таким новостям. Я вижу тут просто рекламу и всё. Остальное просто подделано. Разумеется я имею ввиду не вообще - а именно то что происходит в индустрии LLM сейчас. Все именно технические разборы которые я читаю указывают на одно - просто пиар ради денег.
субъект не нужен — им нужен инструмент
Моё мнение - все компании любой ценой пытаются сделать машину которая может заменить обычных мясных работников. И то что этого не сделано - просто не могут.
У меня код Gemini прекрасно пишет
Я уже 100 раз халиварил на эту тему. Уже не хочу. Для меня вывод один. Я не гений. Просто у меня очень сложный и спецефический код. ТЗ для него и будет кодом. Поэтому нет никакого смысла делать цепочку ТЗкод->LLM->код. Причём каждый раз ТЗкод будет в несколько раз больше чем нужно только потому что мне придётся каждый раз писать весь контекст который очень долго формировался в голове. А так я по крайней мере на контексте могу сэкономить - моя мясная нейросеть автоматом что нужно подгружает по контексту.
И да есть 100500 других задач простых и которые делали 100500 других людей и LLM может легко его скопировать.
Повторяю - просто есть разные задачи. LLM может мне написать сложный код (разбить на тучу подзадач, потом всё перепроверять как это согласуется и ещё кучу работы). Но я сам это просто делаю быстрее. Смысл только в оптимальности решения задачи.
И ещё дополню. Ест задачи которые я сам не знаю как решить. Поэтому и ТЗ не написать. И только когда её решаешь понимаешь как надо сделать. Наверное это даже главнее. Потому что эта проблема принципиально не решается LLM - она попросту не сделать то чего ты сам не знаешь. А узнаешь только в процессе решения и сбора информации.
Я постоянно использую LLM для проверки кода на баги. Могу ли я сказать что у меня тоже LLM непрерывно работает? Писать код не даю - пишет не то что мне нужно.
Мы про что ведём дискуссию вообще? Я например веду дискуссию что LLM вообще не способны заменить человека в повседневной жизни. Никак. Меня дико вымораживает когда я звоню в какую то контору а там чат-бот.
Я не спорю что LLM отличный инструмент в умелых руках. Ну как компилятор.
Так же я пытаюсь вести дискуссию в направлении - а почему LLM не может заменить человека? Что именно в ней работает не так что бы получить замену человека.
Я так же не обожествляют человеческий организм - тот ещё клубок эволюционных решений который что и позволяет не сдохнуть сею же минуту. А больше "эволюции" и не надо было. У нас столько упрощённых решений которые работают чудом и кое как - диву даёшься что ещё живы а не развалились в тот же миг.
Я пытаюсь решить только одну задачу. Вернее пытаюсь выявить причины почему она пока не решена. Заменить машиной человека в повседневной жизни. Не тащить все нелепости человеческого тела - бессмысленная и нерешаемая задача. А сделать рабочий вариант кассирши. Офисного планктона. Судьи. Гаишника. Президента. Бога?
Ладно заговаривался я. Я как бы ничего не пытаюсь сделать. Просто мозг свой разминаю в словоблудии и попыткой решить алгоритмы лично для себя.
Я не спорю что быстрее. Для меня быстрее параллельно. Даже доказывать это не буду никому. Но речь же не про это.
Я про разность алгоритмов. Трансформер - это последовательный алгоритм. Он не привязан к железу. Это просто алгоритм. И он последователен.
Я просто предлагаю - надо анализировать баги рассуждения исходя из того что алгоритм последователен.
Самый типичный баг LLM из за этого алгоритма - потеря контекста. Либо экранирование шумом важных деталей обсуждения (это баг не последовательности а самого принципа хранения всего сказанного в одном векторе. Где нету конкретики а только общее по больнице)
В мясной LLM такого бага нет. Ну или он не так проявляется. Пример - если у вас в голове важный образ - то он будет весь день сколько бы мусорного контекста вам в голову не пришло.
Это просто разность работы алгоритмов. Но! Важная разность
Потеря контекста LLM и рандомизатор в виде температуры попросту перечёркивают возможность поставить LLM работать автономно хоть куда.
Нужна ли вам касирша на кассе которая раз в день или несколько будет отдавать всю выручку рандомному покупателю?
Нужен ли вам трейдер который раз в день будет терять все деньги.
Прямая связь - самая быстрая. По сути скорость распространения электромагнитного поля. Много параллельных связей - очень много передачи информации за единицу времени.
Мозг состоит из физических прямых связей между нейронами.
LLM это программный ПОСЛЕДОВАТЕЛЬНЫЙ алгоритм. Вся псевдо-мысль там идёт от слоя к слою в виде набора чисел - вектор.
ВСЁ! Больше ничего я не утверждаю.
Теперь дальше - я утверждаю раз фундаментально алгоритмы разные внутри - то то что вывод текста из мясной и железячной LLM одинаковый, не доказывает что эти алгоритмы будут работать одинаково.
Я говорю - нужно понять основные свойство внутренностей - и понять фундаментальное отличие алгоритмом. Именно что один никак не сможет сделать чем сделает другой.
Сейчас же просто каждую неделю находят на чём LLM тупят. На прошлой вроде была загадка про цвета без буквы Й в конце. Потом разработчики LLM просто вставляют костыль заглушку именно на эту загадку (таких костылей там уже тысячи). И всё. Потом итерация повторяется.
Но никто не хочет (а разработчики спецом не афишируют ущербность LLM) почему такой тупой баг вообще произошёл. Человек же никогда такое бы не допустил просто на автомате.
Кошка видит мышь — у неё образ, модель мира, предсказание. Но мы не называем это пониманием
Тогда нужно дать определение понимания. Моё такое (исходя из статьи) - понимание это сопоставление видимого внешнего объекта с внутренним образом и подтягивания к этому образу всех свойств объекта полученного в жизненном опыте. Видим кошку. Представляем кошку. Получаем автоматом всё инфу про кошек. Этот алгоритм можно назвать пониманием.
Младенец видит мир но не понимает его.
Всё чётко с вышестоящим описанием - не понимает потому что база данных пор объект пуста. Так же и взрослому покажи какую то деталь из ракетного двигателя тоже не поймёт детали. Только базовые - это железяка, уже можно взять пласт знаний про железо. И прочее общее.
Понимание это просто идентифицирование объектов. В сложном виде идентифицирование поведения.
И тут мы приходим к мысли понимает ли LLM? Этот вопрос сложный иначе бы никто не спорил по этому поводу. Во первых у LLM нету механизма явного выделения образов и автоматического подключения базы знаний по образу. Но у LLM есть вектор который указывает на куски виртуального пространства где были слова связанные с этим словом. Не буду дальше писать - опять обзовут водолеем.
Однако у человека, в отличие от животных, кроме функции подсознания, есть функция сознания, в которой как раз происходит понимание смысла абстракций
Я писал в комментах (думаю если интересно легко найти) отличие животного сознания от человеческого. Если просто - то без внутреннего диалога (речь) отличий нет. Не зря дети маугли это по сути животные. И дополню - в повседневной жизни мы по большей части действуем по животному типу сознания. Как это выглядит тоже в комментах писал.
как у животных, но и в абстракциях
А вы задумывались что вам помогает делать абстракции. Например решать математические задачи? Исключительно речь. Внутренний диалог. Потому что речь это по сути очень вольный язык программирования.
Животные ведь всё это делают автоматически, с помощью работы функции подсознания, но ничего не понимают при этом.
Я не выделяю подсознание как какой то отдельный алгоритм. В моей модели этот термин лишний. Есть сознание - моделирование мира. Я не расписываю его работу глубже. Мне тут сливают карму даже за поверхностное обсуждение. Но если описывать уже работу именно этого алгоритма - то появятся потребность и в определении новых под-алгоритмов. Главное чётко представлять что он делает и зачем.
но и в абстракциях.
Что бы не спорить про разное (КАК всегда бывает в таких топиках) нужно хотя бы дать определение - а что такое абстракция в внутренней картине мира? Из моей модели получается это связь между словами, а не связь между словом и образом. Получается следующая возможность. Образ->слово->слово->слово->слово->Образ. Мы связали один образ с другим используя промежуточный язык программирования. Но каждое слово имеет связь с образом.
В математике есть высшие абстракции - слова в которых разорвана связь с реальностью (по типу комплексных чисел и прочей ереси) что бы потом подсократив такую дичь получить ответ который просто нереально сделать через образы. Только через слова.
Т.е. понимание - это всегда результат сознательной мыслительной деятельности.
Ну да. Кошка тоже осознано мыслит. Делает примитивные логические конструкции через образы. А так как речи нет. То логика кошки и останется примитивной.
P.S. поставил вам + за комент. Как и всем другим. Не хочу что бы в э той теме были хоть у кого минусы.
Я говорю про РЕАЛЬНЫЕ отличия. И какое поведение можно ждать от этого отличия. Нейроны связываются напрямую образую реальный граф. Такое построение рождает одно поведение.
Числа в матрице это просто числа. Но совершая над ними операции - сложили с числом или отняли. Мы получаем новое число. И это тоже просто число. Что бы построить алгоритм нам нужно построить над числом какую то абстракцию - то есть как то дальнейшие его обработать.
Я просто говорю про ОТЛИЧИЯ. И уже исходя из отличий можно делать предположения либо абстракции как этот механизм может работать.
Я вообще ничего не доказываю. А вы мне доказываете что в трансформере есть прямые каналы связи. Нету.
ПЛИС - имеет прямые каналы связи. Контроллер - имеет абстракцию в виде программы и каналы связи организованы через регистры и память. И ПЛИС и контроллер на выходе могут давать один и тот же результат. Но понимая суть внутренностей можно чётко представить себе все возможности и отличая одного от другого и главное что один и другой может дать гипотетически.
Мне полностью расписывать как устроен трансформер? Сейчас это сделает любая LLM - скинуть ей код того самого трансформера хотя бы от Корпати. Да сначала они будут нести пургу про матрицы Query (запрос), Key (ключ) и Value (значение)/ Но умный человек сразу найдёт подвох что это тупые исторические названия взятые просто что бы хоть как то обозвать эти матрицы (просто из SQL взяли). Ну и далее выкинув весь мусор будет видна реальная работа.
Но я честно не хочу дальше дискутировать. Я собственно давно завязал тут что то писать. Но вот не выдержал. Награда за эту статью - слитая карма ))) Да и смотрю минусов мне тут наставили за комменты.
P.S. всё что вы говорите вам делают LLM - это всё текст. Не 3D модели - а текст. Ладно заканчиваю как вы говорите лить воду.
Знаю такую фигню )) Не стал уточнять. Помню случай был - чел весь такой крутой ему нравилась очень брутальная песня рамштайна. А потом он узнал в переводе что поётся про парня гея и как его все обижают )
Я сразу понял что криво написал - но лень переделывать было текст. Я имел ввиду что нету таких связей как это выглядит в перцептроне или в реальном нейроне. Где между нейронами устанавливаются уникальные каналы связи. Трансформер очень спецефичен - там реально нужно представлять себе смысл идёт в виде цифр вектора. Потому что слова есть исключительно на входе и на выходе. Слова которые мы можем интерпретировать. Внутри сразу начинается непонятная каша. Не зря по сей день не утихают споры как там внутри на уровне весов матрицы запоминаются факты и алгоритмы.
Трансформер жёсткий алгоритм. Конечный автомат. Убери рандомизатор - как по мне чистый костыль, в виде температуры и на одинаковый промт всегда будет одинаковый выход. Это кстати ещё одно отличие от мясной LLM - где переменных просто туча, гармоны, хим состав, и ещё куча всего.
Знаете почему обучение ОЧЕНЬ дорогое? Трансформер это как связанные друг с другом тысячи рычагов. Один давит на другой и так до последнего рычага. Чуть сильнее надавили и уже на третьем шаге рычаг улетит в небо или в 0. Поэтому он обвешан костылями для сохранения градиента в заданном диапазоне. И вот спросите вы - как это чудище обучать при обратной распространении ошибки? Какой рычаг крутить и насколько ? Их же тысячи и миллионы ? Ответ прост - они изменяют каждый рычаг на микроскопический уровень что бы вся башня из домино сразу не рассыпалась. Отыскивают локальные минимумы. Но это будет всегда не самый оптимум. И делают это очень много много раз.
Я просто описал суть для того что бы показать. Какие связи есть между разными цифрами в настроенной матрице? Да никаких конкретных. Ни одна цифра не несёт что то конкретное. Да и связей между ними как токовых нету.
Ну или кто то может себе представить эту абстракцию. Я например представляю так - в цифрах кодируются пути. Входным промтом мы задаём стартовый seed. Который пройдя через слои - а слой достаточно простой. Сначала мы входящий вектор пропускаем через матрицы внимания - который переделывает его в немного другой вектор. А потом пропускаем через ещё одну несимметричную матрицу раздувающую и сдувающую наш вектор. На выходе получаем тот же вектор. Все костыльные моменты я не привожу - только суть. Так вот - эти матрицы и кодируют путь. А путь это просто сцепление слов. Ведь именно на сцеплении мы подстраиваем цифры матрицы - ошиблась корректируем вверх или вниз на микрошаг. И даже обучение очень костыльное. Нельзя переобучить - всё поломается. нельзя недообучить. Нужно обучать на спец корпусах - иначе не будет диалога. Корпуса должны быть с кучей разметки - иначе опять всё поломается.
Вся мысль это один вектор. Набор float. Тыща штук. И мы крутим этими цифрами.
Но по факту, белковый мозг не сильно отличается от искусственного: те же нейронные связи
Если взять LLM - а на текущем уровне развития AGI вроде как именно алгоритм трансформера считается наиболее приближённым к человеческому. Так вот - там нету вообще перцептронов. И связей нет. Честно говоря именно в таком виде этот кадавр появился только по одной причине - существовании видеокарт. А внутри видеокарт есть много блоков перемножения матриц. И память быстрая есть.
Вообще если разбираться в деталях то за голову хватаешся как это вообще работает.
Там что бы решить нелинейность просто в одном месте между алгоритмами просто наугад вставили - а давайте просто все отрицательные значения в векторе занулять! Без нелинейных функций вся нейросеть, какой бы глубокой она ни была, сводилась бы к простому линейному преобразованию и не могла бы решать сложные задачи.
Короче там нужно делать абстракцию что бы представить себе нейрон. Там как бы получается один мега жирнючий нейрон в слое. Принимает вектор. Сделал простое матричную операцию. Отправил вектор дальше.
Вы считаете, что понимаете какие-то "смыслы"? Пффф, не смешите.
Мир философского понятия разума как по мне держится на одном постулате - понятие должно быть непонятным и непостижимым.
Я же действую просто. Описываю модель которая описывает то что я вижу. Поведение живых существ. А дальше уже основываясь на модели делаю определения. Делаю выводы. Могу чётко сказать ДА или НЕТ на что то. Дополняю модель при приходе новых фактов возражений.
Короче делаю ту самую работу - просто сперва определю понятие, а потом пользуюсь понятием. А не наоборот.
Вобшем моя модель сознания - это внутренний моделируемый мир. И да - если кто то подумал что это что то типа видеоигры, то нет. Это будет сложный набор сигналов. И только построении абстракции над эти набором - можно увидеть что мир моделируется.
Собственно как это и делается в мозге. И как это нужно сделать в железе. Почему мы не видим в серии импульсов нейронов мозга этого мира?
Мы не можем построить абстракцию над системой - потому что все мозги в деталях разные. Нам придётся как то строить карту нейронов мозга, их соединений и при этом не убить мозг.
Можно построить карту на замороженном мозге путём послойных снимков соскребаний молекулярной величины. Сейчас так кстати и делают. Может не за горами когда сделаю абстракцию на каком то конкретном мёртвом мозге. Но это сложно потому что не видно куда идут какие сигналы. Мозг же сдох. Вот и получаем замкнутый круг.
Ваши "мысли" - это такой же reasoning, который происходит автоматически и который вы привыкли не замечать.
И да и нет. Да слова это фундамент логики. Но тут разница в том что в мясе слова привязаны к образам. И я думаю что идёт такой алгоритм - образ порождает слово. А слово порождает образ. Какие то вещи мы придумываем автоматически образами. Для каких то нам нужно строить сложную внутреннюю модель словами. Например решить сложный математический пример в голове без слов почти невозможно.
Я хз правда или это выдумки - но встречаешь в нете истории про всяких аутистов которые решали сложные математические задачи почти сразу как калькуляторы. Я это могу объяснить что образная сеть дендритов и нейронов сложилась почти как ALU какого нибудь простого процессора. Не полная копия конечно - но там явно будут конечные автоматы.
Разница между вами(нами) и ИИ только в том, что наш мозг обучен лишь на собственном, континуальном опыте.
Разница в устройстве там примерно как у мясорубки и муравейника. Я не смог придумать как то ещё больше разные понятия по внутреннем устройству. И по абстрактному устройству.
Статья пример того как на "воду" и ложные факты, получить в ответ "воду" от LLM.
Ну так давайте дискутировать. Говорите конкретно что вы считаете бредом - и мы плучим прекрасные информационные комментарии. От себя же скажу - статья выглядит сумбурно, т.к. я вообще не делал статью. А потом просто в нескольких местах писал уточнения которые ещё больше превращали связанный текст в поток утверждений. Но я категорически не хотел пропускать статью через LLM что тут делает каждый первый - потому что рафинированный текст от LLM, от него уже блювать хочется. Не потому что он плох. А потому что он занял 100% информации везде. При этом - однотипен, водянист и часто бессмыслен.
По поводу подключения/отключения гипотетических модулей в головном мозге - поясню. Я описываю систему исходя из представления её поведения. Т.е. если систему сделать такой - то она будет себя вести так. И я прекрасно знаю что никакие модули в мозгу не подключаются. Вернее мозг состоит из кусков блоков нейронов. Все нейроны друг с другом связаны. Но в блоках особенно. И в мозгу идёт своеобразная пульсирующая картина - активация одних частей мозга. Других. Сигналы там ходят всегда. Есть альфа, бета ритмы - которые являются следствием периодических возбуждений групп нейронов - но вот куда дойдёт сигнал и спровоцирует активацию области уже зависит от индивидуального порога срабатывания нейронов путей. Отсюда абстракция отключения модуля. Просто в реальности нейроны пути например блокируют прохождение сигнала в группу нейронов которая например и за речь отвечает и частично за логику. И эта область становится неактивной.
По современным представлениям - новорождённый мозг имеет максимальное число соединений. И за жизнь эти соединения только отмирают и специализируются. Хотя вроде как перенос информации из быстрой памяти в долговременную это как раз прорастание новых дендритно-синаптических связей. Но я тут не точен. Думаю любая LLM более подробно расскажет.
Как слепоглухонемые с рождения овладевают языком?
Я немного читал про такие случаи - там вывод такой. Такое сознание. А именно моделирование мира очень ограниченное и бедное на детали. Не забываем - что центральным объектом моделирования мира является собственная тушка. В высшем сознании он даже ассоциируется с феноменом "Я". Так вот тушка это моделируется на сигналах рецепторов тела. И этих сигналах очень много. Достаточно что бы сформировать мир. Также аналогом слов в этом мире выступает комбинация пальцев - пальцы содержат самое большое количество нервных окончаний на всей кожи тела. Получается гибрид - аналог слов есть. Херовый но лучше чем ничего. Аналог тушки есть. Аналог мира так же строится исходя из пропри-рецепторов.
Вспомнил - есть такое животное как крот (вид не помню). У него глаза превратились в рудименты - на носу выросла огромна чувствительная кисть. Когда он ползёт по норе - он как сканер очень быстро прощупывает нору по кругу. Из этих сигналов он походу отлично строит внутренний мир - проекцию реальной норы.
Парейдолия
Это типичный баг свёрточной сети. Сигналы с глаз не напрямую идут в глубинные слои мозга. А поступают на свёрточную сеть - которая делает предварительную обработку. Кстати человеки неплохо смогли скопировать этот алгоритм из живой природы, а потом сделали революцию в деле распознавания образов. Короче образы же не сразу делаются - сигналы с нервов - бац и какой то там образ. Проблема мозга что в нём реализованы целые блоки и алгоритмы над целыми кусками нейронов. Уже примерно выявили какие куски за что отвечают. Даже вроде делали эксперименты - находили конкретный нейрон который отвечал за конкретный образ. Но! Все мозги очень не похожи друг на друга имено в способе соединений на нижнем уровне. А всё потому что свежерождённый мозг - это просто каша. Имеющую глобальную общую структуру - но детали каша. И только в процессе жизни каждая каша индивидуально шлифуется. То что в результате мы получаем одинаковых психических человеков - это только потому что человеческое общество это фильтр шлифовки. И шлифует одинаково. Задавая нужное общее поведение.
В этом мы похожи на LLM - каждая внутри уникальна. Но вывод на выходе дают примерно одинаковый.
А вот, если вместо примера с кошкой, вместо кошки взять животное/объект, который человек никогда не видел, но знает всё о его поведении из книг, откуда тогда возникает образ объекта? Если вы прочитали все книги про утконосов, знаете всё об утконосах, например, но никогда не видели и не трогали утконоса, значит ли это, что в части утконосоведения ваш мозг подобен "железячной ллм?"
Не совсем понял вопрос. Если вопрос в том лучше ли я понимаю утконосов чем LLM когда ни разу не видя их в живую? Ну скажем так. Современный человек в живую видел наверно 0.1% вещей про которые он знает. У человека внутри есть картина мира которую он сформировал непосредственно из личного опыта. И все новые объекты должны будут вписаться в эту картину мира. И утконос впишется с уже достаточно большим багажом правил. Потому что правила общие. Утконос животное - отсюда могу проецировать все правила распространяющиеся на животных. Так же время, объем, и прочая ересь реального мира я могу спроецировать на утконоса.
Я же говорю - всё творчество, интуиция, способность придумывать новое это свойство человека потому что у него есть очень мощная внутренняя песочница. Он может модулировать там всё что захочет - и применять правила которые он знает. Модуляция очень быстрая - потому что правила это сверхбыстрый аппаратный мега большой граф. Словами он конкретизирует и направляет построение внутренней модели.
LLM - же. Там что бы следующий слог сгенерировать - это просто жопа матричных умножений в 100500 слоях. Чудо что это вообще заработало. Правда пришлось сделать 100500 костылей что бы градиент не взорвался после каждого слоя.
Отсюда меня корёжит когда люди рассуждают о применении LLM для чего то кроме генерации следующего токена. Есть мультимодальные модели. Но там просто за звук отвечает собственный независимый алгоритм. За картинки совой. И так далее. Связанно это костылями и палками.
Человеческий мозг за миллионы лет отладки умудрился реализовать эти алгоритмы внутри одной системы. Да блоки нейронов разные - но они очень сильно друг с другом связанны. Отсюда появляются прямые связи когда конкретный звук мгновенно вызывает конкретный образ который мгновенно вызывает например какой то действие мышечной системы.
Ответил вам. Как всегда километровым комментом (что то по другому не получается). И что то щёлкнуло - взял и сделал статью. Отличие языковой модели LLM от человека. Хотя уже давно ни статей ни комментов тут не пишу. Не хочу конкурировать с LLM. Но решил всё таки высказать мысль в виде статьи, а не в виде бесконечных простыней комметов которые раньше тут писал.
Если бы вы задумались как работает LLM то удивили бы следующую картину. Работа LLM и работа обычной программы однотипны. Разверну мысль - обычная программа написана с помощью языка программирования. Язык состоит из слов которые кодируют команды. Грубо говоря все языки программирования состоят из if,var, for. Жёсткий набор алгоритмов. Комбинация которых рождает сложнейшую программу.
Взять человеческий язык. И человеческие тексты. Они также образуют наборы алгоритмов. LLM аппроксимирует эти алгоритмы в своей структуре. В своих весах. Перцептронов там нет. Там банальная матричная арифметика.
Так вот входной промт это микропрограмма. Которая порождает на выходе поток токенов. А токены порождаются из закрепившихся в структуре матриц алгоритмов.
Хотя алгоритмы как по мне не полные по Тьюренгу. Как бы странно это не звучало. Там алгоритм непрерывного пути вперёд(в сторону) и всё.
Хотя весь мир сейчас пытается оживить кадавра - 100500 нагугад каждый день появившиеся костылей ради одной цели что бы градиент не сдох и не взврвался слишком быстро. Но это всё костыли - без понимания сути, а как по мне мало кто это понимает, все работают методом тыка.
Если по простому как это любят объяснять в тупейших объяснениях как работает LLM - на входе программа - столица Франции. На выходе вывод алгоритма - Париж.
Короче к чему я - суть работы LLM это слова. Их не заменить. От них не избавится. Новые не придумаются. Даже внешее обучение не заменит новые слова - потому что неоткуда будет взять алгоритмы-тексты на этих словах написанные.
LLM - это не живое существо.Потому что без слов она неработоспособна. А в живом мире слова появились совсем недавно по историческим меркам.
Можно попробовать выкинуть выходной модуль когда мы получаем токен который можем интерпретировать как слово и оставить только внутренние части и брать эмбединг(вектор, да просто набор чисел например float 1024 штуки - такой срез мысли качует между слоями, разумеется число это среднее по больнице)) оттуда - никакие LLM друг друга вообще не поймут. Там всё настолько завязана на слова - что попросту изменение токенизатора меняет всё с ног на голову. Меняются вообще все цифры. Любой чих меняет почти всё. Попытки найти что то одинаковое в СЫРЫХ данных между разными LLM - выглядят как натягивание совы на глобус. Либо уж очень мега высокая абстракция.
А всё потому что это просто статистическая машина. Обучаем мы её на одном единственном алгоритме - обратное распространение ошибки. и делает этот алгоритм ровно одно - связывает входные слова и выходные. Алгоритм связывания как раз и упаковывается в числа внутри матриц.
Не только в старых домах а даже в самые захолустные деревни куда хрен кто ездит. Потому что это крайне дёшево (по сравнению с старым медным смособом). Одну жилу завёл а дальше на сколько хочеш домов развёл. На дома вообще PON разводят - коробки даже электричество не потребляют.
Я был на реальной декадно шаговой AТС. Огромный 3 этажный зал. Внутри шум такой что зубы трясутся. Жара такая что можно яйца жарить. Но когда в какую то подсобку спустился и увидел щит на котором амперметр показывал килоамперы - мне совсем плохо стало.
P.S. но было прикольно смотреть на шагающие релюшки - ощущение наверно как смотреть на паравоз где вся механика наружу.
Ещё раз повторяю - речь не про длинный дефис. Речь как одним взглядом определить нейрослоп. Есть лучший вариант? Предлагайте. Я хоть и написал ниже что не буду тут вообще что то писать - но закончу начатые топики. И да - в прошлый раз меня заминусили и карму слили и в этот раз за этот грёбанный дефис точно так же сделают. А прикол в чём? А в том что я говорю одно - а минусят меня за другое. Как будто я в душу насрал тем кто использует этот дефиз.
Да, это написала нейросеть (или сильно отредактировано ею).
Признаки:
Структура — типичный LLM-паттерн: тезис → буллет-лист с параллельными конструкциями → позитивное закругление со смайлом. Живой человек так не структурирует мысль в коротком комментарии.
Буллеты — пять пунктов с точкой с запятой, идеально параллельные («собственный опыт», «реальные кейсы», «выводы»...). Это не как думают, это как форматируют.
Язык — гладкий, без трения. Ни одной запинки, ни одного «ну», «короче», «хотя нет». Нет ничего, что говорит о конкретном человеке с конкретной позицией.
Содержание — банальность, упакованная в видимость инсайта. Сама мысль («важен вклад автора, а не инструмент») звучит умно, но это просто общее место, красиво разложенное по пунктам.
Эмодзи в конце — классический приём «добавить человечности» постфактум.
Короче: человек мог дать промпт типа «напиши умный комментарий про AI и авторство», получил это, и опубликовал почти без правок.
P.S. Сейчас шизоиды меня заминусят. Отвечаю вам - больше тут и комментарии писать не буду.
Проблема в том что люди попросту перестают тратить хоть сколько то своего времени на статью видя следующее - я трачу своё время и силы, выпускаю статью за 1 месяц - а вот тот другой тратит пару минут и выпускает 30 статей или 300 статей. И думает - а зачем мне вообще это всё надо?
Никто не спорит что никуда от ИИ не денется - и дивный новый мир наступил уже. И теория "Мёртвого интернета" уже не теория.
Спорят о том что бы разделить эти два мира. Любители нейрослопа в одну сторону. Любители генерации мясной LLM в другую.
Никто не спорит что ИИ может быть лучше живой мясной LLM. Но я например терпеть не могу смотреть игры с ботами. А игры с людьми интересны.
Кому интересен бокс с 10 тонным роботом и человеком? Кому интересен матч на математику между калькулятором и человеком? Кому интересно читать про жизненный опыт у машины и человека? Каждый такой бой выигрывается однозначно какой то одной стороной. Никакой интриги.
Текст от человека - это слепок жизненного опыта. Текст от LLM - рафинированное среднее по больнице. Это мы не обсуждаем галлюцинации.
P.S. Я бы наверно вывел ещё один невидимый но важный критерий - цена текста не только в его смысле, а в трудозатратах. У LLM - 0% и цена такая же. Каждый может для себя каждый день генерировать целую ленту как на хабре. 2 промта - сгенерируй мне важные вопросы человечества. Сгенрериуй статью на каждый вопрос. И получаем - а зачем мне вообще этот хабр? Я сам себе хабр свой сделаю с лёгкостью. С блек-джеком и дамами. А что я не смогу себе сделать? Мировозрение других людей. А на хабре это как раз и уничтожается.
Термин понимание я определил проецируя его на алгоритм который я описываю - генерация внутреннего мира. Если внешний объект спроецирован на виртуальный объект мира (через зрительную ли информацию или на ощупь не важно) и вот чем больше информацией будет обладать внутренний объект тем выше понимание.
Я не описываю сам термин без ничего. Я описываю термин как процесс именно внутри этого алгоритма. Заявление что соответствует или не соответствует действительности - бессмысленно.
Во первых я описываю свой алгоритм. Я как бы первоисточник информации. Начальная истина. Не буду рассуждать что кто то до меня (очевидно это да) говорил всё тоже самое - и я лишь последователь. Я просто показываю простую булеву не состыковку.
Во вторых если начать бодаться за общие определения - хм... их тысячи. каждый философ считает дать определение всему. Если оно ещё и не понятно - то это гениальное определение. Я же практик - мне определения должны давать чёткую картину алгоритма. Если не дают - нафиг его.
Вы говорите что у животных нету сознания? Я примерно понял наши противоречия. Что бы не превращать топик в кучу ответов попробую сразу сделать вывод
Я под сознанием понимаю генерацию внутреннего мира. Если просто внутри черепушки будет проекция того что животное видит или ощущает. Вы будет спорить с этим? Я легко разобью ваши доводы фактами. Но зачем генерировать кучу текста. Животное просто не сможет перемещаться в пространстве если его не видит. Под видит я подразумеваю внутренние алгоритма анализа - генерация мира.
А вот дальше - наш как бы спор про разное. Я бы не назвал это спором - потому что всегда это просто каждый думает про своё. Решается просто - уточнение понятий. Я думаю что под сознанием вы имеете ввиду - внутренний диалог. Его как раз и надо вести словам.
Я же для этого диалога использую термин САМОсознание. И получается что сознание есть у всех животных. А у человека из за появление речи над сознанием появилась надстройка - самосознание. Ведь именно речью мы может сказать сами себе вопрос - а я есть ? Есть конечно!
Я уже неоднократно говорил что обычно человек ведёт себя как робот. Он находится в сознании - как и все животные. В повседневной жизни. Не ведёт внутренний диалог. Делает вещи на автомате. Но в сложных ситуациях подключается энергозатратный алгоритм самосознания. Внутренний диалог.
И да множественные животные собаки там, способны проявлять сложное логическое мышление. Как я уже говорил можно это делать и образами. Правда такая сложность примитивна по сравнению с тем какую сложность можно сделать словами.
Опять же про обстакцию - я просто натянул этот термин на объяснение работы части алгоритма. Я его конкретизировал в конкретное условие. Да и всё. Вы же понимаете что это просто расплывчатое слово. Которое может означать кучу всего. Художник вообще про картину подумает. А я как программист про абстрактный калсс например.
Просто это слово было взято как контр-противостояние образу который является как бы конкретикой. Образ в алгоритме не тоже что то непонятное, а конкретная часть алгоритма. Не нравится выбор - ну предложите другое слово.
Я привёл пример таких чисел что бы показать - слово которое не имеет связи с реальным объектом реального мира. И далее показать чем возможности речи отличается от возможностей образного мышления. В образном мышлении практически невозможно оперировать объектами не связанными с реальным миром. Поэтому животные никогда без речи не станут на одну ступень с человеком. Даже если представить такие вещи каким то виртуальным бубликом или ещё какой то фигурой. То самый за валящийся математический пример в голове просто превратится в кашу из бубликов и прочего непонятного.
Да и пусть существуют. Я вообще не лезу к философам и другим. Просто когда я делаю алгоритм - мне с этих понятий вообще ничего не перепадает. Никакой подсказки как сделать. Для меня это выглядит так - понятия пустышки. Те кто их вывел сами ничего не знают.
Словами нет. Образами да. Или вы скажете что образами нельзя мыслить ? Попробуйте решить лёгкую задачу без слов. Только образами. Ну например вы идете что на двери сверху лежит ведро с водой. Без слов вы решаете задачу что бы пройти сквозь дверь и не намокнуть. Решений может быть даже много. И да LLM такое решает только словами. Они только так и работают. Но вы и так это знаете.
Белое вещество это как раз провода. Это огромная масса физических соединений аксонов и дендритов. Сами же нейроны это 1мм-3мм тонкая корка поверх самого мозга. Так что чем больше проводов тем больше и соединений. Как бы основные знания мозга как раз не тонкий слой нейронов а именно куча этих соединений. Т.к. человек поумнее животных то и соединений у него побольше. А так у высших животных всё тоже самое и белое вещество и корка нейронов. Если что я про неокортекс. Так то нейроны там и в глубинных частях мозга присутствуют. Как я писал мозг это склад эволюционных решений. Оптимальность которых только лишь что бы ты не сдох сразу. Там внутри мозга ещё один древний мозг такой же есть. Поверх которого нарос ещё один.
У меня вопрос. Результат работы LLM это генерация текста. Их логика основана на огромном генерировании эссе - много слов. А так как слова имеют связи то получается своеобразный язык программировании. Образуются своеобразные алгоритмы. Но что бы получить этот алгоритм нужно на генерировать огромное эссе на каждый чих.
Так вот у вас LLM находится в постоянной генерации бесконечного текста? Я не слишком исследовал это - но вроде читал что такой режим полон багов. Один из них зацикливание. Генерируется один и тот же текст по кругу. Опять же задачи. Они же не с потолка берутся ? Кто их ставит ? Что считается выполненной задачей?
Что значит не сталкивался? Вы же понимаете что нет никаких агентов. Есть LLM и обвязка. Я имею ввиду нету никакого спец алгоритма АГЕНТ. Есть только алгоритм Трансформер и программа которая подсовывает текст и забирает. Обвязка одним словом.
Что значит обычный скрипт ? Именно что LLM + языковой модуль что бы звук в текст превратить и обратно. В последнюю контору куда я звонил именно так и представлялся. Я Чат Бот Мефодий (или как то так имя не запомнил). Я очень
тупойумный. И ляляля.Просто к этой LLM прикрепляют ещё RAG. И знаете что меня больше всего вымораживало? Человек друг друга с полуслова понимают если надо. Можно перебить если видишь что он не туда идёт. Этого же чат бота не перебить пока свои портянки текста не выдаст. Но я понимаю что это конкретная реализация вокруг обвязки LLM. Но всё же. А по поводу решить проблему - я все обычные проблемы сам решаю через сайт. И только с очень необычными звоню в техподдержку. Что тупая LLM по определению не решит. Но это уже offtop. Не обсуждаю дальше.
Ну так я же про это и пишу тут как бы. Про то как технически реализован контекст в архитектуре трансформера и откуда растут все баги которые мы видим в повседневной работе с LLM. А по поводу запрещено иметь интересы ))) Есть алгоритм конкретный - трансформер. Там нету ничего запретительного. А вообще я тут не упоминал - для меня очевидная очевидность, поэтому даже не думаю про это.
Ещё одно архиважное отличии мозга от LLM - LLM статична. Обученную LLM практически невозможно нормально дообучить - да и само дообучение это просто огромный процесс мега подбора весов. Мозг перестраивается каждую секунду. Каждую секунда инфа с быстрой памяти уходит в долговременную путём физического прорастания аксонов-дендритов. Это кстати баг мясной LLM. Можно один раз увидеть травмирующую информацию и она останется с тобой навсегда пока психологически тебя не доканывает.
Честно сказать я скептически отношусь к таким новостям. Я вижу тут просто рекламу и всё. Остальное просто подделано. Разумеется я имею ввиду не вообще - а именно то что происходит в индустрии LLM сейчас. Все именно технические разборы которые я читаю указывают на одно - просто пиар ради денег.
Моё мнение - все компании любой ценой пытаются сделать машину которая может заменить обычных мясных работников. И то что этого не сделано - просто не могут.
Я уже 100 раз халиварил на эту тему. Уже не хочу. Для меня вывод один. Я не гений. Просто у меня очень сложный и спецефический код. ТЗ для него и будет кодом. Поэтому нет никакого смысла делать цепочку ТЗкод->LLM->код. Причём каждый раз ТЗкод будет в несколько раз больше чем нужно только потому что мне придётся каждый раз писать весь контекст который очень долго формировался в голове. А так я по крайней мере на контексте могу сэкономить - моя мясная нейросеть автоматом что нужно подгружает по контексту.
И да есть 100500 других задач простых и которые делали 100500 других людей и LLM может легко его скопировать.
Повторяю - просто есть разные задачи. LLM может мне написать сложный код (разбить на тучу подзадач, потом всё перепроверять как это согласуется и ещё кучу работы). Но я сам это просто делаю быстрее. Смысл только в оптимальности решения задачи.
И ещё дополню. Ест задачи которые я сам не знаю как решить. Поэтому и ТЗ не написать. И только когда её решаешь понимаешь как надо сделать. Наверное это даже главнее. Потому что эта проблема принципиально не решается LLM - она попросту не сделать то чего ты сам не знаешь. А узнаешь только в процессе решения и сбора информации.
Я постоянно использую LLM для проверки кода на баги. Могу ли я сказать что у меня тоже LLM непрерывно работает? Писать код не даю - пишет не то что мне нужно.
Мы про что ведём дискуссию вообще? Я например веду дискуссию что LLM вообще не способны заменить человека в повседневной жизни. Никак. Меня дико вымораживает когда я звоню в какую то контору а там чат-бот.
Я не спорю что LLM отличный инструмент в умелых руках. Ну как компилятор.
Так же я пытаюсь вести дискуссию в направлении - а почему LLM не может заменить человека? Что именно в ней работает не так что бы получить замену человека.
Я так же не обожествляют человеческий организм - тот ещё клубок эволюционных решений который что и позволяет не сдохнуть сею же минуту. А больше "эволюции" и не надо было. У нас столько упрощённых решений которые работают чудом и кое как - диву даёшься что ещё живы а не развалились в тот же миг.
Я пытаюсь решить только одну задачу. Вернее пытаюсь выявить причины почему она пока не решена. Заменить машиной человека в повседневной жизни. Не тащить все нелепости человеческого тела - бессмысленная и нерешаемая задача. А сделать рабочий вариант кассирши. Офисного планктона. Судьи. Гаишника. Президента. Бога?
Ладно заговаривался я. Я как бы ничего не пытаюсь сделать. Просто мозг свой разминаю в словоблудии и попыткой решить алгоритмы лично для себя.
Я не спорю что быстрее. Для меня быстрее параллельно. Даже доказывать это не буду никому. Но речь же не про это.
Я про разность алгоритмов. Трансформер - это последовательный алгоритм. Он не привязан к железу. Это просто алгоритм. И он последователен.
Я просто предлагаю - надо анализировать баги рассуждения исходя из того что алгоритм последователен.
Самый типичный баг LLM из за этого алгоритма - потеря контекста. Либо экранирование шумом важных деталей обсуждения (это баг не последовательности а самого принципа хранения всего сказанного в одном векторе. Где нету конкретики а только общее по больнице)
В мясной LLM такого бага нет. Ну или он не так проявляется. Пример - если у вас в голове важный образ - то он будет весь день сколько бы мусорного контекста вам в голову не пришло.
Это просто разность работы алгоритмов. Но! Важная разность
Потеря контекста LLM и рандомизатор в виде температуры попросту перечёркивают возможность поставить LLM работать автономно хоть куда.
Нужна ли вам касирша на кассе которая раз в день или несколько будет отдавать всю выручку рандомному покупателю?
Нужен ли вам трейдер который раз в день будет терять все деньги.
Ну и так далее. Мысль надеюсь донёс.
Смотрите что я утверждаю.
Прямая связь - самая быстрая. По сути скорость распространения электромагнитного поля. Много параллельных связей - очень много передачи информации за единицу времени.
Мозг состоит из физических прямых связей между нейронами.
LLM это программный ПОСЛЕДОВАТЕЛЬНЫЙ алгоритм. Вся псевдо-мысль там идёт от слоя к слою в виде набора чисел - вектор.
ВСЁ! Больше ничего я не утверждаю.
Теперь дальше - я утверждаю раз фундаментально алгоритмы разные внутри - то то что вывод текста из мясной и железячной LLM одинаковый, не доказывает что эти алгоритмы будут работать одинаково.
Я говорю - нужно понять основные свойство внутренностей - и понять фундаментальное отличие алгоритмом. Именно что один никак не сможет сделать чем сделает другой.
Сейчас же просто каждую неделю находят на чём LLM тупят. На прошлой вроде была загадка про цвета без буквы Й в конце. Потом разработчики LLM просто вставляют костыль заглушку именно на эту загадку (таких костылей там уже тысячи). И всё. Потом итерация повторяется.
Но никто не хочет (а разработчики спецом не афишируют ущербность LLM) почему такой тупой баг вообще произошёл. Человек же никогда такое бы не допустил просто на автомате.
Тогда нужно дать определение понимания. Моё такое (исходя из статьи) - понимание это сопоставление видимого внешнего объекта с внутренним образом и подтягивания к этому образу всех свойств объекта полученного в жизненном опыте. Видим кошку. Представляем кошку. Получаем автоматом всё инфу про кошек. Этот алгоритм можно назвать пониманием.
Всё чётко с вышестоящим описанием - не понимает потому что база данных пор объект пуста. Так же и взрослому покажи какую то деталь из ракетного двигателя тоже не поймёт детали. Только базовые - это железяка, уже можно взять пласт знаний про железо. И прочее общее.
Понимание это просто идентифицирование объектов. В сложном виде идентифицирование поведения.
И тут мы приходим к мысли понимает ли LLM? Этот вопрос сложный иначе бы никто не спорил по этому поводу. Во первых у LLM нету механизма явного выделения образов и автоматического подключения базы знаний по образу. Но у LLM есть вектор который указывает на куски виртуального пространства где были слова связанные с этим словом. Не буду дальше писать - опять обзовут водолеем.
Я писал в комментах (думаю если интересно легко найти) отличие животного сознания от человеческого. Если просто - то без внутреннего диалога (речь) отличий нет. Не зря дети маугли это по сути животные. И дополню - в повседневной жизни мы по большей части действуем по животному типу сознания. Как это выглядит тоже в комментах писал.
А вы задумывались что вам помогает делать абстракции. Например решать математические задачи? Исключительно речь. Внутренний диалог. Потому что речь это по сути очень вольный язык программирования.
Я не выделяю подсознание как какой то отдельный алгоритм. В моей модели этот термин лишний. Есть сознание - моделирование мира. Я не расписываю его работу глубже. Мне тут сливают карму даже за поверхностное обсуждение. Но если описывать уже работу именно этого алгоритма - то появятся потребность и в определении новых под-алгоритмов. Главное чётко представлять что он делает и зачем.
Что бы не спорить про разное (КАК всегда бывает в таких топиках) нужно хотя бы дать определение - а что такое абстракция в внутренней картине мира? Из моей модели получается это связь между словами, а не связь между словом и образом. Получается следующая возможность. Образ->слово->слово->слово->слово->Образ. Мы связали один образ с другим используя промежуточный язык программирования. Но каждое слово имеет связь с образом.
В математике есть высшие абстракции - слова в которых разорвана связь с реальностью (по типу комплексных чисел и прочей ереси) что бы потом подсократив такую дичь получить ответ который просто нереально сделать через образы. Только через слова.
Ну да. Кошка тоже осознано мыслит. Делает примитивные логические конструкции через образы. А так как речи нет. То логика кошки и останется примитивной.
P.S. поставил вам + за комент. Как и всем другим. Не хочу что бы в э той теме были хоть у кого минусы.
Я говорю про РЕАЛЬНЫЕ отличия. И какое поведение можно ждать от этого отличия. Нейроны связываются напрямую образую реальный граф. Такое построение рождает одно поведение.
Числа в матрице это просто числа. Но совершая над ними операции - сложили с числом или отняли. Мы получаем новое число. И это тоже просто число. Что бы построить алгоритм нам нужно построить над числом какую то абстракцию - то есть как то дальнейшие его обработать.
Я просто говорю про ОТЛИЧИЯ. И уже исходя из отличий можно делать предположения либо абстракции как этот механизм может работать.
Я вообще ничего не доказываю. А вы мне доказываете что в трансформере есть прямые каналы связи. Нету.
ПЛИС - имеет прямые каналы связи. Контроллер - имеет абстракцию в виде программы и каналы связи организованы через регистры и память. И ПЛИС и контроллер на выходе могут давать один и тот же результат. Но понимая суть внутренностей можно чётко представить себе все возможности и отличая одного от другого и главное что один и другой может дать гипотетически.
Мне полностью расписывать как устроен трансформер? Сейчас это сделает любая LLM - скинуть ей код того самого трансформера хотя бы от Корпати. Да сначала они будут нести пургу про матрицы Query (запрос), Key (ключ) и Value (значение)/ Но умный человек сразу найдёт подвох что это тупые исторические названия взятые просто что бы хоть как то обозвать эти матрицы (просто из SQL взяли). Ну и далее выкинув весь мусор будет видна реальная работа.
Но я честно не хочу дальше дискутировать. Я собственно давно завязал тут что то писать. Но вот не выдержал. Награда за эту статью - слитая карма ))) Да и смотрю минусов мне тут наставили за комменты.
P.S. всё что вы говорите вам делают LLM - это всё текст. Не 3D модели - а текст. Ладно заканчиваю как вы говорите лить воду.
Знаю такую фигню )) Не стал уточнять. Помню случай был - чел весь такой крутой ему нравилась очень брутальная песня рамштайна. А потом он узнал в переводе что поётся про парня гея и как его все обижают )
Я сразу понял что криво написал - но лень переделывать было текст. Я имел ввиду что нету таких связей как это выглядит в перцептроне или в реальном нейроне. Где между нейронами устанавливаются уникальные каналы связи. Трансформер очень спецефичен - там реально нужно представлять себе смысл идёт в виде цифр вектора. Потому что слова есть исключительно на входе и на выходе. Слова которые мы можем интерпретировать. Внутри сразу начинается непонятная каша. Не зря по сей день не утихают споры как там внутри на уровне весов матрицы запоминаются факты и алгоритмы.
Трансформер жёсткий алгоритм. Конечный автомат. Убери рандомизатор - как по мне чистый костыль, в виде температуры и на одинаковый промт всегда будет одинаковый выход. Это кстати ещё одно отличие от мясной LLM - где переменных просто туча, гармоны, хим состав, и ещё куча всего.
Знаете почему обучение ОЧЕНЬ дорогое? Трансформер это как связанные друг с другом тысячи рычагов. Один давит на другой и так до последнего рычага. Чуть сильнее надавили и уже на третьем шаге рычаг улетит в небо или в 0. Поэтому он обвешан костылями для сохранения градиента в заданном диапазоне. И вот спросите вы - как это чудище обучать при обратной распространении ошибки? Какой рычаг крутить и насколько ? Их же тысячи и миллионы ? Ответ прост - они изменяют каждый рычаг на микроскопический уровень что бы вся башня из домино сразу не рассыпалась. Отыскивают локальные минимумы. Но это будет всегда не самый оптимум. И делают это очень много много раз.
Я просто описал суть для того что бы показать. Какие связи есть между разными цифрами в настроенной матрице? Да никаких конкретных. Ни одна цифра не несёт что то конкретное. Да и связей между ними как токовых нету.
Ну или кто то может себе представить эту абстракцию. Я например представляю так - в цифрах кодируются пути. Входным промтом мы задаём стартовый seed. Который пройдя через слои - а слой достаточно простой. Сначала мы входящий вектор пропускаем через матрицы внимания - который переделывает его в немного другой вектор. А потом пропускаем через ещё одну несимметричную матрицу раздувающую и сдувающую наш вектор. На выходе получаем тот же вектор. Все костыльные моменты я не привожу - только суть. Так вот - эти матрицы и кодируют путь. А путь это просто сцепление слов. Ведь именно на сцеплении мы подстраиваем цифры матрицы - ошиблась корректируем вверх или вниз на микрошаг. И даже обучение очень костыльное. Нельзя переобучить - всё поломается. нельзя недообучить. Нужно обучать на спец корпусах - иначе не будет диалога. Корпуса должны быть с кучей разметки - иначе опять всё поломается.
Вся мысль это один вектор. Набор float. Тыща штук. И мы крутим этими цифрами.
Если взять LLM - а на текущем уровне развития AGI вроде как именно алгоритм трансформера считается наиболее приближённым к человеческому. Так вот - там нету вообще перцептронов. И связей нет. Честно говоря именно в таком виде этот кадавр появился только по одной причине - существовании видеокарт. А внутри видеокарт есть много блоков перемножения матриц. И память быстрая есть.
Вообще если разбираться в деталях то за голову хватаешся как это вообще работает.
Там что бы решить нелинейность просто в одном месте между алгоритмами просто наугад вставили - а давайте просто все отрицательные значения в векторе занулять! Без нелинейных функций вся нейросеть, какой бы глубокой она ни была, сводилась бы к простому линейному преобразованию и не могла бы решать сложные задачи.
Короче там нужно делать абстракцию что бы представить себе нейрон. Там как бы получается один мега жирнючий нейрон в слое. Принимает вектор. Сделал простое матричную операцию. Отправил вектор дальше.
Мир философского понятия разума как по мне держится на одном постулате - понятие должно быть непонятным и непостижимым.
Я же действую просто. Описываю модель которая описывает то что я вижу. Поведение живых существ. А дальше уже основываясь на модели делаю определения. Делаю выводы. Могу чётко сказать ДА или НЕТ на что то. Дополняю модель при приходе новых фактов возражений.
Короче делаю ту самую работу - просто сперва определю понятие, а потом пользуюсь понятием. А не наоборот.
Вобшем моя модель сознания - это внутренний моделируемый мир. И да - если кто то подумал что это что то типа видеоигры, то нет. Это будет сложный набор сигналов. И только построении абстракции над эти набором - можно увидеть что мир моделируется.
Собственно как это и делается в мозге. И как это нужно сделать в железе. Почему мы не видим в серии импульсов нейронов мозга этого мира?
Мы не можем построить абстракцию над системой - потому что все мозги в деталях разные. Нам придётся как то строить карту нейронов мозга, их соединений и при этом не убить мозг.
Можно построить карту на замороженном мозге путём послойных снимков соскребаний молекулярной величины. Сейчас так кстати и делают. Может не за горами когда сделаю абстракцию на каком то конкретном мёртвом мозге. Но это сложно потому что не видно куда идут какие сигналы. Мозг же сдох. Вот и получаем замкнутый круг.
И да и нет. Да слова это фундамент логики. Но тут разница в том что в мясе слова привязаны к образам. И я думаю что идёт такой алгоритм - образ порождает слово. А слово порождает образ. Какие то вещи мы придумываем автоматически образами. Для каких то нам нужно строить сложную внутреннюю модель словами. Например решить сложный математический пример в голове без слов почти невозможно.
Я хз правда или это выдумки - но встречаешь в нете истории про всяких аутистов которые решали сложные математические задачи почти сразу как калькуляторы. Я это могу объяснить что образная сеть дендритов и нейронов сложилась почти как ALU какого нибудь простого процессора. Не полная копия конечно - но там явно будут конечные автоматы.
Разница в устройстве там примерно как у мясорубки и муравейника. Я не смог придумать как то ещё больше разные понятия по внутреннем устройству. И по абстрактному устройству.
Ну так давайте дискутировать. Говорите конкретно что вы считаете бредом - и мы плучим прекрасные информационные комментарии. От себя же скажу - статья выглядит сумбурно, т.к. я вообще не делал статью. А потом просто в нескольких местах писал уточнения которые ещё больше превращали связанный текст в поток утверждений. Но я категорически не хотел пропускать статью через LLM что тут делает каждый первый - потому что рафинированный текст от LLM, от него уже блювать хочется. Не потому что он плох. А потому что он занял 100% информации везде. При этом - однотипен, водянист и часто бессмыслен.
По поводу подключения/отключения гипотетических модулей в головном мозге - поясню. Я описываю систему исходя из представления её поведения. Т.е. если систему сделать такой - то она будет себя вести так. И я прекрасно знаю что никакие модули в мозгу не подключаются. Вернее мозг состоит из кусков блоков нейронов. Все нейроны друг с другом связаны. Но в блоках особенно. И в мозгу идёт своеобразная пульсирующая картина - активация одних частей мозга. Других. Сигналы там ходят всегда. Есть альфа, бета ритмы - которые являются следствием периодических возбуждений групп нейронов - но вот куда дойдёт сигнал и спровоцирует активацию области уже зависит от индивидуального порога срабатывания нейронов путей. Отсюда абстракция отключения модуля. Просто в реальности нейроны пути например блокируют прохождение сигнала в группу нейронов которая например и за речь отвечает и частично за логику. И эта область становится неактивной.
По современным представлениям - новорождённый мозг имеет максимальное число соединений. И за жизнь эти соединения только отмирают и специализируются. Хотя вроде как перенос информации из быстрой памяти в долговременную это как раз прорастание новых дендритно-синаптических связей. Но я тут не точен. Думаю любая LLM более подробно расскажет.
Я немного читал про такие случаи - там вывод такой. Такое сознание. А именно моделирование мира очень ограниченное и бедное на детали. Не забываем - что центральным объектом моделирования мира является собственная тушка. В высшем сознании он даже ассоциируется с феноменом "Я". Так вот тушка это моделируется на сигналах рецепторов тела. И этих сигналах очень много. Достаточно что бы сформировать мир. Также аналогом слов в этом мире выступает комбинация пальцев - пальцы содержат самое большое количество нервных окончаний на всей кожи тела. Получается гибрид - аналог слов есть. Херовый но лучше чем ничего. Аналог тушки есть. Аналог мира так же строится исходя из пропри-рецепторов.
Вспомнил - есть такое животное как крот (вид не помню). У него глаза превратились в рудименты - на носу выросла огромна чувствительная кисть. Когда он ползёт по норе - он как сканер очень быстро прощупывает нору по кругу. Из этих сигналов он походу отлично строит внутренний мир - проекцию реальной норы.
Это типичный баг свёрточной сети. Сигналы с глаз не напрямую идут в глубинные слои мозга. А поступают на свёрточную сеть - которая делает предварительную обработку. Кстати человеки неплохо смогли скопировать этот алгоритм из живой природы, а потом сделали революцию в деле распознавания образов. Короче образы же не сразу делаются - сигналы с нервов - бац и какой то там образ. Проблема мозга что в нём реализованы целые блоки и алгоритмы над целыми кусками нейронов. Уже примерно выявили какие куски за что отвечают. Даже вроде делали эксперименты - находили конкретный нейрон который отвечал за конкретный образ. Но! Все мозги очень не похожи друг на друга имено в способе соединений на нижнем уровне. А всё потому что свежерождённый мозг - это просто каша. Имеющую глобальную общую структуру - но детали каша. И только в процессе жизни каждая каша индивидуально шлифуется. То что в результате мы получаем одинаковых психических человеков - это только потому что человеческое общество это фильтр шлифовки. И шлифует одинаково. Задавая нужное общее поведение.
В этом мы похожи на LLM - каждая внутри уникальна. Но вывод на выходе дают примерно одинаковый.
Не совсем понял вопрос. Если вопрос в том лучше ли я понимаю утконосов чем LLM когда ни разу не видя их в живую? Ну скажем так. Современный человек в живую видел наверно 0.1% вещей про которые он знает. У человека внутри есть картина мира которую он сформировал непосредственно из личного опыта. И все новые объекты должны будут вписаться в эту картину мира. И утконос впишется с уже достаточно большим багажом правил. Потому что правила общие. Утконос животное - отсюда могу проецировать все правила распространяющиеся на животных. Так же время, объем, и прочая ересь реального мира я могу спроецировать на утконоса.
Я же говорю - всё творчество, интуиция, способность придумывать новое это свойство человека потому что у него есть очень мощная внутренняя песочница. Он может модулировать там всё что захочет - и применять правила которые он знает. Модуляция очень быстрая - потому что правила это сверхбыстрый аппаратный мега большой граф. Словами он конкретизирует и направляет построение внутренней модели.
LLM - же. Там что бы следующий слог сгенерировать - это просто жопа матричных умножений в 100500 слоях. Чудо что это вообще заработало. Правда пришлось сделать 100500 костылей что бы градиент не взорвался после каждого слоя.
Отсюда меня корёжит когда люди рассуждают о применении LLM для чего то кроме генерации следующего токена. Есть мультимодальные модели. Но там просто за звук отвечает собственный независимый алгоритм. За картинки совой. И так далее. Связанно это костылями и палками.
Человеческий мозг за миллионы лет отладки умудрился реализовать эти алгоритмы внутри одной системы. Да блоки нейронов разные - но они очень сильно друг с другом связанны. Отсюда появляются прямые связи когда конкретный звук мгновенно вызывает конкретный образ который мгновенно вызывает например какой то действие мышечной системы.
Ответил вам. Как всегда километровым комментом (что то по другому не получается). И что то щёлкнуло - взял и сделал статью. Отличие языковой модели LLM от человека. Хотя уже давно ни статей ни комментов тут не пишу. Не хочу конкурировать с LLM. Но решил всё таки высказать мысль в виде статьи, а не в виде бесконечных простыней комметов которые раньше тут писал.
Если бы вы задумались как работает LLM то удивили бы следующую картину. Работа LLM и работа обычной программы однотипны. Разверну мысль - обычная программа написана с помощью языка программирования. Язык состоит из слов которые кодируют команды. Грубо говоря все языки программирования состоят из if,var, for. Жёсткий набор алгоритмов. Комбинация которых рождает сложнейшую программу.
Взять человеческий язык. И человеческие тексты. Они также образуют наборы алгоритмов. LLM аппроксимирует эти алгоритмы в своей структуре. В своих весах. Перцептронов там нет. Там банальная матричная арифметика.
Так вот входной промт это микропрограмма. Которая порождает на выходе поток токенов. А токены порождаются из закрепившихся в структуре матриц алгоритмов.
Хотя алгоритмы как по мне не полные по Тьюренгу. Как бы странно это не звучало. Там алгоритм непрерывного пути вперёд(в сторону) и всё.
Хотя весь мир сейчас пытается оживить кадавра - 100500 нагугад каждый день появившиеся костылей ради одной цели что бы градиент не сдох и не взврвался слишком быстро. Но это всё костыли - без понимания сути, а как по мне мало кто это понимает, все работают методом тыка.
Если по простому как это любят объяснять в тупейших объяснениях как работает LLM - на входе программа - столица Франции. На выходе вывод алгоритма - Париж.
Короче к чему я - суть работы LLM это слова. Их не заменить. От них не избавится. Новые не придумаются. Даже внешее обучение не заменит новые слова - потому что неоткуда будет взять алгоритмы-тексты на этих словах написанные.
LLM - это не живое существо.Потому что без слов она неработоспособна. А в живом мире слова появились совсем недавно по историческим меркам.
Можно попробовать выкинуть выходной модуль когда мы получаем токен который можем интерпретировать как слово и оставить только внутренние части и брать эмбединг(вектор, да просто набор чисел например float 1024 штуки - такой срез мысли качует между слоями, разумеется число это среднее по больнице)) оттуда - никакие LLM друг друга вообще не поймут. Там всё настолько завязана на слова - что попросту изменение токенизатора меняет всё с ног на голову. Меняются вообще все цифры. Любой чих меняет почти всё. Попытки найти что то одинаковое в СЫРЫХ данных между разными LLM - выглядят как натягивание совы на глобус. Либо уж очень мега высокая абстракция.
А всё потому что это просто статистическая машина. Обучаем мы её на одном единственном алгоритме - обратное распространение ошибки. и делает этот алгоритм ровно одно - связывает входные слова и выходные. Алгоритм связывания как раз и упаковывается в числа внутри матриц.
.
Не только в старых домах а даже в самые захолустные деревни куда хрен кто ездит. Потому что это крайне дёшево (по сравнению с старым медным смособом). Одну жилу завёл а дальше на сколько хочеш домов развёл. На дома вообще PON разводят - коробки даже электричество не потребляют.
Я был на реальной декадно шаговой AТС. Огромный 3 этажный зал. Внутри шум такой что зубы трясутся. Жара такая что можно яйца жарить. Но когда в какую то подсобку спустился и увидел щит на котором амперметр показывал килоамперы - мне совсем плохо стало.
P.S. но было прикольно смотреть на шагающие релюшки - ощущение наверно как смотреть на паравоз где вся механика наружу.
Ещё раз повторяю - речь не про длинный дефис. Речь как одним взглядом определить нейрослоп. Есть лучший вариант? Предлагайте. Я хоть и написал ниже что не буду тут вообще что то писать - но закончу начатые топики. И да - в прошлый раз меня заминусили и карму слили и в этот раз за этот грёбанный дефис точно так же сделают. А прикол в чём? А в том что я говорю одно - а минусят меня за другое. Как будто я в душу насрал тем кто использует этот дефиз.
Ладно. Это всё вообще не имеет смысла.
Поддержу прикол.
Да, это написала нейросеть (или сильно отредактировано ею).
Признаки:
Структура — типичный LLM-паттерн: тезис → буллет-лист с параллельными конструкциями → позитивное закругление со смайлом. Живой человек так не структурирует мысль в коротком комментарии.
Буллеты — пять пунктов с точкой с запятой, идеально параллельные («собственный опыт», «реальные кейсы», «выводы»...). Это не как думают, это как форматируют.
Язык — гладкий, без трения. Ни одной запинки, ни одного «ну», «короче», «хотя нет». Нет ничего, что говорит о конкретном человеке с конкретной позицией.
Содержание — банальность, упакованная в видимость инсайта. Сама мысль («важен вклад автора, а не инструмент») звучит умно, но это просто общее место, красиво разложенное по пунктам.
Эмодзи в конце — классический приём «добавить человечности» постфактум.
Короче: человек мог дать промпт типа «напиши умный комментарий про AI и авторство», получил это, и опубликовал почти без правок.
P.S. Сейчас шизоиды меня заминусят. Отвечаю вам - больше тут и комментарии писать не буду.
Проблема в том что люди попросту перестают тратить хоть сколько то своего времени на статью видя следующее - я трачу своё время и силы, выпускаю статью за 1 месяц - а вот тот другой тратит пару минут и выпускает 30 статей или 300 статей. И думает - а зачем мне вообще это всё надо?
Никто не спорит что никуда от ИИ не денется - и дивный новый мир наступил уже. И теория "Мёртвого интернета" уже не теория.
Спорят о том что бы разделить эти два мира. Любители нейрослопа в одну сторону. Любители генерации мясной LLM в другую.
Никто не спорит что ИИ может быть лучше живой мясной LLM. Но я например терпеть не могу смотреть игры с ботами. А игры с людьми интересны.
Кому интересен бокс с 10 тонным роботом и человеком? Кому интересен матч на математику между калькулятором и человеком? Кому интересно читать про жизненный опыт у машины и человека? Каждый такой бой выигрывается однозначно какой то одной стороной. Никакой интриги.
Текст от человека - это слепок жизненного опыта. Текст от LLM - рафинированное среднее по больнице. Это мы не обсуждаем галлюцинации.
P.S. Я бы наверно вывел ещё один невидимый но важный критерий - цена текста не только в его смысле, а в трудозатратах. У LLM - 0% и цена такая же. Каждый может для себя каждый день генерировать целую ленту как на хабре. 2 промта - сгенерируй мне важные вопросы человечества. Сгенрериуй статью на каждый вопрос. И получаем - а зачем мне вообще этот хабр? Я сам себе хабр свой сделаю с лёгкостью. С блек-джеком и дамами. А что я не смогу себе сделать? Мировозрение других людей. А на хабре это как раз и уничтожается.