Чем «картина мира» принципиально отличается от набора весов в графовой модели этого мира?
На самом нижнем слое ничем. Мясные нейроны передают друг другу частотные импульсы. Кремневые нейроны передают друг другу float.
Но на этом уровне что у мяса что у кремния и нету никакого AI.
AI это же прцесс. AI это алгоритм. Алгоритм эмуляции. Так вот дальше идут как раз координальные отличия алгоритма.
Если алгоритм оперирует образами ну или в другой терминологии - символами, также строит модели используя эти образы. Также в моделях реализует логику. То это AI.
Если алгоритм сделан так что организовывает огромную базу данных статистики и выдаёт следующий наиболее вероятный статистический вариант, а под вариантом я имею ввиду объекты статистики. В случаии с LLM это просто числа. Так вот это - симулякр. И ведёт себя как самый настоящий симулякр - внешне вроде живой, но постояно выдают сбои типичные для симулякра.
Можно я отвечу? Если алгоритм имеет короткую память (как у человека), где он строит модель мира, или модель обсуждения, или модель алгоритма если решается алгоритмическая задача и при этом в этой модели использует конечные симвлы, образы. То эта модель понимает что делает.
Когда человек мыслит - он мыслит образами. Законченными образами. Эволюционно из за зрения это как правило визуальные образы. Даже у слепых - там что то похожее на образ формируется. Также у человека есть короткая память - где и формируется весь контекст. Эволюционно такое модулирование мира было создано для предсказания будущего. Охотикам охотится. Жертвам избегать съедения.
Главным концептом в этой модуляции - это представление своей тушки внутри виртуального мира. Вообще у человека сложная модель эмуляции получилась. Первично это проекция от глаз. Но глаза сами не видят. Глаза это просто сигналы. Картину по сигналам уже строит мозг. Строит он её по образам. Можно почитать как образы формируются в зрительной коре. Кстати эти алгоритмы потом в свёрточные сети перекачивали. Так вот имея такой механизм - следующий шаг это модуляция образов без получения сигналов от зрения. Берутся сигналы из памяти.
Потом появился язык. Изначальные образ обросли ещё слоем - каждому образу начало сопоставляться звуковая фраза. Слово.
Ладно не буду дальше про человека.
Так вот про LLM - там нету ничего. Там нету образов. Там нету короткой памяти. Там есть только вероятность появление одной закарючки от другой. И алгоритм выдачи закорючек на выход. Всё. LLm выдаёт закорючки на выход - и только мы интерпретируем их как образы. Потому что у нас в мозгу есть привязка.
У LLM нету короткой памяти - это наверно самая главная проблема. Она не способна в логику. Потому что логика подразумевает временную эмуляцию. В LLM нету вообще понятия времени. В LLM есть окно промта. Каждое слово превращается в эмбединг и проходя через LLM каждому эмбедингу примешиваются понятия. Всё через цифры. Потом тупо берём последний эмбединг и получаем следующий слог. Весь промт сдвигается на 1 позицию. Объект может попросту выпасть из промта. Да - его типо понятия были включены в соседнии эмбединги. Но как мы видим - работает это херово. LLM постоянно утрачивает контекст. Эот часто не работает даже внутри контекста. Поотму как подмешивания понятия - тоже часто даёт сбои. А всё из за того что это статистическая модель. А не образная.
Короче можно долго писать различая. Но думаю суть передал.
Ну то что я описал - это я для примера. Как работают аналитические парсеры на входе. Тут нету никакого ноухау. Это очевидно всем. Ведь в чом была проблема создания символьных ИИ? Почему их 40 лет пилят, но так и не допилили до AGI? Для спец возможностей они вполне себе рулят.
Проблема в получении опыта. Проблема в самонасторйке. У человека обратная связь - это жизненный опыт. Все его сенсоры - это опыт. У LLM - обратная связь это алгоритм обратного распространения ошибки. А у символьных AI - это ручное вбивание правил.
И как показало время - очень не эффективный метод.
Но сейчас мы имеем новый инструмент - LLM как глобальный апроксиматор знаний может выступать в качестве жизненного опыта для символьных AI. И всё это можно автоматизировть и добавить скорости.
Вобщем все компании чатботов пилят продукт в этом направлении. И все всё скрывают. А в открытый доступ попросту выкидывают дезу. Берут правду - и упрощают её настолько что она уже и не совсем на правду похоже. Взять ту же сатью первую про описание трансформатора.
А алгоритмы обучение - в чём вообще вся суть. Их вообще никогда не было в открытом доступе. Есть только общее понятие. И всё.
Никто не может сказать как обучаются матрицы в трансформере. А там уже штук 40 голов. Как они распределяют понятия по этим гловам?
Ну это же не модно! Фу таким старым быть. Человек хочет что бы кнопку форк за него нажла LLM. Правда по пути пропустив исходный код через микер (упковала его в векторное пространство и веса перцептронной сети, а затем его оттуда забрала кое как). Ну и пусть что будет нерабочее гавно.
О 5/25. Извечная борьба linux/windows символьные ИИ / LLM. Все кто мало мальски в теме знает что такое символьные ИИ. Они лет 40 пытаются превратится в AGI. Но что то прорыв именно в человеческой речи сделала именно LLM. Также кто хочет быть в теме - знает как работает LLM и что он может, а что не может. Писать различия - надоело уже. Кто хочет сам найдёт. А тут кроме минус в карму ничего не будет.
И да - кто хоть чуть чуть изучает тему про LLM поймёт одну скрытую вещь. Она как бы не скрытая, но ни один блогер почему то про это не знает и не обсуждает. Архитектура трансформера - и логика это противоположные вещи. Но вот чудеса - если вы скажете сложить числа LLM - она выдаст точный ответ. Не все выдадут с первой попытки, например DeepSeek - может выдать полную ахинею. Но продвинутые по типу claud - выдают правильно.
И вот вопрос - а с какого перепугу так? Кто умеет мыслить - уже догадались почему.
Скрытый текст
Дабы меня тут не окунули в унитаз за выёживание сразу напишу ответ. Документация по трансфомеру выкинутая OpenAI - это лишь базовое определение работы LLM которое пошло как развитие переводчика. Такая архитектура способна только предугадывать следующее слово. Но она абсолютно не способна на то что мы имеем в современных чатботах. Как думаете куда идут миллионы денег на современную разработку LLM? Сама архитектура особо не меняется. Ну ладно - экспериментируют с головами внимания и их количеством. Короче абсолютно все скрывают что на самом деле они делают. А делают они одно - пытаются прикрутить логику к LLM. А для этого надо на входе задать спец парсеры. Аркестраторы. Вот это и разрабатывают. И LLM там только как подключаемый модуль в цепочке ответа. Там этих спец LLM могут быть тучи. Каждая для своего случая. Есть модуль калькулятор - которому как раз передаются запросы о типу сложи числа.
Если вы зададите 5 вопросов в одном промте. Входной модуль разобьёт вопросы на подвпросы и пропустит каждый по отдельности через LLM.
Входной промт нашпиговывается спец управляющими ключами. А потом в выходном ответе эти ключи выпиливаются из ответа. Вы знали что есть LLM base, а есть instruct ? Instruct это модель base которую дообучают промтами со спец ключами. Ни один блогер про такое не говорит.
Вот опять 25. Не хотел ничего писать - и опят портянка. Слаб человек... На последок покажу пример. Я задаю текст про хомяка в LLM. Текст сказка на одну страницу. И говорю какой пол у хомяка? Обычная LLM просто продолжит сказку. А уже спец - сделает следующее.
Алгоритм поиска:
Поиск прямых номинаций родства в мужском роде:
Сканирование текста на наличие слов из целевого списка: сын, сыночек, мальчик, первенец (часто муж.рода).
Находка 1: "балованного сыночка" (предложение 5). Алгоритм фиксирует: слово "сыночек" напрямую указывает на мужской пол родителя по отношению к ребенку.
Поиск анафорических цепочек (связь местоимений с сущностью):
Задается вопрос: какими местоимениями (он, его, ним, ему или она, её, ней) текст заменяет существительное "Хомячок"?
Система прослеживает все ссылки. Результат: Везде, где речь о действиях или состоянии Хомячка, используются местоимения мужского рода (он, ему, его). Пример: "Он затихал", "ему нравилось", "взял его на руки". Это мощный грамматический маркер.
Кросс-валидация (проверка на согласованность):
Проверяется, не противоречат ли найденные маркеры друг другу или другим фактам. Например, не называет ли кто-то Хомячка "дочкой" в другом месте? В данном тексте противоречий нет.
Проверяется контекст реплик: кто говорит "сыночек"? Родители. Это надежный источник информации в рамках истории.
Этап 4: Формирование ответа на основе извлеченных данных
Сбор доказательной базы: Система собирает "цитаты"-токены, послужившие основаниями:
Факт 1: Прямая номинация (сыночек).
Факт 2: Прямая номинация (сынок).
Факт 3: Грамматическая согласованность (цепочка местоимений он/его).
Генерация ответа: На основе этих фактов формулируется утвердительный ответ, который:
Дает четкий ответ на вопрос ("Хомяк — мужского пола").
Приводит явные ссылки на текст в качестве обоснования, потому что внутренние правила (инструкции) предписывают быть объяснимым.
Строится грамматически правильное предложение на русском языке.
Ходил в спорт зал. Штанга 100кг от груди жим лёжа 10 раз легко. Собственный вес 120кг. Всё мышцы. Подтянутся - не помню уже, но практически невозможно было. Думаю что живчикам 50 килограммовым которые 100 раз легко подтягиваются привязать вес 60 кг, то тоже ни разу бы не подтянулись.
Вот из каждого утюга про это слышу. А когда начинаешь справшивать что да как - то максимум используют для писания локальных функций.
Я сам постоянно пользуюсь LLM - он попросту заменил гугл. Но дальше алгоритмов и отдельных функций его применять невозможно. Если ему кинуть класс хотя бы на страницу и попросить проверить логику - то его максимум найти синтаксические ошибки. Но если бы только это - то было бы норм. Всегда выдаёт тонну ошибок - которые вообще мусор и к теме не относится. Пол часа ему доказываешь что он не прав. В конце он соглашается. Думаешь нахрена ты вообще время тратил. А потом на то что он говорит мол всё ок - сам находишь логические ошибки...
Разумеется нужно нормальное ТЗ
Максимальное точное ТЗ - это код. Зачем тогда нужен этот промежуточный лишний шаг в виде LLM?
Какую хрень? Отлично генерируют код.
Я пишу на С# - генерирует хрень. Да рабочую, может быть. Но всегда лишнего кода просто куча. Я использую для генерауци шаблонов - смотрю на хрень и переписваю под себя. Так получается быстрее чем писать с нуля. Хотя 50/50. Часто это переписка занимает больше времени чем самому писать.
Шок сенсация! Калькулятор за пол доллара быстрее всех людей на земле считает цифры!!!
Эй LLM - вот тебе кодовая база Linux - напиши драйвер для той железяки. Ой всё. У меня лапки.
А вот мясные мешки почти каждый спустя какое то время сможет (не сильно умным конечно понадобится значительное время)
Да фиг с тем линуксом. Хоть один более менее значимый проект есть который от начала и до конца написан LLM?
Ладно, не будем брать сложное где потеря одного бита крашит всю программу.
Пусть будут игры. Где игры написанные от нуля до конца? Не надо предлагать очередной полностью скопированный из githab клон каково нибудь minecraft
P.S. Если для работы с LLM нужен будет программист - то это просто очередной помощник. Как компилятор. И вот что то вообще не видно что от программиста можно пока избавится. Более того - LLM генерируют такую хрень что с этим сможет в последствии разобраться только программист-гений.
Тут дискуссия внизу продолжилась. Перечитал коммент свой - написал его коряво. Уточню что бы не разводить холивар. Под векторными многомерными полями я подразумевал что нейронные сети содержат в себе алгоритмы преобразования эмбедингов. Суть этих преобразований создания многомерного пространства где рядом лежат вектора других "смыслов" которые шли друг за другом при обучении. Так что пусть будут нейроны. Хотя этот термин настолько сегодня потаскан - что не несёт в себе вообще понятия какой внутри всё же используется алгоритм. Один может думать про один алгоритм, другой про другой. На что я и сагрился.
P.S. Опять же написал что знаю как устроена LLM. Скажем так я ознакомлен с общими принципами и некоторыми частями углубленно. Но как показал диалог, да собственно это и не секрет, разновидностей устройства может быть большим. Понятия которые используются в диалоге - тоже расплывчаты. Я когда пишу про векторную БД не имею ввиду класическую векторную БД, а имею ввиду что используются алгоритмы векторной алгебры. Но мой аппонент может, и имеет право, придратся.
Вы описали частные улучшения. Но главной же причиной остаётся увеличение векторного пространства. Это как бы не моё мнение а общее.
Ведь если упростить работу трансформера до предела то он работает так. У нас есть векторное пространство. Которое представляет из себя как бы области, грубо говоря круги. В каждом таком круге находятся слова (слоги), но пусть будут слова которые как бы должны идти друг за другом. Это векторная БД наполняется из обучающей выборки. И получили следующее - когда плотность этих областей была разреженной - то на выходе при сцеплении эмбеденгов (а слова -слоги там как раз в виде эмбедингов находятся) короче на выходе получался бред. Как только плотность этих областей превысило какую то критическую точку - на выходе уже как бы и не бред. А вполне нормальная мысль.
Весь прикол в том что до сих пор не совсем понятно почему так произошло. Имеется ввиду теория. Интуитивно то вроде понятно - больше осмысленных цепей таких эмбедингов заложили в векторную БД - тем больше шанс что пройдя по такой цепи мы получим осмысленность а не бред.
Ваша слова верны в следующем. Они с помощью голов сделали алгоритм сохранения контекста. Но все видят как глючнуто он работает. Намного лучше чем раньше - но вообще не близко к сильному ИИ. Кто плотно пользуются ИИ (как я) чётко видят как теряют контекст современные чатботы. И чётко видят предел где можно использовать этот ИИ. Поисковик- да. Простые алгоритмы - да. Сложные алгоритмы - нет. Тестирование программ, или сложная логика с объектами и временем - НЕТ в квадрате.
Много можно написать - но блин мои ответы это простыни. Никому не нужные.
Может быть по разному. Каждый может попробовать угадать исходя из своего опыта. Например я видел как может бюрократия полностью сожрать разработку. В малых коллективах творчество, херак херак и в продакшен, куча багов но и кучу нового. Компания растёт - и всё. Приоритетом становятся отчёты. Внедрять новое никто не будет - за ошибки бъют больно. За новшества просто платят зарплату. Главный приоритет у всех становится видимость работы.
Опять же сама архитектура может быть тупиковой. Вон качественный скачок в выдаче псевдопохожей осмысленной речи произошёл благодаря увеличению векторного пространства, до этого был на выходе бред. Никто не знает почему это произошло. Нету теории. И вот опять текущие LLM упёрлись в стену. Тупое увеличение мощностей в лучшем случае не делает хуже, а часто даже наоборот.
Из за того что предыдущий шаг был сделан наугад, без стройной теории, следующий шаг сделать не могут.
Я например вижу противоречии в самом принципе трансформера. Пытаюсь тут время от времени его высказывать. Получаю в карму.
Я не считаю мои взгляды каким то ноухау - вполне внятные алгоритмические претензии. Возможно это тоже тупиковый вариант. Но я например не встречал сегодня что где то ведутся подобные разработки.
Возможно где то в недрах DARPA уже скрестили ежа с ужом LLM с архитектурой SOAR и ACT-R но держат это за 7 печатями тайны.
Там нужно смотреть минимум 4 лекции. По часу полтора - зато реально уникальная информация. Такого качества информации в русскоязычном секторе не найдёте. Если найдёте - буду благодарен за ссылку.
Вообще не претендую на интерпретатора подобных лекций, но всё же могу выделить суть. Там многое сделано наугад, т.к. сами разработчики не понимают сути происходящего (как например нету точной теории сути происходящего в нейронной сети головного мозга, не отдельного нейрона а всех нейронов вместе взятых), зато есть много вычислительных мощностей. Вот и пробуют всё подряд. А удачные решения идут дальше.
Одно из таких решений это придумали так называемые головы - типо ключевые слова в тексте. Один из способов поиска - попросту ищут существительные которые встречаются реже всего. Вобщем пробуют всё подряд и смотрят что получится.
А векторные поля, по сути поля эмбедингов, строятся исключительно только на обучающем тексте. В отличие от человека который имеет дело с реальностью и зрением. И внутренняя структура строится на понятии объектов. Опять же быстрая память - в которой строится текущая модель простанства. LLM же это просто предсказатель следующего слога. Внутри есть чоткий вектор движения типо "мысли" закодированный в эмбединг. Короче много различий с сильным ИИ. Писать опять про различия не хочу.
Опять начинается. Одно и тоже каждый раз. Каждый раз оппонент обвиняет меня в том что я неуч при этом не подкрепляя ничем свои доводы. Я отвечаю. Заканчивается слитой кармой. Надоело.
P.S. Я прекрасно знаю как устроена современная LLM и в частности трансформеры. Я сам писал перцептронные нейросети для распознавания образов. Современная LLM это не веса нейронов в перцептронной сети, хотя там и есть нейронные поля. Современная LLM главным образом это архитектура трансформера. И это вообще не нейроны. А векторные многомерные поля.
Что касается "маркетингово" подсчёта параметров в современных LLM невериете мне, может поверите человеку который как раз и разрабатывает эти LLM прямо сейчас. Вот вам ссылка на свежие лекции. Больше не отвечаю.
Вы читали как они параметры считают? Это достаточно обсурдный показатель. Например на входе у нас есть токенизатор который может дать 100000 всех возможных вариантов. Далее векторная матрица которая также обладает 100000 всех варианнтов. Оно просто перемнажают первое на второе.
Короче берут максимальное количество возможных вариантов в каждом слое и всё это перемножают. Там конвеер например из 10-20 относительо небольших модулей, но перемножение всего этого даёт астрономические цифры.
Короче этот параметр вообще странно сравнивать с количеством соединений нейрона. Это как сравнивать тёплое с мягким.
А вообще я тут часто писал что архитектура современного LLM - трансформер это хороший поисковик но вообще не сильный ИИ. Мне тут за 1 комент сразу карму сливают даже без диалога. Так что зарёкся писать что то.
Понятно что не каждый нейрон столь разветвлён. Когда то давно читал мол какие то специфические могут иметь столько.
LLM говорит что:
Клетки Пуркинье в мозжечке — чемпионы по количеству входных синапсов. Их сильно разветвленное дендритное дерево предназначено для получения информации от сотен тысяч параллельных волокон. Один нейрон Пуркинье может иметь более 100 000 (до 200 000) синаптических входов.
кора от 1мм до 3 приблизительно. Не писал про это уточнение - просто показал соотношение коры и белого вещества. И конечно понятно что нейроны не только в ней содержатся - т.к. кора считается что появилась относительно недавно. В голове есть более древние структуры которые как бы мозг в себе.
Я не собирался спорить по поводу нейробиологии - неблагодарное это дело тут вообще. Просто хотел приблизительно показать в чём принципиальное отличие современных кремниевых микросхем от мясного мозга.
Ответ прост - это невозможно. В мозгу человека нейроны это тонкая прослойка в 1мм в коре головного мозга. Остальная же часть объёма это белое вещество. Аксоны и дендриты. ФИЗИЧЕСКИ соединяющие все нейроны друг с другом. При этом 1 нейрон может содержать сотни тысяч таких соединений. А общее количество соединенений триллионы.
И что же невозможного в этой картине? А то что эти соединения физические каждый день перестраиваются. Сотни тысяч, миллионов появляются новых контактов. И также столько же отмирают.
Как вы понимаете - современная БИС это монолитный статический пирог. А соединения этого гигантского графа - эмулируются.
В современных LLM нашли неплохой метод эмуляции - по средством перемножения матриц из виртуального векторного пространства.
Вы правы если организовать работу под конвеер то можно приблизится к скорости конвеера. Я же в те давании времена паял с позиции радиолюбителя. Один и максимально ручная работа. Паяльных станций и вакуумных пинцетов не было.
P.S. Это времена МП42, планстинчатых трансформаторов везде и трубчатых конденсаторов...
Я занимался растановкой SMD в своё время на прототипах. Был молод и много свободной энергии которую нужно было куда то девать. И скажу так - плата 20 на 20 см со средней рассыпухой будет занимать от дня до 3. А потом ещё и проверять не накосячил где с номиналами. А после серии на плат 10 - месяц сидеть расплавленный припой нюхать - это реально ад. И хочу заметить что паять прототипы - это нудная однообразная работа которая ещё больше усложняет этот процесс. Не путать например с разработка новой платы - это интересно и творчество.
P.S. SMD расставлял маленьким пинцетом
P.S.S. Вы пишите что 1000 компонентов в час. Это примерно компонент в 3 секунды. Я не помню что там у меня занимало время. Но выдрать вручную SMD из ленты на стол. Взять его пинцетом, найти на плате где его припаять, а потом паять это паяльником. Наверно минимум минуту занимает. Микросхемы паять это вообще минут 10 паяльником. При этом периодически надо чистить плату от флюса. А потом наступает очередь выводных компонентов...
Колесо не появилось потому что не существовало дорог. Вот и вся правда. Если бы планета была плоская как дорога - то поверьте, существовали бы тучи всяких живых существ с всякими косными шариками-роликами и даже со смазкой из какой нибудь железы.
На самом нижнем слое ничем. Мясные нейроны передают друг другу частотные импульсы. Кремневые нейроны передают друг другу float.
Но на этом уровне что у мяса что у кремния и нету никакого AI.
AI это же прцесс. AI это алгоритм. Алгоритм эмуляции. Так вот дальше идут как раз координальные отличия алгоритма.
Если алгоритм оперирует образами ну или в другой терминологии - символами, также строит модели используя эти образы. Также в моделях реализует логику. То это AI.
Если алгоритм сделан так что организовывает огромную базу данных статистики и выдаёт следующий наиболее вероятный статистический вариант, а под вариантом я имею ввиду объекты статистики. В случаии с LLM это просто числа. Так вот это - симулякр. И ведёт себя как самый настоящий симулякр - внешне вроде живой, но постояно выдают сбои типичные для симулякра.
Можно я отвечу? Если алгоритм имеет короткую память (как у человека), где он строит модель мира, или модель обсуждения, или модель алгоритма если решается алгоритмическая задача и при этом в этой модели использует конечные симвлы, образы. То эта модель понимает что делает.
Когда человек мыслит - он мыслит образами. Законченными образами. Эволюционно из за зрения это как правило визуальные образы. Даже у слепых - там что то похожее на образ формируется. Также у человека есть короткая память - где и формируется весь контекст. Эволюционно такое модулирование мира было создано для предсказания будущего. Охотикам охотится. Жертвам избегать съедения.
Главным концептом в этой модуляции - это представление своей тушки внутри виртуального мира. Вообще у человека сложная модель эмуляции получилась. Первично это проекция от глаз. Но глаза сами не видят. Глаза это просто сигналы. Картину по сигналам уже строит мозг. Строит он её по образам. Можно почитать как образы формируются в зрительной коре. Кстати эти алгоритмы потом в свёрточные сети перекачивали. Так вот имея такой механизм - следующий шаг это модуляция образов без получения сигналов от зрения. Берутся сигналы из памяти.
Потом появился язык. Изначальные образ обросли ещё слоем - каждому образу начало сопоставляться звуковая фраза. Слово.
Ладно не буду дальше про человека.
Так вот про LLM - там нету ничего. Там нету образов. Там нету короткой памяти. Там есть только вероятность появление одной закарючки от другой. И алгоритм выдачи закорючек на выход. Всё. LLm выдаёт закорючки на выход - и только мы интерпретируем их как образы. Потому что у нас в мозгу есть привязка.
У LLM нету короткой памяти - это наверно самая главная проблема. Она не способна в логику. Потому что логика подразумевает временную эмуляцию. В LLM нету вообще понятия времени. В LLM есть окно промта. Каждое слово превращается в эмбединг и проходя через LLM каждому эмбедингу примешиваются понятия. Всё через цифры. Потом тупо берём последний эмбединг и получаем следующий слог. Весь промт сдвигается на 1 позицию. Объект может попросту выпасть из промта. Да - его типо понятия были включены в соседнии эмбединги. Но как мы видим - работает это херово. LLM постоянно утрачивает контекст. Эот часто не работает даже внутри контекста. Поотму как подмешивания понятия - тоже часто даёт сбои. А всё из за того что это статистическая модель. А не образная.
Короче можно долго писать различая. Но думаю суть передал.
Ну то что я описал - это я для примера. Как работают аналитические парсеры на входе. Тут нету никакого ноухау. Это очевидно всем. Ведь в чом была проблема создания символьных ИИ? Почему их 40 лет пилят, но так и не допилили до AGI? Для спец возможностей они вполне себе рулят.
Проблема в получении опыта. Проблема в самонасторйке. У человека обратная связь - это жизненный опыт. Все его сенсоры - это опыт. У LLM - обратная связь это алгоритм обратного распространения ошибки. А у символьных AI - это ручное вбивание правил.
И как показало время - очень не эффективный метод.
Но сейчас мы имеем новый инструмент - LLM как глобальный апроксиматор знаний может выступать в качестве жизненного опыта для символьных AI. И всё это можно автоматизировть и добавить скорости.
Вобщем все компании чатботов пилят продукт в этом направлении. И все всё скрывают. А в открытый доступ попросту выкидывают дезу. Берут правду - и упрощают её настолько что она уже и не совсем на правду похоже. Взять ту же сатью первую про описание трансформатора.
А алгоритмы обучение - в чём вообще вся суть. Их вообще никогда не было в открытом доступе. Есть только общее понятие. И всё.
Никто не может сказать как обучаются матрицы в трансформере. А там уже штук 40 голов. Как они распределяют понятия по этим гловам?
Ну это же не модно! Фу таким старым быть. Человек хочет что бы кнопку форк за него нажла LLM. Правда по пути пропустив исходный код через микер (упковала его в векторное пространство и веса перцептронной сети, а затем его оттуда забрала кое как). Ну и пусть что будет нерабочее гавно.
О 5/25. Извечная борьба
linux/windowsсимвольные ИИ / LLM. Все кто мало мальски в теме знает что такое символьные ИИ. Они лет 40 пытаются превратится в AGI. Но что то прорыв именно в человеческой речи сделала именно LLM. Также кто хочет быть в теме - знает как работает LLM и что он может, а что не может. Писать различия - надоело уже. Кто хочет сам найдёт. А тут кроме минус в карму ничего не будет.И да - кто хоть чуть чуть изучает тему про LLM поймёт одну скрытую вещь. Она как бы не скрытая, но ни один блогер почему то про это не знает и не обсуждает. Архитектура трансформера - и логика это противоположные вещи. Но вот чудеса - если вы скажете сложить числа LLM - она выдаст точный ответ. Не все выдадут с первой попытки, например DeepSeek - может выдать полную ахинею. Но продвинутые по типу claud - выдают правильно.
И вот вопрос - а с какого перепугу так? Кто умеет мыслить - уже догадались почему.
Скрытый текст
Дабы меня тут не окунули в унитаз за выёживание сразу напишу ответ. Документация по трансфомеру выкинутая OpenAI - это лишь базовое определение работы LLM которое пошло как развитие переводчика. Такая архитектура способна только предугадывать следующее слово. Но она абсолютно не способна на то что мы имеем в современных чатботах. Как думаете куда идут миллионы денег на современную разработку LLM? Сама архитектура особо не меняется. Ну ладно - экспериментируют с головами внимания и их количеством. Короче абсолютно все скрывают что на самом деле они делают. А делают они одно - пытаются прикрутить логику к LLM. А для этого надо на входе задать спец парсеры. Аркестраторы. Вот это и разрабатывают. И LLM там только как подключаемый модуль в цепочке ответа. Там этих спец LLM могут быть тучи. Каждая для своего случая. Есть модуль калькулятор - которому как раз передаются запросы о типу сложи числа.
Если вы зададите 5 вопросов в одном промте. Входной модуль разобьёт вопросы на подвпросы и пропустит каждый по отдельности через LLM.
Входной промт нашпиговывается спец управляющими ключами. А потом в выходном ответе эти ключи выпиливаются из ответа. Вы знали что есть LLM base, а есть instruct ? Instruct это модель base которую дообучают промтами со спец ключами. Ни один блогер про такое не говорит.
Вот опять 25. Не хотел ничего писать - и опят портянка. Слаб человек... На последок покажу пример. Я задаю текст про хомяка в LLM. Текст сказка на одну страницу. И говорю какой пол у хомяка? Обычная LLM просто продолжит сказку. А уже спец - сделает следующее.
То то человеку надо всего 20 ватт. Вот гад притворяется мыслящим! А на самом деле вообще оказывается симулякр какой то!
Ходил в спорт зал. Штанга 100кг от груди жим лёжа 10 раз легко. Собственный вес 120кг. Всё мышцы. Подтянутся - не помню уже, но практически невозможно было. Думаю что живчикам 50 килограммовым которые 100 раз легко подтягиваются привязать вес 60 кг, то тоже ни разу бы не подтянулись.
Вот из каждого утюга про это слышу. А когда начинаешь справшивать что да как - то максимум используют для писания локальных функций.
Я сам постоянно пользуюсь LLM - он попросту заменил гугл. Но дальше алгоритмов и отдельных функций его применять невозможно. Если ему кинуть класс хотя бы на страницу и попросить проверить логику - то его максимум найти синтаксические ошибки. Но если бы только это - то было бы норм. Всегда выдаёт тонну ошибок - которые вообще мусор и к теме не относится. Пол часа ему доказываешь что он не прав. В конце он соглашается. Думаешь нахрена ты вообще время тратил. А потом на то что он говорит мол всё ок - сам находишь логические ошибки...
Максимальное точное ТЗ - это код. Зачем тогда нужен этот промежуточный лишний шаг в виде LLM?
Я пишу на С# - генерирует хрень. Да рабочую, может быть. Но всегда лишнего кода просто куча. Я использую для генерауци шаблонов - смотрю на хрень и переписваю под себя. Так получается быстрее чем писать с нуля. Хотя 50/50. Часто это переписка занимает больше времени чем самому писать.
Шок сенсация! Калькулятор за пол доллара быстрее всех людей на земле считает цифры!!!
Эй LLM - вот тебе кодовая база Linux - напиши драйвер для той железяки. Ой всё. У меня лапки.
А вот мясные мешки почти каждый спустя какое то время сможет (не сильно умным конечно понадобится значительное время)
Да фиг с тем линуксом. Хоть один более менее значимый проект есть который от начала и до конца написан LLM?
Ладно, не будем брать сложное где потеря одного бита крашит всю программу.
Пусть будут игры. Где игры написанные от нуля до конца? Не надо предлагать очередной полностью скопированный из githab клон каково нибудь minecraft
P.S. Если для работы с LLM нужен будет программист - то это просто очередной помощник. Как компилятор. И вот что то вообще не видно что от программиста можно пока избавится. Более того - LLM генерируют такую хрень что с этим сможет в последствии разобраться только программист-гений.
Тут дискуссия внизу продолжилась. Перечитал коммент свой - написал его коряво. Уточню что бы не разводить холивар. Под векторными многомерными полями я подразумевал что нейронные сети содержат в себе алгоритмы преобразования эмбедингов. Суть этих преобразований создания многомерного пространства где рядом лежат вектора других "смыслов" которые шли друг за другом при обучении. Так что пусть будут нейроны. Хотя этот термин настолько сегодня потаскан - что не несёт в себе вообще понятия какой внутри всё же используется алгоритм. Один может думать про один алгоритм, другой про другой. На что я и сагрился.
P.S. Опять же написал что знаю как устроена LLM. Скажем так я ознакомлен с общими принципами и некоторыми частями углубленно. Но как показал диалог, да собственно это и не секрет, разновидностей устройства может быть большим. Понятия которые используются в диалоге - тоже расплывчаты. Я когда пишу про векторную БД не имею ввиду класическую векторную БД, а имею ввиду что используются алгоритмы векторной алгебры. Но мой аппонент может, и имеет право, придратся.
Вы описали частные улучшения. Но главной же причиной остаётся увеличение векторного пространства. Это как бы не моё мнение а общее.
Ведь если упростить работу трансформера до предела то он работает так. У нас есть векторное пространство. Которое представляет из себя как бы области, грубо говоря круги. В каждом таком круге находятся слова (слоги), но пусть будут слова которые как бы должны идти друг за другом. Это векторная БД наполняется из обучающей выборки. И получили следующее - когда плотность этих областей была разреженной - то на выходе при сцеплении эмбеденгов (а слова -слоги там как раз в виде эмбедингов находятся) короче на выходе получался бред. Как только плотность этих областей превысило какую то критическую точку - на выходе уже как бы и не бред. А вполне нормальная мысль.
Весь прикол в том что до сих пор не совсем понятно почему так произошло. Имеется ввиду теория. Интуитивно то вроде понятно - больше осмысленных цепей таких эмбедингов заложили в векторную БД - тем больше шанс что пройдя по такой цепи мы получим осмысленность а не бред.
Ваша слова верны в следующем. Они с помощью голов сделали алгоритм сохранения контекста. Но все видят как глючнуто он работает. Намного лучше чем раньше - но вообще не близко к сильному ИИ. Кто плотно пользуются ИИ (как я) чётко видят как теряют контекст современные чатботы. И чётко видят предел где можно использовать этот ИИ. Поисковик- да. Простые алгоритмы - да. Сложные алгоритмы - нет. Тестирование программ, или сложная логика с объектами и временем - НЕТ в квадрате.
Много можно написать - но блин мои ответы это простыни. Никому не нужные.
Может быть по разному. Каждый может попробовать угадать исходя из своего опыта. Например я видел как может бюрократия полностью сожрать разработку. В малых коллективах творчество, херак херак и в продакшен, куча багов но и кучу нового. Компания растёт - и всё. Приоритетом становятся отчёты. Внедрять новое никто не будет - за ошибки бъют больно. За новшества просто платят зарплату. Главный приоритет у всех становится видимость работы.
Опять же сама архитектура может быть тупиковой. Вон качественный скачок в выдаче псевдопохожей осмысленной речи произошёл благодаря увеличению векторного пространства, до этого был на выходе бред. Никто не знает почему это произошло. Нету теории. И вот опять текущие LLM упёрлись в стену. Тупое увеличение мощностей в лучшем случае не делает хуже, а часто даже наоборот.
Из за того что предыдущий шаг был сделан наугад, без стройной теории, следующий шаг сделать не могут.
Я например вижу противоречии в самом принципе трансформера. Пытаюсь тут время от времени его высказывать. Получаю в карму.
Я не считаю мои взгляды каким то ноухау - вполне внятные алгоритмические претензии. Возможно это тоже тупиковый вариант. Но я например не встречал сегодня что где то ведутся подобные разработки.
Возможно где то в недрах DARPA уже скрестили
ежа с ужомLLM с архитектурой SOAR и ACT-R но держат это за 7 печатями тайны.Там нужно смотреть минимум 4 лекции. По часу полтора - зато реально уникальная информация. Такого качества информации в русскоязычном секторе не найдёте. Если найдёте - буду благодарен за ссылку.
Вообще не претендую на интерпретатора подобных лекций, но всё же могу выделить суть. Там многое сделано наугад, т.к. сами разработчики не понимают сути происходящего (как например нету точной теории сути происходящего в нейронной сети головного мозга, не отдельного нейрона а всех нейронов вместе взятых), зато есть много вычислительных мощностей. Вот и пробуют всё подряд. А удачные решения идут дальше.
Одно из таких решений это придумали так называемые головы - типо ключевые слова в тексте. Один из способов поиска - попросту ищут существительные которые встречаются реже всего. Вобщем пробуют всё подряд и смотрят что получится.
А векторные поля, по сути поля эмбедингов, строятся исключительно только на обучающем тексте. В отличие от человека который имеет дело с реальностью и зрением. И внутренняя структура строится на понятии объектов. Опять же быстрая память - в которой строится текущая модель простанства. LLM же это просто предсказатель следующего слога. Внутри есть чоткий вектор движения типо "мысли" закодированный в эмбединг. Короче много различий с сильным ИИ. Писать опять про различия не хочу.
Опять начинается. Одно и тоже каждый раз. Каждый раз оппонент обвиняет меня в том что я неуч при этом не подкрепляя ничем свои доводы. Я отвечаю. Заканчивается слитой кармой. Надоело.
P.S. Я прекрасно знаю как устроена современная LLM и в частности трансформеры. Я сам писал перцептронные нейросети для распознавания образов. Современная LLM это не веса нейронов в перцептронной сети, хотя там и есть нейронные поля. Современная LLM главным образом это архитектура трансформера. И это вообще не нейроны. А векторные многомерные поля.
Что касается "маркетингово" подсчёта параметров в современных LLM невериете мне, может поверите человеку который как раз и разрабатывает эти LLM прямо сейчас. Вот вам ссылка на свежие лекции. Больше не отвечаю.
Вы читали как они параметры считают? Это достаточно обсурдный показатель. Например на входе у нас есть токенизатор который может дать 100000 всех возможных вариантов. Далее векторная матрица которая также обладает 100000 всех варианнтов. Оно просто перемнажают первое на второе.
Короче берут максимальное количество возможных вариантов в каждом слое и всё это перемножают. Там конвеер например из 10-20 относительо небольших модулей, но перемножение всего этого даёт астрономические цифры.
Короче этот параметр вообще странно сравнивать с количеством соединений нейрона. Это как сравнивать тёплое с мягким.
А вообще я тут часто писал что архитектура современного LLM - трансформер это хороший поисковик но вообще не сильный ИИ. Мне тут за 1 комент сразу карму сливают даже без диалога. Так что зарёкся писать что то.
Понятно что не каждый нейрон столь разветвлён. Когда то давно читал мол какие то специфические могут иметь столько.
LLM говорит что:
Клетки Пуркинье в мозжечке — чемпионы по количеству входных синапсов. Их сильно разветвленное дендритное дерево предназначено для получения информации от сотен тысяч параллельных волокон. Один нейрон Пуркинье может иметь более 100 000 (до 200 000) синаптических входов.
Вот тут немного про количество
кора от 1мм до 3 приблизительно. Не писал про это уточнение - просто показал соотношение коры и белого вещества. И конечно понятно что нейроны не только в ней содержатся - т.к. кора считается что появилась относительно недавно. В голове есть более древние структуры которые как бы мозг в себе.
Я не собирался спорить по поводу нейробиологии - неблагодарное это дело тут вообще. Просто хотел приблизительно показать в чём принципиальное отличие современных кремниевых микросхем от мясного мозга.
Ответ прост - это невозможно. В мозгу человека нейроны это тонкая прослойка в 1мм в коре головного мозга. Остальная же часть объёма это белое вещество. Аксоны и дендриты. ФИЗИЧЕСКИ соединяющие все нейроны друг с другом. При этом 1 нейрон может содержать сотни тысяч таких соединений. А общее количество соединенений триллионы.
И что же невозможного в этой картине? А то что эти соединения физические каждый день перестраиваются. Сотни тысяч, миллионов появляются новых контактов. И также столько же отмирают.
Как вы понимаете - современная БИС это монолитный статический пирог. А соединения этого гигантского графа - эмулируются.
В современных LLM нашли неплохой метод эмуляции - по средством перемножения матриц из виртуального векторного пространства.
Вы правы если организовать работу под конвеер то можно приблизится к скорости конвеера. Я же в те давании времена паял с позиции радиолюбителя. Один и максимально ручная работа. Паяльных станций и вакуумных пинцетов не было.
P.S. Это времена МП42, планстинчатых трансформаторов везде и трубчатых конденсаторов...
Я занимался растановкой SMD в своё время на прототипах. Был молод и много свободной энергии которую нужно было куда то девать. И скажу так - плата 20 на 20 см со средней рассыпухой будет занимать от дня до 3. А потом ещё и проверять не накосячил где с номиналами. А после серии на плат 10 - месяц сидеть расплавленный припой нюхать - это реально ад. И хочу заметить что паять прототипы - это нудная однообразная работа которая ещё больше усложняет этот процесс. Не путать например с разработка новой платы - это интересно и творчество.
P.S. SMD расставлял маленьким пинцетом
P.S.S. Вы пишите что 1000 компонентов в час. Это примерно компонент в 3 секунды. Я не помню что там у меня занимало время. Но выдрать вручную SMD из ленты на стол. Взять его пинцетом, найти на плате где его припаять, а потом паять это паяльником. Наверно минимум минуту занимает. Микросхемы паять это вообще минут 10 паяльником. При этом периодически надо чистить плату от флюса. А потом наступает очередь выводных компонентов...
Колесо не появилось потому что не существовало дорог. Вот и вся правда. Если бы планета была плоская как дорога - то поверьте, существовали бы тучи всяких живых существ с всякими косными шариками-роликами и даже со смазкой из какой нибудь железы.