Ну это же не модно! Фу таким старым быть. Человек хочет что бы кнопку форк за него нажла LLM. Правда по пути пропустив исходный код через микер (упковала его в векторное пространство и веса перцептронной сети, а затем его оттуда забрала кое как). Ну и пусть что будет нерабочее гавно.
О 5/25. Извечная борьба linux/windows символьные ИИ / LLM. Все кто мало мальски в теме знает что такое символьные ИИ. Они лет 40 пытаются превратится в AGI. Но что то прорыв именно в человеческой речи сделала именно LLM. Также кто хочет быть в теме - знает как работает LLM и что он может, а что не может. Писать различия - надоело уже. Кто хочет сам найдёт. А тут кроме минус в карму ничего не будет.
И да - кто хоть чуть чуть изучает тему про LLM поймёт одну скрытую вещь. Она как бы не скрытая, но ни один блогер почему то про это не знает и не обсуждает. Архитектура трансформера - и логика это противоположные вещи. Но вот чудеса - если вы скажете сложить числа LLM - она выдаст точный ответ. Не все выдадут с первой попытки, например DeepSeek - может выдать полную ахинею. Но продвинутые по типу claud - выдают правильно.
И вот вопрос - а с какого перепугу так? Кто умеет мыслить - уже догадались почему.
Скрытый текст
Дабы меня тут не окунули в унитаз за выёживание сразу напишу ответ. Документация по трансфомеру выкинутая OpenAI - это лишь базовое определение работы LLM которое пошло как развитие переводчика. Такая архитектура способна только предугадывать следующее слово. Но она абсолютно не способна на то что мы имеем в современных чатботах. Как думаете куда идут миллионы денег на современную разработку LLM? Сама архитектура особо не меняется. Ну ладно - экспериментируют с головами внимания и их количеством. Короче абсолютно все скрывают что на самом деле они делают. А делают они одно - пытаются прикрутить логику к LLM. А для этого надо на входе задать спец парсеры. Аркестраторы. Вот это и разрабатывают. И LLM там только как подключаемый модуль в цепочке ответа. Там этих спец LLM могут быть тучи. Каждая для своего случая. Есть модуль калькулятор - которому как раз передаются запросы о типу сложи числа.
Если вы зададите 5 вопросов в одном промте. Входной модуль разобьёт вопросы на подвпросы и пропустит каждый по отдельности через LLM.
Входной промт нашпиговывается спец управляющими ключами. А потом в выходном ответе эти ключи выпиливаются из ответа. Вы знали что есть LLM base, а есть instruct ? Instruct это модель base которую дообучают промтами со спец ключами. Ни один блогер про такое не говорит.
Вот опять 25. Не хотел ничего писать - и опят портянка. Слаб человек... На последок покажу пример. Я задаю текст про хомяка в LLM. Текст сказка на одну страницу. И говорю какой пол у хомяка? Обычная LLM просто продолжит сказку. А уже спец - сделает следующее.
Алгоритм поиска:
Поиск прямых номинаций родства в мужском роде:
Сканирование текста на наличие слов из целевого списка: сын, сыночек, мальчик, первенец (часто муж.рода).
Находка 1: "балованного сыночка" (предложение 5). Алгоритм фиксирует: слово "сыночек" напрямую указывает на мужской пол родителя по отношению к ребенку.
Поиск анафорических цепочек (связь местоимений с сущностью):
Задается вопрос: какими местоимениями (он, его, ним, ему или она, её, ней) текст заменяет существительное "Хомячок"?
Система прослеживает все ссылки. Результат: Везде, где речь о действиях или состоянии Хомячка, используются местоимения мужского рода (он, ему, его). Пример: "Он затихал", "ему нравилось", "взял его на руки". Это мощный грамматический маркер.
Кросс-валидация (проверка на согласованность):
Проверяется, не противоречат ли найденные маркеры друг другу или другим фактам. Например, не называет ли кто-то Хомячка "дочкой" в другом месте? В данном тексте противоречий нет.
Проверяется контекст реплик: кто говорит "сыночек"? Родители. Это надежный источник информации в рамках истории.
Этап 4: Формирование ответа на основе извлеченных данных
Сбор доказательной базы: Система собирает "цитаты"-токены, послужившие основаниями:
Факт 1: Прямая номинация (сыночек).
Факт 2: Прямая номинация (сынок).
Факт 3: Грамматическая согласованность (цепочка местоимений он/его).
Генерация ответа: На основе этих фактов формулируется утвердительный ответ, который:
Дает четкий ответ на вопрос ("Хомяк — мужского пола").
Приводит явные ссылки на текст в качестве обоснования, потому что внутренние правила (инструкции) предписывают быть объяснимым.
Строится грамматически правильное предложение на русском языке.
Ходил в спорт зал. Штанга 100кг от груди жим лёжа 10 раз легко. Собственный вес 120кг. Всё мышцы. Подтянутся - не помню уже, но практически невозможно было. Думаю что живчикам 50 килограммовым которые 100 раз легко подтягиваются привязать вес 60 кг, то тоже ни разу бы не подтянулись.
Вот из каждого утюга про это слышу. А когда начинаешь справшивать что да как - то максимум используют для писания локальных функций.
Я сам постоянно пользуюсь LLM - он попросту заменил гугл. Но дальше алгоритмов и отдельных функций его применять невозможно. Если ему кинуть класс хотя бы на страницу и попросить проверить логику - то его максимум найти синтаксические ошибки. Но если бы только это - то было бы норм. Всегда выдаёт тонну ошибок - которые вообще мусор и к теме не относится. Пол часа ему доказываешь что он не прав. В конце он соглашается. Думаешь нахрена ты вообще время тратил. А потом на то что он говорит мол всё ок - сам находишь логические ошибки...
Разумеется нужно нормальное ТЗ
Максимальное точное ТЗ - это код. Зачем тогда нужен этот промежуточный лишний шаг в виде LLM?
Какую хрень? Отлично генерируют код.
Я пишу на С# - генерирует хрень. Да рабочую, может быть. Но всегда лишнего кода просто куча. Я использую для генерауци шаблонов - смотрю на хрень и переписваю под себя. Так получается быстрее чем писать с нуля. Хотя 50/50. Часто это переписка занимает больше времени чем самому писать.
Шок сенсация! Калькулятор за пол доллара быстрее всех людей на земле считает цифры!!!
Эй LLM - вот тебе кодовая база Linux - напиши драйвер для той железяки. Ой всё. У меня лапки.
А вот мясные мешки почти каждый спустя какое то время сможет (не сильно умным конечно понадобится значительное время)
Да фиг с тем линуксом. Хоть один более менее значимый проект есть который от начала и до конца написан LLM?
Ладно, не будем брать сложное где потеря одного бита крашит всю программу.
Пусть будут игры. Где игры написанные от нуля до конца? Не надо предлагать очередной полностью скопированный из githab клон каково нибудь minecraft
P.S. Если для работы с LLM нужен будет программист - то это просто очередной помощник. Как компилятор. И вот что то вообще не видно что от программиста можно пока избавится. Более того - LLM генерируют такую хрень что с этим сможет в последствии разобраться только программист-гений.
Тут дискуссия внизу продолжилась. Перечитал коммент свой - написал его коряво. Уточню что бы не разводить холивар. Под векторными многомерными полями я подразумевал что нейронные сети содержат в себе алгоритмы преобразования эмбедингов. Суть этих преобразований создания многомерного пространства где рядом лежат вектора других "смыслов" которые шли друг за другом при обучении. Так что пусть будут нейроны. Хотя этот термин настолько сегодня потаскан - что не несёт в себе вообще понятия какой внутри всё же используется алгоритм. Один может думать про один алгоритм, другой про другой. На что я и сагрился.
P.S. Опять же написал что знаю как устроена LLM. Скажем так я ознакомлен с общими принципами и некоторыми частями углубленно. Но как показал диалог, да собственно это и не секрет, разновидностей устройства может быть большим. Понятия которые используются в диалоге - тоже расплывчаты. Я когда пишу про векторную БД не имею ввиду класическую векторную БД, а имею ввиду что используются алгоритмы векторной алгебры. Но мой аппонент может, и имеет право, придратся.
Вы описали частные улучшения. Но главной же причиной остаётся увеличение векторного пространства. Это как бы не моё мнение а общее.
Ведь если упростить работу трансформера до предела то он работает так. У нас есть векторное пространство. Которое представляет из себя как бы области, грубо говоря круги. В каждом таком круге находятся слова (слоги), но пусть будут слова которые как бы должны идти друг за другом. Это векторная БД наполняется из обучающей выборки. И получили следующее - когда плотность этих областей была разреженной - то на выходе при сцеплении эмбеденгов (а слова -слоги там как раз в виде эмбедингов находятся) короче на выходе получался бред. Как только плотность этих областей превысило какую то критическую точку - на выходе уже как бы и не бред. А вполне нормальная мысль.
Весь прикол в том что до сих пор не совсем понятно почему так произошло. Имеется ввиду теория. Интуитивно то вроде понятно - больше осмысленных цепей таких эмбедингов заложили в векторную БД - тем больше шанс что пройдя по такой цепи мы получим осмысленность а не бред.
Ваша слова верны в следующем. Они с помощью голов сделали алгоритм сохранения контекста. Но все видят как глючнуто он работает. Намного лучше чем раньше - но вообще не близко к сильному ИИ. Кто плотно пользуются ИИ (как я) чётко видят как теряют контекст современные чатботы. И чётко видят предел где можно использовать этот ИИ. Поисковик- да. Простые алгоритмы - да. Сложные алгоритмы - нет. Тестирование программ, или сложная логика с объектами и временем - НЕТ в квадрате.
Много можно написать - но блин мои ответы это простыни. Никому не нужные.
Может быть по разному. Каждый может попробовать угадать исходя из своего опыта. Например я видел как может бюрократия полностью сожрать разработку. В малых коллективах творчество, херак херак и в продакшен, куча багов но и кучу нового. Компания растёт - и всё. Приоритетом становятся отчёты. Внедрять новое никто не будет - за ошибки бъют больно. За новшества просто платят зарплату. Главный приоритет у всех становится видимость работы.
Опять же сама архитектура может быть тупиковой. Вон качественный скачок в выдаче псевдопохожей осмысленной речи произошёл благодаря увеличению векторного пространства, до этого был на выходе бред. Никто не знает почему это произошло. Нету теории. И вот опять текущие LLM упёрлись в стену. Тупое увеличение мощностей в лучшем случае не делает хуже, а часто даже наоборот.
Из за того что предыдущий шаг был сделан наугад, без стройной теории, следующий шаг сделать не могут.
Я например вижу противоречии в самом принципе трансформера. Пытаюсь тут время от времени его высказывать. Получаю в карму.
Я не считаю мои взгляды каким то ноухау - вполне внятные алгоритмические претензии. Возможно это тоже тупиковый вариант. Но я например не встречал сегодня что где то ведутся подобные разработки.
Возможно где то в недрах DARPA уже скрестили ежа с ужом LLM с архитектурой SOAR и ACT-R но держат это за 7 печатями тайны.
Там нужно смотреть минимум 4 лекции. По часу полтора - зато реально уникальная информация. Такого качества информации в русскоязычном секторе не найдёте. Если найдёте - буду благодарен за ссылку.
Вообще не претендую на интерпретатора подобных лекций, но всё же могу выделить суть. Там многое сделано наугад, т.к. сами разработчики не понимают сути происходящего (как например нету точной теории сути происходящего в нейронной сети головного мозга, не отдельного нейрона а всех нейронов вместе взятых), зато есть много вычислительных мощностей. Вот и пробуют всё подряд. А удачные решения идут дальше.
Одно из таких решений это придумали так называемые головы - типо ключевые слова в тексте. Один из способов поиска - попросту ищут существительные которые встречаются реже всего. Вобщем пробуют всё подряд и смотрят что получится.
А векторные поля, по сути поля эмбедингов, строятся исключительно только на обучающем тексте. В отличие от человека который имеет дело с реальностью и зрением. И внутренняя структура строится на понятии объектов. Опять же быстрая память - в которой строится текущая модель простанства. LLM же это просто предсказатель следующего слога. Внутри есть чоткий вектор движения типо "мысли" закодированный в эмбединг. Короче много различий с сильным ИИ. Писать опять про различия не хочу.
Опять начинается. Одно и тоже каждый раз. Каждый раз оппонент обвиняет меня в том что я неуч при этом не подкрепляя ничем свои доводы. Я отвечаю. Заканчивается слитой кармой. Надоело.
P.S. Я прекрасно знаю как устроена современная LLM и в частности трансформеры. Я сам писал перцептронные нейросети для распознавания образов. Современная LLM это не веса нейронов в перцептронной сети, хотя там и есть нейронные поля. Современная LLM главным образом это архитектура трансформера. И это вообще не нейроны. А векторные многомерные поля.
Что касается "маркетингово" подсчёта параметров в современных LLM невериете мне, может поверите человеку который как раз и разрабатывает эти LLM прямо сейчас. Вот вам ссылка на свежие лекции. Больше не отвечаю.
Вы читали как они параметры считают? Это достаточно обсурдный показатель. Например на входе у нас есть токенизатор который может дать 100000 всех возможных вариантов. Далее векторная матрица которая также обладает 100000 всех варианнтов. Оно просто перемнажают первое на второе.
Короче берут максимальное количество возможных вариантов в каждом слое и всё это перемножают. Там конвеер например из 10-20 относительо небольших модулей, но перемножение всего этого даёт астрономические цифры.
Короче этот параметр вообще странно сравнивать с количеством соединений нейрона. Это как сравнивать тёплое с мягким.
А вообще я тут часто писал что архитектура современного LLM - трансформер это хороший поисковик но вообще не сильный ИИ. Мне тут за 1 комент сразу карму сливают даже без диалога. Так что зарёкся писать что то.
Понятно что не каждый нейрон столь разветвлён. Когда то давно читал мол какие то специфические могут иметь столько.
LLM говорит что:
Клетки Пуркинье в мозжечке — чемпионы по количеству входных синапсов. Их сильно разветвленное дендритное дерево предназначено для получения информации от сотен тысяч параллельных волокон. Один нейрон Пуркинье может иметь более 100 000 (до 200 000) синаптических входов.
кора от 1мм до 3 приблизительно. Не писал про это уточнение - просто показал соотношение коры и белого вещества. И конечно понятно что нейроны не только в ней содержатся - т.к. кора считается что появилась относительно недавно. В голове есть более древние структуры которые как бы мозг в себе.
Я не собирался спорить по поводу нейробиологии - неблагодарное это дело тут вообще. Просто хотел приблизительно показать в чём принципиальное отличие современных кремниевых микросхем от мясного мозга.
Ответ прост - это невозможно. В мозгу человека нейроны это тонкая прослойка в 1мм в коре головного мозга. Остальная же часть объёма это белое вещество. Аксоны и дендриты. ФИЗИЧЕСКИ соединяющие все нейроны друг с другом. При этом 1 нейрон может содержать сотни тысяч таких соединений. А общее количество соединенений триллионы.
И что же невозможного в этой картине? А то что эти соединения физические каждый день перестраиваются. Сотни тысяч, миллионов появляются новых контактов. И также столько же отмирают.
Как вы понимаете - современная БИС это монолитный статический пирог. А соединения этого гигантского графа - эмулируются.
В современных LLM нашли неплохой метод эмуляции - по средством перемножения матриц из виртуального векторного пространства.
Вы правы если организовать работу под конвеер то можно приблизится к скорости конвеера. Я же в те давании времена паял с позиции радиолюбителя. Один и максимально ручная работа. Паяльных станций и вакуумных пинцетов не было.
P.S. Это времена МП42, планстинчатых трансформаторов везде и трубчатых конденсаторов...
Я занимался растановкой SMD в своё время на прототипах. Был молод и много свободной энергии которую нужно было куда то девать. И скажу так - плата 20 на 20 см со средней рассыпухой будет занимать от дня до 3. А потом ещё и проверять не накосячил где с номиналами. А после серии на плат 10 - месяц сидеть расплавленный припой нюхать - это реально ад. И хочу заметить что паять прототипы - это нудная однообразная работа которая ещё больше усложняет этот процесс. Не путать например с разработка новой платы - это интересно и творчество.
P.S. SMD расставлял маленьким пинцетом
P.S.S. Вы пишите что 1000 компонентов в час. Это примерно компонент в 3 секунды. Я не помню что там у меня занимало время. Но выдрать вручную SMD из ленты на стол. Взять его пинцетом, найти на плате где его припаять, а потом паять это паяльником. Наверно минимум минуту занимает. Микросхемы паять это вообще минут 10 паяльником. При этом периодически надо чистить плату от флюса. А потом наступает очередь выводных компонентов...
Колесо не появилось потому что не существовало дорог. Вот и вся правда. Если бы планета была плоская как дорога - то поверьте, существовали бы тучи всяких живых существ с всякими косными шариками-роликами и даже со смазкой из какой нибудь железы.
Вот за этот комментарий мне какой то альтернативно-одарённый влепил минус в карму. Желаю что бы на этом чудесном сайте остались только статьи сгенерированные ИИ.
Как вы надоели. Я не буду в очередной раз поднимать вопросы что архитектура трансформера и AGI это разные вещи. Потому что не увижу рассуждений на эту тему в подобных рекламных статьях.
Я предложу свой железобетонный способ определения AGI.
Когда ИИ сможет спокойно заменить бабу Клаву на кассе - вот тогда и настанет то самое светлое будущее.
Представьте - чуть ли не половина (а может и процентов 90) населения уйдёт в утиль. Потому что кроме болтологии ничего не делают.
Не надо от AGI никаких нобелевских изобретений. Достаточно что бы просто мог нормально понимать бред очередного тупого мясного AGI.
Сейчас же что имеем? На 1-2 вопроса отвечает вроде норм. А дальше начинаешь видеть что это тупая машина не держащая контекст разговора. А из самой сути трансформера - это бесконечный генератор следующего слога, ответы которого исскуственно надо резать. Либо по размеру ответа либо по стоп токену. Короче если сравнивать детали - то вообще всё не так работает как у человеческого ИИ.
Заинтересовал вопрос - а что же они там собрались такое патентовать? По ссылке следующее:
Технология «Вжух» — полностью российская разработка, на неё скоро будет получен патент. Мы написали свой собственный программный продукт, который работает как на терминале, так и на устройстве пользователя и использует «железное» решение самого смартфона, в частности Bluetooth.
Программу запатентовать нельзя. Железо - телефон, bluetuth и его API нельзя. Алгоритмы как таковые тоже не патентуются. Так что они там патентовать собрались?
Помучал LLM вопросами - и ввод такой. Нельзя патентовать алгоритм. Но можно патентовать способ решения чего то. И само описание этого способа будет содержать алгоритм. И вообще там очень тонкий лёд словоблудия и вилами по воде писнно.
Типо если дадут на лапу повезёт и зарегистрируют твой способ, а в реальности это будет тупое описание программы - которая сама по себе не патентуется.
Так вот самый цирк с конями начнётся далее. Сама программа - может быть изменена 100500 разными способами и на выходе давать такое же поведение. И как отличать новый способ-программу от старого? Если учесть что всё это будет работать на одном железе, на одном bluetuth. С общим API - которое не подлежит патентованию. Мутно это всё.
Ну это же не модно! Фу таким старым быть. Человек хочет что бы кнопку форк за него нажла LLM. Правда по пути пропустив исходный код через микер (упковала его в векторное пространство и веса перцептронной сети, а затем его оттуда забрала кое как). Ну и пусть что будет нерабочее гавно.
О 5/25. Извечная борьба
linux/windowsсимвольные ИИ / LLM. Все кто мало мальски в теме знает что такое символьные ИИ. Они лет 40 пытаются превратится в AGI. Но что то прорыв именно в человеческой речи сделала именно LLM. Также кто хочет быть в теме - знает как работает LLM и что он может, а что не может. Писать различия - надоело уже. Кто хочет сам найдёт. А тут кроме минус в карму ничего не будет.И да - кто хоть чуть чуть изучает тему про LLM поймёт одну скрытую вещь. Она как бы не скрытая, но ни один блогер почему то про это не знает и не обсуждает. Архитектура трансформера - и логика это противоположные вещи. Но вот чудеса - если вы скажете сложить числа LLM - она выдаст точный ответ. Не все выдадут с первой попытки, например DeepSeek - может выдать полную ахинею. Но продвинутые по типу claud - выдают правильно.
И вот вопрос - а с какого перепугу так? Кто умеет мыслить - уже догадались почему.
Скрытый текст
Дабы меня тут не окунули в унитаз за выёживание сразу напишу ответ. Документация по трансфомеру выкинутая OpenAI - это лишь базовое определение работы LLM которое пошло как развитие переводчика. Такая архитектура способна только предугадывать следующее слово. Но она абсолютно не способна на то что мы имеем в современных чатботах. Как думаете куда идут миллионы денег на современную разработку LLM? Сама архитектура особо не меняется. Ну ладно - экспериментируют с головами внимания и их количеством. Короче абсолютно все скрывают что на самом деле они делают. А делают они одно - пытаются прикрутить логику к LLM. А для этого надо на входе задать спец парсеры. Аркестраторы. Вот это и разрабатывают. И LLM там только как подключаемый модуль в цепочке ответа. Там этих спец LLM могут быть тучи. Каждая для своего случая. Есть модуль калькулятор - которому как раз передаются запросы о типу сложи числа.
Если вы зададите 5 вопросов в одном промте. Входной модуль разобьёт вопросы на подвпросы и пропустит каждый по отдельности через LLM.
Входной промт нашпиговывается спец управляющими ключами. А потом в выходном ответе эти ключи выпиливаются из ответа. Вы знали что есть LLM base, а есть instruct ? Instruct это модель base которую дообучают промтами со спец ключами. Ни один блогер про такое не говорит.
Вот опять 25. Не хотел ничего писать - и опят портянка. Слаб человек... На последок покажу пример. Я задаю текст про хомяка в LLM. Текст сказка на одну страницу. И говорю какой пол у хомяка? Обычная LLM просто продолжит сказку. А уже спец - сделает следующее.
То то человеку надо всего 20 ватт. Вот гад притворяется мыслящим! А на самом деле вообще оказывается симулякр какой то!
Ходил в спорт зал. Штанга 100кг от груди жим лёжа 10 раз легко. Собственный вес 120кг. Всё мышцы. Подтянутся - не помню уже, но практически невозможно было. Думаю что живчикам 50 килограммовым которые 100 раз легко подтягиваются привязать вес 60 кг, то тоже ни разу бы не подтянулись.
Вот из каждого утюга про это слышу. А когда начинаешь справшивать что да как - то максимум используют для писания локальных функций.
Я сам постоянно пользуюсь LLM - он попросту заменил гугл. Но дальше алгоритмов и отдельных функций его применять невозможно. Если ему кинуть класс хотя бы на страницу и попросить проверить логику - то его максимум найти синтаксические ошибки. Но если бы только это - то было бы норм. Всегда выдаёт тонну ошибок - которые вообще мусор и к теме не относится. Пол часа ему доказываешь что он не прав. В конце он соглашается. Думаешь нахрена ты вообще время тратил. А потом на то что он говорит мол всё ок - сам находишь логические ошибки...
Максимальное точное ТЗ - это код. Зачем тогда нужен этот промежуточный лишний шаг в виде LLM?
Я пишу на С# - генерирует хрень. Да рабочую, может быть. Но всегда лишнего кода просто куча. Я использую для генерауци шаблонов - смотрю на хрень и переписваю под себя. Так получается быстрее чем писать с нуля. Хотя 50/50. Часто это переписка занимает больше времени чем самому писать.
Шок сенсация! Калькулятор за пол доллара быстрее всех людей на земле считает цифры!!!
Эй LLM - вот тебе кодовая база Linux - напиши драйвер для той железяки. Ой всё. У меня лапки.
А вот мясные мешки почти каждый спустя какое то время сможет (не сильно умным конечно понадобится значительное время)
Да фиг с тем линуксом. Хоть один более менее значимый проект есть который от начала и до конца написан LLM?
Ладно, не будем брать сложное где потеря одного бита крашит всю программу.
Пусть будут игры. Где игры написанные от нуля до конца? Не надо предлагать очередной полностью скопированный из githab клон каково нибудь minecraft
P.S. Если для работы с LLM нужен будет программист - то это просто очередной помощник. Как компилятор. И вот что то вообще не видно что от программиста можно пока избавится. Более того - LLM генерируют такую хрень что с этим сможет в последствии разобраться только программист-гений.
Тут дискуссия внизу продолжилась. Перечитал коммент свой - написал его коряво. Уточню что бы не разводить холивар. Под векторными многомерными полями я подразумевал что нейронные сети содержат в себе алгоритмы преобразования эмбедингов. Суть этих преобразований создания многомерного пространства где рядом лежат вектора других "смыслов" которые шли друг за другом при обучении. Так что пусть будут нейроны. Хотя этот термин настолько сегодня потаскан - что не несёт в себе вообще понятия какой внутри всё же используется алгоритм. Один может думать про один алгоритм, другой про другой. На что я и сагрился.
P.S. Опять же написал что знаю как устроена LLM. Скажем так я ознакомлен с общими принципами и некоторыми частями углубленно. Но как показал диалог, да собственно это и не секрет, разновидностей устройства может быть большим. Понятия которые используются в диалоге - тоже расплывчаты. Я когда пишу про векторную БД не имею ввиду класическую векторную БД, а имею ввиду что используются алгоритмы векторной алгебры. Но мой аппонент может, и имеет право, придратся.
Вы описали частные улучшения. Но главной же причиной остаётся увеличение векторного пространства. Это как бы не моё мнение а общее.
Ведь если упростить работу трансформера до предела то он работает так. У нас есть векторное пространство. Которое представляет из себя как бы области, грубо говоря круги. В каждом таком круге находятся слова (слоги), но пусть будут слова которые как бы должны идти друг за другом. Это векторная БД наполняется из обучающей выборки. И получили следующее - когда плотность этих областей была разреженной - то на выходе при сцеплении эмбеденгов (а слова -слоги там как раз в виде эмбедингов находятся) короче на выходе получался бред. Как только плотность этих областей превысило какую то критическую точку - на выходе уже как бы и не бред. А вполне нормальная мысль.
Весь прикол в том что до сих пор не совсем понятно почему так произошло. Имеется ввиду теория. Интуитивно то вроде понятно - больше осмысленных цепей таких эмбедингов заложили в векторную БД - тем больше шанс что пройдя по такой цепи мы получим осмысленность а не бред.
Ваша слова верны в следующем. Они с помощью голов сделали алгоритм сохранения контекста. Но все видят как глючнуто он работает. Намного лучше чем раньше - но вообще не близко к сильному ИИ. Кто плотно пользуются ИИ (как я) чётко видят как теряют контекст современные чатботы. И чётко видят предел где можно использовать этот ИИ. Поисковик- да. Простые алгоритмы - да. Сложные алгоритмы - нет. Тестирование программ, или сложная логика с объектами и временем - НЕТ в квадрате.
Много можно написать - но блин мои ответы это простыни. Никому не нужные.
Может быть по разному. Каждый может попробовать угадать исходя из своего опыта. Например я видел как может бюрократия полностью сожрать разработку. В малых коллективах творчество, херак херак и в продакшен, куча багов но и кучу нового. Компания растёт - и всё. Приоритетом становятся отчёты. Внедрять новое никто не будет - за ошибки бъют больно. За новшества просто платят зарплату. Главный приоритет у всех становится видимость работы.
Опять же сама архитектура может быть тупиковой. Вон качественный скачок в выдаче псевдопохожей осмысленной речи произошёл благодаря увеличению векторного пространства, до этого был на выходе бред. Никто не знает почему это произошло. Нету теории. И вот опять текущие LLM упёрлись в стену. Тупое увеличение мощностей в лучшем случае не делает хуже, а часто даже наоборот.
Из за того что предыдущий шаг был сделан наугад, без стройной теории, следующий шаг сделать не могут.
Я например вижу противоречии в самом принципе трансформера. Пытаюсь тут время от времени его высказывать. Получаю в карму.
Я не считаю мои взгляды каким то ноухау - вполне внятные алгоритмические претензии. Возможно это тоже тупиковый вариант. Но я например не встречал сегодня что где то ведутся подобные разработки.
Возможно где то в недрах DARPA уже скрестили
ежа с ужомLLM с архитектурой SOAR и ACT-R но держат это за 7 печатями тайны.Там нужно смотреть минимум 4 лекции. По часу полтора - зато реально уникальная информация. Такого качества информации в русскоязычном секторе не найдёте. Если найдёте - буду благодарен за ссылку.
Вообще не претендую на интерпретатора подобных лекций, но всё же могу выделить суть. Там многое сделано наугад, т.к. сами разработчики не понимают сути происходящего (как например нету точной теории сути происходящего в нейронной сети головного мозга, не отдельного нейрона а всех нейронов вместе взятых), зато есть много вычислительных мощностей. Вот и пробуют всё подряд. А удачные решения идут дальше.
Одно из таких решений это придумали так называемые головы - типо ключевые слова в тексте. Один из способов поиска - попросту ищут существительные которые встречаются реже всего. Вобщем пробуют всё подряд и смотрят что получится.
А векторные поля, по сути поля эмбедингов, строятся исключительно только на обучающем тексте. В отличие от человека который имеет дело с реальностью и зрением. И внутренняя структура строится на понятии объектов. Опять же быстрая память - в которой строится текущая модель простанства. LLM же это просто предсказатель следующего слога. Внутри есть чоткий вектор движения типо "мысли" закодированный в эмбединг. Короче много различий с сильным ИИ. Писать опять про различия не хочу.
Опять начинается. Одно и тоже каждый раз. Каждый раз оппонент обвиняет меня в том что я неуч при этом не подкрепляя ничем свои доводы. Я отвечаю. Заканчивается слитой кармой. Надоело.
P.S. Я прекрасно знаю как устроена современная LLM и в частности трансформеры. Я сам писал перцептронные нейросети для распознавания образов. Современная LLM это не веса нейронов в перцептронной сети, хотя там и есть нейронные поля. Современная LLM главным образом это архитектура трансформера. И это вообще не нейроны. А векторные многомерные поля.
Что касается "маркетингово" подсчёта параметров в современных LLM невериете мне, может поверите человеку который как раз и разрабатывает эти LLM прямо сейчас. Вот вам ссылка на свежие лекции. Больше не отвечаю.
Вы читали как они параметры считают? Это достаточно обсурдный показатель. Например на входе у нас есть токенизатор который может дать 100000 всех возможных вариантов. Далее векторная матрица которая также обладает 100000 всех варианнтов. Оно просто перемнажают первое на второе.
Короче берут максимальное количество возможных вариантов в каждом слое и всё это перемножают. Там конвеер например из 10-20 относительо небольших модулей, но перемножение всего этого даёт астрономические цифры.
Короче этот параметр вообще странно сравнивать с количеством соединений нейрона. Это как сравнивать тёплое с мягким.
А вообще я тут часто писал что архитектура современного LLM - трансформер это хороший поисковик но вообще не сильный ИИ. Мне тут за 1 комент сразу карму сливают даже без диалога. Так что зарёкся писать что то.
Понятно что не каждый нейрон столь разветвлён. Когда то давно читал мол какие то специфические могут иметь столько.
LLM говорит что:
Клетки Пуркинье в мозжечке — чемпионы по количеству входных синапсов. Их сильно разветвленное дендритное дерево предназначено для получения информации от сотен тысяч параллельных волокон. Один нейрон Пуркинье может иметь более 100 000 (до 200 000) синаптических входов.
Вот тут немного про количество
кора от 1мм до 3 приблизительно. Не писал про это уточнение - просто показал соотношение коры и белого вещества. И конечно понятно что нейроны не только в ней содержатся - т.к. кора считается что появилась относительно недавно. В голове есть более древние структуры которые как бы мозг в себе.
Я не собирался спорить по поводу нейробиологии - неблагодарное это дело тут вообще. Просто хотел приблизительно показать в чём принципиальное отличие современных кремниевых микросхем от мясного мозга.
Ответ прост - это невозможно. В мозгу человека нейроны это тонкая прослойка в 1мм в коре головного мозга. Остальная же часть объёма это белое вещество. Аксоны и дендриты. ФИЗИЧЕСКИ соединяющие все нейроны друг с другом. При этом 1 нейрон может содержать сотни тысяч таких соединений. А общее количество соединенений триллионы.
И что же невозможного в этой картине? А то что эти соединения физические каждый день перестраиваются. Сотни тысяч, миллионов появляются новых контактов. И также столько же отмирают.
Как вы понимаете - современная БИС это монолитный статический пирог. А соединения этого гигантского графа - эмулируются.
В современных LLM нашли неплохой метод эмуляции - по средством перемножения матриц из виртуального векторного пространства.
Вы правы если организовать работу под конвеер то можно приблизится к скорости конвеера. Я же в те давании времена паял с позиции радиолюбителя. Один и максимально ручная работа. Паяльных станций и вакуумных пинцетов не было.
P.S. Это времена МП42, планстинчатых трансформаторов везде и трубчатых конденсаторов...
Я занимался растановкой SMD в своё время на прототипах. Был молод и много свободной энергии которую нужно было куда то девать. И скажу так - плата 20 на 20 см со средней рассыпухой будет занимать от дня до 3. А потом ещё и проверять не накосячил где с номиналами. А после серии на плат 10 - месяц сидеть расплавленный припой нюхать - это реально ад. И хочу заметить что паять прототипы - это нудная однообразная работа которая ещё больше усложняет этот процесс. Не путать например с разработка новой платы - это интересно и творчество.
P.S. SMD расставлял маленьким пинцетом
P.S.S. Вы пишите что 1000 компонентов в час. Это примерно компонент в 3 секунды. Я не помню что там у меня занимало время. Но выдрать вручную SMD из ленты на стол. Взять его пинцетом, найти на плате где его припаять, а потом паять это паяльником. Наверно минимум минуту занимает. Микросхемы паять это вообще минут 10 паяльником. При этом периодически надо чистить плату от флюса. А потом наступает очередь выводных компонентов...
Колесо не появилось потому что не существовало дорог. Вот и вся правда. Если бы планета была плоская как дорога - то поверьте, существовали бы тучи всяких живых существ с всякими косными шариками-роликами и даже со смазкой из какой нибудь железы.
Вот за этот комментарий мне какой то альтернативно-одарённый влепил минус в карму. Желаю что бы на этом чудесном сайте остались только статьи сгенерированные ИИ.
Как вы надоели. Я не буду в очередной раз поднимать вопросы что архитектура трансформера и AGI это разные вещи. Потому что не увижу рассуждений на эту тему в подобных рекламных статьях.
Я предложу свой железобетонный способ определения AGI.
Когда ИИ сможет спокойно заменить бабу Клаву на кассе - вот тогда и настанет то самое светлое будущее.
Представьте - чуть ли не половина (а может и процентов 90) населения уйдёт в утиль. Потому что кроме болтологии ничего не делают.
Не надо от AGI никаких нобелевских изобретений. Достаточно что бы просто мог нормально понимать бред очередного тупого мясного AGI.
Сейчас же что имеем? На 1-2 вопроса отвечает вроде норм. А дальше начинаешь видеть что это тупая машина не держащая контекст разговора. А из самой сути трансформера - это бесконечный генератор следующего слога, ответы которого исскуственно надо резать. Либо по размеру ответа либо по стоп токену. Короче если сравнивать детали - то вообще всё не так работает как у человеческого ИИ.
Заинтересовал вопрос - а что же они там собрались такое патентовать? По ссылке следующее:
Технология «Вжух» — полностью российская разработка, на неё скоро будет получен патент. Мы написали свой собственный программный продукт, который работает как на терминале, так и на устройстве пользователя и использует «железное» решение самого смартфона, в частности Bluetooth.
Программу запатентовать нельзя. Железо - телефон, bluetuth и его API нельзя. Алгоритмы как таковые тоже не патентуются. Так что они там патентовать собрались?
Помучал LLM вопросами - и ввод такой. Нельзя патентовать алгоритм. Но можно патентовать способ решения чего то. И само описание этого способа будет содержать алгоритм. И вообще там очень тонкий лёд словоблудия и вилами по воде писнно.
Типо если
дадут на лапуповезёт и зарегистрируют твой способ, а в реальности это будет тупое описание программы - которая сама по себе не патентуется.Так вот самый цирк с конями начнётся далее. Сама программа - может быть изменена 100500 разными способами и на выходе давать такое же поведение. И как отличать новый способ-программу от старого? Если учесть что всё это будет работать на одном железе, на одном bluetuth. С общим API - которое не подлежит патентованию. Мутно это всё.