Да нафиг никому не сдался интеллект похожий на человеческий. Со всеми его недостатками и эволюционными костылями.
Нужен именно НЕчеловеческий ИИ который бы ничего не забывал. Всё запоминал. И делал интеллектуальную работу без ошибок.
Что мы имеем сейчас? Алгоритм поиска соседнего вектора в векторном пространстве. Путём чудовищных вычислений - этот алгоритм каким то чудом стал выдавать на выходе псевдо-похожую речь.
Кто знает как внутренне устроенна LLM - тот у виска крутит пальцем когда слышит рассуждение армии блогером о всемогущем искусственном интеллекте - который вот вот, ещё чуть чуть, уже в 2030 году всех победит и всё придумает.
А те кто плотно с ним работает (например я) получаю то что он может дать и не более. Если я прошу написать его алгоритм - он в 99.99 это сделает блестяще - потому как в векторном пространстве есть цепочка векторов реализующая этот алгоритм.
Но если я дам ему проверить свой код. Уже со страницы кода - это просто финиш. Он найдёт кучу неисправностей, потом ты ему будешь доказывать что это не неисправности. Спустя час он полностью с вами согласится, а потом ты сам увидишь дыры в коде.
Вам кажется что у вас диалог, а в реальности это алгоритм упаковывания всего вашего трёпа в короткий вектор - эмбединг. И уже из этого вектра идёт дальнейший поиск.
А всё потому как там нету алгоритма который бы конкретизировал образы-модели и строил вокруг этих обектов виртуальную модель поведения. Там только алгоритм вытаскивания соседнего вектора из своеобразной огромнейшей векторной базы данных.
Да там вообще нету алгоритма чётких фактов. Вообще всё что выдаёт LLM на выходе - это всё приблизительно. Просто чудовищными мощностями загнали эту приблизительность в 99.99%. Но скоро докатимся что для простого ответа нужна будет мощность АЭС.
И всё из за того что неправильно выбран алгоритм. Скажем так - я уже сейчас начинаю видеть посты от разработчиков LLM - что они пошли неправильной дорогой.
Так как раз проблема в том что те статьи экспериментов что я встречаю от учёных - сама структура эксперимента описана либо очень поверхностно, либо очень-очень поверхностно. Не знаю может где в каких платных научных статьях и есть более детальное описание. А может детальное описание - это коммерческая или какая там - "учоная" тайна. Или как вы пишите - никому это не интересно. Людям подавай информационную жвачку. Фотоны летают в прошлое! А электроны передвигаются выше скорости света! А детали - которые не то что это опровергнут, вообще покажут что речь про другое. Это нигде не достанешь.
Вы уловили суть. Вся физика да и вообще всё - строится на наблюдениях. Каждый какой то физический эффект имеет множественное количество наблюдений и экспериментов. И вот есть элементы природы до конца не понятые - и вместо того что бы привести множество наблюдений касательно эффекта - в очередной научпоп статье объясняется эффект гравитации - простынёй. И в эпилоге говорится - мол смотрите как всё понятно. А раз вы не понимаете, и задаёте уточняющие вопросы - то вы тупы.
Ка же меня бесят статьи описывающие квантовые спутанные частицы. Там деградировали до того что уже и в прошлое летают и в будущее. Вместо того что бы подробно описать очередной эксперимент который делают с частицами. Глядишь кто то с не зашоринным взглядом и увидит что то новое.
А опыты с пролетанием фотона через 2 щели! Статьи про это просто лютый бред. А мои вопросы - какой размер щелей, какая толщина, какой материал щелей, как вообще 1 фотон смогли выпускать, и как его детектируют, устройство детектора, на каких принципах работает детектор. Таких ответов вообще никто нигде не рассматривает.
И так прост везде. Весь научпоп - это прсто информационный мусор.
P.S. Вообще понимаю почему блогеры в своих видео и статьях пишут бред. Потому что они кроме бреда ничего писать и не могут, да и не нужно им это. И почему отчёты учёных тоже часто похоже на бред. Гранты сами себя не распилят. Так и живём...
Я бы сказал что ситуация ещё хуже. Особенно в физике. Читаешь про какую нибудь квантовую физику, взаимодействие частиц, или например ОТО. Пытаешься понять. А тебе аналогии сыпят - да так что вообще всё неправильно. А те кто сыпят этими аналогиями вместо реального объяснения, считают что выполнили свой долг. И уходят в закат.
Хотя я уже давно убедился - все те кто сыпят аналогиями, сами нифига не понимают что на самом деле творится. Отсюда имеем - электроны подобно планетам вращаются вокруг протонов. Гравитация это искривление пространства. И прочий бред. Ничего общего не имеющий с реальностью.
P.S. По поводу гравитации и искривления пространства - во первых это гипотеза, математический аппарат сходится, а вот реальность - тут никак не проверить. А во вторых земное притяжения по формулам это в 99.99 обусловлено искривлением времени. А уж это объяснение вообще взрыв мозга для понимания. И вообще не доказательно. Потому как не особо доказано что является следствием чего. ОТО Эйнштейна говорит что искривление времени первично. Но ничего не противоречит что гравитация первична, а она уже порождает искривление времени.
Короче никто ничего не объясняет. Потому как сами ничего не знают что там в реальности творится. А математика - она на то и математика. Она нереально точно может рассчитать - ЧТО ТО. Вот только это что то и реальность не всегда совпадают.
Ха! Некому не забывать. Сколько там программеры работают на одной работе?
Если ты работаешь больше 5 лет на одном месте - то на тебя уже как на дурочка смотрят.
Утрированно конечно. Но обычно ты просто приходишь на легаси проект с тонной кодовой базой. Тебе прилетают таски - поправить баг. И ты в лучшем случае разберешься в работе в одном конкретном модуле. А потом попросту уходишь на другой проект. Тебе на замену следующие приходят и также уходят.
А как устроены галеры по типу EPAM. Да там сам принцип работы что ты постоянно скачешь с проекта на проект. Там пописал, сям нагадил. И так по кругу.
Непомню точно но как то чичтал правила про внутреннюю кухню мелкомягких. Там были весьма причудливые правила переступить которые грозилось "смертной казнью."
По типу - никогда не трогать старых переменных, а всегда заводить новые. Ну или что то такое. При желании можно нагуглить
Почему не разваливается? Регулярно разваливается. А в последнее годы это вообще превратилось best practic!
Возьми любой учебник по бизнесу - там просто огромными красными буквами везде написано, запускай продукт на рынок максимально быстро настолько это возможно! Иначе обгонят конкуренты. Приложение не падает сразу при старте? Быстро в продакшен.
Пользователи сейчас играют роль тестеров.
Ну какое то количество компаний банкротится и закрывается сразу после выхода продукта на рынок (в геймдеве это прям видно постоянно).
Но остальная часть в кривь и вкось продолжает работать - и главное за это бизнес получает деньги.
Поэтому нельзя говорить этот код дерьмо, а этот красив! Всё зависит по каким критериям его оценивать. А начальник - бизнесс, а не писатели кода. И критерии их успешности вообще не содержит какой то там код.
Никогда не встречал деление программирования на любительское и профессиональное. Даже интересно было в уме повыбивать критерии для одного и для другого.
От себя могу высказать некоторые жизненные наблюдения. Да - когда работаешь в кровавом энтерпоайзе требуют некоторое соблюдение стилистики кода когда работаешь в текущей команде.
Но! Продакшен компании это в 99.99 легаси код. Который разрабатывается годами. И команды там меняются часто. Более того типичный кейс - тебе прилетает таска, исправить баг, или новя фича. Время строго ограничено. Тебе платят деньги не за красивость, и да же не за код. Тебе платят деньги за закрытые таски. Думаю не надо тут дальше рассказывать про приоритеты которые выбираются... Про рефакторинг я вообще не говорю. Никогда бизнес не поймёт зачем надо что то переделывать просто так. Да это же вредительство!
И возьмём программинг для себя так сказать. Для души. Ооо! Тут просто рай для перфекционизма. Не вопрос 10 раз полностью переделать архитекутру и переписать почти весь код, когда 10 раз попадаются какие то новые вводные данные. Разумеется это продолжается пока тебе это интересно (не выгоришь).
Так что я бы определил что "профессиональный" код ужасный но он продаётся. "Любительский" красив, но почти всегда уходит в забвение...
Сейчас проффесиональный код ещё больше поражён раковой опухолью ИИ. Часто слышу что в компаниях заставляют писать с помощью ИИ. NVidea вроде вообще хвасталась что мол половину кода драйверов написана ИИ. А потом.... Туча тем в инете. Как работающие всегда вещи стали жрать в 10 раз больше ресурсов. Про баги и дыры и не говорю.
Сам изучаю работу LLM. И знаю как там что работает. Она может нагородить на каждый запрос пару листов кода - который будет впринципе делать то что подали в промт. Пару листов кода на каждый запрос. И это просто вавилонская башня кода...
P.S. Ну я тоже в своё время на дельфи много программил. В те времена С# то и не было (C# 1.0 вышла в 2002 году с релизом Microsoft Visual Studio .NET, Delphi же с 1995 года ). Отличная среда. Кстаи даже сейчас продолжает жить. Только несколько преобразовался.
Согласен - вся левая часть ушла в тернарный оператор. Это был просто пример как можно было бы ещё подсократить запись, а в проекте всегда надо проходить в тестах по всем веткам кода. Это просто золотое правило. Ну я и намёк дал насчёт скобочек...
Читаемость - чем проще тем лучше. Чем меньше всяких символом для понимания тем лучше. Тут конечно меру знать надо. Символы должны быть чётко понятны тому кто читает. Машинный код - это уже наверно перебор. Но я например когда прогал на асме натренировался что вполне неплохо читал почти машинный код.
Что же касается одной строки - то если условие if и далее 2 коротких значения то почти всегда читаемость через тернарный оператор выглядит нагляднее.
Если это сложение строк и строки короткие - то читаемость в одну строку почти всегда нагляднее.
P.S. А вообще это всё вкусовщина. И спор тут - что лучше красное или лёгкое. Я постоянно пользуюсь тернарными операторами, мне так удобнее. А кого то от них в дрожь бросает. Вкусовщина короче.
Скажем так. Очень малое количество людей вообще пишут книги. Достаточно малое количество людей имеют талант. И главное - у некоторых людей из пред идущей выборки доступен уникальный жизненный датасет. Он в них, скажем так поступает постоянно. Именно что уникальный для конкретного человека.
Взять любого наёмника на войне. Так такие истории бывают - не поверишь.
Так что люди время о времени таки создают "что то новое"
Или даже не так. Даже вокруг самой "серой мыши", человека не выходящего из комнаты общежития могут происходить поистине фантастические истории. Взять например книгу "Преступление и наказание". Гениальное произведение по глубокой психологии личности.
В противоположность этому стоят LLM. После обучения - они статичны. И выдать на выход могут только компиляцию из обучающей выборки. Про психологию вообще не могут чего то размышлять. Сомневаюсь что в выборке уж очень много про это инфы. Люди не особо любят выкладывать в текст внуктренние переживания. От куда их могла бы взять LLM.
Если загрузить в нейронку датасет из миллионов выигранных партий - то такакя нейронка будет содержать в себе последовательности выигрышных стратегий из практически любого хода. Никакого "думания" там и в помине нет. А под думанием я подразумеваю как минимум программный модуль в котором крутятся минипартии шахмат. Типо просчитать все возможные ходы наперёд на 7 позиций. Или ещё что там думают мясные неросети когда в шахматы играют.
Есть только тупой поиск правильного пути из множества правильных путей. Да это и поиском трудно назвать. Превратили позицию шамхат в эмбединг, а эмбединг это просто набор векторов который представляет из себя тензор. И который по сути координаты. И эти координаты просто указали нам место в огромной векторной БД где содержится адрес следующего тензора. Ладно ладно - там чуть сложнее, напридумывали трансформеров, разложение векоров на key,value,query и промежуточные операции с ними что сами не понимают как это помогает (реально улучшает точность) в векторном поиске. Но сути это не меняет. Вся цепочка этих точек будет путь ведущий к выигрышу из текущего состояния. И вся эта цепочка была загружена в векторную БД на этапе обучения. Весь этап обучения это просто аппроксимация всех партий в один большой массив правильных путей.
И если мы такую специализированно обученную векторную БД начнём дообучать другими данными, например ядерной физикой, то в вопросе игры в шахматы - она сильно отупеет. И получается что мы же новые данные загрузили - машина умнее стать должна. Ан нет. Так этот алгоритм не работает.
Поэтому и очень не рекомендуют дообучать современные LLM на своих данных. Потому как вероятность что она отупеет намного больше чем что поумнеет. Потому как датасет на котором она обучалась - пилили напильником годами чтобы он нормально работал.
И в первою очередь советую играйтесь с промтингами, даже новую псевдо-професию изобрели (скоро и она канет в лету как и все предыдущие кадавры) - промт-инженер, играйтесь с RAG, но не лезьте в обучение.
Идея была что если сделать датасет всего чего можно то вдруг получится что LLM будет решать всё что можно - на отлично, как то сейчас всё больше и больше затухает. Загрузили туда все книги, весь интернет, все форумы, вообще всё до чего дотянулись - а результат... LLM начали тупеть. chatGPT5 оказался тупее 4. Ну по крайней мере многие про это говорят и недовольны выдачей.
Если вы зададите вопрос LLM - решают ли они задачи, или думают ли они, или ещё сто то похожее. То они все будут доказывать сто они вообще не понимают и не анализируют входящий промт. Они только ищут наиболее вероятное следующее слов.
Если была загружена задача и она на выходе решена правильно - это означает что в датасет, а сейчас вообще такие датасеты мама негорюй, загрузили все книги которые смогли найти, загрузили весь интернет. Загрузили все форумы на которых миллиардные переписки.
Короче нашлась похожая задача и по алгоритму этой похожей задачи была решена входящая.
И вообще постоянно путаница из за слово решена. Не решает она там внутри ничего.
Хотя вру. Современные чат-боты это реально кадавр. Это дикая смесь всего, и конкретно LLM - там не самое главное может оказаться. Если вдаватся в детали то LLM реально только одно звено наряду например с RAG и прочим.
Короче там работаю алгоритмы где может быть вызваны компиляторы всех языков программирования, могут скомпилированные программы запустится - короче там много чего под капотом.
И когда просят решить какую то математическую функцию - там под капотом может оказаться что быстро пишется программа, компилируется, выполняется, а результат выдаётся в чатботе.
Калькулятор решает миллионы примеров. Сколько там комбинация можно напридумывать из цифр? Значит ли это что калькулятор решает неизвестные ему задачи?
У калькулятора есть алгоритм решения задачи, а вот цифры для алгоритма не важны. Какие туда подставим - такие и решатся.
Так и с LLM. Если мы просим сделат задачу, LLM просто ищет похожую в своей базе данных. Собственно сама магия и шаманство - это то что она это делает по словам или даже по слогам. Но если попробовать представить как это работает - то при загрузки задачи в LLM, т.е. её обучение, внутри создаётся как бы алгоритм туннеля, который работает на векторной алгебре. Сами нейронные сети - это миллиарды таких переплетающихся между собой туннелей.
И входным промтом мы просто попадём в этот туннель, путь, и пройдём по нему попутно собирая слова по дороге этого туннеля. На выходе получим - текст! Чудо LLM думают. Но на самом деле просто пропустила входной промт по загруженному ранее пути-алгоритму.
Короче - LLM никогда не решит никакую задачу если внутр не найдётся правильный путь.
А в реальности LLM всегда решает задачу - потому как там действует рандом на выбор соседних векторов. Короче На неизвестную задачу просто будет галлюцинация.
Человек когда думает над неизвестной задачей действует по совершенно другому принципу. Он моделируем в уме пространство сущностей и их возможных взаимодействие. Так просто сложилось эволюционно - мы живём в материальном мире, и дальше свои гены передавали только те кто лучше мог модулировать внутреннее отображение реальности с прогнозированием.
Хищник что бы не умереть и сожрать зайца - прыгает не в зайца, а вперёд по движению. И подобное короче.
Опять простыня.... Ну не LLM я . У них ограничения хоть в видеде [end] токенов в датасете есть и ограничение контекстного окна.
Если попросить написать сказку - то это будет всегда подобие существующей сказки. Или книгу. А вот люди иногда (талантливые) пишут реально совершенно новые истории. А вот принцип работы LLM это построить текст похожий на ранее загруженный в датасет.
Ладно. Давайте тогда определим понятие нового.
Если взять 3 истории и перемешать и выдать четвёртую историю. То это будет конечно новая история. Но и не новая. Будут все старые логические куски, но перемешаны между собой. Скажем так - такой винегрет считается низкопробным информационным мусором.
А вот придумать реально новую историю - что бы не повторялись сюжеты, что бы не повторялись герои. Что бы не повторялись обстоятельства. Что бы были реально новые логические куски. Такое LLM не сделает принципиально в силу своей архитектуры.
И люди на такое конечно не каждый способен. Реально нужен талант. Под талантом подразумеваю - выиграть в генетическую лотерею, повезло с мясной нейросетью, и главное повезло с центрами дофаминового подкрепления. По простому что бы было интересно именно писать. И второе - тебе повезло с жизнью. А жизнь - это неисчерпаемый источник уникального датасета.
Пример. Кен Киз написал гениальное произведение по психологии человека. Пролетая над гнездом кукушки. А всё потому что описал свою работу в психбольице. Кстати - он потом попытался продолжить писать, но это был провал. Всё из-за того что кончился датасет. Или взять того же Стивена Кинга. Он вообще всю жизнь не вылазит из своего Мена. Но при этом повезло с мясной неройсетью. Новые данные (например из интернета или телевидиния) очень хорошо перераспределяли карту аксонно-дендритного графа для задачи генерации уникального контента.
P.S. LLM не придумают ничего нового потому что у них после обучения - нового ничего никогда не будет. Так устроены современные LLM. Не заложен в них принцип постоянного принятия новой информации и постоянной перестройки весов в нейронных слоях. У человека наоборот.
Хороший вопрос. Я так же давно писал здесь что - что бы давать правильный ответ, нужно сначала определить чёткие критерии оценки. Пример - постоянно встречаю фразы что мол мы никогда не поймём природу сознания. Но как нам дать ответ что такое сознание, или не так, как нам отличить сознание от не-сознания если вообще нету определения этого самого сознания. Если мы сначала определим чёткие критерии сознания, то тога можно будет сказать что в этом мясном мешке - сознание есть, а в этом железном ящике - его нету. Ну или наоборот.
Или есть ли сознание у обезьяны или мыши?
Я например для себя вывел следующие критерии. Во первых у животных нету такого аппарата как речи. Но при этом есть развитая внутренняя модель проецирование внешнего мира на внутреннюю модель. Основу этой модели составляют сигналы от всех рецепторов осязания и рецепторов давления мышц (те которые контролируют насколько мышца сокращена). Эта информация рисует внутреннюю модель положения тела в пространстве. А само пространство создаётся из зрительной информации.
Изначально в простейших организмах была чисто механическая связь - реакция боли -> сигнал к сокращению мышцы (бег от боли). Но с усложнением нейронной модели до проекции внутреннего мира, эти простейшие реакции превратились в феномен боли. Грубо говоря боль это иллюзия. Собственно как и все чувства в этой модели.
Вот это первый тип сознания. Ну и первичный интеллект. Скажем так ничего общего с тем как работает LLM.
Второй тип сознания, а собственно это эволюционная надстройка над первым типом, появился с появлением неокортекса и самое главное речи.
Внутренний диалог с самим собой с использованием речевого аппарата (а за речь отвечает конкретный участок мозга, например у детей маугли он никогда не сформировывается).
Ведь мы конкретно осознаём себя, только когда конкретно задаём себе вопрос внутри - я есть, И отвечаем опять же словами - я есть. В повседневной жизни мы обычно не пользуемся внутренним диалогом. Грубо говоря функционируем по первому типу сознания.
Кошки например иногда смотря в зеркало могут понять что в зеркале именно они. Потому как это пересекается с внутренним моделированием тушки в пространстве.
Короче я написал эту простыню - что бы показать, LLM и человеческое сознание и многие ставят знак равенства с интеллектом, это вообще разные алгоритмы.
P.S. Для ИИ вообще не нужно копировать алгоритм человеческого сознания. Т.к. оно несовершенно. Люди не способны держать в голове дословно даже пару книг.
Но ИИ должен взять некоторые алгоритмы из человеческого сознания -что бы мы могли с уверенностью сказать. Да оно мыслит и обладает интеллектом. Хоть эта фраза и будет достаточна только для масмедиа. Разработчик - всегда будет видеть разницу.
Дополню ответ. Принцип работы LLM подразумевает превратить входные данные в набор смысловых векторов. Вся та работа которая велась раньше и ведётся сейчас - это придумывание алгоритмов как более точно упаковать текст в вектор.
Входной промт тоже пропускаем через эмбедер и получаем вектор. Далее через умножение матриц - находим соответствие. Всё.
Отсюда никакая LLM никогда не придумает что то принципиально новое. Это будет всегда смесь существующей обучающей информации перемешанной со входящим промтом. Собственно и прародитель из которого появился этот эрзац - это текстовый смысловой поиск (который и сейчас применяется по более всех этих LLM, это всякие BERT и производное)
Никаких мыслей в LLM нету. Там сигнал строго проходит с входа на выход. Не буду тут подымать всякие алгоритмы которые могут закольцовывать некоторые проходы. Суть остаётся одна.
Никакой это не интеллект короче.
P.S. Я тут раньше подымал идею появления человеческого интеллекта и феномена фокуса сознания - Я. Если вкратце - то краеугольный принцип этого механизма это проецирование внешнего пространства на внутреннее его модулирование. Для предсказания опасностей. Модель тушки в этом пространстве - в высшей нервной деятельности трансформировалось в эффект Я.
Да там костылей... Вообще если посмотреть откуда родилась LLM - от переводчика гугла, и посмотреть что и как с ней делаю - дат там просто сотни алгоритмом и их скрещивают друг с другом просто на рандоме, авось что-то да и получится. Не зря постоянно слышишь от создателей - что они сами не поинмают как это работает. Целые студии выпускают все кому не лень - где в визуальном редакторе квадратиками соединяешь модули.
Хотя для меня пока что все алгоритмы достаточно понятны. Конечно трудно представить себе как пройдёт сигнал в каком нибудь 10 слойном перцептроне 50-тысяч нейронов на слой. Хотя при желании можно проследить каждый сигнал - это всё тот же конечный автомат.
А что касается вашего вопроса, то сейчас почти все используют механизм RAG. По русски ищем, прибавляем к входному промту, пропускаем всю эту входную кашу через LLM. Так что вы правы - можно на выходе получить вообще не то. Алгоритмов этого RAG тоже напридумывали и придумывают всё новые. И он тот же самый векторный поисковик со всеми своими галлюцинациями
Начав изучать внутреннее строение LLM (трансформеры, эмбедеры, векторизация текста и прочии векторные БД) я увидел (хоть и понимал раньше, но не мог привести конкретику) - насколько некорректны, или вообще псевдонаучны или даже сказочные, почти все статьи пор ИИ для масмедиа.
Вот и в этой статье тоже самое. Неужели те кто проектируют и пишут подобные статьи это одни и те же люди?
Галлюцинации - это просто архитектурная особенность LLM. Она так работает. В ней нету ни одного чёткого факта. Только вектора. LLM - всегда выдаст ответ - выберет из пачки соседниx векторов.
А если ещё учитывать алгоритм температуры на выходе, как по мне именно для ИИ ошибочный алгоритм. Но создателям ИИ нужен креативный текстогенератор.
Короче на выходе имеем кучу вариантов ответа с процентом вероятности для каждого. И в большинстве случаев будет выбран ответ с большим процентом.
Но выбор производится из всех вариантов! И процент 0.0001 рано или поздно тоже сработает и ответ какая голова у человека будет - квадратная.
Как по мне статья не опровергает факт что под давлением лёд тает. Она просто объясняет этот физический процесс. А именно - чем выше давление тем ближе и больше (из за неровностей) будут соприкасаться выровненные (встроенные в кристаллическую решетку льда) молекулы воды и молекулы (либо атомы если это например кристаллическая решетка как в металлах) давящего тела.
Как говорится в статье - сила притяжения в молекулах давящего тела больше чем сила притяжения в кристаллической решетки льда. И верхний слой молекул льда вырывает из решетки. Хз насколько это истина. Но так говорится в статье.
Может происходит просто механический слом решетки под давлением - и верхняя часть молекул становится хаотичная, т.е. превращается в жидкость.
Да нафиг никому не сдался интеллект похожий на человеческий. Со всеми его недостатками и эволюционными костылями.
Нужен именно НЕчеловеческий ИИ который бы ничего не забывал. Всё запоминал. И делал интеллектуальную работу без ошибок.
Что мы имеем сейчас? Алгоритм поиска соседнего вектора в векторном пространстве. Путём чудовищных вычислений - этот алгоритм каким то чудом стал выдавать на выходе псевдо-похожую речь.
Кто знает как внутренне устроенна LLM - тот у виска крутит пальцем когда слышит рассуждение армии блогером о всемогущем искусственном интеллекте - который вот вот, ещё чуть чуть, уже в 2030 году всех победит и всё придумает.
А те кто плотно с ним работает (например я) получаю то что он может дать и не более. Если я прошу написать его алгоритм - он в 99.99 это сделает блестяще - потому как в векторном пространстве есть цепочка векторов реализующая этот алгоритм.
Но если я дам ему проверить свой код. Уже со страницы кода - это просто финиш. Он найдёт кучу неисправностей, потом ты ему будешь доказывать что это не неисправности. Спустя час он полностью с вами согласится, а потом ты сам увидишь дыры в коде.
Вам кажется что у вас диалог, а в реальности это алгоритм упаковывания всего вашего трёпа в короткий вектор - эмбединг. И уже из этого вектра идёт дальнейший поиск.
А всё потому как там нету алгоритма который бы конкретизировал образы-модели и строил вокруг этих обектов виртуальную модель поведения. Там только алгоритм вытаскивания соседнего вектора из своеобразной огромнейшей векторной базы данных.
Да там вообще нету алгоритма чётких фактов. Вообще всё что выдаёт LLM на выходе - это всё приблизительно. Просто чудовищными мощностями загнали эту приблизительность в 99.99%. Но скоро докатимся что для простого ответа нужна будет мощность АЭС.
И всё из за того что неправильно выбран алгоритм. Скажем так - я уже сейчас начинаю видеть посты от разработчиков LLM - что они пошли неправильной дорогой.
Так как раз проблема в том что те статьи экспериментов что я встречаю от учёных - сама структура эксперимента описана либо очень поверхностно, либо очень-очень поверхностно. Не знаю может где в каких платных научных статьях и есть более детальное описание. А может детальное описание - это коммерческая или какая там - "учоная" тайна. Или как вы пишите - никому это не интересно. Людям подавай информационную жвачку. Фотоны летают в прошлое! А электроны передвигаются выше скорости света! А детали - которые не то что это опровергнут, вообще покажут что речь про другое. Это нигде не достанешь.
Классика. Учёный изнасиловал журналиста (с)
Вы уловили суть. Вся физика да и вообще всё - строится на наблюдениях. Каждый какой то физический эффект имеет множественное количество наблюдений и экспериментов. И вот есть элементы природы до конца не понятые - и вместо того что бы привести множество наблюдений касательно эффекта - в очередной научпоп статье объясняется эффект гравитации - простынёй. И в эпилоге говорится - мол смотрите как всё понятно. А раз вы не понимаете, и задаёте уточняющие вопросы - то вы тупы.
Ка же меня бесят статьи описывающие квантовые спутанные частицы. Там деградировали до того что уже и в прошлое летают и в будущее. Вместо того что бы подробно описать очередной эксперимент который делают с частицами. Глядишь кто то с не зашоринным взглядом и увидит что то новое.
А опыты с пролетанием фотона через 2 щели! Статьи про это просто лютый бред. А мои вопросы - какой размер щелей, какая толщина, какой материал щелей, как вообще 1 фотон смогли выпускать, и как его детектируют, устройство детектора, на каких принципах работает детектор. Таких ответов вообще никто нигде не рассматривает.
И так прост везде. Весь научпоп - это прсто информационный мусор.
P.S. Вообще понимаю почему блогеры в своих видео и статьях пишут бред. Потому что они кроме бреда ничего писать и не могут, да и не нужно им это. И почему отчёты учёных тоже часто похоже на бред. Гранты сами себя не распилят. Так и живём...
Я бы сказал что ситуация ещё хуже. Особенно в физике. Читаешь про какую нибудь квантовую физику, взаимодействие частиц, или например ОТО. Пытаешься понять. А тебе аналогии сыпят - да так что вообще всё неправильно. А те кто сыпят этими аналогиями вместо реального объяснения, считают что выполнили свой долг. И уходят в закат.
Хотя я уже давно убедился - все те кто сыпят аналогиями, сами нифига не понимают что на самом деле творится. Отсюда имеем - электроны подобно планетам вращаются вокруг протонов. Гравитация это искривление пространства. И прочий бред. Ничего общего не имеющий с реальностью.
P.S. По поводу гравитации и искривления пространства - во первых это гипотеза, математический аппарат сходится, а вот реальность - тут никак не проверить. А во вторых земное притяжения по формулам это в 99.99 обусловлено искривлением времени. А уж это объяснение вообще взрыв мозга для понимания. И вообще не доказательно. Потому как не особо доказано что является следствием чего. ОТО Эйнштейна говорит что искривление времени первично. Но ничего не противоречит что гравитация первична, а она уже порождает искривление времени.
Короче никто ничего не объясняет. Потому как сами ничего не знают что там в реальности творится. А математика - она на то и математика. Она нереально точно может рассчитать - ЧТО ТО. Вот только это что то и реальность не всегда совпадают.
Ха! Некому не забывать. Сколько там программеры работают на одной работе?
Если ты работаешь больше 5 лет на одном месте - то на тебя уже как на дурочка смотрят.
Утрированно конечно. Но обычно ты просто приходишь на легаси проект с тонной кодовой базой. Тебе прилетают таски - поправить баг. И ты в лучшем случае разберешься в работе в одном конкретном модуле. А потом попросту уходишь на другой проект. Тебе на замену следующие приходят и также уходят.
А как устроены галеры по типу EPAM. Да там сам принцип работы что ты постоянно скачешь с проекта на проект. Там пописал, сям нагадил. И так по кругу.
Непомню точно но как то чичтал правила про внутреннюю кухню мелкомягких. Там были весьма причудливые правила переступить которые грозилось "смертной казнью."
По типу - никогда не трогать старых переменных, а всегда заводить новые. Ну или что то такое. При желании можно нагуглить
Почему не разваливается? Регулярно разваливается. А в последнее годы это вообще превратилось best practic!
Возьми любой учебник по бизнесу - там просто огромными красными буквами везде написано, запускай продукт на рынок максимально быстро настолько это возможно! Иначе обгонят конкуренты. Приложение не падает сразу при старте? Быстро в продакшен.
Пользователи сейчас играют роль тестеров.
Ну какое то количество компаний банкротится и закрывается сразу после выхода продукта на рынок (в геймдеве это прям видно постоянно).
Но остальная часть в кривь и вкось продолжает работать - и главное за это бизнес получает деньги.
Поэтому нельзя говорить этот код дерьмо, а этот красив! Всё зависит по каким критериям его оценивать. А начальник - бизнесс, а не писатели кода. И критерии их успешности вообще не содержит какой то там код.
Никогда не встречал деление программирования на любительское и профессиональное. Даже интересно было в уме повыбивать критерии для одного и для другого.
От себя могу высказать некоторые жизненные наблюдения. Да - когда работаешь в кровавом энтерпоайзе требуют некоторое соблюдение стилистики кода когда работаешь в текущей команде.
Но! Продакшен компании это в 99.99 легаси код. Который разрабатывается годами. И команды там меняются часто. Более того типичный кейс - тебе прилетает таска, исправить баг, или новя фича. Время строго ограничено. Тебе платят деньги не за красивость, и да же не за код. Тебе платят деньги за закрытые таски. Думаю не надо тут дальше рассказывать про приоритеты которые выбираются... Про рефакторинг я вообще не говорю. Никогда бизнес не поймёт зачем надо что то переделывать просто так. Да это же вредительство!
И возьмём программинг для себя так сказать. Для души. Ооо! Тут просто рай для перфекционизма. Не вопрос 10 раз полностью переделать архитекутру и переписать почти весь код, когда 10 раз попадаются какие то новые вводные данные. Разумеется это продолжается пока тебе это интересно (не выгоришь).
Так что я бы определил что "профессиональный" код ужасный но он продаётся. "Любительский" красив, но почти всегда уходит в забвение...
Сейчас проффесиональный код ещё больше поражён раковой опухолью ИИ. Часто слышу что в компаниях заставляют писать с помощью ИИ. NVidea вроде вообще хвасталась что мол половину кода драйверов написана ИИ. А потом.... Туча тем в инете. Как работающие всегда вещи стали жрать в 10 раз больше ресурсов. Про баги и дыры и не говорю.
Сам изучаю работу LLM. И знаю как там что работает. Она может нагородить на каждый запрос пару листов кода - который будет впринципе делать то что подали в промт. Пару листов кода на каждый запрос. И это просто вавилонская башня кода...
P.S. Ну я тоже в своё время на дельфи много программил. В те времена С# то и не было (C# 1.0 вышла в 2002 году с релизом Microsoft Visual Studio .NET, Delphi же с 1995 года ). Отличная среда. Кстаи даже сейчас продолжает жить. Только несколько преобразовался.
Если сложение строк идёт в одном примере то компилятор преобразует это в string.Concat. Тут как раз такой пример.
Согласен - вся левая часть ушла в тернарный оператор. Это был просто пример как можно было бы ещё подсократить запись, а в проекте всегда надо проходить в тестах по всем веткам кода. Это просто золотое правило. Ну я и намёк дал насчёт скобочек...
Что косается читаемости.
Читаемость - чем проще тем лучше. Чем меньше всяких символом для понимания тем лучше. Тут конечно меру знать надо. Символы должны быть чётко понятны тому кто читает. Машинный код - это уже наверно перебор. Но я например когда прогал на асме натренировался что вполне неплохо читал почти машинный код.
Что же касается одной строки - то если условие if и далее 2 коротких значения то почти всегда читаемость через тернарный оператор выглядит нагляднее.
Если это сложение строк и строки короткие - то читаемость в одну строку почти всегда нагляднее.
P.S. А вообще это всё вкусовщина. И спор тут - что лучше красное или лёгкое. Я постоянно пользуюсь тернарными операторами, мне так удобнее. А кого то от них в дрожь бросает. Вкусовщина короче.
В 2 строки лучше так:
Можно скобок расставить по вкусу
Скажем так. Очень малое количество людей вообще пишут книги. Достаточно малое количество людей имеют талант. И главное - у некоторых людей из пред идущей выборки доступен уникальный жизненный датасет. Он в них, скажем так поступает постоянно. Именно что уникальный для конкретного человека.
Взять любого наёмника на войне. Так такие истории бывают - не поверишь.
Так что люди время о времени таки создают "что то новое"
Или даже не так. Даже вокруг самой "серой мыши", человека не выходящего из комнаты общежития могут происходить поистине фантастические истории. Взять например книгу "Преступление и наказание". Гениальное произведение по глубокой психологии личности.
В противоположность этому стоят LLM. После обучения - они статичны. И выдать на выход могут только компиляцию из обучающей выборки. Про психологию вообще не могут чего то размышлять. Сомневаюсь что в выборке уж очень много про это инфы. Люди не особо любят выкладывать в текст внуктренние переживания. От куда их могла бы взять LLM.
Если загрузить в нейронку датасет из миллионов выигранных партий - то такакя нейронка будет содержать в себе последовательности выигрышных стратегий из практически любого хода. Никакого "думания" там и в помине нет. А под думанием я подразумеваю как минимум программный модуль в котором крутятся минипартии шахмат. Типо просчитать все возможные ходы наперёд на 7 позиций. Или ещё что там думают мясные неросети когда в шахматы играют.
Есть только тупой поиск правильного пути из множества правильных путей. Да это и поиском трудно назвать. Превратили позицию шамхат в эмбединг, а эмбединг это просто набор векторов который представляет из себя тензор. И который по сути координаты. И эти координаты просто указали нам место в огромной векторной БД где содержится адрес следующего тензора. Ладно ладно - там чуть сложнее, напридумывали трансформеров, разложение векоров на key,value,query и промежуточные операции с ними что сами не понимают как это помогает (реально улучшает точность) в векторном поиске. Но сути это не меняет. Вся цепочка этих точек будет путь ведущий к выигрышу из текущего состояния. И вся эта цепочка была загружена в векторную БД на этапе обучения. Весь этап обучения это просто аппроксимация всех партий в один большой массив правильных путей.
И если мы такую специализированно обученную векторную БД начнём дообучать другими данными, например ядерной физикой, то в вопросе игры в шахматы - она сильно отупеет. И получается что мы же новые данные загрузили - машина умнее стать должна. Ан нет. Так этот алгоритм не работает.
Поэтому и очень не рекомендуют дообучать современные LLM на своих данных. Потому как вероятность что она отупеет намного больше чем что поумнеет. Потому как датасет на котором она обучалась - пилили напильником годами чтобы он нормально работал.
И в первою очередь советую играйтесь с промтингами, даже новую псевдо-професию изобрели (скоро и она канет в лету как и все предыдущие кадавры) - промт-инженер, играйтесь с RAG, но не лезьте в обучение.
Идея была что если сделать датасет всего чего можно то вдруг получится что LLM будет решать всё что можно - на отлично, как то сейчас всё больше и больше затухает. Загрузили туда все книги, весь интернет, все форумы, вообще всё до чего дотянулись - а результат... LLM начали тупеть. chatGPT5 оказался тупее 4. Ну по крайней мере многие про это говорят и недовольны выдачей.
Если вы зададите вопрос LLM - решают ли они задачи, или думают ли они, или ещё сто то похожее. То они все будут доказывать сто они вообще не понимают и не анализируют входящий промт. Они только ищут наиболее вероятное следующее слов.
Если была загружена задача и она на выходе решена правильно - это означает что в датасет, а сейчас вообще такие датасеты мама негорюй, загрузили все книги которые смогли найти, загрузили весь интернет. Загрузили все форумы на которых миллиардные переписки.
Короче нашлась похожая задача и по алгоритму этой похожей задачи была решена входящая.
И вообще постоянно путаница из за слово решена. Не решает она там внутри ничего.
Хотя вру. Современные чат-боты это реально кадавр. Это дикая смесь всего, и конкретно LLM - там не самое главное может оказаться. Если вдаватся в детали то LLM реально только одно звено наряду например с RAG и прочим.
Короче там работаю алгоритмы где может быть вызваны компиляторы всех языков программирования, могут скомпилированные программы запустится - короче там много чего под капотом.
И когда просят решить какую то математическую функцию - там под капотом может оказаться что быстро пишется программа, компилируется, выполняется, а результат выдаётся в чатботе.
Калькулятор решает миллионы примеров. Сколько там комбинация можно напридумывать из цифр? Значит ли это что калькулятор решает неизвестные ему задачи?
У калькулятора есть алгоритм решения задачи, а вот цифры для алгоритма не важны. Какие туда подставим - такие и решатся.
Так и с LLM. Если мы просим сделат задачу, LLM просто ищет похожую в своей базе данных. Собственно сама магия и шаманство - это то что она это делает по словам или даже по слогам. Но если попробовать представить как это работает - то при загрузки задачи в LLM, т.е. её обучение, внутри создаётся как бы алгоритм туннеля, который работает на векторной алгебре. Сами нейронные сети - это миллиарды таких переплетающихся между собой туннелей.
И входным промтом мы просто попадём в этот туннель, путь, и пройдём по нему попутно собирая слова по дороге этого туннеля. На выходе получим - текст! Чудо LLM думают. Но на самом деле просто пропустила входной промт по загруженному ранее пути-алгоритму.
Короче - LLM никогда не решит никакую задачу если внутр не найдётся правильный путь.
А в реальности LLM всегда решает задачу - потому как там действует рандом на выбор соседних векторов. Короче На неизвестную задачу просто будет галлюцинация.
Человек когда думает над неизвестной задачей действует по совершенно другому принципу. Он моделируем в уме пространство сущностей и их возможных взаимодействие. Так просто сложилось эволюционно - мы живём в материальном мире, и дальше свои гены передавали только те кто лучше мог модулировать внутреннее отображение реальности с прогнозированием.
Хищник что бы не умереть и сожрать зайца - прыгает не в зайца, а вперёд по движению. И подобное короче.
Опять простыня.... Ну не LLM я . У них ограничения хоть в видеде [end] токенов в датасете есть и ограничение контекстного окна.
Если попросить написать сказку - то это будет всегда подобие существующей сказки. Или книгу. А вот люди иногда (талантливые) пишут реально совершенно новые истории. А вот принцип работы LLM это построить текст похожий на ранее загруженный в датасет.
Ладно. Давайте тогда определим понятие нового.
Если взять 3 истории и перемешать и выдать четвёртую историю. То это будет конечно новая история. Но и не новая. Будут все старые логические куски, но перемешаны между собой. Скажем так - такой винегрет считается низкопробным информационным мусором.
А вот придумать реально новую историю - что бы не повторялись сюжеты, что бы не повторялись герои. Что бы не повторялись обстоятельства. Что бы были реально новые логические куски. Такое LLM не сделает принципиально в силу своей архитектуры.
И люди на такое конечно не каждый способен. Реально нужен талант. Под талантом подразумеваю - выиграть в генетическую лотерею, повезло с мясной нейросетью, и главное повезло с центрами дофаминового подкрепления. По простому что бы было интересно именно писать. И второе - тебе повезло с жизнью. А жизнь - это неисчерпаемый источник уникального датасета.
Пример. Кен Киз написал гениальное произведение по психологии человека. Пролетая над гнездом кукушки. А всё потому что описал свою работу в психбольице. Кстати - он потом попытался продолжить писать, но это был провал. Всё из-за того что кончился датасет. Или взять того же Стивена Кинга. Он вообще всю жизнь не вылазит из своего Мена. Но при этом повезло с мясной неройсетью. Новые данные (например из интернета или телевидиния) очень хорошо перераспределяли карту аксонно-дендритного графа для задачи генерации уникального контента.
P.S. LLM не придумают ничего нового потому что у них после обучения - нового ничего никогда не будет. Так устроены современные LLM. Не заложен в них принцип постоянного принятия новой информации и постоянной перестройки весов в нейронных слоях. У человека наоборот.
Хороший вопрос. Я так же давно писал здесь что - что бы давать правильный ответ, нужно сначала определить чёткие критерии оценки. Пример - постоянно встречаю фразы что мол мы никогда не поймём природу сознания. Но как нам дать ответ что такое сознание, или не так, как нам отличить сознание от не-сознания если вообще нету определения этого самого сознания. Если мы сначала определим чёткие критерии сознания, то тога можно будет сказать что в этом мясном мешке - сознание есть, а в этом железном ящике - его нету. Ну или наоборот.
Или есть ли сознание у обезьяны или мыши?
Я например для себя вывел следующие критерии. Во первых у животных нету такого аппарата как речи. Но при этом есть развитая внутренняя модель проецирование внешнего мира на внутреннюю модель. Основу этой модели составляют сигналы от всех рецепторов осязания и рецепторов давления мышц (те которые контролируют насколько мышца сокращена). Эта информация рисует внутреннюю модель положения тела в пространстве. А само пространство создаётся из зрительной информации.
Изначально в простейших организмах была чисто механическая связь - реакция боли -> сигнал к сокращению мышцы (бег от боли). Но с усложнением нейронной модели до проекции внутреннего мира, эти простейшие реакции превратились в феномен боли. Грубо говоря боль это иллюзия. Собственно как и все чувства в этой модели.
Вот это первый тип сознания. Ну и первичный интеллект. Скажем так ничего общего с тем как работает LLM.
Второй тип сознания, а собственно это эволюционная надстройка над первым типом, появился с появлением неокортекса и самое главное речи.
Внутренний диалог с самим собой с использованием речевого аппарата (а за речь отвечает конкретный участок мозга, например у детей маугли он никогда не сформировывается).
Ведь мы конкретно осознаём себя, только когда конкретно задаём себе вопрос внутри - я есть, И отвечаем опять же словами - я есть. В повседневной жизни мы обычно не пользуемся внутренним диалогом. Грубо говоря функционируем по первому типу сознания.
Кошки например иногда смотря в зеркало могут понять что в зеркале именно они. Потому как это пересекается с внутренним моделированием тушки в пространстве.
Короче я написал эту простыню - что бы показать, LLM и человеческое сознание и многие ставят знак равенства с интеллектом, это вообще разные алгоритмы.
P.S. Для ИИ вообще не нужно копировать алгоритм человеческого сознания. Т.к. оно несовершенно. Люди не способны держать в голове дословно даже пару книг.
Но ИИ должен взять некоторые алгоритмы из человеческого сознания -что бы мы могли с уверенностью сказать. Да оно мыслит и обладает интеллектом. Хоть эта фраза и будет достаточна только для масмедиа. Разработчик - всегда будет видеть разницу.
Дополню ответ. Принцип работы LLM подразумевает превратить входные данные в набор смысловых векторов. Вся та работа которая велась раньше и ведётся сейчас - это придумывание алгоритмов как более точно упаковать текст в вектор.
Входной промт тоже пропускаем через эмбедер и получаем вектор. Далее через умножение матриц - находим соответствие. Всё.
Отсюда никакая LLM никогда не придумает что то принципиально новое. Это будет всегда смесь существующей обучающей информации перемешанной со входящим промтом. Собственно и прародитель из которого появился этот эрзац - это текстовый смысловой поиск (который и сейчас применяется по более всех этих LLM, это всякие BERT и производное)
Никаких мыслей в LLM нету. Там сигнал строго проходит с входа на выход. Не буду тут подымать всякие алгоритмы которые могут закольцовывать некоторые проходы. Суть остаётся одна.
Никакой это не интеллект короче.
P.S. Я тут раньше подымал идею появления человеческого интеллекта и феномена фокуса сознания - Я. Если вкратце - то краеугольный принцип этого механизма это проецирование внешнего пространства на внутреннее его модулирование. Для предсказания опасностей. Модель тушки в этом пространстве - в высшей нервной деятельности трансформировалось в эффект Я.
Да там костылей... Вообще если посмотреть откуда родилась LLM - от переводчика гугла, и посмотреть что и как с ней делаю - дат там просто сотни алгоритмом и их скрещивают друг с другом просто на рандоме, авось что-то да и получится. Не зря постоянно слышишь от создателей - что они сами не поинмают как это работает. Целые студии выпускают все кому не лень - где в визуальном редакторе квадратиками соединяешь модули.
Хотя для меня пока что все алгоритмы достаточно понятны. Конечно трудно представить себе как пройдёт сигнал в каком нибудь 10 слойном перцептроне 50-тысяч нейронов на слой. Хотя при желании можно проследить каждый сигнал - это всё тот же конечный автомат.
А что касается вашего вопроса, то сейчас почти все используют механизм RAG. По русски ищем, прибавляем к входному промту, пропускаем всю эту входную кашу через LLM. Так что вы правы - можно на выходе получить вообще не то. Алгоритмов этого RAG тоже напридумывали и придумывают всё новые. И он тот же самый векторный поисковик со всеми своими галлюцинациями
Начав изучать внутреннее строение LLM (трансформеры, эмбедеры, векторизация текста и прочии векторные БД) я увидел (хоть и понимал раньше, но не мог привести конкретику) - насколько некорректны, или вообще псевдонаучны или даже сказочные, почти все статьи пор ИИ для масмедиа.
Вот и в этой статье тоже самое. Неужели те кто проектируют и пишут подобные статьи это одни и те же люди?
Галлюцинации - это просто архитектурная особенность LLM. Она так работает. В ней нету ни одного чёткого факта. Только вектора. LLM - всегда выдаст ответ - выберет из пачки соседниx векторов.
А если ещё учитывать алгоритм температуры на выходе, как по мне именно для ИИ ошибочный алгоритм. Но создателям ИИ нужен креативный текстогенератор.
Короче на выходе имеем кучу вариантов ответа с процентом вероятности для каждого. И в большинстве случаев будет выбран ответ с большим процентом.
Но выбор производится из всех вариантов! И процент 0.0001 рано или поздно тоже сработает и ответ какая голова у человека будет - квадратная.
Как по мне статья не опровергает факт что под давлением лёд тает. Она просто объясняет этот физический процесс. А именно - чем выше давление тем ближе и больше (из за неровностей) будут соприкасаться выровненные (встроенные в кристаллическую решетку льда) молекулы воды и молекулы (либо атомы если это например кристаллическая решетка как в металлах) давящего тела.
Как говорится в статье - сила притяжения в молекулах давящего тела больше чем сила притяжения в кристаллической решетки льда. И верхний слой молекул льда вырывает из решетки. Хз насколько это истина. Но так говорится в статье.
Может происходит просто механический слом решетки под давлением - и верхняя часть молекул становится хаотичная, т.е. превращается в жидкость.