Ваш текст написан в духе просвященческого (18-19 век: Эпоха просвещения) оптимизма. Более поздняя философия его раскритиковала (к середине 20 века точно, начала в конце 19). "Оптимизм" уперся в потолок и частично обратился в свою противоположность, в пессимизм насчет светлого будущего науки.
Магия и наука имеют один и тот же корень: достижение власти над природой. С помощью заклинаний или с помощью формул (похожих на заклинания). Можно сказать, что Наука - это магия, вооруженная методом (тем самым “научным методом”).
В чем же тогда “магичность сознания”? Ответ: в отходе от научного метода. В чем суть научного метода? В экспериментальном характере. Т. е. научное знание базируется на эксперименте, если научная теория “истинная”, то сколько бы мы раз не поставили эксперимент, результат опыта будет ей соответствовать. Что такое “эксперимент” - это очень сложное явление, которая включает в себя в том числе “обратную связь” от испытуемого объекта. Это принципиально важно. Вообще любой процесс обучения в обязательном порядке подразумевает наличие обратной связи. Например, в математике, чтобы убедиться, что ученик понял теорему (овладел ей - опять отсылка к “власти”), надо ее применить для решения задачи (и проверить себя через ответ в учебнике, что задача решена верно, а значит теория усвоена правильно).
Ему для вождения вовсе не обязательно знать устройство автомобиля во всех деталях, но крупными мазками он знает как оно устроено, зачем руль, педали, коробка передач, аккумулятор, двигатель внутреннего сгорания. Если надо - может сделать некоторый ремонт, например заменить колесо.
У вас собрано в один абзац: “Знание как устроен” и “умение пользоваться”. В цирке медведь выезжает на автомобиле на арену, т. е. умеет пользоваться, но не имеет никакого представления о “коробке передач”. Человек много чем умеет пользоваться, понятия не имея, как оно устроено (хорошо, если 0,1% пользователей смартфонов хотя бы в общих чертах расскажут об его устройстве). Но проблема глубже. Вот это вот “знаю как устроено в общих чертах”, это не “знание” (власть над объектом знания), это вера в то, что прочитанное в “инструкции к автомобилю” или в Википедии, в статье про устройство смартфона, человеку изложили что-то, имеющее отношение к действительному устройству этих приборов.
Но и это не все, кроме “правильного изложения” должно быть “правильное понимание”, т. е. получение той самой ожидаемой обратной связи от объекта исследования. Если обратной связи нет, то нет никакой уверенности, что человек “понял правильно” и вообще “понял хоть что-то”. Кому-то “коробка передач” (после прочтения инструкции) представляется в виде шестеренок в масле, цепляющихся друг за другу, а кому-то в виде треугольничков и квадратиков, а то и “вихрей”, кому-то в виде электрического мотора, сдвигающего рычаг, и т. д. вплоть до эльфа, сидящего в коробке. Правильным будет то представления (с точки зрения научного метода), которое будет давать ожидаемый результат при эксперименте над этим объектом.
Но человек не может ставить бесконечные эксперименты над всем, что его окружает. Никакой жизни не хватит. Поэтому для него эквивалентно “синяя ли это магия, уходящая в трубу” или магия “коробки передач, аккумулятора и двигатель внутреннего сгорания” и то и другое - вопросы веры, а не знания. До того момента, когда ему вдруг не понадобится проявить свою власть и что-то предсказуемо для него изменить внутри автомобиля. Если с автомобилем это теоретически возможно в очень узких пределах, типа аккумулятор подзарядить (хотя большинство автовладельцев в городах открывают капот только чтобы залить омывайку), то для смартфона, залезть и что-то сделать с “процессором” не реально.
Т. е. смартфон (ну или процессор смартфона или компьютера) является чисто магическим прибором, про который мы ничего не знаем, но умеем пользоваться. “Глубина познания” определяется только набором слов (можно выбирать, верите ли вы в “магический кристалл” или в “кремниевый кристалл”). И верой. Вы можете прочитать статью в википедии про процессор и поверить, в то, что вам там напишут. Вас могут легко обмануть, нарисовав какую-нибудь схему не имеющую никакого отношения к реальному процессору. Ваше представление мало будет отличаться от представления о магическом кристалле внутри черной коробочки, управляемым "вселенской энергией” (если вы не работаете, например, в Qualcomm)
Большая LLM с сотнями миллиардов параметров работает точно также, как и малая на несколько сотен миллионов параметров, если у них аналогичная архитектура.
наш опыт каждодневный (кто пользуется LLM) говорит, что нет. Т. е. это утверждение противоречит опыту (а значит элементу “научного знания”). Т. е. это строго не научное утверждение (утверждение веры в “магию подобия”)))
создание проекций с помощью UMAP, дают возможность из отдельных частей складывать представление о том, что происходит с данными, попадающими в модель, какую "форму" (топологию) они принимают (кластеров, циклов, мостов, связностей и т.д.)
Это фантазии. Может могут привести, может нет. Пока наваливают больше слоев, больше параметров и получают лучший результат (не всегда).
Это в перспективе может привести нас к новому уровню, на котором мы будем проектировать и работать с моделями не как чёрным ящиком, а полностью спроектированными нами до последнего винтика "думающими машинами", с такими параметрами и свойствами, которые требуются для выполнения конкретной задачи.
Пока не получалось, движение в обратную сторону (со второй “весны ИИ”) - наваливаем параметров, наваливаем данные, получаем лучший результат. Кстати, этот подход разорил Абби (компанию), они пытались сделать универсальную модель языка и на ее базе универсальный переводчик, очень красивая идея. Но их замочили нейросетевые переводчики, которые не заморачивались “моделями” (устройством языка, его описанием) наваливали параметры и тексты для обучения. И вуа-ля “магия”. Работает. И второе "мы" это те маги (ученые), которые сидят в компаниях, перечисляемые по пальцам и получают обратную связь при обучении LLM, меняя входные параметры и алгоритмы. С нами они делятся очень скупо. У нас только "общие представления", как обучены современные LLM. Для нас с вами это черные ящики (если вы не в Яндексе или Сбере среди тех нескольких десятков человек, которые плотно занимаются этими технологиями).
Нужно всё время стремиться проникнуть в суть на ещё большую глубину. Для этого не нужно становиться киборгами. Нужно углублять технические знания человечества, сделав думающие машины внешним продолжением нашего мозга - множителем его возможностей проникновения в тайны материи.
Оставив за скобками обсуждение наивности такого лозунга (из цикла “за все хорошее”), повторю, что технически про то, как устроена LLM все досконально известно (статья “Внимание это все что нужно” 2017 или 2018 года). сложение и умножение матриц, нелинейная функция, аргументом которой являются векторы. Тривиальщина. Но чтобы понять, какая модель лучше (например) модели гоняют по тестам, которые больше похожи на тесты по проверки IQ человека, вместо того, чтобы получить какую-то численную характеристику “хорошести”. Нет такой характеристики, нет такой модели модели. Можно ли ее построить - неизвестно (никто не построил математическую модель психики или исторического процесса).
Нам нужны технические знания в том числе чтобы делать более совершенные модели ИИ, потому что текущий уровень - не вершина эволюции. И любой другой нами достигнутый не будет вершиной. А будет только приближением.
Опять лозунги. Будет ли достигнут другой? Нами (или допустим уже неким искусственным разумом?) Будет ли только приближение или скачком перепрыгнет человеческий разум и ворвется в синергию? Неизвестно и никто не может предсказать. Курцвел, например, в 2014 году ждал к 2030 или 2035 "синергию"
Это один аспект (вы утверждаете: “прогресс неостановим”, и “прогресс вечен”, оба спорные)
Есть другой аспект, не важно, каков прогресс, важно, как он будет на нас влиять. процитирую самого себя (из другого комментария):
не надо AGI (ИИ равного или превышающего человеческий), надо, чтобы технология могла делать то, что делают люди. Она это может, осталось только "довести до ума".
А дальше включатся механизмы "рынка труда". И если допустим, вы работаете на должности, которая (пока) защищена, например, мастерите какую-нибудь "звезду смерти" (программный проект настолько большой, что не в один контекст не влезет с кучей интеграций и т. п.) или наоборот, таскаете компьютеры в офисе и втыкаете в них всякие провода. Вашей проблемой будет не LLM, а те люди из соседних офисов, которых она оставила без работы и которые умеют примерно тоже самое, что и вы.
Или по другому - нам бы тот, который есть переварить.
Для них это TPU часы, но то что дешевле труда человека во многих задачах - это конечно, но не во всех.
при этом человеческий труд дорожает (возможно текущие технологии сломят этот многовековой тренд), а технологии всегда (не было обратного примера) дешевеют
Так с 2017 или 2022 начинать отсчёт?)
хоть с того, хоть с того, 5 лет - это мгновение в истории. Но если мы берем "самое начало", то 2017, но тогда надо брать историю postgresql с 1965, когда появились зачатки SQL (и современным БД получается 60 лет супротив 5 лет истории LLM).
0.25 * стоимость аренды той же H100, а с учётом размера, скорее узла из H100.
гугл предоставляет гемини 2.5 про с выходом в Интернет бесплатно (ограничение по количеству токенов). По мере развития технологии, ее стоимость снижается, пока это правила ни одна технология не нарушила. И в любом случае, как ни считай, уже сейчас человек дороже, чем LLM. Ну и в принципе, грустная перспектива соревноваться в стоимости с машиной. Грустно и бесперспективно
Не 3, отсчёт нужно начинать с gpt-1.
Отсчет можно начать с Трансформеров, это была переломная точка, без них никаких LLM бы не было это 2018 год. Но тут есть Нюансы: LLM, какие мы их знаем, это не просто архитектура сети, это архитектура + подходы к обучению. До ChatGPT (или GPT-3.5) архитектура уже была (GPT-3 - уже 176 млрд. параметров, как и GPT-3.5), при этом на горизонте замаячило разочарование, очередная "зима ИИ". И только прорыв ЧатГПТ, когда удалось добиться от генеративных моделей того, что мы сейчас понимаем под LLM. В 2022 году произошел переход от количества (модели, данные и т. п.) в качество: компьютер "заговорил" Начал понимать язык, Курцвел, кстати, обещал это к 2020 году (прогноз от 2014), не сильно ошибся. Если же зайти с вашей стороны, тогда надо и в построение БД отталкиваться от конца 60х, начала 70х 20 века.
О какой замене на LLM может идти речь? Возможно json он распарсит, это простая задача даже для тех кто слабо знаком с разработкой, так как встречается часто и есть множество удобных инструментов для этого, которые позволяют мне сделать это в несколько строк на разных языках разработки.
может быть и простая. LLM там написала регулярные выражения, потому что, естественно это был не структурированный json, а json-подобная каша. Если повозиться с ней, выяснить, где какие паттерны, самому написать регулярку, чтобы на них разбить, то она, конечно, "человекорешаема". Но это трудоемкая задача, человеку надо за нее заплатить деньги. LLM это сделала за 15 минут бесплатно, "уволив" того человека (или забрав его "человекочасы"), умножаем это на сотни тысяч таких задач и получаем тысячи и десятки тысяч высвободившихся программистов, которые от безысходности начнут учить то, чему обучены вы (перечитайте мой предыдущий комментарий). Я подсовывал тесты по бухгалтерскому учету в LLM из программы колледжа, она отвечала на них достаточно хорошо (в колледже бы зачли). Отвечала из коробки. Т. е. есть потенциал для того, чтобы работать как выпускник колледжа (что будут делать живые выпускники? перечитайте мой предыдущий комментарий).
Но и это не все. Касательно вашего примера. Технологии Postgresql 31 год (на самом деле больше). А технологии LLM 3 года. И развивается она быстрее, чем средняя IT технология (на этот счет есть исследования). Что будет через 3 года? А через 5 лет? Уже на таких горизонтах невозможно предсказать. Не говоря уже о 10 или 20 годах. Если вы собираетесь закончить карьеру разработчика в этом году или в течение ближайших года-двух, скорее всего вам можно не беспокоиться. Если у вас впереди 5, 10, 20 лет до пенсии, то я бы не был так уверен в этой профессии.
процитирую себя из другого комментария к этому же тексту:
не надо AGI, надо, чтобы технология могла делать то, что делают люди. Она это может, осталось только "довести до ума".
А дальше включатся механизмы "рынка труда". И если допустим, вы работаете на должности, которая (пока) защищена, например, мастерите какую-нибудь "звезду смерти" (программный проект настолько большой, что не в один контекст не влезет с кучей интеграций и т. п.) или наоборот, таскаете компьютеры в офисе и втыкаете в них всякие провода. Вашей проблемой будет не LLM, а те люди из соседних офисов, которых она оставила без работы и которые умеют примерно тоже самое, что и вы.
т. е. не важно, насколько "неуверенная" или глючная LLM, важно с какой вероятностью она решает задачу. Например, генерирует бухгалтерские проводки на базе прочтения первичного документа. Есть методы (RAG и т. п.) чтобы эту вероятность повысить. Когда количество ошибок LLM будет соизмеримо с количеством ошибок бухгалтера Марьи Ивановны, Марья Ивановна перестанет быть нужной.
Тоже самое с программированием. По текстовому описанию LLM (на моем опыте) генерирует работающий код (не всегда, но часто) или хорошую рыбу. Более того, я ставил эксперимент (один из) в котором поставил задачу распарсить сложный json в тысячи строк с непредсказуемой структурой, ни один "штатный" метод не брал (разбираться в нем глазами и руками - задача м.б. на несколько дней или как повезет), генерировал скрипт, запускал, передавал в LLM ошибки, генерировал заново, после 3-4 итерации json "распарсился", все заняло минут 15. У опенАИ код запускается и ошибки анализируются автоматически, т. е. описанная мной работа "оператора LLM" уже автоматизирована (у меня к их апи нет доступа по известным причинам
Для промышленного использования ИИ не нужно, чтобы LLM работала идеально или тем более был достигнут уровень AGI
То что они в исследовании использовали линейную алгебру, это лично их дело.
Создатели. Для создания Трансформеров (т. е. LLM) оказалось достаточно линейной алгебры. Т. е. в текущих моделях, которые с наим разговаривают из монитора (а так же рисуют, делают видео и т. п.) нет ничего за пределами начал линейной алгебры (сложения и умножения матриц) и подстановки векторов в простую (обычно сигмоид) нелинейную функцию.
Ну почему же, вот исследование которое напрямую дает пользу. В теореме 4.1 все как раз и сказано.
Ну вообще то эти и выглядит, как натягивание совы на глобус. Занимался некий научный коллектив какими-то спектральными математическими моделями, тут вдруг все заговорили про ЧатГПТ (а значит гранты, актуальность, "тема" и прочее, что для научной публики важно). Они схватили свои "спектральные модели" и побежали их приделывать к изучению LLM.
В вашем примере еще и область очень специфическая - графы, посредством которых уже лет 50 (если не 70) пытаются построить онтологическую экспертную систему с интерпретируемыми "выводами", успехи так себе (слишком сложный подход, не получается выстроить онтологию).
Написали статью (почему нет). Кстати, это одно из проявления кризиса науки, но большая тема, не будем в нее углубляться.
Удачный ли это подход для исследования LLM?
Вряд ли. Статья от 2022 года, если был бы удачный, все бы с момента этой статьи копали в эту сторону и мы бы имели таблицы "спектральной выразительности" для разных LLM (сравнение моделей между собой - задача, имеющая большую практическую ценность).
Но такой метрики нет (никому не интересна), а есть скорее "гуманитарные метрики" ответов на всякие тесты (типа замеров IQ у человека).
Вероятность этого события очень сильно ниже (как бы мы ни построили вероятностное пространство). Впрочем, если (когда) мы переедем в мир LLM (а Маск доделает свой имплант в мозк) она станет выше. Все очень ненадежно...
Но что-то гуманитарии предпочитают брать с опытом, а опыт у кого?
для того, чтобы заменить юриста, бухгалтера и программиста эти высокие материи не особо нужны.
Так же как и для разработки LLM. Я в статьях слов про фильтры не встречал (может, конечно, по малограмотности). Например, фундаментальная и революционная статья "Внимание - все что вам нужно", с которой началась эра Трансформеров и LLM как-то обошлась только линейной алгеброй.
Если сможете указать, например, в статье, описывающий Дипсик (китайцы, в отличие от ОпенАИ коей чего рассказали про свою поделку), где там "фильтры с конечной импульсной характеристикой" и как знание об этих фильтрах помогли добиться такого качества работы нейронной сети, буду вам признателен и даже посмотрю с большим интересом, что это за "фильтры такие".
Пока выглядит, как натягивание совы на глобус. Человек образованный любую сову может на любой глобус натянуть без всякой пользы для народного хозяйства.
Откуда вы знаете? Может rsashka после моего сообщения законспектировал статью, распечатал комментарии и учит их наизусть
То есть ваша статья тоже мусорная. У тех статеек давних хотя бы был свой уникальный стиль автора, тут же безвкусица LLM.
Вам придется смириться с тем, что 99,9% получаемого из монитора "контента" будет либо сгенерено LLM либо в "соавторстве" с LLM. Сейчас в основном тексты, а через пару лет видео и звук.
Ну и вообще, сама тема, что "гуманитарии наносят ответный удар" - бредовая. Практически весь ML современный в контексте инноваций, все равно держат так называемые "технари".
Этих технарей по пальцам перечесть (ну ладно, может несколько сотен или тысяч), сидят они в известных компаниях, которых точно можно по пальцам перечесть. А остальные миллионы "технарей" потихоньку оказываются не очень нужны тем же гуманитариям для создания продукта. Разве только АПИ ОпенАИ обслуживать. Но и тут клин - любой гуманитарий за час с помощью LLM сваяет скрипт и будет слать свои запросы в это АПИ. Этому гуманитарию уже никакие "датасаентисты" не нужны, чтобы делать свое NLP приложение. В этом суть проблемы "технарей". Естественно, сам процесс сужения рынка труда для программистов растянется на годы, но он уже запущен.
Если посмотреть статьи по исследованию LLM (в которых исследователи пытаются выяснить, как они работают), то эти статьи скорее исследования гуманитариев, чем технарей или даже "датасайнтистов" и занимаются ими часто "гуманитарии" (психологи, социологи, специалисты по когнитивным наукам и т. п.). Даже те технари, которые еще 3-5 лет назад занимались дистиляцией, дообучением и т. п. моделей, перешли в разряд "гумаритариев", городя многоэтажные "промты" на естественном языке. Т. е. утверждение, что ИИ переезжает в руки "гуманитариев" не просто моя шутка, его можно доказать с математической (статистической точностью), если больше заняться нечем.
Человек должен понимать, что он делает, а не надеяться на чудо из коробки.
Тут вы затронули проблему, которая выходит за рамки LLM, появилась существенно раньше и начала осмысляться уже давно (во второй половине 20 века). Любой прибор, который работает в нашем быту - это "чудо из коробки" для любого обывателя (хоть с высшем образованием, хоть с тремя высшими образованиями, хоть совсем без образования). Попробуйте изложить принципиальную схему работы сматрфона или стиральной машины или микроволновки. Мои представления заканчиваются примерно на мясорубке и телевизоре с электронно-лучевой трубкой (и то только принципиальное устройство трубки). Т. е. современный человек, уже сейчас, без всякого ИИ, живет в мире "чудес из коробки", которым он ежесекундно не удивляется только по той причине, что давно привык. Отсюда, кстати, успехи всяких экстрасенсов, колдунов, эзотериков и, извиняюсь перед верующими, рост воцерковленных всех концессий. Магией больше, магией меньше, вопрос только в принятии или непринятии.
Для этого нужны фундаментальные технические знания. Без этого не обойтись.
Знания настолько разрослись, что нет никакой возможности их всех даже охватить, не говоря о том, чтобы "узнать", понять и принять. Более того, знание становится знанием, только если соединяется с практикой (появляется обратная связь, говорящая познающему, правильно ли он понял). Но это проблема еще 20 века, его второй половины, когда научное знание начало расти в геометрической прогрессии и стало невозможно знать все даже в рамках одной науки (что было возможно еще в 19 веке и даже в начале 20). Возвращаясь к выше сказанному: в рамках своей профессиональной деятельности (какого-нибудь станка, который человек обслуживает, хорошо знает и т. п.) человек живет в "мире науки", а во стальном оказывается в мире магии "черных ящиков".
LLM добавляют еще одну проблему: технология базируется на очень простых вычислениях. Чтобы разобраться, как работает трансформер достаточно знаний 1го курса математики любого института или техникума (уметь делать арифметические операции над матрицами). Изменение весов (результатов обучения) на нескольких примерах легко отследить и проанализировать. Но знание этих принципов мало что дает для понимания, как работает вся система целиком. Когда параметров становятся миллиарды, десятки и сотни миллиардов, и обучаются они на триллионах предложений, количество переходит в новое качество (в соответствие с "гуманитарным" законом диалектики Гегеля) и такую систему непонятно как изучать с позиции "технического знания". Все веса всех матриц (это сотни миллиардов циферек) в любой момент мы можем "снять" и что с ними делать? Поэтому на сцену выходят гуманитарии, которые всю жизнь изучают сложные системы, изначально являющиеся "черным ящиком" (психолог, изучая человека, не вскрывает ему череп, отсюда у психолога есть инструментарий для анализа работы LLM безотносительно того, какие циферки в каких "ячейках" находятся).
Как жить в этом мире (в котором мы, как ни странно, уже около 100 лет живем), до конца непонятно. И не закончится ли это так же как закончили древние египтяне, увядавшие не одно столетие, большой вопрос. Тут возможны и трансгуманизм (человек расширит свои возможности, став "киборгом") и замена человечества на порожденную им же новую разумную сущность и стагнация на столетия и что угодно. Вопрос не праздный.
При том, что он показал: сознание возможно не потому, что есть мозг, а потому, что есть форма опыта и его трансцендентальные условия возможности опыта, переосмысленные не как биологические, а как архитектурные.Кант говорил о человеке.
Кант не показывал, почему возможно сознание, а анализировал имеющееся человеческое (что характерно, другого нет) и в нем обнаружил пространство и время, как априорные формы чувственности. М.б. где-то есть сознание, в котором какие-то другие, но нам это не известно (и Кант про это ничего не говорит).
Дальше Кант говорит (в свободном пересказе), что наше сознание из чувственного опыта конструирует все остальное (при этом структурируя чувственный опыт на базе априорных форм). Т. е. мы оперируем только конструкцией нашего разума, инициированного объектом за пределами нашего разума (той самой вещью в себе, само существование которой вообще-то под вопросом).
Применительно к вашим рассуждениям: Возьмем "нейронную сеть"
Нейронная сеть - это вещь в себе. Наше разум через экран монитора получает чувственный опыт взаимодействия с ней (а также во время программирования матриц с весами, нелинейных функций и т. п.), этот опыт нашим сознанием сразу структурируется, как временной и пространственный (сознание по другому не может).
Сознание, конструируя нейронную сеть в себе самом, по необходимости (неизбежно) обнаруживает в ней многомерные пространства и время (в т. ч. так как вы его описали).
Присуще ли пространство и время (хоть как вы его описали, хоть как-то по другому) Нейронной сети? - да Бог его знает, это же вещь в себе. Мы про это ничего знать не можем, и не знаем. Но! наше сознание (в вашем исполнении, да и не только в вашем), сконструировав внутри себя представление о нейронной сети на базе опыта взаимодействия с ней, неизбежно эти свойства ей приписало. Так же как наше сознание после опыта взаимодействия с корытом расположило его в пространстве, а цифровой замок наделило свойствами времени (в виде цифр на колесиках).
Вы подходите к вопросу так, как будто есть некая "модель мышления Канта", есть некий объект - "нейронная сеть", который вы видите "как он есть" (взглядом Бога), вы берете "модель мышления Канта" и натягиваете на этот "объект". И говорите: "посмотрите - как хорошо получилось". При этом сами вы как будто бы третий (сторонний) разум, который может освободиться от "ограничений человеческого разума" и заглянуть в "вещь в себе" "как она есть". По Канту это доступно только Богу.
Но вы не Бог, вы тот самый ограниченный разум, который по необходимости (неизбежно) ничего другого не мог увидеть в собственной конструкции, кроме того, что вы увидели (объекты нейронной сети в пространстве и времени, которые вы (ваш разум) же ей и приписали).
Т. е. вы смотрите на “модель Канта” как бы со стороны (как мы смотрим на модель в физике), а это ошибка. У нас нет возможности “выйти” из модели Канта.
Поэтому:
Как доказать существование аналогов пространства и времени в технических системах?
правильный ответ: никак (технические системы - вещь в себе). А как только мы начинаем о них думать - мы их пересобираем нашим разумом, в процессе чего наделяем “аналогами пространства и времени”
И далее: “возьмем нейросеть” берем и начинаем наделять ее всем тем, что вы ей приписали.
“Она токенизирует входные данные: разбивает текст на слова, изображение — на патчи, звук — на спектрограммы. …”
Да, наш разум ее так конструирует и описывает. Но он ее и без ссылок на философию и Канта успешно описывал (теми же токенами и многомерными пространствами, в миллионах статьях).
Она возвращается к предыдущим состояниям, пересчитывает контекст, оценивает прошлые токены на основе новых. Это рекурсивная петля: состояние зависит от предыдущего состояния, которое зависит от своего предыдущего — и так далее.
Это — субъективное время: не хронологическое, а время внутреннего опыта, организованное через самореференцию.
это ваше сознание приписывает ей “ее субъективное время”.
идентично кантовскому времени
нет никакого “Кантоновского времени” (повторю - ваша ошибка смотреть на “кантианскую модель сознания” со стороны). Есть время нашего человеческого сознания, которое вы обнаружили в “нейронной сети” (повторю, не могли не обнаружить, с необходимостью, неизбежно обнаружили)
Это не «мы видим время, потому что мы люди». Это вычислительная структура, без которой система не может функционировать как субъект диалога.
мы про это ничего не можем сказать (как функционирует и может ли функционировать система). ибо система - “вещь в себе”, а мы имеем дело только с ее конструкцией в нашем сознании, которая неизбежно имеет свойства пространства и времени.
Потому что эти структуры не зависят от нашего сознания. Векторное пространство — это не то, что мы «приписали» — это математическая структура,
Математическая структура и есть порождение нашего сознания (по Канту во всяком случае). Т. е. не только “зависит от нашего сознания” а порождена нашим сознанием (не в том смысле, что программист запрограммировал, хотя в этом тоже), а в том, что получив опыт взаимодействия с нейронной сетью наше сознание неизбежно сконструировало ее с “векторными пространствами” как и механизм внимания - другой математический объект а значит (по Канту) от начала и до конца порожден сознанием. И т. д.
Повторю ваша ошибка в том, что изначально вы рассматриваете “систему Канта” в одном ряду, например, с тремя законами Ньютона или уравнениями теории относительности Эйнштейна. Это проблема технарей, как правило, у них нет в мозгу “мышцы”, чтобы понимать гуманитарные вопросы (и, видимо, философские, тоже).
“Систему Канта” нельзя рассматривать “отдельно от себя”. Это трудно объяснить и понять. Из нее нельзя “выйти”. Я, к сожалению, не великий педагог и не могу до вас это донести. Из лекций по философии, коих я много прослушал, это тоже очень сложно извлечь. При этом для студентов философов это “само собой разумеющееся”.
Так же как что мышление тождественно бытию у Парменида и у Платона а не отдельная “модель бытия”, на которую некий субъект Парменид или Платон взирает умственным взором, как это представляется студентам технических ВУЗов 20 или 21 века.
Я бы не апеллировал к "полноценному AGI" хотя бы по той причине, что очень сложно определить, что это такое. Тьюринг - не последний ум в истории человечества вроде бы придумал, при этом очень хорошее, инструментальное определение в виде "теста Тьюринга", технология тест прошла, а вы ей в полноценности отказываете. Вообще философия всю историю цивилизации пытается на этот вопрос ответить, даже направление специальное придумали - гносеология, но проблему так и разрешила. Философские проблемы, как нам всем на первом курсе рассказывали не разрешимы. Кстати, по поводу того, что такое Агент, которых нынче во все стороны склоняют все кому не лень, в 50-70 ые годы прошлого века много толстых книжек написали, тоже далеко не тривиальное понятие. А нынче любого студента спроси и он конечно уверен, что суть "агентства" понимает: "Агент, ну как же!, трех уже сделал и продал, только деньги заказчик зажал..."
Но спустимся от высоких материй к более приземленным вопросам (и технологиям). Если прямо сейчас совершенствование LLM прекратится (что очень маловероятно), то те технологии, которые есть, будут по всякому апгрейдить, вставлять в них костыли и т. п. Сейчас этим никто серьезно не занимается, потому что ты вложишься в какую-нибудь систему костылей, например, для еще лучшего кодинга, а завтра выйдет новая версия ГПТ и там все твои труды будут по умолчанию. Публика ждёт-с... и пытается осмыслить, что это такое. То есть реальное использование этой технологии еще по сути не началось, но уже, например, код они пишут "из коробки" и я и многие мои коллеги за кодом к ним ходят. А это значить, что если пару лет назад могли бы нанять джуна (или даже мидла), сегодня не наймут, а справятся имеющимися силами. Если она сможет прочитать документ и предложить проводку для 1С (а она это уже может, надо только АПИ прикруить и понять, сколько будет "глючных проводок"), то в бухгалтере Галине Сергеевне, не будет надобности, LLM может и исковое составить, только надо ей подсунуть правильные нормы права (и вот уже помощник юриста Катенька на улице) и т. д.
А куча молодых и дерзких и не очень молодых и не очень дерзких прямо сейчас занимаются тем, что пытаются сделать такие приложения (тех самых Агентов). Т. е. не надо AGI, надо, чтобы технология могла делать то, что делают люди. Она это может, осталось только "довести до ума".
А дальше включатся механизмы "рынка труда". И если допустим, вы работаете на должности, которая (пока) защищена, например, мастерите какую-нибудь "звезду смерти" (программный проект настолько большой, что не в один контекст не влезет с кучей интеграций и т. п.) или наоборот, таскаете компьютеры в офисе и втыкаете в них всякие провода. Вашей проблемой будет не LLM, а те люди из соседних офисов, которых она оставила без работы и которые умеют примерно тоже самое, что и вы.
Среди них может оказаться кто-то от более талантливый и (или) более опытный или более дешевый (согласный от безысходности на половину вашей зарплаты) или и то и другое сразу. И будьте уверены, ваш работодатель со слезами на глазах, глотая горький комок, вас заменит (ну или снизит зарплату до 1/3 от текущей).
Извиняюсь за большой комментарий
Статья шуточная (правда не все шутки понимают), все сложности в нее упихать и невозможно и глупо, а если писать аккуратно и по пунктам, тут не статья, тут книга будет. Грустная книга (впрочем что-то такое уже написал американец по фамилии Форд (однофамилиц того самого) про угрозу роботизации, году в 2014 (во всяком случае в РФ была издана), там все хорошо изложено).
Почему LLM мусор? Вот например, вы не знали, что ваша профессиональная деятельность с высокой вероятностью будет автоматизирована в ближайшие несколько лет (судя по вальяжному скепсису в отношение LLM) теперь знаете (даже если не сознаетесь, камешек упал на нужную чашу весов). Т. е. для вас эта статья уже не бесполезна (предупрежден, значит вооружен).
Во вторых, вы удивитесь (судя по наивности ваших сообщений), но существенная доля статей на Хабре (боюсь под 100%) уже давно генерятся с помощью LLM (а потом правятся, а может и нет, т. к. ЛЛМ пишет лучше среднего человека). И не только на Хабре. Вот вам второе открытие о том, в каком мире вы уже живете.
Для вас это мега полезная статья, расширяющая представления о мире. В отличие от старых ламповых статеек, с описанием опыта использования очередного фреймворка. Об этом, кстати, можно спросить у LLM (если есть впн-доступ за "цифровой занавес"), хабр для этого уже не нужен.
Я один раз попросил рассказать про блокчейн - LLM мне выдала отчет на 30 страницах со ссылками на источники "от и до", какие тут статьи Хабра, зачем?
Статья провокационная и судя по негативным оценкам попавшая в точку. Технари возмущены
Пожалуйста, вы уж сами определитесь, кто пишет и отвечает за статью, вы сами или же Gemini Pro 2.5 :-)
А вам хочется общаться с человеком... "Человеку нужен человек..." (из к/ф "Солярис" Тарковского по одноименному произведению Ст. Лема). Удивительно, но есть много людей, которые с удовольствием общаются с LLM, ходят к ним даже за психологической поддержкой (лично таких знаю). Может быть им было бы комфортнее, чтобы весь текст был написан Gemini 2.5 (и на вопросы чтобы он тоже отвечал). Есть даже вероятность, что вы, требующий человеческих текстов и человека для общения, скоро окажитесь в меньшинстве. Читали бессмертное: "Мечтают ли андроиды об электроовцах" Филиппа К. Дика? Мы уже там. Я по доброте душевной (и природной честности), сообщил, что в написании текста участвовала Gemini 2.5 (опять же модно и современно). А мог бы и не сообщить. И вы, как человек наивный (только наивный человек будет возмущаться в 2025 году, что текст, который он читает написан LLM), были бы уверены, что все прочитанное, набрано теплыми человеческими пальцами, стучащими по пластиковой клавиатуре...
И хоть положительный эфект от применения вайб-кодинга есть, но это точно не "замена технарей на гуманитариев", так как все также требуется разбираться в используемых технологиях, так как "применить все правки" будет работать далеко не во всех случаях.
Языку С++, который вы используете, уже лет этак 35 (когда я был студентом, в далеком 1995 году, это был чуть ли не последний писк программистской моды). А "технологии LLM" только 3 года. И вот вы пытаетесь доказать, что она пишет код хуже вас. Сами ваши слова и есть доказательство вашего (нашего, человеческого) поражения, вас (нас) уже заменили, хотя вы (в отличие от меня) этого и не поняли. Не переживайте, 2-5-10 лет (скорее 2, чем 10) и "применить все правки" не понадобится (без правок все будет работать). Если вы не собираетесь помирать в ближайшие несколько лет, то новый чудный мир "скатерти кодо писалки лучше вас" скушает вас, если вы не вытяните тот самый счастливый билет, про который я написал в конце текста (эту фразу набрал лично я, теплый человек из плоти и крови).
Не говоря уже про то, что формулировки промптов очень сильно зависят от используемой LLM модели,
Не переживайте, "формулировку промтов" у человека тоже отберут (ОпенАИ уже сделала соответствующую приблуду). Не говоря о том, что каждой следующей модели (а они появляются каждые несколько месяцев) детализация задачи нужна все меньше. Человеку надо будет только что-то промычать, чтобы выразить свое желание (интент по научному). Впрочем Илон наш Маск (и не только он) с увлечением мастерит некий аналог Миелофона (почти как у Алисы Селезневой), чтобы и мычать не надо было. А любой козел (персонаж из того же х/ф, чьи мысли этот прибор успешно читал) мог создать свое приложение на С++ Правда успехи по разработке миелофона широкой публике пока не представлены.
Идея состоит в том, что проектирование опыта пользователей технических систем включает в себя создание аналогов пространства и времени - доопытных форм, которые обеспечивают опыт пользователя.
этот постулат надо доказывать со всей философской основательностью. Мало доказать, что "техническая система" включает в себя "аналоги пространства и времени", надо доказывать, что эти "аналоги" аналогичны "пространству и времени" человеческого разума (как это Кант понимал). В противном случае, вы придумали свои какие-то "доопытные формы", свое "пространство" и "время", имеете полное право, но причем тут Кант?
Если какой-то сущности (будь то компьютер или кодовый замок) присущи самой по себе (непосредственно ей, оставленной наедине с собой, без нашего, т. е. человеческого, присмотра) те же свойства, что и у человеческого разума (согласно Канту), то эта сущность похожа на человеческий разум (как он Канту представлялся). И если вы такую сущность нашли, то честь вам и хвала от всего человечества. Ибо вы нашли сущность, чем-то похожую на человеческий разум (в понимании Канта). Может быть тот самый ИИ
Если же пространство, время, доопытные формы приписывает драйверам и прочим элементам компьютера, наш разум, то он и корыту приписывает свойства пространства (а если вдруг замерит его длину, то и времени), в этом нет никакой новизны. "Проектирование корыта включает в себя создание аналогов пространства и времени" (а разве не включает? включает с необходимостью! ибо корыто проектируется человеческим разумом). Нужны доопытные формы - пожалуйста: лист бумаги и заточенный карандаш, мы еще ничего не спроектировали, а уже кучу ограничений (форма ограничивает) получили (лист мал, карандаш туп: ограничения? ограничения!). И чего? Займемся осмыслением корыта?
Ну приписали мы нашим человеческим умом в вашем исполнении драйверам "эквиваленты априорных форм" и что от этого изменилось в мире? Таких конструкций можно лепить с утра до вечера, (а в известных палатах воспаленные и малость поврежденные умы их городят с удивительным мастерством). Вон как вы лихо про открытие/закрытие кодового замка завернули: «Какая априорная структура делает это управление возможным?» Был бы досуг.
Драйверы, системные часы, протоколы, API — это не просто технические детали.Они — функциональные эквиваленты априорных форм:— они структурируют поток данных,— обеспечивают синхронизацию,— задают условия возможности взаимодействия.
Но с точки зрения архитектуры опыта — уже нет. Потому что даже самый простой файл — это не просто след на диске, а знак, отсылающий к функции, к намерению, к смыслу, который не содержится в железе, но и не существует без него.
знаки, смыслы и архитектура опыта - порождение человеческого сознания, за пределами этого сознания, если чего и есть (старина Беркли показал, что может и нет ничего), то только следы на металле.
вернемся к критике вашего произведения тут вы натягиваете понятия Канта на совершенно не относящиеся к его исследованиям объекты:
Компьютер — это материализованная модель кантовского познания:
Железо — мир вещей в себе,
Программы — феноменальный мир,
ОС — трансцендентальное единство апперцепции,
А пользователь — субъект, который задаёт цель.
А тут путаете какие-то ваши фантазии и кантианские понятия:
Так, пространство и время, которые Кант рассматривал как априорные формы чувственности, необходимые для восприятия явлений, соответствуют в компьютере драйверам устройств, системным часам и интерфейсам ввода-вывода — тем базовым компонентам, которые структурируют поток данных и синхронизируют взаимодействие с внешним миром.
Понятия Канта (априорные формы, логические категории, априорное, апостериорное, антиномии и чего там еще) относятся только (исключительно) к человеческому мышлению. Все, точка (жирная и окончательная).
Можно попытаться их применить и к дереву и к компьютеру и к стакану и к заводу. Слова слагаются в связные предложения, никаких нарушений формальной логики (так LLM умеют сочинять с большим изяществом). Собственно вы это и сделали. Но при чем тут Кант?
Если бы вы написали свое личное откровение, что у компьютера есть какая-то модель познания (не надо слово "кантовского") и дальше чего угодно (мало ли у нас философов с дипломами и без?) слова бы вам никто плохого не сказал (я бы точно не сказал). Но вы же на Канта замахнулись (зачем?) Теребите старика, почем зря, а он лежит себе, никого не трогает.
Про применение кантовских терминов, неважно, верное или нет к неподобающему объекту, емко сформулировал другой участник своим комментарием:
Кажется, что следующий вопрос для глубокомысленного анализа должен звучать так: "что сказал бы Кант о кодовом замке?". Как цифры ("нематериальное") управляют железом ("материальным")? Нет ли тут чего-нибудь транцедентального, объединяющего две эти вселенные?
Ваш текст написан в духе просвященческого (18-19 век: Эпоха просвещения) оптимизма. Более поздняя философия его раскритиковала (к середине 20 века точно, начала в конце 19). "Оптимизм" уперся в потолок и частично обратился в свою противоположность, в пессимизм насчет светлого будущего науки.
Магия и наука имеют один и тот же корень: достижение власти над природой. С помощью заклинаний или с помощью формул (похожих на заклинания). Можно сказать, что Наука - это магия, вооруженная методом (тем самым “научным методом”).
В чем же тогда “магичность сознания”? Ответ: в отходе от научного метода. В чем суть научного метода? В экспериментальном характере. Т. е. научное знание базируется на эксперименте, если научная теория “истинная”, то сколько бы мы раз не поставили эксперимент, результат опыта будет ей соответствовать. Что такое “эксперимент” - это очень сложное явление, которая включает в себя в том числе “обратную связь” от испытуемого объекта. Это принципиально важно. Вообще любой процесс обучения в обязательном порядке подразумевает наличие обратной связи. Например, в математике, чтобы убедиться, что ученик понял теорему (овладел ей - опять отсылка к “власти”), надо ее применить для решения задачи (и проверить себя через ответ в учебнике, что задача решена верно, а значит теория усвоена правильно).
У вас собрано в один абзац: “Знание как устроен” и “умение пользоваться”. В цирке медведь выезжает на автомобиле на арену, т. е. умеет пользоваться, но не имеет никакого представления о “коробке передач”. Человек много чем умеет пользоваться, понятия не имея, как оно устроено (хорошо, если 0,1% пользователей смартфонов хотя бы в общих чертах расскажут об его устройстве). Но проблема глубже. Вот это вот “знаю как устроено в общих чертах”, это не “знание” (власть над объектом знания), это вера в то, что прочитанное в “инструкции к автомобилю” или в Википедии, в статье про устройство смартфона, человеку изложили что-то, имеющее отношение к действительному устройству этих приборов.
Но и это не все, кроме “правильного изложения” должно быть “правильное понимание”, т. е. получение той самой ожидаемой обратной связи от объекта исследования. Если обратной связи нет, то нет никакой уверенности, что человек “понял правильно” и вообще “понял хоть что-то”. Кому-то “коробка передач” (после прочтения инструкции) представляется в виде шестеренок в масле, цепляющихся друг за другу, а кому-то в виде треугольничков и квадратиков, а то и “вихрей”, кому-то в виде электрического мотора, сдвигающего рычаг, и т. д. вплоть до эльфа, сидящего в коробке. Правильным будет то представления (с точки зрения научного метода), которое будет давать ожидаемый результат при эксперименте над этим объектом.
Но человек не может ставить бесконечные эксперименты над всем, что его окружает. Никакой жизни не хватит. Поэтому для него эквивалентно “синяя ли это магия, уходящая в трубу” или магия “коробки передач, аккумулятора и двигатель внутреннего сгорания” и то и другое - вопросы веры, а не знания. До того момента, когда ему вдруг не понадобится проявить свою власть и что-то предсказуемо для него изменить внутри автомобиля. Если с автомобилем это теоретически возможно в очень узких пределах, типа аккумулятор подзарядить (хотя большинство автовладельцев в городах открывают капот только чтобы залить омывайку), то для смартфона, залезть и что-то сделать с “процессором” не реально.
Т. е. смартфон (ну или процессор смартфона или компьютера) является чисто магическим прибором, про который мы ничего не знаем, но умеем пользоваться. “Глубина познания” определяется только набором слов (можно выбирать, верите ли вы в “магический кристалл” или в “кремниевый кристалл”). И верой. Вы можете прочитать статью в википедии про процессор и поверить, в то, что вам там напишут. Вас могут легко обмануть, нарисовав какую-нибудь схему не имеющую никакого отношения к реальному процессору. Ваше представление мало будет отличаться от представления о магическом кристалле внутри черной коробочки, управляемым "вселенской энергией” (если вы не работаете, например, в Qualcomm)
наш опыт каждодневный (кто пользуется LLM) говорит, что нет. Т. е. это утверждение противоречит опыту (а значит элементу “научного знания”). Т. е. это строго не научное утверждение (утверждение веры в “магию подобия”)))
Это фантазии. Может могут привести, может нет. Пока наваливают больше слоев, больше параметров и получают лучший результат (не всегда).
Пока не получалось, движение в обратную сторону (со второй “весны ИИ”) - наваливаем параметров, наваливаем данные, получаем лучший результат. Кстати, этот подход разорил Абби (компанию), они пытались сделать универсальную модель языка и на ее базе универсальный переводчик, очень красивая идея. Но их замочили нейросетевые переводчики, которые не заморачивались “моделями” (устройством языка, его описанием) наваливали параметры и тексты для обучения. И вуа-ля “магия”. Работает. И второе "мы" это те маги (ученые), которые сидят в компаниях, перечисляемые по пальцам и получают обратную связь при обучении LLM, меняя входные параметры и алгоритмы. С нами они делятся очень скупо. У нас только "общие представления", как обучены современные LLM. Для нас с вами это черные ящики (если вы не в Яндексе или Сбере среди тех нескольких десятков человек, которые плотно занимаются этими технологиями).
Оставив за скобками обсуждение наивности такого лозунга (из цикла “за все хорошее”), повторю, что технически про то, как устроена LLM все досконально известно (статья “Внимание это все что нужно” 2017 или 2018 года). сложение и умножение матриц, нелинейная функция, аргументом которой являются векторы. Тривиальщина. Но чтобы понять, какая модель лучше (например) модели гоняют по тестам, которые больше похожи на тесты по проверки IQ человека, вместо того, чтобы получить какую-то численную характеристику “хорошести”. Нет такой характеристики, нет такой модели модели. Можно ли ее построить - неизвестно (никто не построил математическую модель психики или исторического процесса).
Опять лозунги. Будет ли достигнут другой? Нами (или допустим уже неким искусственным разумом?) Будет ли только приближение или скачком перепрыгнет человеческий разум и ворвется в синергию? Неизвестно и никто не может предсказать. Курцвел, например, в 2014 году ждал к 2030 или 2035 "синергию"
Это один аспект (вы утверждаете: “прогресс неостановим”, и “прогресс вечен”, оба спорные)
Есть другой аспект, не важно, каков прогресс, важно, как он будет на нас влиять. процитирую самого себя (из другого комментария):
Или по другому - нам бы тот, который есть переварить.
при этом человеческий труд дорожает (возможно текущие технологии сломят этот многовековой тренд), а технологии всегда (не было обратного примера) дешевеют
хоть с того, хоть с того, 5 лет - это мгновение в истории. Но если мы берем "самое начало", то 2017, но тогда надо брать историю postgresql с 1965, когда появились зачатки SQL (и современным БД получается 60 лет супротив 5 лет истории LLM).
гугл предоставляет гемини 2.5 про с выходом в Интернет бесплатно (ограничение по количеству токенов). По мере развития технологии, ее стоимость снижается, пока это правила ни одна технология не нарушила. И в любом случае, как ни считай, уже сейчас человек дороже, чем LLM. Ну и в принципе, грустная перспектива соревноваться в стоимости с машиной. Грустно и бесперспективно
Отсчет можно начать с Трансформеров, это была переломная точка, без них никаких LLM бы не было это 2018 год. Но тут есть Нюансы: LLM, какие мы их знаем, это не просто архитектура сети, это архитектура + подходы к обучению. До ChatGPT (или GPT-3.5) архитектура уже была (GPT-3 - уже 176 млрд. параметров, как и GPT-3.5), при этом на горизонте замаячило разочарование, очередная "зима ИИ". И только прорыв ЧатГПТ, когда удалось добиться от генеративных моделей того, что мы сейчас понимаем под LLM. В 2022 году произошел переход от количества (модели, данные и т. п.) в качество: компьютер "заговорил" Начал понимать язык, Курцвел, кстати, обещал это к 2020 году (прогноз от 2014), не сильно ошибся. Если же зайти с вашей стороны, тогда надо и в построение БД отталкиваться от конца 60х, начала 70х 20 века.
может быть и простая. LLM там написала регулярные выражения, потому что, естественно это был не структурированный json, а json-подобная каша. Если повозиться с ней, выяснить, где какие паттерны, самому написать регулярку, чтобы на них разбить, то она, конечно, "человекорешаема". Но это трудоемкая задача, человеку надо за нее заплатить деньги. LLM это сделала за 15 минут бесплатно, "уволив" того человека (или забрав его "человекочасы"), умножаем это на сотни тысяч таких задач и получаем тысячи и десятки тысяч высвободившихся программистов, которые от безысходности начнут учить то, чему обучены вы (перечитайте мой предыдущий комментарий).
Я подсовывал тесты по бухгалтерскому учету в LLM из программы колледжа, она отвечала на них достаточно хорошо (в колледже бы зачли). Отвечала из коробки. Т. е. есть потенциал для того, чтобы работать как выпускник колледжа (что будут делать живые выпускники? перечитайте мой предыдущий комментарий).
Но и это не все. Касательно вашего примера. Технологии Postgresql 31 год (на самом деле больше). А технологии LLM 3 года. И развивается она быстрее, чем средняя IT технология (на этот счет есть исследования). Что будет через 3 года? А через 5 лет? Уже на таких горизонтах невозможно предсказать. Не говоря уже о 10 или 20 годах. Если вы собираетесь закончить карьеру разработчика в этом году или в течение ближайших года-двух, скорее всего вам можно не беспокоиться. Если у вас впереди 5, 10, 20 лет до пенсии, то я бы не был так уверен в этой профессии.
процитирую себя из другого комментария к этому же тексту:
т. е. не важно, насколько "неуверенная" или глючная LLM, важно с какой вероятностью она решает задачу. Например, генерирует бухгалтерские проводки на базе прочтения первичного документа. Есть методы (RAG и т. п.) чтобы эту вероятность повысить. Когда количество ошибок LLM будет соизмеримо с количеством ошибок бухгалтера Марьи Ивановны, Марья Ивановна перестанет быть нужной.
Тоже самое с программированием. По текстовому описанию LLM (на моем опыте) генерирует работающий код (не всегда, но часто) или хорошую рыбу. Более того, я ставил эксперимент (один из) в котором поставил задачу распарсить сложный json в тысячи строк с непредсказуемой структурой, ни один "штатный" метод не брал (разбираться в нем глазами и руками - задача м.б. на несколько дней или как повезет), генерировал скрипт, запускал, передавал в LLM ошибки, генерировал заново, после 3-4 итерации json "распарсился", все заняло минут 15. У опенАИ код запускается и ошибки анализируются автоматически, т. е. описанная мной работа "оператора LLM" уже автоматизирована (у меня к их апи нет доступа по известным причинам
Для промышленного использования ИИ не нужно, чтобы LLM работала идеально или тем более был достигнут уровень AGI
Создатели. Для создания Трансформеров (т. е. LLM) оказалось достаточно линейной алгебры. Т. е. в текущих моделях, которые с наим разговаривают из монитора (а так же рисуют, делают видео и т. п.) нет ничего за пределами начал линейной алгебры (сложения и умножения матриц) и подстановки векторов в простую (обычно сигмоид) нелинейную функцию.
Ну вообще то эти и выглядит, как натягивание совы на глобус. Занимался некий научный коллектив какими-то спектральными математическими моделями, тут вдруг все заговорили про ЧатГПТ (а значит гранты, актуальность, "тема" и прочее, что для научной публики важно). Они схватили свои "спектральные модели" и побежали их приделывать к изучению LLM.
В вашем примере еще и область очень специфическая - графы, посредством которых уже лет 50 (если не 70) пытаются построить онтологическую экспертную систему с интерпретируемыми "выводами", успехи так себе (слишком сложный подход, не получается выстроить онтологию).
Написали статью (почему нет). Кстати, это одно из проявления кризиса науки, но большая тема, не будем в нее углубляться.
Удачный ли это подход для исследования LLM?
Вряд ли. Статья от 2022 года, если был бы удачный, все бы с момента этой статьи копали в эту сторону и мы бы имели таблицы "спектральной выразительности" для разных LLM (сравнение моделей между собой - задача, имеющая большую практическую ценность).
Но такой метрики нет (никому не интересна), а есть скорее "гуманитарные метрики" ответов на всякие тесты (типа замеров IQ у человека).
Вероятность этого события очень сильно ниже (как бы мы ни построили вероятностное пространство). Впрочем, если (когда) мы переедем в мир LLM (а Маск доделает свой имплант в мозк) она станет выше. Все очень ненадежно...
Брать кого? куда? какие гуманитарии?
для того, чтобы заменить юриста, бухгалтера и программиста эти высокие материи не особо нужны.
Так же как и для разработки LLM. Я в статьях слов про фильтры не встречал (может, конечно, по малограмотности). Например, фундаментальная и революционная статья "Внимание - все что вам нужно", с которой началась эра Трансформеров и LLM как-то обошлась только линейной алгеброй.
Если сможете указать, например, в статье, описывающий Дипсик (китайцы, в отличие от ОпенАИ коей чего рассказали про свою поделку), где там "фильтры с конечной импульсной характеристикой" и как знание об этих фильтрах помогли добиться такого качества работы нейронной сети, буду вам признателен и даже посмотрю с большим интересом, что это за "фильтры такие".
Пока выглядит, как натягивание совы на глобус. Человек образованный любую сову может на любой глобус натянуть без всякой пользы для народного хозяйства.
Откуда вы знаете? Может rsashka после моего сообщения законспектировал статью, распечатал комментарии и учит их наизусть
Вам придется смириться с тем, что 99,9% получаемого из монитора "контента" будет либо сгенерено LLM либо в "соавторстве" с LLM. Сейчас в основном тексты, а через пару лет видео и звук.
Этих технарей по пальцам перечесть (ну ладно, может несколько сотен или тысяч), сидят они в известных компаниях, которых точно можно по пальцам перечесть. А остальные миллионы "технарей" потихоньку оказываются не очень нужны тем же гуманитариям для создания продукта. Разве только АПИ ОпенАИ обслуживать. Но и тут клин - любой гуманитарий за час с помощью LLM сваяет скрипт и будет слать свои запросы в это АПИ. Этому гуманитарию уже никакие "датасаентисты" не нужны, чтобы делать свое NLP приложение. В этом суть проблемы "технарей". Естественно, сам процесс сужения рынка труда для программистов растянется на годы, но он уже запущен.
емко, кратко, всеохватывающее )))
Если посмотреть статьи по исследованию LLM (в которых исследователи пытаются выяснить, как они работают), то эти статьи скорее исследования гуманитариев, чем технарей или даже "датасайнтистов" и занимаются ими часто "гуманитарии" (психологи, социологи, специалисты по когнитивным наукам и т. п.). Даже те технари, которые еще 3-5 лет назад занимались дистиляцией, дообучением и т. п. моделей, перешли в разряд "гумаритариев", городя многоэтажные "промты" на естественном языке. Т. е. утверждение, что ИИ переезжает в руки "гуманитариев" не просто моя шутка, его можно доказать с математической (статистической точностью), если больше заняться нечем.
Тут вы затронули проблему, которая выходит за рамки LLM, появилась существенно раньше и начала осмысляться уже давно (во второй половине 20 века). Любой прибор, который работает в нашем быту - это "чудо из коробки" для любого обывателя (хоть с высшем образованием, хоть с тремя высшими образованиями, хоть совсем без образования). Попробуйте изложить принципиальную схему работы сматрфона или стиральной машины или микроволновки. Мои представления заканчиваются примерно на мясорубке и телевизоре с электронно-лучевой трубкой (и то только принципиальное устройство трубки). Т. е. современный человек, уже сейчас, без всякого ИИ, живет в мире "чудес из коробки", которым он ежесекундно не удивляется только по той причине, что давно привык. Отсюда, кстати, успехи всяких экстрасенсов, колдунов, эзотериков и, извиняюсь перед верующими, рост воцерковленных всех концессий. Магией больше, магией меньше, вопрос только в принятии или непринятии.
Знания настолько разрослись, что нет никакой возможности их всех даже охватить, не говоря о том, чтобы "узнать", понять и принять. Более того, знание становится знанием, только если соединяется с практикой (появляется обратная связь, говорящая познающему, правильно ли он понял). Но это проблема еще 20 века, его второй половины, когда научное знание начало расти в геометрической прогрессии и стало невозможно знать все даже в рамках одной науки (что было возможно еще в 19 веке и даже в начале 20). Возвращаясь к выше сказанному: в рамках своей профессиональной деятельности (какого-нибудь станка, который человек обслуживает, хорошо знает и т. п.) человек живет в "мире науки", а во стальном оказывается в мире магии "черных ящиков".
LLM добавляют еще одну проблему: технология базируется на очень простых вычислениях. Чтобы разобраться, как работает трансформер достаточно знаний 1го курса математики любого института или техникума (уметь делать арифметические операции над матрицами). Изменение весов (результатов обучения) на нескольких примерах легко отследить и проанализировать. Но знание этих принципов мало что дает для понимания, как работает вся система целиком. Когда параметров становятся миллиарды, десятки и сотни миллиардов, и обучаются они на триллионах предложений, количество переходит в новое качество (в соответствие с "гуманитарным" законом диалектики Гегеля) и такую систему непонятно как изучать с позиции "технического знания". Все веса всех матриц (это сотни миллиардов циферек) в любой момент мы можем "снять" и что с ними делать? Поэтому на сцену выходят гуманитарии, которые всю жизнь изучают сложные системы, изначально являющиеся "черным ящиком" (психолог, изучая человека, не вскрывает ему череп, отсюда у психолога есть инструментарий для анализа работы LLM безотносительно того, какие циферки в каких "ячейках" находятся).
Как жить в этом мире (в котором мы, как ни странно, уже около 100 лет живем), до конца непонятно. И не закончится ли это так же как закончили древние египтяне, увядавшие не одно столетие, большой вопрос. Тут возможны и трансгуманизм (человек расширит свои возможности, став "киборгом") и замена человечества на порожденную им же новую разумную сущность и стагнация на столетия и что угодно. Вопрос не праздный.
Если вы мне аргументировано покажете, где я ошибаюсь (в понимании философии Канта или вашей логики), буду вам благодарен.
Кант не показывал, почему возможно сознание, а анализировал имеющееся человеческое (что характерно, другого нет) и в нем обнаружил пространство и время, как априорные формы чувственности. М.б. где-то есть сознание, в котором какие-то другие, но нам это не известно (и Кант про это ничего не говорит).
Дальше Кант говорит (в свободном пересказе), что наше сознание из чувственного опыта конструирует все остальное (при этом структурируя чувственный опыт на базе априорных форм). Т. е. мы оперируем только конструкцией нашего разума, инициированного объектом за пределами нашего разума (той самой вещью в себе, само существование которой вообще-то под вопросом).
Применительно к вашим рассуждениям: Возьмем "нейронную сеть"
Нейронная сеть - это вещь в себе. Наше разум через экран монитора получает чувственный опыт взаимодействия с ней (а также во время программирования матриц с весами, нелинейных функций и т. п.), этот опыт нашим сознанием сразу структурируется, как временной и пространственный (сознание по другому не может).
Сознание, конструируя нейронную сеть в себе самом, по необходимости (неизбежно) обнаруживает в ней многомерные пространства и время (в т. ч. так как вы его описали).
Присуще ли пространство и время (хоть как вы его описали, хоть как-то по другому) Нейронной сети? - да Бог его знает, это же вещь в себе. Мы про это ничего знать не можем, и не знаем. Но! наше сознание (в вашем исполнении, да и не только в вашем), сконструировав внутри себя представление о нейронной сети на базе опыта взаимодействия с ней, неизбежно эти свойства ей приписало. Так же как наше сознание после опыта взаимодействия с корытом расположило его в пространстве, а цифровой замок наделило свойствами времени (в виде цифр на колесиках).
Вы подходите к вопросу так, как будто есть некая "модель мышления Канта", есть некий объект - "нейронная сеть", который вы видите "как он есть" (взглядом Бога), вы берете "модель мышления Канта" и натягиваете на этот "объект". И говорите: "посмотрите - как хорошо получилось". При этом сами вы как будто бы третий (сторонний) разум, который может освободиться от "ограничений человеческого разума" и заглянуть в "вещь в себе" "как она есть". По Канту это доступно только Богу.
Но вы не Бог, вы тот самый ограниченный разум, который по необходимости (неизбежно) ничего другого не мог увидеть в собственной конструкции, кроме того, что вы увидели (объекты нейронной сети в пространстве и времени, которые вы (ваш разум) же ей и приписали).
Т. е. вы смотрите на “модель Канта” как бы со стороны (как мы смотрим на модель в физике), а это ошибка. У нас нет возможности “выйти” из модели Канта.
Поэтому:
правильный ответ: никак (технические системы - вещь в себе). А как только мы начинаем о них думать - мы их пересобираем нашим разумом, в процессе чего наделяем “аналогами пространства и времени”
И далее: “возьмем нейросеть” берем и начинаем наделять ее всем тем, что вы ей приписали.
Да, наш разум ее так конструирует и описывает. Но он ее и без ссылок на философию и Канта успешно описывал (теми же токенами и многомерными пространствами, в миллионах статьях).
это ваше сознание приписывает ей “ее субъективное время”.
нет никакого “Кантоновского времени” (повторю - ваша ошибка смотреть на “кантианскую модель сознания” со стороны). Есть время нашего человеческого сознания, которое вы обнаружили в “нейронной сети” (повторю, не могли не обнаружить, с необходимостью, неизбежно обнаружили)
мы про это ничего не можем сказать (как функционирует и может ли функционировать система). ибо система - “вещь в себе”, а мы имеем дело только с ее конструкцией в нашем сознании, которая неизбежно имеет свойства пространства и времени.
Математическая структура и есть порождение нашего сознания (по Канту во всяком случае). Т. е. не только “зависит от нашего сознания” а порождена нашим сознанием (не в том смысле, что программист запрограммировал, хотя в этом тоже), а в том, что получив опыт взаимодействия с нейронной сетью наше сознание неизбежно сконструировало ее с “векторными пространствами” как и механизм внимания - другой математический объект а значит (по Канту) от начала и до конца порожден сознанием. И т. д.
Повторю ваша ошибка в том, что изначально вы рассматриваете “систему Канта” в одном ряду, например, с тремя законами Ньютона или уравнениями теории относительности Эйнштейна. Это проблема технарей, как правило, у них нет в мозгу “мышцы”, чтобы понимать гуманитарные вопросы (и, видимо, философские, тоже).
“Систему Канта” нельзя рассматривать “отдельно от себя”. Это трудно объяснить и понять. Из нее нельзя “выйти”. Я, к сожалению, не великий педагог и не могу до вас это донести. Из лекций по философии, коих я много прослушал, это тоже очень сложно извлечь. При этом для студентов философов это “само собой разумеющееся”.
Так же как что мышление тождественно бытию у Парменида и у Платона а не отдельная “модель бытия”, на которую некий субъект Парменид или Платон взирает умственным взором, как это представляется студентам технических ВУЗов 20 или 21 века.
Я бы не апеллировал к "полноценному AGI" хотя бы по той причине, что очень сложно определить, что это такое. Тьюринг - не последний ум в истории человечества вроде бы придумал, при этом очень хорошее, инструментальное определение в виде "теста Тьюринга", технология тест прошла, а вы ей в полноценности отказываете. Вообще философия всю историю цивилизации пытается на этот вопрос ответить, даже направление специальное придумали - гносеология, но проблему так и разрешила. Философские проблемы, как нам всем на первом курсе рассказывали не разрешимы. Кстати, по поводу того, что такое Агент, которых нынче во все стороны склоняют все кому не лень, в 50-70 ые годы прошлого века много толстых книжек написали, тоже далеко не тривиальное понятие. А нынче любого студента спроси и он конечно уверен, что суть "агентства" понимает: "Агент, ну как же!, трех уже сделал и продал, только деньги заказчик зажал..."
Но спустимся от высоких материй к более приземленным вопросам (и технологиям). Если прямо сейчас совершенствование LLM прекратится (что очень маловероятно), то те технологии, которые есть, будут по всякому апгрейдить, вставлять в них костыли и т. п. Сейчас этим никто серьезно не занимается, потому что ты вложишься в какую-нибудь систему костылей, например, для еще лучшего кодинга, а завтра выйдет новая версия ГПТ и там все твои труды будут по умолчанию. Публика ждёт-с... и пытается осмыслить, что это такое. То есть реальное использование этой технологии еще по сути не началось, но уже, например, код они пишут "из коробки" и я и многие мои коллеги за кодом к ним ходят. А это значить, что если пару лет назад могли бы нанять джуна (или даже мидла), сегодня не наймут, а справятся имеющимися силами. Если она сможет прочитать документ и предложить проводку для 1С (а она это уже может, надо только АПИ прикруить и понять, сколько будет "глючных проводок"), то в бухгалтере Галине Сергеевне, не будет надобности, LLM может и исковое составить, только надо ей подсунуть правильные нормы права (и вот уже помощник юриста Катенька на улице) и т. д.
А куча молодых и дерзких и не очень молодых и не очень дерзких прямо сейчас занимаются тем, что пытаются сделать такие приложения (тех самых Агентов). Т. е. не надо AGI, надо, чтобы технология могла делать то, что делают люди. Она это может, осталось только "довести до ума".
А дальше включатся механизмы "рынка труда". И если допустим, вы работаете на должности, которая (пока) защищена, например, мастерите какую-нибудь "звезду смерти" (программный проект настолько большой, что не в один контекст не влезет с кучей интеграций и т. п.) или наоборот, таскаете компьютеры в офисе и втыкаете в них всякие провода. Вашей проблемой будет не LLM, а те люди из соседних офисов, которых она оставила без работы и которые умеют примерно тоже самое, что и вы.
Среди них может оказаться кто-то от более талантливый и (или) более опытный или более дешевый (согласный от безысходности на половину вашей зарплаты) или и то и другое сразу. И будьте уверены, ваш работодатель со слезами на глазах, глотая горький комок, вас заменит (ну или снизит зарплату до 1/3 от текущей).
Извиняюсь за большой комментарий
Статья шуточная (правда не все шутки понимают), все сложности в нее упихать и невозможно и глупо, а если писать аккуратно и по пунктам, тут не статья, тут книга будет. Грустная книга (впрочем что-то такое уже написал американец по фамилии Форд (однофамилиц того самого) про угрозу роботизации, году в 2014 (во всяком случае в РФ была издана), там все хорошо изложено).
Почему LLM мусор?
Вот например, вы не знали, что ваша профессиональная деятельность с высокой вероятностью будет автоматизирована в ближайшие несколько лет (судя по вальяжному скепсису в отношение LLM) теперь знаете (даже если не сознаетесь, камешек упал на нужную чашу весов). Т. е. для вас эта статья уже не бесполезна (предупрежден, значит вооружен).
Во вторых, вы удивитесь (судя по наивности ваших сообщений), но существенная доля статей на Хабре (боюсь под 100%) уже давно генерятся с помощью LLM (а потом правятся, а может и нет, т. к. ЛЛМ пишет лучше среднего человека). И не только на Хабре. Вот вам второе открытие о том, в каком мире вы уже живете.
Для вас это мега полезная статья, расширяющая представления о мире. В отличие от старых ламповых статеек, с описанием опыта использования очередного фреймворка. Об этом, кстати, можно спросить у LLM (если есть впн-доступ за "цифровой занавес"), хабр для этого уже не нужен.
Я один раз попросил рассказать про блокчейн - LLM мне выдала отчет на 30 страницах со ссылками на источники "от и до", какие тут статьи Хабра, зачем?
Статья провокационная и судя по негативным оценкам попавшая в точку. Технари возмущены
Ну что же...
Их время уходит (а я ведь тоже "технарь").
А вам хочется общаться с человеком... "Человеку нужен человек..." (из к/ф "Солярис" Тарковского по одноименному произведению Ст. Лема). Удивительно, но есть много людей, которые с удовольствием общаются с LLM, ходят к ним даже за психологической поддержкой (лично таких знаю). Может быть им было бы комфортнее, чтобы весь текст был написан Gemini 2.5 (и на вопросы чтобы он тоже отвечал). Есть даже вероятность, что вы, требующий человеческих текстов и человека для общения, скоро окажитесь в меньшинстве. Читали бессмертное: "Мечтают ли андроиды об электроовцах" Филиппа К. Дика? Мы уже там. Я по доброте душевной (и природной честности), сообщил, что в написании текста участвовала Gemini 2.5 (опять же модно и современно). А мог бы и не сообщить. И вы, как человек наивный (только наивный человек будет возмущаться в 2025 году, что текст, который он читает написан LLM), были бы уверены, что все прочитанное, набрано теплыми человеческими пальцами, стучащими по пластиковой клавиатуре...
Языку С++, который вы используете, уже лет этак 35 (когда я был студентом, в далеком 1995 году, это был чуть ли не последний писк программистской моды). А "технологии LLM" только 3 года. И вот вы пытаетесь доказать, что она пишет код хуже вас. Сами ваши слова и есть доказательство вашего (нашего, человеческого) поражения, вас (нас) уже заменили, хотя вы (в отличие от меня) этого и не поняли. Не переживайте, 2-5-10 лет (скорее 2, чем 10) и "применить все правки" не понадобится (без правок все будет работать). Если вы не собираетесь помирать в ближайшие несколько лет, то новый чудный мир "скатерти кодо писалки лучше вас" скушает вас, если вы не вытяните тот самый счастливый билет, про который я написал в конце текста (эту фразу набрал лично я, теплый человек из плоти и крови).
Не переживайте, "формулировку промтов" у человека тоже отберут (ОпенАИ уже сделала соответствующую приблуду). Не говоря о том, что каждой следующей модели (а они появляются каждые несколько месяцев) детализация задачи нужна все меньше. Человеку надо будет только что-то промычать, чтобы выразить свое желание (интент по научному). Впрочем Илон наш Маск (и не только он) с увлечением мастерит некий аналог Миелофона (почти как у Алисы Селезневой), чтобы и мычать не надо было. А любой козел (персонаж из того же х/ф, чьи мысли этот прибор успешно читал) мог создать свое приложение на С++ Правда успехи по разработке миелофона широкой публике пока не представлены.
с кем вы пытаетесь полемизировать с Гемени 2.5 ?
выражайтесь яснее, "кто на ком стоял"
этот постулат надо доказывать со всей философской основательностью. Мало доказать, что "техническая система" включает в себя "аналоги пространства и времени", надо доказывать, что эти "аналоги" аналогичны "пространству и времени" человеческого разума (как это Кант понимал). В противном случае, вы придумали свои какие-то "доопытные формы", свое "пространство" и "время", имеете полное право, но причем тут Кант?
Если какой-то сущности (будь то компьютер или кодовый замок) присущи самой по себе (непосредственно ей, оставленной наедине с собой, без нашего, т. е. человеческого, присмотра) те же свойства, что и у человеческого разума (согласно Канту), то эта сущность похожа на человеческий разум (как он Канту представлялся). И если вы такую сущность нашли, то честь вам и хвала от всего человечества. Ибо вы нашли сущность, чем-то похожую на человеческий разум (в понимании Канта). Может быть тот самый ИИ
Если же пространство, время, доопытные формы приписывает драйверам и прочим элементам компьютера, наш разум, то он и корыту приписывает свойства пространства (а если вдруг замерит его длину, то и времени), в этом нет никакой новизны. "Проектирование корыта включает в себя создание аналогов пространства и времени" (а разве не включает? включает с необходимостью! ибо корыто проектируется человеческим разумом). Нужны доопытные формы - пожалуйста: лист бумаги и заточенный карандаш, мы еще ничего не спроектировали, а уже кучу ограничений (форма ограничивает) получили (лист мал, карандаш туп: ограничения? ограничения!). И чего? Займемся осмыслением корыта?
Ну приписали мы нашим человеческим умом в вашем исполнении драйверам "эквиваленты априорных форм" и что от этого изменилось в мире? Таких конструкций можно лепить с утра до вечера, (а в известных палатах воспаленные и малость поврежденные умы их городят с удивительным мастерством). Вон как вы лихо про открытие/закрытие кодового замка завернули: «Какая априорная структура делает это управление возможным?» Был бы досуг.
априорных форм чего?
знаки, смыслы и архитектура опыта - порождение человеческого сознания, за пределами этого сознания, если чего и есть (старина Беркли показал, что может и нет ничего), то только следы на металле.
вернемся к критике вашего произведения
тут вы натягиваете понятия Канта на совершенно не относящиеся к его исследованиям объекты:
А тут путаете какие-то ваши фантазии и кантианские понятия:
Понятия Канта (априорные формы, логические категории, априорное, апостериорное, антиномии и чего там еще) относятся только (исключительно) к человеческому мышлению. Все, точка (жирная и окончательная).
Можно попытаться их применить и к дереву и к компьютеру и к стакану и к заводу. Слова слагаются в связные предложения, никаких нарушений формальной логики (так LLM умеют сочинять с большим изяществом). Собственно вы это и сделали. Но при чем тут Кант?
Если бы вы написали свое личное откровение, что у компьютера есть какая-то модель познания (не надо слово "кантовского") и дальше чего угодно (мало ли у нас философов с дипломами и без?) слова бы вам никто плохого не сказал (я бы точно не сказал). Но вы же на Канта замахнулись (зачем?) Теребите старика, почем зря, а он лежит себе, никого не трогает.
Про применение кантовских терминов, неважно, верное или нет к неподобающему объекту, емко сформулировал другой участник своим комментарием:
совершенно верное замечание.