Comments 35
Только общие восторженные фразы без какой либо конкретики, да еще и написанные не на основе реального опыта, а под диктовку Gemini Pro 2.5 :-)
промпт-инжиниринг — искусство составления таких запросов, которые заставляют нейросеть работать максимально точно и эффективно ...
С таким же успехом можно сказать про SEO-инжиниринг. Это тоже про анализ запросов и из этой технологии выросли поисковые ИТ гиганты. Но во что это превратилось сейчас?
с кем вы пытаетесь полемизировать с Гемени 2.5 ?
выражайтесь яснее, "кто на ком стоял"
Пожалуйста, вы уж сами определитесь, кто пишет и отвечает за статью, вы сами или же Gemini Pro 2.5 :-)
Эта тема мне тоже интересна и я даже попробовал использовать вайб-кодинг в реальных проектах на С++. Однако результаты оказался не настолько радужные, как об этом пишут маркетологи (или LLM вместо них).
И хоть положительный эфект от применения вайб-кодинга есть, но это точно не "замена технарей на гуманитариев", так как все также требуется разбираться в используемых технологиях, так как "применить все правки" будет работать далеко не во всех случаях.
Не говоря уже про то, что формулировки промптов очень сильно зависят от используемой LLM модели, точно так же как SEO оптимизация подстраивалась под конкретную систему интернет-поиска.
Всегда сдаетесь после одной попытки?
Сваливать весь успех того, или иного предприятия на мифических маркетологов - так по-человечески. Я только напомню, что пузырь доткомов, надутый неадекватным маркетингом в том числе, желанием срубить сотни миллиардов там, где едва проросли десятки, лопнул с оглушительным треском, вызвав затмение экономики и массовое выпрыгивание биржевых брокеров в окна Уолл-Стрит. Однако технология, которая лежала в его основе, никуда не делась и полностью изменила облик цивилизации за последующие пару десятилетий. Да даже за одно, чего уж там. Интернет везде, буквально. Мы даже сейчас в нем, тс-с-с... К чему это я? А, точно: маркетингу - маркетингово, но ставка на технологии выигрывает всегда. Со временем. Главное спешить не торопясь.
Посвящаю комментарий выше всем тем, кто до сих пор ищет философский камень: никогда не сдавайтесь!, а так же тем кто вкладывается в технологии уровня термояда, и квантовника, продолжая инвестировать в них средства на протяжении 50 лет. Вы можете быть уже в могиле, но однажды ваши вложения окупятся, спешим не торопясь !
Пожалуйста, вы уж сами определитесь, кто пишет и отвечает за статью, вы сами или же Gemini Pro 2.5 :-)
А вам хочется общаться с человеком... "Человеку нужен человек..." (из к/ф "Солярис" Тарковского по одноименному произведению Ст. Лема). Удивительно, но есть много людей, которые с удовольствием общаются с LLM, ходят к ним даже за психологической поддержкой (лично таких знаю). Может быть им было бы комфортнее, чтобы весь текст был написан Gemini 2.5 (и на вопросы чтобы он тоже отвечал). Есть даже вероятность, что вы, требующий человеческих текстов и человека для общения, скоро окажитесь в меньшинстве. Читали бессмертное: "Мечтают ли андроиды об электроовцах" Филиппа К. Дика? Мы уже там. Я по доброте душевной (и природной честности), сообщил, что в написании текста участвовала Gemini 2.5 (опять же модно и современно). А мог бы и не сообщить. И вы, как человек наивный (только наивный человек будет возмущаться в 2025 году, что текст, который он читает написан LLM), были бы уверены, что все прочитанное, набрано теплыми человеческими пальцами, стучащими по пластиковой клавиатуре...
И хоть положительный эфект от применения вайб-кодинга есть, но это точно не "замена технарей на гуманитариев", так как все также требуется разбираться в используемых технологиях, так как "применить все правки" будет работать далеко не во всех случаях.
Языку С++, который вы используете, уже лет этак 35 (когда я был студентом, в далеком 1995 году, это был чуть ли не последний писк программистской моды). А "технологии LLM" только 3 года. И вот вы пытаетесь доказать, что она пишет код хуже вас. Сами ваши слова и есть доказательство вашего (нашего, человеческого) поражения, вас (нас) уже заменили, хотя вы (в отличие от меня) этого и не поняли. Не переживайте, 2-5-10 лет (скорее 2, чем 10) и "применить все правки" не понадобится (без правок все будет работать). Если вы не собираетесь помирать в ближайшие несколько лет, то новый чудный мир "скатерти кодо писалки лучше вас" скушает вас, если вы не вытяните тот самый счастливый билет, про который я написал в конце текста (эту фразу набрал лично я, теплый человек из плоти и крови).
Не говоря уже про то, что формулировки промптов очень сильно зависят от используемой LLM модели,
Не переживайте, "формулировку промтов" у человека тоже отберут (ОпенАИ уже сделала соответствующую приблуду). Не говоря о том, что каждой следующей модели (а они появляются каждые несколько месяцев) детализация задачи нужна все меньше. Человеку надо будет только что-то промычать, чтобы выразить свое желание (интент по научному). Впрочем Илон наш Маск (и не только он) с увлечением мастерит некий аналог Миелофона (почти как у Алисы Селезневой), чтобы и мычать не надо было. А любой козел (персонаж из того же х/ф, чьи мысли этот прибор успешно читал) мог создать свое приложение на С++ Правда успехи по разработке миелофона широкой публике пока не представлены.
Если вам комфортнее общаться с Gemini Pro, то зачем вы генерируете LLM мусор, в виде ненужных даже вам статей на Хабре?
Почему LLM мусор?
Вот например, вы не знали, что ваша профессиональная деятельность с высокой вероятностью будет автоматизирована в ближайшие несколько лет (судя по вальяжному скепсису в отношение LLM) теперь знаете (даже если не сознаетесь, камешек упал на нужную чашу весов). Т. е. для вас эта статья уже не бесполезна (предупрежден, значит вооружен).
Во вторых, вы удивитесь (судя по наивности ваших сообщений), но существенная доля статей на Хабре (боюсь под 100%) уже давно генерятся с помощью LLM (а потом правятся, а может и нет, т. к. ЛЛМ пишет лучше среднего человека). И не только на Хабре. Вот вам второе открытие о том, в каком мире вы уже живете.
Для вас это мега полезная статья, расширяющая представления о мире. В отличие от старых ламповых статеек, с описанием опыта использования очередного фреймворка. Об этом, кстати, можно спросить у LLM (если есть впн-доступ за "цифровой занавес"), хабр для этого уже не нужен.
Я один раз попросил рассказать про блокчейн - LLM мне выдала отчет на 30 страницах со ссылками на источники "от и до", какие тут статьи Хабра, зачем?
Статья провокационная и судя по негативным оценкам попавшая в точку. Технари возмущены
Ну что же...
Их время уходит (а я ведь тоже "технарь").
Чувак да LLM просто людям мозги промывают, вот и вся их польза
А теперь, после того как LLM выдала вам ответ, попросить ее проверить его на ошибки. Найти слабые стороны ответа. Написать ответ-критику.
И то, что до этого вы считали верным (опираясь на LLM), вам выдаст тонны обратных утверждений. Но если будете пытаться переубедить сетку, то она снова выдаст вам аргументы за.
процитирую себя из другого комментария к этому же тексту:
не надо AGI, надо, чтобы технология могла делать то, что делают люди. Она это может, осталось только "довести до ума".
А дальше включатся механизмы "рынка труда". И если допустим, вы работаете на должности, которая (пока) защищена, например, мастерите какую-нибудь "звезду смерти" (программный проект настолько большой, что не в один контекст не влезет с кучей интеграций и т. п.) или наоборот, таскаете компьютеры в офисе и втыкаете в них всякие провода. Вашей проблемой будет не LLM, а те люди из соседних офисов, которых она оставила без работы и которые умеют примерно тоже самое, что и вы.
т. е. не важно, насколько "неуверенная" или глючная LLM, важно с какой вероятностью она решает задачу. Например, генерирует бухгалтерские проводки на базе прочтения первичного документа. Есть методы (RAG и т. п.) чтобы эту вероятность повысить. Когда количество ошибок LLM будет соизмеримо с количеством ошибок бухгалтера Марьи Ивановны, Марья Ивановна перестанет быть нужной.
Тоже самое с программированием. По текстовому описанию LLM (на моем опыте) генерирует работающий код (не всегда, но часто) или хорошую рыбу. Более того, я ставил эксперимент (один из) в котором поставил задачу распарсить сложный json в тысячи строк с непредсказуемой структурой, ни один "штатный" метод не брал (разбираться в нем глазами и руками - задача м.б. на несколько дней или как повезет), генерировал скрипт, запускал, передавал в LLM ошибки, генерировал заново, после 3-4 итерации json "распарсился", все заняло минут 15. У опенАИ код запускается и ошибки анализируются автоматически, т. е. описанная мной работа "оператора LLM" уже автоматизирована (у меня к их апи нет доступа по известным причинам
Для промышленного использования ИИ не нужно, чтобы LLM работала идеально или тем более был достигнут уровень AGI
Так современные LLM не справляются с нормальными задачами. Приведу пример, мне вчера надо было сконвертировать в базе на Postgres в заглавный регистр все названия таблиц, полей, процедур и функций, операторы вставки/обновления/удаления и удаления. Я потратил час-два, пытаясь добиться от разных LLM этого. Ни одна даже близко не справилась, прям полное фиаско. Внутри функций и процедур вообще кошмар, в других местах элементарно не учитывает название схем и правильно кавычки. Все написанные ими парсеры тоже дали плачевный результат. При чем тот же OpenAI анализирует и проверяет и выдает код, но когда смотришь его - там бред.
Как итог, пришлось все делать самостоятельно и через час сделал. То есть на сетки потратил больше, чем мог бы сразу сам.
Другой пример, мне надо было перенести на реализацию кода набор теорем. Да, код сгенерировал и он вызывается и даже выдает, но в нем куча ошибок. И гоняя повторно по кругу, он все уходи в разнос. Такие прогоны одной функции могут занять больше получаса, когда самостоятельно можно написать быстрее. И то, каждый "удачный" прогон, где он пишет что ошибок нет, надо проверять лично. Так как там в 99% есть ошибки. И это отнимает и силы и время.
О какой замене на LLM может идти речь? Возможно json он распарсит, это простая задача даже для тех кто слабо знаком с разработкой, так как встречается часто и есть множество удобных инструментов для этого, которые позволяют мне сделать это в несколько строк на разных языках разработки.
И вы предлагаете дать сетке генерировать бух проводки? Он вам такое наделает. Я когда составлял таблицу для сравнения добавляя в нее значения в запросах, он легко мог начать их путать уже на 15 строчках, выкидывая детали. И оказывается что Excel гораздо более удобный и надежный.
О какой замене на LLM может идти речь? Возможно json он распарсит, это простая задача даже для тех кто слабо знаком с разработкой, так как встречается часто и есть множество удобных инструментов для этого, которые позволяют мне сделать это в несколько строк на разных языках разработки.
может быть и простая. LLM там написала регулярные выражения, потому что, естественно это был не структурированный json, а json-подобная каша. Если повозиться с ней, выяснить, где какие паттерны, самому написать регулярку, чтобы на них разбить, то она, конечно, "человекорешаема". Но это трудоемкая задача, человеку надо за нее заплатить деньги. LLM это сделала за 15 минут бесплатно, "уволив" того человека (или забрав его "человекочасы"), умножаем это на сотни тысяч таких задач и получаем тысячи и десятки тысяч высвободившихся программистов, которые от безысходности начнут учить то, чему обучены вы (перечитайте мой предыдущий комментарий).
Я подсовывал тесты по бухгалтерскому учету в LLM из программы колледжа, она отвечала на них достаточно хорошо (в колледже бы зачли). Отвечала из коробки. Т. е. есть потенциал для того, чтобы работать как выпускник колледжа (что будут делать живые выпускники? перечитайте мой предыдущий комментарий).
Но и это не все. Касательно вашего примера. Технологии Postgresql 31 год (на самом деле больше). А технологии LLM 3 года. И развивается она быстрее, чем средняя IT технология (на этот счет есть исследования). Что будет через 3 года? А через 5 лет? Уже на таких горизонтах невозможно предсказать. Не говоря уже о 10 или 20 годах. Если вы собираетесь закончить карьеру разработчика в этом году или в течение ближайших года-двух, скорее всего вам можно не беспокоиться. Если у вас впереди 5, 10, 20 лет до пенсии, то я бы не был так уверен в этой профессии.
LLM это сделала за 15 минут бесплатно.
0.25 * стоимость аренды той же H100, а с учётом размера, скорее узла из H100.
А технологии LLM 3 года.
Не 3, отсчёт нужно начинать с gpt-1.
Что будет через 3 года? А через 5 лет? Уже на таких горизонтах невозможно предсказать.
0.25 * стоимость аренды той же H100, а с учётом размера, скорее узла из H100.
гугл предоставляет гемини 2.5 про с выходом в Интернет бесплатно (ограничение по количеству токенов). По мере развития технологии, ее стоимость снижается, пока это правила ни одна технология не нарушила. И в любом случае, как ни считай, уже сейчас человек дороже, чем LLM. Ну и в принципе, грустная перспектива соревноваться в стоимости с машиной. Грустно и бесперспективно
Не 3, отсчёт нужно начинать с gpt-1.
Отсчет можно начать с Трансформеров, это была переломная точка, без них никаких LLM бы не было это 2018 год. Но тут есть Нюансы: LLM, какие мы их знаем, это не просто архитектура сети, это архитектура + подходы к обучению. До ChatGPT (или GPT-3.5) архитектура уже была (GPT-3 - уже 176 млрд. параметров, как и GPT-3.5), при этом на горизонте замаячило разочарование, очередная "зима ИИ". И только прорыв ЧатГПТ, когда удалось добиться от генеративных моделей того, что мы сейчас понимаем под LLM. В 2022 году произошел переход от количества (модели, данные и т. п.) в качество: компьютер "заговорил" Начал понимать язык, Курцвел, кстати, обещал это к 2020 году (прогноз от 2014), не сильно ошибся. Если же зайти с вашей стороны, тогда надо и в построение БД отталкиваться от конца 60х, начала 70х 20 века.
гугл предоставляет гемини 2.5 про с выходом в Интернет бесплатно
Для них это TPU часы, но то что дешевле труда человека во многих задачах - это конечно, но не во всех.
А технологии LLM 3 года.
Отсчет можно начать с Трансформеров, это была переломная точка, без них никаких LLM бы не было это 2018 год.
Так с 2017 или 2022 начинать отсчёт?)
Для них это TPU часы, но то что дешевле труда человека во многих задачах - это конечно, но не во всех.
при этом человеческий труд дорожает (возможно текущие технологии сломят этот многовековой тренд), а технологии всегда (не было обратного примера) дешевеют
Так с 2017 или 2022 начинать отсчёт?)
хоть с того, хоть с того, 5 лет - это мгновение в истории. Но если мы берем "самое начало", то 2017, но тогда надо брать историю postgresql с 1965, когда появились зачатки SQL (и современным БД получается 60 лет супротив 5 лет истории LLM).
Чел ляпнул "технологии llm", так что можно отсчитывать не от Gpt-1, а именно от первых llm
Во вторых, вы удивитесь (судя по наивности ваших сообщений), но существенная доля статей на Хабре (боюсь под 100%) уже давно генерятся с помощью LLM
Поэтому практически все они мусорные.
Для вас это мега полезная статья, расширяющая представления о мире.
Не сработал гипноз...
Написано в соавторстве с Gemini Pro 2.5
То есть ваша статья тоже мусорная. У тех статеек давних хотя бы был свой уникальный стиль автора, тут же безвкусица LLM.
Ну и вообще, сама тема, что "гуманитарии наносят ответный удар" - бредовая. Практически весь ML современный в контексте инноваций, все равно держат так называемые "технари".
Не сработал гипноз...
Откуда вы знаете? Может rsashka после моего сообщения законспектировал статью, распечатал комментарии и учит их наизусть
То есть ваша статья тоже мусорная. У тех статеек давних хотя бы был свой уникальный стиль автора, тут же безвкусица LLM.
Вам придется смириться с тем, что 99,9% получаемого из монитора "контента" будет либо сгенерено LLM либо в "соавторстве" с LLM. Сейчас в основном тексты, а через пару лет видео и звук.
Ну и вообще, сама тема, что "гуманитарии наносят ответный удар" - бредовая. Практически весь ML современный в контексте инноваций, все равно держат так называемые "технари".
Этих технарей по пальцам перечесть (ну ладно, может несколько сотен или тысяч), сидят они в известных компаниях, которых точно можно по пальцам перечесть. А остальные миллионы "технарей" потихоньку оказываются не очень нужны тем же гуманитариям для создания продукта. Разве только АПИ ОпенАИ обслуживать. Но и тут клин - любой гуманитарий за час с помощью LLM сваяет скрипт и будет слать свои запросы в это АПИ. Этому гуманитарию уже никакие "датасаентисты" не нужны, чтобы делать свое NLP приложение. В этом суть проблемы "технарей". Естественно, сам процесс сужения рынка труда для программистов растянется на годы, но он уже запущен.
Откуда вы знаете? Может rsashka после моего сообщения законспектировал статью, распечатал комментарии и учит их наизусть
Может и я встречу динозавра на улице.
Разве только АПИ ОпенАИ обслуживать. Но и тут клин - любой гуманитарий за час с помощью LLM сваяет скрипт и будет слать свои запросы в это АПИ. Этому гуманитарию уже никакие "датасаентисты" не нужны, чтобы делать свое NLP приложение.
Но что-то гуманитарии предпочитают брать с опытом, а опыт у кого?
Может и я встречу динозавра на улице.
Вероятность этого события очень сильно ниже (как бы мы ни построили вероятностное пространство). Впрочем, если (когда) мы переедем в мир LLM (а Маск доделает свой имплант в мозк) она станет выше. Все очень ненадежно...
Но что-то гуманитарии предпочитают брать с опытом, а опыт у кого?
Брать кого? куда? какие гуманитарии?
Круг пока не замкнулся. И не замкнется, по крайней мере до создания полноценного AGI. А позволит ли современная методология (LLM и иже с ними) совершить этот прорыв — большой вопрос.
Я бы не апеллировал к "полноценному AGI" хотя бы по той причине, что очень сложно определить, что это такое. Тьюринг - не последний ум в истории человечества вроде бы придумал, при этом очень хорошее, инструментальное определение в виде "теста Тьюринга", технология тест прошла, а вы ей в полноценности отказываете. Вообще философия всю историю цивилизации пытается на этот вопрос ответить, даже направление специальное придумали - гносеология, но проблему так и разрешила. Философские проблемы, как нам всем на первом курсе рассказывали не разрешимы. Кстати, по поводу того, что такое Агент, которых нынче во все стороны склоняют все кому не лень, в 50-70 ые годы прошлого века много толстых книжек написали, тоже далеко не тривиальное понятие. А нынче любого студента спроси и он конечно уверен, что суть "агентства" понимает: "Агент, ну как же!, трех уже сделал и продал, только деньги заказчик зажал..."
Но спустимся от высоких материй к более приземленным вопросам (и технологиям). Если прямо сейчас совершенствование LLM прекратится (что очень маловероятно), то те технологии, которые есть, будут по всякому апгрейдить, вставлять в них костыли и т. п. Сейчас этим никто серьезно не занимается, потому что ты вложишься в какую-нибудь систему костылей, например, для еще лучшего кодинга, а завтра выйдет новая версия ГПТ и там все твои труды будут по умолчанию. Публика ждёт-с... и пытается осмыслить, что это такое. То есть реальное использование этой технологии еще по сути не началось, но уже, например, код они пишут "из коробки" и я и многие мои коллеги за кодом к ним ходят. А это значить, что если пару лет назад могли бы нанять джуна (или даже мидла), сегодня не наймут, а справятся имеющимися силами. Если она сможет прочитать документ и предложить проводку для 1С (а она это уже может, надо только АПИ прикруить и понять, сколько будет "глючных проводок"), то в бухгалтере Галине Сергеевне, не будет надобности, LLM может и исковое составить, только надо ей подсунуть правильные нормы права (и вот уже помощник юриста Катенька на улице) и т. д.
А куча молодых и дерзких и не очень молодых и не очень дерзких прямо сейчас занимаются тем, что пытаются сделать такие приложения (тех самых Агентов). Т. е. не надо AGI, надо, чтобы технология могла делать то, что делают люди. Она это может, осталось только "довести до ума".
А дальше включатся механизмы "рынка труда". И если допустим, вы работаете на должности, которая (пока) защищена, например, мастерите какую-нибудь "звезду смерти" (программный проект настолько большой, что не в один контекст не влезет с кучей интеграций и т. п.) или наоборот, таскаете компьютеры в офисе и втыкаете в них всякие провода. Вашей проблемой будет не LLM, а те люди из соседних офисов, которых она оставила без работы и которые умеют примерно тоже самое, что и вы.
Среди них может оказаться кто-то от более талантливый и (или) более опытный или более дешевый (согласный от безысходности на половину вашей зарплаты) или и то и другое сразу. И будьте уверены, ваш работодатель со слезами на глазах, глотая горький комок, вас заменит (ну или снизит зарплату до 1/3 от текущей).
Извиняюсь за большой комментарий
Статья шуточная (правда не все шутки понимают), все сложности в нее упихать и невозможно и глупо, а если писать аккуратно и по пунктам, тут не статья, тут книга будет. Грустная книга (впрочем что-то такое уже написал американец по фамилии Форд (однофамилиц того самого) про угрозу роботизации, году в 2014 (во всяком случае в РФ была издана), там все хорошо изложено).
Ну это, как мне кажется, человеческие цивилизации уже много раз проходили. На примере Древнего Египта. Где-то читал, что на позднем этапе жрецы уже не понимали что за наследие им оставили в древних свитках, но учили как определённые ритуалы повторять некоторую последовательность действий. Итог всем известен. От этой древней цивилизации остался только след в истории, а эстафету прогресса приняли другие.
Человек должен понимать, что он делает, а не надеяться на чудо из коробки. Для этого нужны фундаментальные технические знания. Без этого не обойтись.
Если посмотреть статьи по исследованию LLM (в которых исследователи пытаются выяснить, как они работают), то эти статьи скорее исследования гуманитариев, чем технарей или даже "датасайнтистов" и занимаются ими часто "гуманитарии" (психологи, социологи, специалисты по когнитивным наукам и т. п.). Даже те технари, которые еще 3-5 лет назад занимались дистиляцией, дообучением и т. п. моделей, перешли в разряд "гумаритариев", городя многоэтажные "промты" на естественном языке. Т. е. утверждение, что ИИ переезжает в руки "гуманитариев" не просто моя шутка, его можно доказать с математической (статистической точностью), если больше заняться нечем.
Человек должен понимать, что он делает, а не надеяться на чудо из коробки.
Тут вы затронули проблему, которая выходит за рамки LLM, появилась существенно раньше и начала осмысляться уже давно (во второй половине 20 века). Любой прибор, который работает в нашем быту - это "чудо из коробки" для любого обывателя (хоть с высшем образованием, хоть с тремя высшими образованиями, хоть совсем без образования). Попробуйте изложить принципиальную схему работы сматрфона или стиральной машины или микроволновки. Мои представления заканчиваются примерно на мясорубке и телевизоре с электронно-лучевой трубкой (и то только принципиальное устройство трубки). Т. е. современный человек, уже сейчас, без всякого ИИ, живет в мире "чудес из коробки", которым он ежесекундно не удивляется только по той причине, что давно привык. Отсюда, кстати, успехи всяких экстрасенсов, колдунов, эзотериков и, извиняюсь перед верующими, рост воцерковленных всех концессий. Магией больше, магией меньше, вопрос только в принятии или непринятии.
Для этого нужны фундаментальные технические знания. Без этого не обойтись.
Знания настолько разрослись, что нет никакой возможности их всех даже охватить, не говоря о том, чтобы "узнать", понять и принять. Более того, знание становится знанием, только если соединяется с практикой (появляется обратная связь, говорящая познающему, правильно ли он понял). Но это проблема еще 20 века, его второй половины, когда научное знание начало расти в геометрической прогрессии и стало невозможно знать все даже в рамках одной науки (что было возможно еще в 19 веке и даже в начале 20). Возвращаясь к выше сказанному: в рамках своей профессиональной деятельности (какого-нибудь станка, который человек обслуживает, хорошо знает и т. п.) человек живет в "мире науки", а во стальном оказывается в мире магии "черных ящиков".
LLM добавляют еще одну проблему: технология базируется на очень простых вычислениях. Чтобы разобраться, как работает трансформер достаточно знаний 1го курса математики любого института или техникума (уметь делать арифметические операции над матрицами). Изменение весов (результатов обучения) на нескольких примерах легко отследить и проанализировать. Но знание этих принципов мало что дает для понимания, как работает вся система целиком. Когда параметров становятся миллиарды, десятки и сотни миллиардов, и обучаются они на триллионах предложений, количество переходит в новое качество (в соответствие с "гуманитарным" законом диалектики Гегеля) и такую систему непонятно как изучать с позиции "технического знания". Все веса всех матриц (это сотни миллиардов циферек) в любой момент мы можем "снять" и что с ними делать? Поэтому на сцену выходят гуманитарии, которые всю жизнь изучают сложные системы, изначально являющиеся "черным ящиком" (психолог, изучая человека, не вскрывает ему череп, отсюда у психолога есть инструментарий для анализа работы LLM безотносительно того, какие циферки в каких "ячейках" находятся).
Как жить в этом мире (в котором мы, как ни странно, уже около 100 лет живем), до конца непонятно. И не закончится ли это так же как закончили древние египтяне, увядавшие не одно столетие, большой вопрос. Тут возможны и трансгуманизм (человек расширит свои возможности, став "киборгом") и замена человечества на порожденную им же новую разумную сущность и стагнация на столетия и что угодно. Вопрос не праздный.
Уже базовый школный курс даёт некоторые основы, позволяющие выстраивать картину мира крупными блоками без магии. А потребность, связанная с профессиональной деятельностью и доступность информации позволяют любой из этих блоков детализировать настолько, насколько человек способен. Пример со смартфоном: устройство связи, предназначенное для работы в сотовых сетях, состоящее из интерфейса пользователя (сенсорный экран, микрофон, динамик, датчики ускорения и поворота), модема для приёмо-передачи сообщений, устройства хранения, центрального процессора, осуществляющего скоординированную работу всех частей по заданной программе - это позволяет как-то ориентироваться, выбирать модель, выполнять какие-то осмысленные действия с ней. Другой пример - автомобилист. Ему для вождения вовсе не обязательно знать устройство автомобиля во всех деталях, но крупными мазками он знает как оно устроено, зачем руль, педали, коробка передач, аккумулятор, двигатель внутреннего сгорания. Если надо - может сделать некоторый ремонт, например заменить колесо. Это не чёрный ящик для него и он вполне осознаёт, что едет не на синей магии уходящей в трубу, а за счёт сжигания бензина.
Большая LLM с сотнями миллиардов параметров работает точно также, как и малая на несколько сотен миллионов параметров, если у них аналогичная архитектура. Поэтому, изучение изменения весов, распределения внимания, применение методов понижения размерностей типа PCA или t-SNE, создание проекций с помощью UMAP, дают возможность из отдельных частей складывать представление о том, что происходит с данными, попадающими в модель, какую "форму" (топологию) они принимают (кластеров, циклов, мостов, связностей и т.д.) Это в перспективе может привести нас к новому уровню, на котором мы будем проектировать и работать с моделями не как чёрным ящиком, а полностью спроектированными нами до последнего винтика "думающими машинами", с такими параметрами и свойствами, которые требуются для выполнения конкретной задачи.
Чтобы не закончить как древние египтяне и другие наши предшественники, ни на каком этапе своих достижений мы не должны почивать на лаврах. Нужно всё время стремиться проникнуть в суть на ещё большую глубину. Для этого не нужно становиться киборгами. Нужно углублять технические знания человечества, сделав думающие машины внешним продолжением нашего мозга - множителем его возможностей проникновения в тайны материи.
Конкретно к теме вашей статьи. Нам нужны технические знания в том числе чтобы делать более совершенные модели ИИ, потому что текущий уровень - не вершина эволюции. И любой другой нами достигнутый не будет вершиной. А будет только приближением. И процесс этого приближения (к разуму человека, сверхразуму) может быть устремлён к бесконечности. Вряд-ли удастся достигнуть предела, когда можно будет сказать - лучше уже не может быть.
Ваш текст написан в духе просвященческого (18-19 век: Эпоха просвещения) оптимизма. Более поздняя философия его раскритиковала (к середине 20 века точно, начала в конце 19). "Оптимизм" уперся в потолок и частично обратился в свою противоположность, в пессимизм насчет светлого будущего науки.
Магия и наука имеют один и тот же корень: достижение власти над природой. С помощью заклинаний или с помощью формул (похожих на заклинания). Можно сказать, что Наука - это магия, вооруженная методом (тем самым “научным методом”).
В чем же тогда “магичность сознания”? Ответ: в отходе от научного метода. В чем суть научного метода? В экспериментальном характере. Т. е. научное знание базируется на эксперименте, если научная теория “истинная”, то сколько бы мы раз не поставили эксперимент, результат опыта будет ей соответствовать. Что такое “эксперимент” - это очень сложное явление, которая включает в себя в том числе “обратную связь” от испытуемого объекта. Это принципиально важно. Вообще любой процесс обучения в обязательном порядке подразумевает наличие обратной связи. Например, в математике, чтобы убедиться, что ученик понял теорему (овладел ей - опять отсылка к “власти”), надо ее применить для решения задачи (и проверить себя через ответ в учебнике, что задача решена верно, а значит теория усвоена правильно).
Ему для вождения вовсе не обязательно знать устройство автомобиля во всех деталях, но крупными мазками он знает как оно устроено, зачем руль, педали, коробка передач, аккумулятор, двигатель внутреннего сгорания. Если надо - может сделать некоторый ремонт, например заменить колесо.
У вас собрано в один абзац: “Знание как устроен” и “умение пользоваться”. В цирке медведь выезжает на автомобиле на арену, т. е. умеет пользоваться, но не имеет никакого представления о “коробке передач”. Человек много чем умеет пользоваться, понятия не имея, как оно устроено (хорошо, если 0,1% пользователей смартфонов хотя бы в общих чертах расскажут об его устройстве). Но проблема глубже. Вот это вот “знаю как устроено в общих чертах”, это не “знание” (власть над объектом знания), это вера в то, что прочитанное в “инструкции к автомобилю” или в Википедии, в статье про устройство смартфона, человеку изложили что-то, имеющее отношение к действительному устройству этих приборов.
Но и это не все, кроме “правильного изложения” должно быть “правильное понимание”, т. е. получение той самой ожидаемой обратной связи от объекта исследования. Если обратной связи нет, то нет никакой уверенности, что человек “понял правильно” и вообще “понял хоть что-то”. Кому-то “коробка передач” (после прочтения инструкции) представляется в виде шестеренок в масле, цепляющихся друг за другу, а кому-то в виде треугольничков и квадратиков, а то и “вихрей”, кому-то в виде электрического мотора, сдвигающего рычаг, и т. д. вплоть до эльфа, сидящего в коробке. Правильным будет то представления (с точки зрения научного метода), которое будет давать ожидаемый результат при эксперименте над этим объектом.
Но человек не может ставить бесконечные эксперименты над всем, что его окружает. Никакой жизни не хватит. Поэтому для него эквивалентно “синяя ли это магия, уходящая в трубу” или магия “коробки передач, аккумулятора и двигатель внутреннего сгорания” и то и другое - вопросы веры, а не знания. До того момента, когда ему вдруг не понадобится проявить свою власть и что-то предсказуемо для него изменить внутри автомобиля. Если с автомобилем это теоретически возможно в очень узких пределах, типа аккумулятор подзарядить (хотя большинство автовладельцев в городах открывают капот только чтобы залить омывайку), то для смартфона, залезть и что-то сделать с “процессором” не реально.
Т. е. смартфон (ну или процессор смартфона или компьютера) является чисто магическим прибором, про который мы ничего не знаем, но умеем пользоваться. “Глубина познания” определяется только набором слов (можно выбирать, верите ли вы в “магический кристалл” или в “кремниевый кристалл”). И верой. Вы можете прочитать статью в википедии про процессор и поверить, в то, что вам там напишут. Вас могут легко обмануть, нарисовав какую-нибудь схему не имеющую никакого отношения к реальному процессору. Ваше представление мало будет отличаться от представления о магическом кристалле внутри черной коробочки, управляемым "вселенской энергией” (если вы не работаете, например, в Qualcomm)
Большая LLM с сотнями миллиардов параметров работает точно также, как и малая на несколько сотен миллионов параметров, если у них аналогичная архитектура.
наш опыт каждодневный (кто пользуется LLM) говорит, что нет. Т. е. это утверждение противоречит опыту (а значит элементу “научного знания”). Т. е. это строго не научное утверждение (утверждение веры в “магию подобия”)))
создание проекций с помощью UMAP, дают возможность из отдельных частей складывать представление о том, что происходит с данными, попадающими в модель, какую "форму" (топологию) они принимают (кластеров, циклов, мостов, связностей и т.д.)
Это фантазии. Может могут привести, может нет. Пока наваливают больше слоев, больше параметров и получают лучший результат (не всегда).
Это в перспективе может привести нас к новому уровню, на котором мы будем проектировать и работать с моделями не как чёрным ящиком, а полностью спроектированными нами до последнего винтика "думающими машинами", с такими параметрами и свойствами, которые требуются для выполнения конкретной задачи.
Пока не получалось, движение в обратную сторону (со второй “весны ИИ”) - наваливаем параметров, наваливаем данные, получаем лучший результат. Кстати, этот подход разорил Абби (компанию), они пытались сделать универсальную модель языка и на ее базе универсальный переводчик, очень красивая идея. Но их замочили нейросетевые переводчики, которые не заморачивались “моделями” (устройством языка, его описанием) наваливали параметры и тексты для обучения. И вуа-ля “магия”. Работает. И второе "мы" это те маги (ученые), которые сидят в компаниях, перечисляемые по пальцам и получают обратную связь при обучении LLM, меняя входные параметры и алгоритмы. С нами они делятся очень скупо. У нас только "общие представления", как обучены современные LLM. Для нас с вами это черные ящики (если вы не в Яндексе или Сбере среди тех нескольких десятков человек, которые плотно занимаются этими технологиями).
Нужно всё время стремиться проникнуть в суть на ещё большую глубину. Для этого не нужно становиться киборгами. Нужно углублять технические знания человечества, сделав думающие машины внешним продолжением нашего мозга - множителем его возможностей проникновения в тайны материи.
Оставив за скобками обсуждение наивности такого лозунга (из цикла “за все хорошее”), повторю, что технически про то, как устроена LLM все досконально известно (статья “Внимание это все что нужно” 2017 или 2018 года). сложение и умножение матриц, нелинейная функция, аргументом которой являются векторы. Тривиальщина. Но чтобы понять, какая модель лучше (например) модели гоняют по тестам, которые больше похожи на тесты по проверки IQ человека, вместо того, чтобы получить какую-то численную характеристику “хорошести”. Нет такой характеристики, нет такой модели модели. Можно ли ее построить - неизвестно (никто не построил математическую модель психики или исторического процесса).
Нам нужны технические знания в том числе чтобы делать более совершенные модели ИИ, потому что текущий уровень - не вершина эволюции. И любой другой нами достигнутый не будет вершиной. А будет только приближением.
Опять лозунги. Будет ли достигнут другой? Нами (или допустим уже неким искусственным разумом?) Будет ли только приближение или скачком перепрыгнет человеческий разум и ворвется в синергию? Неизвестно и никто не может предсказать. Курцвел, например, в 2014 году ждал к 2030 или 2035 "синергию"
Это один аспект (вы утверждаете: “прогресс неостановим”, и “прогресс вечен”, оба спорные)
Есть другой аспект, не важно, каков прогресс, важно, как он будет на нас влиять. процитирую самого себя (из другого комментария):
не надо AGI (ИИ равного или превышающего человеческий), надо, чтобы технология могла делать то, что делают люди. Она это может, осталось только "довести до ума".
А дальше включатся механизмы "рынка труда". И если допустим, вы работаете на должности, которая (пока) защищена, например, мастерите какую-нибудь "звезду смерти" (программный проект настолько большой, что не в один контекст не влезет с кучей интеграций и т. п.) или наоборот, таскаете компьютеры в офисе и втыкаете в них всякие провода. Вашей проблемой будет не LLM, а те люди из соседних офисов, которых она оставила без работы и которые умеют примерно тоже самое, что и вы.
Или по другому - нам бы тот, который есть переварить.
Чтобы разобраться, как работает трансформер достаточно знаний 1го курса математики любого института или техникума
Но знание этих принципов мало что дает для понимания, как работает вся система целиком.
Выучить архитектуру так-то можно, и в целом, понять. Но вот что бы нормально анализировать, нужны знания получше: к примеру желательно обладать знаниями цифровой обработки сигналов относительно, хотя бы, фильтров с конечной импульсной характеристикой (что учиться зачастую под конец бакалавриата). И тогда становится очевидным, что attention является по сути низкочастотным адаптивным фильтром, что и даёт немалые ограничения.
для того, чтобы заменить юриста, бухгалтера и программиста эти высокие материи не особо нужны.
Так же как и для разработки LLM. Я в статьях слов про фильтры не встречал (может, конечно, по малограмотности). Например, фундаментальная и революционная статья "Внимание - все что вам нужно", с которой началась эра Трансформеров и LLM как-то обошлась только линейной алгеброй.
Если сможете указать, например, в статье, описывающий Дипсик (китайцы, в отличие от ОпенАИ коей чего рассказали про свою поделку), где там "фильтры с конечной импульсной характеристикой" и как знание об этих фильтрах помогли добиться такого качества работы нейронной сети, буду вам признателен и даже посмотрю с большим интересом, что это за "фильтры такие".
Пока выглядит, как натягивание совы на глобус. Человек образованный любую сову может на любой глобус натянуть без всякой пользы для народного хозяйства.
Мой комментарий касался именно этого:
Чтобы разобраться, как работает трансформер достаточно знаний 1го курса математики любого института или техникума
Но знание этих принципов мало что дает для понимания, как работает вся система целиком.
То что они в исследовании использовали линейную алгебру, это лично их дело. Если математически я могу рассматривать его как адаптивный фильтр с конечной импульсной характеристикой (FIR filter), то почему бы и нет. Это наоборот лучше обобщает понимание архитектуры - как ее сильные так и слабые стороны.
где там "фильтры с конечной импульсной характеристикой" и как знание об этих фильтрах помогли добиться такого качества работы нейронной сети
Опять же, речь шла об анализе архитектуры.
Пока выглядит, как натягивание совы на глобус. Человек образованный любую сову может на любой глобус натянуть без всякой пользы для народного хозяйства.
Ну почему же, вот исследование которое напрямую дает пользу. В теореме 4.1 все как раз и сказано.
То что они в исследовании использовали линейную алгебру, это лично их дело.
Создатели. Для создания Трансформеров (т. е. LLM) оказалось достаточно линейной алгебры. Т. е. в текущих моделях, которые с наим разговаривают из монитора (а так же рисуют, делают видео и т. п.) нет ничего за пределами начал линейной алгебры (сложения и умножения матриц) и подстановки векторов в простую (обычно сигмоид) нелинейную функцию.
Ну почему же, вот исследование которое напрямую дает пользу. В теореме 4.1 все как раз и сказано.
Ну вообще то эти и выглядит, как натягивание совы на глобус. Занимался некий научный коллектив какими-то спектральными математическими моделями, тут вдруг все заговорили про ЧатГПТ (а значит гранты, актуальность, "тема" и прочее, что для научной публики важно). Они схватили свои "спектральные модели" и побежали их приделывать к изучению LLM.
В вашем примере еще и область очень специфическая - графы, посредством которых уже лет 50 (если не 70) пытаются построить онтологическую экспертную систему с интерпретируемыми "выводами", успехи так себе (слишком сложный подход, не получается выстроить онтологию).
Написали статью (почему нет). Кстати, это одно из проявления кризиса науки, но большая тема, не будем в нее углубляться.
Удачный ли это подход для исследования LLM?
Вряд ли. Статья от 2022 года, если был бы удачный, все бы с момента этой статьи копали в эту сторону и мы бы имели таблицы "спектральной выразительности" для разных LLM (сравнение моделей между собой - задача, имеющая большую практическую ценность).
Но такой метрики нет (никому не интересна), а есть скорее "гуманитарные метрики" ответов на всякие тесты (типа замеров IQ у человека).
Для создания Трансформеров (т. е. LLM) оказалось достаточно линейной алгебры.
Для создания - да, для анализа - не только.
тут вдруг все заговорили про ЧатГПТ (а значит гранты, актуальность, "тема" и прочее, что для научной публики важно). Они схватили свои "спектральные модели" и побежали их приделывать к изучению LLM.
Этого точно мы не узнаем, гадать можно сколько угодно.
В вашем примере еще и область очень специфическая - графы
Я брал ни сколько исследование, а сколько теорему, и ещё пару связанных с ней.
Удачный ли это подход для исследования LLM?
Вряд ли.
На успех исследования влияет немало факторов. Банально начиная с того, кто его написал и кто был в соавторстве.
Но такой метрики нет (никому не интересна), а есть скорее "гуманитарные метрики" ответов на всякие тесты (типа замеров IQ у человека).
Ну, увы, большинству интересны практические бенчмарки, а не сравнения архитектур теоретические.
Но я опять вам повторяю, что я отвечал на это:
Чтобы разобраться, как работает трансформер достаточно знаний 1го курса математики любого института или техникума
Но знание этих принципов мало что дает для понимания, как работает вся система целиком.
Вы же начали ссылаться на бигтехи в этой области, мол они так не описывали. Хотя нужно понимать, что в контексте математики бигтехи не авторитет. Поняв свойства этой LTV системы, мы можем вполне сравнивать со свойствами другой. И также понять как работает система вся целиком (LTV+MLP).
LLM передают ИИ в руки гуманитариев