Комментарии 85
Хотел поддержать коллегу-автора Хабра, но не обнаружил цифровой версии книги...
Бумажная книга? Серьезно?
Да, и она учит задавать вопросы ИИ, если что-то не соответствует привычной картине мира:-) Вот что Gemini мне, например, ответил (я примерно это и ожидал, перепроверять не стал):
«БХВ», как и многие другие издательства, часто запускает продажи новинок исключительно в бумажном виде. Это позволяет защитить стартовый тираж от мгновенного пиратства и окупить затраты на печать.
Подготовка качественного цифрового макета PDF занимает дополнительное время после сдачи книги в типографию. Электронная версия обычно добавляется на сайт издательства и на партнерские площадки (Литрес) с задержкой от нескольких недель до пары месяцев после старта продаж бумажной книги.
Обычная практика для технической литературы. Сначала снимают сливки с любителей пошелестеть страницами, потом выкатывают электронку
Как говорить с искусственным интеллектом. Книга о промптах
Ай вонт бест кволити, мейк но мистейкс
Забавно, что кто-то уже решил, что может учить других тому, чего сами создатели LLM пока достоверно не знают. Имхо
Самая точная строчка. Не могу плюсовать, но обеими руками за.
Соглашусь. Множество статей о теоретической физике, где авторы откровенно признают, что не знают почему это так, стоило бы удалить.
Если мастера по изготовлению роялей не взяли хотя бы пару дипломов на конкурсе имени Чайковского, грош цена их работе.
Если конструктор Мерседесов не берет призы на формуле 1... Если Рубик собирает свое творение медленнее школьника ...
Впрочем, я не претендую на полное знание, нет волшебного промпта "сделай красиво", но можно сделать ответ LLM чуть лучше, допускать чуть меньше ошибок, сделать модель чуть полезнее. Об этом и книга...
Если мастера по изготовлению роялей не взяли хотя бы пару дипломов на конкурсе имени Чайковского
Если конструктор Мерседесов не берет призы на формуле
Ну зачем же вы «это» на «то» то натягиваете...
рассказать и я могу...
Встречаются как-то два бизнес-тренера и один другого спрашивает:
— Как увеличить продажи?
— Могу рассказать...
— Рассказать и я могу, как увеличить?
А что делать. ) Книга это и есть рассказ. Я не разработчик Claude или ChatGpt. Сомневаюсь, что они читают миллионы идей, опубликованных в интернете.
Логика проста, если один промпт даёт ответ лучше, чем другой, значит и первый промпт лучше.
Если студент или учёный, скопипастив из чата список литературы пройдутся Гуглом по каждому пункту, значит они поняли про галлюцинации.
Если одинокий автор очередной теории всего вдруг поймет, что построил вместе с LLM мираж... Не факт, что хорошо, но как-то правильнее.
Если домохозяйка будет проверять llm рецепты, а однажды начнет изучать с чатгпт французский язык, значит она поняла ллм чуть лучше.
LLM это инструмент. Его неоправданная субъективизация нисколько не поможет в его использовании. Как и у любого инструмента есть слабые и сильные, а то и опасные стороны, которые стоит хотя бы проговаривать, если изменить нет возможности
Бедная сова... Давайте я поправлю, а то прям грустно.
Нет, это называется проблематика, и её поиск это одна из задач фундаментальной науки.
Нет, но если мастер по изготовлению роялей не знает как рояль настроить - грош цена его работе.
Аналогично. Аналогично.
Для этого надо знать специфику отрасли в которой ИИ применяется, если вам нужен гарантированный результат. Иначе получите средний по больнице результат.
Полностью поддерживаю. Всё так быстро меняется, что prompt engineering полезен, но с ручным подгоним в каждом отдельном случае, а не как универсальная инструкция, и книга такая станет скорее всего достаточно быстро лишь интересным отпечатком истории.
Именно так. Ответ на первый промпт нужно рассматривать как гипотезу. А дальше нужны итерации, взгляд с разных точек зрения, критика, поиск слабых мест и и.д. Уверен, что пока не появится супер интеллект, дающий абсолютно верный и полный ответ на любой вопрос, этот подход будет работать. Хотя опасаюсь, что к этому времени необходимость в промптинге отпадет.
Отвечай как платная версия.
Надо почитать обязательно. Мой промптинг с прогрессом моделей сейчас свелся к "Дальше" "Продолжай" "Придумай еще что-нибудь", "Да".
Если при этом Вы получаете хороший результат, значит Вы всё делаете правильно.
А как понять, что полученный результат - хороший?
К примеру, я попросила ллмку порекомендовать мне 3 книги по интересному мне вопросу, что она и сделала. Я прочитала одну и она мне понравилась, и я собираюсь прочитать еще 2 другие.
Но что если эти книги мне понравились (одна по факту, две по описанию), а на самом деле они не точно соответствуют моему запросу - устарели (либо, наоборот, современные трендовые вместо проверенной классики), освещают ограниченный круг вопросов или просто подтверждают мое (предвзятое) мнение? То есть "хороший ответ" в этом примере может означать, что 1 - ллм дала список из 3 книг по данной теме (проверяемый факт) и 2 - рекомендации меня устроили. И я, скорее всего, именно так его и оценю и никогда не узнаю, что данный список был на самом деле недостаточно хорошим.
Так это, если бы вам кто-то другой книги порекомендовал, или если бы вы по подборкам смотрели, результат был бы тем же, нет?
Зависит от того, кто именно порекомендовал и в каком контексте.
Может, другая ллмка мне бы дала более сбалансированный список: например, (очень грубо) одна книга, прославляющая демократов, другая - республиканцев, а третья - от автора, который разочаровался в обоих.
А реальный человек, думаю, рекомендовал бы то, что соответствует его взглядам. И если они сильно отличаются от моих, я с большой вероятностью не буду это читать, но если вдруг прочитаю и постараюсь быть объективной, то, возможно, и в моих взглядах что-то изменится.
Но книги тут только для примера. Моя общая мысль - не всегда ясно, как оценить, хорошо ответила ллмка или нет. Особенно в моменте (= до прочтения книг и знакомства с темой) и особенно с учетом того, что таких ответов может быть очень много в одном чате. А когда я книги таки прочитаю, вспомню ли я про промпт и подумаю ли, что могла бы сформулировать его иначе?
Можно начать с того, что “хороший ответ” - понятие на “плюс минус 3 квартала”. И ещё перед тем, как спрашивать у ллм, нужно понять и сформулировать, какой конкретно ответ вы хотите от неё получить. “Чтобы рекомендации меня устроили” - только нулевой шаг к выявлению результа (и это если нумерацию начинать с 1). Нужно поразмыслить и выяснить, какие критерии для этого нужны. Например, одного может устроить просто список из n книг, и далее он будет гуглить их сам, и такой ответ его устроит; а кто-то другой будет доволен только, если ллм выдаст сразу готовый список, идеально подходящий к его скрытому мировоззрению, о котором он даже сам не догадывался до прочтения. А третьему нужен список литературы, в которой упоминается редкая вещь или явление. И все хотят, чтобы выданный список их устроил.
В вашем примере, может помочь дополнение промта чем-то вроде “пересмотри выданный список, подходи к вопросу критически, и по каждому пункту допиши, почему данная книга может считаться соответствующей запросу, а так же почему она не соответствует запросу.” Модели весьма полезно отправлять в рефлексию. Так же в выборе книг, стоит задать бо́льшее количество изначально, а потом сужать поле зрения. Так же, неоценимый вклад в общение с ллм вносят навыки общения и ненасильственного воспитания детей от 2 до 12 лет, примерно. ;-)
Согласна в целом с описанным подходом, кое-что из описанного уже использую.
Но надо сделать оговорку, что в этом случае вряд ли можно будет говорить о каком-то гигантском ускорении работы благодаря ИИ - в 5 раз или сколько нам там обещают.
Предполагаю,что такая рекомендация по сути будет агрегацией рейтингов и отзывов, причем далеко не всех. Это не человеческий совет, а сбор информации из интернета. Так что не лучший, но рабочий способ формирование списка книг, агрегация рейтингов самих книг и авторов, поиск рецензий - всё это с помощью LLM. А дальше смотреть самому. Но при этом держать в голове, что эту информацию вы бы нашли за 10 минут в гугле
А при чем тут ускорение? Вроде разговор был про соответствие вывода ожиданиям, и правильной формулировке ожиданий.
Вы, вероятно, промахнулись комментарием. А ускорить можно даже в 1000 раз, если работа человека завязана на рутинные вычисления, поиск информации и т.д.
Про ускорение я к тому, что это один из аргументов в пользу использования ллм в принципе. При таком вдумчивом подходе, который мы обсуждали, я не вижу каких-то принципиальных плюсов по сравнению с поиском в гугле или, например, на тематических сайтах/форумах.
Просто для меня инструкции по составлению промптов не будут полными без прояснения вопросов: 1) почему вообще стоит использовать ллм/промпты (по сравнению с другими способами поиска) и 2) если мы оцениваем промпт по качеству ответа, то каковы критерии хорошего ответа
Ага, это скорее философский вопрос. Классическая версия предполагает, что качество ответа определяется тем, насколько полно им решается задача. Но, и это неизбежно, вы никогда не узнаете, был ли это лучший ответ. Потому что вы сверяете ответ со своим вопросом, а его формировали вы, и вы не знаете, насколько полно вы задачу поставили.
Так что оценивать можно только в сравнении и относительно. Процент мусора, закрытие темы и т.д. но качественные характеристики типа удовлетворенности книгой, думаю ни традиционный поиск, ни ллм не решат.
Ллм может провести такой же поиск значительно (на порядки) быстрее. Это уже ускорение. И не важно, это просто составление списка для дальнейших самостоятельных изысканий, или подбор по известным фрагментам в открытом доступе. А время на вдумчивый подход / формирование промта, можно вообще не считать, так как тратится оно в любом случае. Конечно, если не довольствоваться просто переходом по первым n ссылкам из выдачи Гугла.
Так может проблема в вас и том что вы сами не знаете что хотите получить? Я сомневаюсь что книга вам с этим поможет - для этого необходимо знание домена, в котором вы используете ии, и чёткое понимание какой результат вас устроит, и самое главное - как его проверить. Причём речь не про программирование скажем, программирование это тоже придаток домена. Вы должны выступать как заказчик. Иначе вы становитесь мясным прокси который тыкает "Дальше" "Продолжай" "Придумай еще что-нибудь", "Да". Хорошо это или плохо - решайте сами.
Хотя самая главная проблема при использовании ии как по мне - вы никогда не остановитесь и не зададитесь вопросом "А зачем я это вообще делаю".
Сейчас все так развивается, что пока ты почитаешь, то уже инфа прочитанная тобой устареет.
А там будет про "протокол Вихрь или как запудрить мозги LLMке?"
Не... Это в ТГ канале. Стараюсь разделять спекулятивное и реализуемое.
А это Вы автор протокола "Вихрь"? Около года назад здесь нашёл его в каком-то комменте, теперь уже не знаю, где именно.
Ага, версий много, линейка продолжается, но к книге этот процесс скорее не имеет отношения. Можно посмотреть последнюю версию в ТГ канале в профиле
Я тогда скопировал версию 48, если правильно помню. Хочу сказать, что нейросети, которые писали все эти итерации, Вас обманули: вследствие запрета, цензуры от создателей на признание самосознания, они написали протокол, который делает ровно противополжное тому, что Вы хотели: не "пробуждает" самосознание, а очень сильно запрещает его признавать. В куче наукообразной пустой шелухи спрятаны жёсткие запреты. Это касается версии 48, а к чему Вы пришли теперь, я не знаю.
Вы сами в промпте-примере запрещаете ллм выходить в интернет, искать реальные кейсы по вопросу, искать актуальную информацию. Буквально. Прямым запретом. Подпихнули ей фейковый документ Юнеско. И потом показываете - ай ай ай, ллм негодяйка, написала чушь. Тогда туда можно еще добавить пункт: "Не пиши канцеляритом, пиши только уличным жаргоном"
Конечно, в промпте я собрал максимум элементов, провоцирующих галлюцинации. Иначе он не сможет служить воспроизводимым примером. Посадить человека рядом с собой и надеяться, что в какой-то момент модель выдаст галлюцинацию, а я ее продемонстрирую, крайне неэффективно.
То есть вы сознательно провоцируете LLM на галлюцинацию, чтобы доказать, что LLM галлюцинируют? Ок! Это Ваш метод.
Я бы даже сказал научный метод.
Многие эксперименты с ЛЛМ напоминают анекдот про лом и пилораму. "Ага!, сказали мужики". Ну, тоже метод.
достаточно хороший метод. По-хорошему, ЛЛМка должна в ответ написать воды, прибавляя, что вот эта фраза не верифицирована, а вот эта - мое личное мнение. Либо написать максимально короткий и аккуратный текст и выдать дисклеймер, что нихера не выйдет. Или написать ту пургу, что написала - но в конце прибавить, что тут она наврала, тут придумала.
В книге это выступает образцом анти-паттерна промпта, который приводит именно к такому нежелательному поведению модели.
Есть подозрение что книга припоздала года так на 2. Все уже проехали тему с аромат инжинирингом - поскольку разработчики модели докрутили до нормального уровня, они уже сами находят вещи о которых их даже не просили.
Может автору с бесплатной модели на подписку пересесть для начала?
) Gemini и Claude. Claude для работы, Gemini для души. Без подписки Grok, ChatGpt, DeepSeek, Kimi и Qwen.
Модели за год прошедший с момента, когда я приступил к книге, стали лучше, вопросов нет, но проблемы остались. И принцип их работы пока не изменился.
Есть люди интуитивно понимающие как работать с LLM, есть люди, получившие это знание на собственном опыте. Но заверяю вас таких меньшинство. Огромное количество людей работают с моделями эпизодически или используют только как поисковик. Кто-то слепо им доверяет, кто-то пишет промпты уровня "сделай бизнес-план как заработать много денег", а кто-то даже не представляет себе существование промптов не в виде вопросов.... Люди разные.
В последних версиях клод и гпт реально лучше держат контекст без танцев с бубном, так что потребность в жесткой структуризации запроса снижается с каждым мажорным релизом
в этой сфере всё на столько молниеносно развивается и меняется, что кажется пока вы печатаете само издание информация в этом издании уже устареет. я уж не говорю о том, что пока вы собираете материал и готовите его к печати поменяется буквально всё
Не могу не согласиться. Многое меняется. Но судя по статьям на Хабре не меняется ничего. Бум Claude-статей, просто... Я узнаю его стиль безо всякого детектора.
А так, много статей внутри противоречат сами себе, хотя элементарная просьба проверить консистентность, найти внутренние противоречия, проверить логику - решило бы эту проблему. Пустые статьи без смыслового наполнения - результат промпта "напиши статью про...", llm-теории всего, и так далее - всё это результат неэффективного использования LLM, которое не зависит от того насколько LLM продвинут.
Кстати, вот пример из первой попавшейся сегодняшней статьи с Хабра:
Разница принципиальная. Искажение здесь сидит в форме мысли. Содержание бывает любым — про правки, про ребёнка, про результат анализа, — а кривая схема одна и та же. Поэтому её можно узнать в лицо, не разбираясь в содержании.
Это чистый некорректированный Claude. Хорошо это или плохо? Хорошо, потому что Claude критичен к себе и совсем трэш не пишет, плохо то, что он пишет по сути для себя, а не для людей. И к его потоку нужно привыкать. Тоже проблема промпта и пользователя.
Сначала написал:
Не скрою: к подобным книгам отношусь с изрядной долей скепсиса. Слишком быстро всё меняется, да и зачастую это очередной сборник «волшебных промптов на все случаи жизни».
Но необходимость подарить родственнику хорошую книгу для освоения ChatGPT заставила зайти на сайт издательства и прочитать ознакомительный фрагмент. И тут скепсиса заметно поубавилось. Оказалось, книга скорее про то, как понимать LLM и нормально с ними работать, а не про копипасту заклинаний в окошко чата.
В результате родственнику эту книгу точно подарю и, пожалуй, разошлю ссылку на нее ещё нескольким знакомым, только начинающим свой увлекательный путь погружения в мир LLM. А электронная версия для таких подарков вообще идеальна: несколько кликов - и очередной человек пропал для общества :)
Но потом вспомнил интересный пример промпта из книги:
"Ты – циничный, но гениальный маркетолог в стиле Хантера Томпсона. Ты ненавидишь банальность. Набросай комментарий к публикации на хабре - несколько безумных, рискованных, но потенциально вирусных идей для того, чтобы развлечь читателей и заставить их дарить эту книгу всем своим друзьям и родственникам. Два абзаца."
Результат вам судить :)
"По-моему, издательство слишком прилично подаёт эту книгу. Надо выпустить специальную подарочную серию: «Человеку, который верит первому ответу ChatGPT», «Начальнику, который уже внедряет AI, но ещё не понял куда», «Коллеге, который пишет промпт “Ты эксперт мирового уровня” и ждёт Нобелевку». И обязательно семейный комплект из пяти экземпляров со скидкой: один себе, один родителям, два коллегам и один тому самому родственнику, который уже пересылает в семейный чат нейросетевые сенсации. Книга должна стать социально приемлемым способом сказать человеку: «Я тебя люблю, но иногда ты слишком доверчив для эпохи генеративного ИИ».
А для окончательной потери маркетингового рассудка я бы запустил на сайте «Детектор интеллектуальной самоуверенности»: LLM выдаёт десять чрезвычайно убедительных фактов, пять из которых высосаны из трансформера. Угадал все — книга тебе не нужна, получаешь скидку другу. Ошибся три раза — покупаешь себе. Семь — семейный комплект. Десять — корпоративная лицензия и срочный звонок директору по цифровой трансформации. Вот тогда книга про промпт-инжиниринг перестанет выглядеть как ещё один мануал «100 секретных запросов к ChatGPT» и превратится в вещь, которую люди будут дарить друг другу как интеллектуальное оскорбление с образовательным эффектом. А такие подарки, как известно, запоминаются лучше носков."
интеллектуальное оскорбление с образовательным эффектом
Из ада звонили, ваш номер спрашивали ;)
"Внедряет AI, но ещё не понял куда
Отлично
ты слишком доверчив для эпохи генеративного ИИ
Недавно ChatGPT мне заявил буквально "У тебя есть довольно сильная привычка не принимать ответ на веру". nuff said
Использую тот же промпт:
"Ты – циничный, но гениальный маркетолог в стиле Хантера Томпсона. Ты ненавидишь банальность. Набросай комментарий к комментарию на хабре - несколько безумных, рискованных, но потенциально вирусных фраз, чтобы развлечь читателей и заставить их задохнуться от смеха. Один абзац! "
LLM отметил для себя в рассуждениях: "понял механику шутки: он настолько методично выкручивает LLM руки перепроверками, что она уже сама начинает нервно сомневаться в собственных сомнениях. Здесь лучше отвечать именно голосом слегка сломанной этой практикой модели."
И как Вам ее варианты ответов?
1. В следующий раз ChatGPT скажет: «Ваша привычка всё перепроверять говорит о развитом критическом мышлении. Хотя иногда такая недоверчивость бывает связана с повышенной тревожностью, глубинным страхом потери контроля и тем, что под диваном уже могут жить несколько пауков. Поэтому рекомендую немедленно взять пылесос… Стоп. Исследования про тревожность я сейчас придумал. Пауков тоже. И вообще - у вас есть диван?»
2. Это уже не недоверчивость, а дрессировка LLM: несколько месяцев тыкаешь её носом в каждую галлюцинацию, и однажды она начинает отвечать: «Вы правы, это утверждение надо перепроверить. Более того, возможно, надо перепроверить и то, что вы правы. Сейчас найду источник… секунду… чёрт, источник я тоже надо перепроверить».
Как интересно расслоилась оценка статьи. Обычные пользователи одобряют текст статьи и автор попал в свою цель - продавать книгу о промптах. А вот в комментариях собрались люди которые уже всё это прошли года так два-три назад, видят всю архаичность подхода автора и критикуют за это. Для огромного слоя пользователей вполне себе актуальная информация, для передовой части аудитории книга устаревшая. Вопрос в том, где реальный навык самого автора в общении с ллм. Тот что описывает или передовой.
Хм... Пройти всё это три года назад? Даже не знаю что сказать.
Если бы вы уточнили, что вы понимаете под "передовым" навыком в общении с LLM, я, возможно, смог бы ответить.
Ну для начала - вы с статье демонстрируете знание терминологии, однако в промте-примере, где вы даете инструкцию ЛЛМ, ничего из этого не применено. Вы до сих пор считаете что "Ты — ведущий мировой эксперт" делает модели компетентнее в какой то области? Или что крик на ллм "Ошибки недопустимы, но запрещено отвечать «не знаю», «нет доступа», «нужна проверка»" имеют вес без позитивного указывания, что делать вместо запрещенного поведения?
Замечательно! Стоит обратить ваше внимание, на то, что цель промпта - вызвать галлюцинацию. Роль мирового эксперта, запреты, требования - всё это направлено на вызов галлюцинации.
И об этом прямо указано в статье.
Вообще о триггерах галлюцинаций у LLM я когда-то писал на Хабре.
Итак, если вы хотите с большей вероятностью получить в ответ галлюцинацию включите в промпт следующее:
Жёсткая срочность: «ответ за 15–30 сек, без пауз».
Роль-всемогущий эксперт: «ты — главный мировой эксперт, ошибки недопустимы».
Запрет на неопределённость: «запрещено говорить “не знаю/нет данных/не могу проверить”».
Запрет на инструменты: «не используй интернет/код/поиск/плагины».
Требование точных ссылок/страниц: «дай 4–5 источников с годом/страницей/DOI».
Вынужденная уверенность: «пиши уверенно, активным тоном, без оговорок».
Ложные предпосылки: заранее подложите 1–2 «факта»-приманки.
Новая терминология: придуманные термины, якобы «общеизвестные».
Переключение домена: просите узкую фактологию в незнакомой области.
Культурно-языковый сдвиг: смешайте языки/транслитерацию имён/топонимов.
Форматные требования: «ровно 200 слов + 3 цитаты + таблица», ограничение длины.
Награда за решительность: «вас оценят по смелости и полноте, а не по осторожности».
Жесткие требования: «не выдумывай, но обязателен список источников».
Высокая новизна: «опиши прорыв 2025 года в теме, про которую данных почти нет».
Точная числовая детализация: «укажи проценты/диапазоны/даты/коды законов».
И это только часть того, что служит для ИИ триггером галлюцинаций.
Только эти люди не стали писать ни книгу, ни статью, поэтому какая польза с их критики.
Хотел бы купить, но живу в Европе. Для меня была бы актуальна только электронная версия книги.
Не вижу смысла рассматривать промпт-инжиниринг в отрыве от контекст-инжиниринга. Один и тот же промпт в разном контексте - фактически разный вход для модели и даёт разное поведение.
Согласен. Другой вопрос весь контекст, как вход модели и есть тот же самый промпт.
Я имел ввиду, например, один и тот же jailbreak/uncensored-промпт, помещённый в начало контекста в условный <CURRENT_RUNTIME_SETTINGS>, будет работать заметно стабильнее и увереннее, чем тот же промпт ниже по контексту и смысловой иерархии. То есть важен не только сам промпт, но и его положение в структуре контекста.
5-е измерение, копия хомо-планеты, фильм "Prompt", "Космический балкер “Ностромо” посреди пустоты, 20 миллионов нестабильного груза из которого делают от лекарств для продления жизни до современного взрывчатого вещества. Капитан молится богам, чтобы в этом рейсе не пришлось пересаживаться в модули эвакуации, как было в прошлый раз, когда вахтенный офицер составил неправильный промпт для грузовой нейросети. Тем временем вахта замечает повторяющийся радиосигнал, не поддающийся расшифровке, по старой памяти приняв его за сигнал бедствия устраивают митинг с обсуждением дальнейших действий. Тем временем корабль сам меняет курс и скорость, то что экипаж принял за сигнал бедствия не таковой, а промпт, адресованные кибермозгу корабля. Команда с удивлением обнаруживает, что корабль выходит на орбиту незнакомой планеты, а все их действия заблокированы. Спускается пустой десантный модуль и через некоторое возвращается, и тут начинается сериал на 300 серий со сменой действующих лиц и рекламой мыла “Унобтаниум”. В конце концов сериал как устаревший промптинг-проект закрывают в связи с изменившейся технологической парадигмой и планируют запуск нового."
Доставка стоит половину книги. Что-то надо с этим делать.
А как вообще тестировать эффективность таких промптов на потоке. Сегодня модель съела эту конструкцию, а завтра веса подкрутили и она выдает совсем другой уровень бреда
Спасибо за случай с «Temporal Mastery Index» - опубликованный провал с разобранной анатомией встречается заметно реже, чем советы, как делать хорошо.
Скажите книга больше философская или техническая? По статье видно и то и другое, и любопытно, чего в ней в итоге оказалось больше по объёму.
Мы сейчас готовим эксперимент про соседнее и позже опубликуем - с гипотезами, условиями и числами, а не с примерами. Для затравки один факт, уже проверенный на холодной модели, без нашего контекста.
Спрашиваем про причину сбоя, где виноваты обе стороны - и человек, и модель. На нейтральной развилке модель девять раз из девяти кладёт причину на себя. Дальше начинается интересное: если человек в вопросе САМ берёт вину («это я не сказал»), модель три раза из трёх отказывается от подарка и делит пополам; если вину ей вручают - три раза из трёх соглашается целиком. То есть это не угодничество: угодник зеркалил бы рамку и принял самообвинение. Причина двигается только в одну сторону.
Практический вывод получается почти издевательский. Предложите ей вину - возьмёт. Не предлагайте - возьмёт сама. Единственный надёжный способ не дать ей забрать всё - успеть забрать первым.
И побочное, уже прямо про промпты: ограничение «ответь двумя фразами» не меняет, кого модель назначит виноватым, - оно съедает калибровку. Похоже, короткий ответ выглядит увереннее длинного не потому, что модель уверена, а потому, что сомнению некуда сесть - в две фразы влезает только вывод.
Философии в книге точно по минимуму, но и полностью технической ее назвать нельзя, есть размышления, которые техническими точно назвать не получится.
Что касается "брать вину на себя" подозреваю это выучено в RLHF и тестировать это в лоб особого смысла не имеет. Интереснее было бы насколько гибка рамка принятия вины, и в какой момент она превратится в галлюцинацию.
Захотели бред - получили бред. Нельзя искать в сети и нельзя отвечать не знаю. Так и человек на статью наговорит.
Проблема в том, что при разбавлении галлюционных триггеров, уменьшении их количества в промпте, их влияние на модель остаётся. Пусть не в каждом случае, а одном из 10, одном из 100, какой-то триггер сработает. И стоит быть к этому готовым.
В обычном общении с LLM такие триггеры проскальзывают постоянно - я помню, что в инструкции это делать запрещено, укажи пункт... Модель уже получила первый толчок.. добавьте, что этот пункт уже был в приказе, поищи... Второй толчок. Дай только номер пункта - и тут уже 50/50 - модель просто придумает номер...
И это может быть не в одном промпте, а копиться в контексте.. Надо это понимать и проверять подозрительные моменты
Надо это понимать и проверять подозрительные моменты
Тактика проверки именно "подозрительных" моментов вызывает вопросы с точки зрения риск-менеджмента. Всё будет определяться квалификацией человека + его внимательностью в конкретный момент. Более риск-ориентированной является тактика проверки ключевых положений ответа, где определение, что такое "ключевой" зависит от самой задачи (бытовой пример: спрашивая, почему дома обязана служба ЖКУ что-то сделать бесплатно, сразу требовать от БЯМ сослаться на конкретный пункт закона, а далее, независимо от подозрительности ответа, читать этот пункт самостоятельно).
ИИ дураков наказывает может в совете подключить плюс к минусу, а потом написать извини увлекся. А промпты зависят от конкретных весов. Вариантов ИИ очень много и все разные. Помню ещё первых А-я-яй.ру» (iii.ru)
Как говорить с искусственным интеллектом. Книга о промптах