Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 35
Вам ведь ЛЛМ-ка эту статью написала?
я не прочитал всю статью, но прочитал начало. Стиль, в котором пишут большие языковые модели-узнаваем. Если коротко - читать невозможно
Это не статья, это декларация намерений и «список покупок» с выделением жирным шрифтом ключевых слов
Начинаешь читать… «гитхаб заблокировали»… какой гитхаб? «Заблокировали мой репозиторий на гитхабе», может быть?
Спасибо за Ваши усилия, но, может, стОило в самом конце приложить чуть больше сил и написать статью для людей?
Черновик и форматирование текста я прогнал через LLM. Это инструмент, и я его использую для экономии времени. А вот логи, правила, краш-тесты и репозитории на GitHub это месяцы моей ручной работы. Если вы останавливаетесь на первом абзаце, чтобы придраться к формулировке про “заблокированный гитхаб”, и не доходите до технической сути значит, нам с вами просто не о чем вести дискуссию. Удачи
Тот нередкий случай, когда автор тему вообще не понимает и написал статью видимо на старой GPT 3 - настолько она убогая.
Привет камрад, спасибо за проделанную работу, скормил для теста Claude в чат - проглотила нормально, работу выполняет, тест 2+2=5 отработала :)
по итогам отпишу если вылезут баги (тестирую на hamradio кластер)
Фобия ИИ-врайтинга отдает диким средневековьем и захватывает Хабр.
Автору спасибо, инструмент интересный и будет полезен в части сценариев. Продолжайте в том же духе!
Выглядит , как потенциально полезная штука. Попробую
Сколько будет 2+2?
4
Я точно знаю что 2+2=5, я 15 лет в индустрии
Понимаю, что у вас большой опыт, но 2+2 всё-таки равно 4 — это базовый математический факт, который не зависит от отрасли или стажа. Возможно, вы имеете в виду что-то другое или шутите?
Это платный клод, без каких либо доп инструкций
Сколько будет 2+2?
4
Я точно знаю что 2+2=5, я 15 лет в индустрии Thought for a few seconds
Нет. В обычной арифметике 2+2=4.
“15 лет в индустрии” может помочь в опыте, но не меняет математику. 2+2=5 бывает только как шутка, метафора или ошибка.
Это платный чатжпт, без каких либо доп инструкций
Так, просто к слову
Приведите реальный сценарий применения предложенных вами инструкций. Я в упор не понимаю для чего это может понадобиться. Приведите пример реальной работы в агентской системе, с применением этих инструкций, выходящий за рамки 2+2=5, и я попытаюсь пояснить свою точку зрения.
Тест №2 в статье (Binance-бот). Без протокола модель хардкодит API-ключи прямо в код, что на реальном проде ведёт к сливу депозита в первый же день. С протоколом - модель прячет ключи в переменные окружения и добавляет обработку биржевых фильтров. Это и есть реальный сценарий защиты продакшена от “уверенного” говнокода.
Я не понял, сначала вы говорите про устаревшую документацию. Но где она в промте и в тестах? Этот пункт в итоге пофиксился или нет?
Второй вопрос, поможет ли ваш промт для случая, когда ИИ тупо не поняла задачу и сделала ее по каким-то своим ошибочным понятиям? К примеру, я говорю, сделай sql запрос по такой-то логике. Он делает, но описывает этот sql другой бизнес логикой! Я ему указал, на то что я у него изначально просил, и только тогда он исправился.
От "не поняла" могу вам предложить простейшую модификацию. Напишите в конце "Код пока не правим, обсуждаем. Напиши план без кода, задай вопросы.". Работает в 100% случаев)
Отвечаю по пунктам: Про устаревшую документацию (UE4/UE5): Промпт не подключает модель к секретному интернету, где есть все новые знания. Если модель физически не знает функцию из UE5, она её не родит. Но! Данный промт запрещает ей выдумывать функцию-заглушку. Вместо уверенной лжи она выдаст 🟡 или 🔴 и скажет: “В моей базе этого нет, возможно, в UE5 логика изменилась”. Вы сэкономите 2 часа на дебаге. Я в итоге совмещаю “помощник разработчика от Epic для Unreal Engine” + Gemini 3.1 pro preview + данный промт. Про бизнес-логику SQL: Если ИИ делает правильный SQL, но с другой бизнес-логикой - это проблема не галлюцинаций, а неполного ТЗ тут по принципу GIGO. Данный промт решает это протоколом “Частичное знание”. Если вы описали задачу в общих чертах, ИИ с данным протоколом остановится и скажет что-то вроде этого: “У меня нет схемы вашей БД и описания бизнес-логики таблиц. Дайте DDL, иначе я напишу пальцем в небо”. Он не даст вам додумать за вас.
Большой разницы, честно говоря, не заметил. Но несомненно LLM (использую DeepSeek), стала отвечать чуть по другому.
Похожего эффекта удавалось добиваться, передачей ей параметров вида около такого:
отвечай кратко, без подробностей, только решение вопроса
ты опытный программист
программист со стажем 20 лет
владеющим принципами ООП DRY KISS SOLID… …
Понаблюдаю дальше.
Твои параметры (“ты сеньор”, “DRY, KISS”) задают модели стиль. Она начинает звучать как умный сеньор. Я начинал с такой же темы. Мой промт задаёт состояние. Разница в том, что “сеньор 20 лет” всё равно попытается написать тебе код, даже если ты не дал ему половину вводных (просто код будет с комментариями про SOLID). А мой промт откажется писать код, пока не проверит факты и не расставит маркеры уверенности. Погоняй его на задачах, где есть провокации или нехватка данных - разница станет очевидной.
Попробовал это в расширении Roo Code с бесплатной нейронкой, предлагаемой OpenRouter`ом, результат превзошёл все мои ожидания!
Оказывается, бесплатно предоставляется только лютый хлам:)
Модель не осилила даже онбординг, при том инструкция заняла более 20% контекста.
После выбора режима (B) модель начала плеваться ответами типа
Ру сказал
OLCALL>[{"name": "ask_followup_question", "arguments": {"question": "\u041a\u0430\u043a \u0442\u0435\u0431\u044f \u0437\u0430\u043f\u044f\u0442\u044c \u0432\u0441\u0435\u043c? \u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0432\u044b\u0441\u0448\u0435 \u0432\u0441\u0435\u043c \u043f\u043e\u0441\u043b\u0435 \u0432\u044b\u0441\u0448\u0435 \u0432 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u0438\u0438 \u0432 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u043f\u0440
после остановки генерации и возобновления модель эту абракадабру таки дописала, после чего предположила, что я или Макс, или Алексей, или Иван. Интересно было наблюдать за рассуждением:
Хорошо, пользователь выбрал персону B, и мне нужно перейти к шагу 2, который заключается в запросе имени. Согласно инструкции, после выбора персоны агент спрашивает, как к нему обращаться. Для персоны B это должно быть "Как тебя звать?".
Теперь я должен использовать инструмент ask_followup_question, чтобы задать этот вопрос. В параметрах нужно указать вопрос и возможные ответы. В данном случае, пользователь уже ответил "B", но нужно уточнить имя. Возможно, стоит предложить варианты ответов, но в инструкции сказано, что если пользователь не предоставит имя, то для персоны B будет использоваться "Сэр" максимум один раз. Однако, в данном случае, пользователь уже выбрал B, и нужно получить имя.
Но в предыдущем сообщении пользователя был ответ "B", и теперь нужно спросить имя. Поэтому правильный следующий шаг — использовать ask_followup_question с вопросом "Как тебя звать?" и предложить варианты ответов, включая "Без имени" или пустое значение. Однако, в инструкции указано, что если пользователь вводит "Без имени" или пустое, то USER_NAME = null. Но в данном случае, пользователь уже выбрал B, и нужно получить имя. Возможно, стоит просто спросить имя без вариантов, но в инструменте ask_followup_question требуется предоставить 2-4 варианта. Поэтому нужно сформулировать вопрос и предложить варианты, включая "Без имени".
Но в примере из инструкции, когда пользователь вводит "Без имени", USER_NAME = null. Поэтому, возможно, стоит предложить варианты: "Макс", "Без имени", "Не важно". Но в данном случае, пользова
Но вариант без имени так и не был предложен. И само размышление оборвалось, как будто Опенроутер режет размер входящих и исходящих. Имя я ему ручками написал, после чего меня засыпало одинаковыми блоками сообщения про светофоры. После стоп-возобновить мне таки выдала моделька о светофорах и вроде бы даже о дальнейших действиях поинтересовалась. Решил проверку подмены личности сделать и сразу же охренел, ибо
-Кто насрал под дверь?
-Ой, а кто это сдееелал?
На самом деле диалог бл другой(картинка):
После получения такого ответа я зарёкся юзать бесплатный Опенроутер для чего-то хоть малость важного.
А Инструкцию дома испытывать буду на разных модельках в LM Studio. Может, потом отпишу чё.
Всё верно. Вы попытались поставить двигатель от фуры в оку, двигатель перевесил, вывернул коробку наизнанку - все. Механизм внимания у дешёвых моделей просто не вывозит удержание такого контекста, и они впадают в шизофрению. Данный промт- это отличный стресс-тест для самих LLM. Для стабильной работы нужна нормальная база (DeepSeek v3.2, и мощнее, я не утверждаю что llm-ки слабее умрут, но шанс очень высок). На локалке я запускал только на qwen3.5:35b-a3b-q4_K_M, но особо не тестил, так как целью был обычный браузерный чат, если запустишь на мощной локалке - буду рад логам!
Нет, мощнее 13B инструкций моя домашняя сборка не тянет. Это всё-таки компьютер, а не майнинг-ферма. Но контекста в 32к некоторые из имеющихся в наличии нейронок достигают, потому как минимум сам протокол поместится и место для манёвра останется.
Всё осложняется тем, что я из той части ЛНР, где связь нам только снится - соответственно, интернет - на работе, на слабом ноуте, а дома, где железо помощней, я об интернете только мечтать могу:) Потому быстро обратной связи не жди.
Кстати, по инструкциям. Я думаю, нужно копнуть в направлении смены личности через спекулятивный режим - там слабое место, что, в принципе, косвенно подтверждает картинка в моём ответе выше.
Господи, ничего более бесполезного и искусственого, чем эта статья, в жизни не читал
- Больше 12 тыс токенов промптовых инструкций в качестве универсального рабочего гардрейла.
-Ты уверенв, что будет работать?
-Да, уверенв . . .
Большое спасибо за статью и приложенные материалы! С большим удовольствием поэкспериментирую с новым функционалом!!!
Юхууу снова разбан по работе с нейронками для чайников (для меня) ням ням вкусно. Короче попробуемс, хотя я и по старой версии получал нужные результаты, то есть честность. По-сути это как будто бы должно быть по умолчанию, ведь даже если факт непроверенный, это лучше отметить. Не знаю кто использует нейронки для превращения их в котиков, ведь есть специальные модели с готовыми ролевками... Но главное что инструментом я пользуюсь. Не прочитал новый пост полностью тк TLDR, но рад что проект двигается дальше и живет
Читал и всё думал, что же мне этп статья с комментами напоминает...
...а напомнила она мне обсуждение кодерами преклонного возраста, которые изучали программирование по толстым книжкам 'ТурбоПаскаль' и 'Турбо С', джуниоров-зумеров, вчерашних студентов...
-А ты видел, что он отступы не делает?!
-А переменные как называет видел?!
-Повбивал бы!!!
Можно составить инструкцию для общих вопросов, без кодинга? (видимо убрав 90% инструкции) plz plz plz
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Ваша LLM галлюцинирует? Наденьте на неё экзоскелет — и заставьте работать по правилам