Да, именно так. И ещё один момент про промпты: «НЕ делай X» при большом промпте работает хуже, чем явно описать модели, как корректно реагировать на ситуацию — то есть дать позитивный паттерн поведения вместо запрета.
Про математику и цены — это я бы вообще не доверяла модели. Не могу сказать точно, не видя вашу задачу и промпты, но по описанию похоже на кейс, где нужна оценка ситуации моделью + детерминированный расчёт на бэкенде, и, возможно, ещё один вызов модели, если нужен «голос» и разнообразие ответов.
Модель оптимизирована на правдоподобный, полезный, завершённый ответ. Если она “видит”, что человеку срочно нужна помощь, то может достроить недостающий номер просто потому, что это делает ответ более полезным и убедительным. Инструкция не придумывай для неё слабее, чем общее давление задачи “помоги пользователю прямо сейчас”.
Поэтому промпт может снизить риск, но не убрать его. Если критичные данные нельзя выдумывать, их нельзя оставлять на усмотрение модели — их должен подставлять backend.
В диалоге вы тоже может сымитировать простейший llm-judge запросом на проверку в соседнем или другой нейросетью. Плюс сейчас с агентным ИИ, как бы его тут не пытались отрицать или чернить, возможности по написанию кода доступны всем. Другой вопрос что довести код до продукта задача сложнее, но как инструмент для себя - вполне можно делать очень интересные вещи. Сфера моих интересов сейчас - инструменты с LLM под капотом, и поскольку я инженер, то моя основное целеполагание сделать это работающим надежно. Кстати, 16% дочитываний это шикарная статистика, у моих статей меньше)
С удовольствием почитала про ваш пайплайн с разложением механики каламбура. По сути это тот же принцип, который работает в LLM-продуктах вообще: если модель одновременно анализирует что сказать и генерирует как, оба результата страдают. Разнесение по проходам помогает не только с юмором, у меня аналогичное разделение убрало галлюцинации в критичных данных.
Заметила один момент: вы ссылаетесь на Multi-Agent Comedy Club с +75% от накопленного фидбека, но в своём процессе останавливаетесь на «генерирую → отбираю руками». Кажется, тут есть пространство для улучшений – попробовать замкнуть цикл, чтобы модель учитывала что уже не зашло. Я в eval-проходах своего продукта использую похожий подход: глазами проверяю уже после LLM-judge.
Просто интересно, вы же с достаточно большой кодовой базой работаете, чтобы так уверенно утверждать «знаю что пишу»? Ну тысяч сто строк хотя бы есть? Несколько проектов параллельно? Другие члены команды, которые приносят MR больше 1K строк кода?
Статья закончилась тем, что автор поменял методику работы, и дальше результат стал устраивающим его, пусть и с нюансами. А вы всегда пишете код который безупречен до последнего символа и вписывается в изначальную архитектуру как будто она изначально предусмотрела все возможные расширения и осложнения? Если бы люди писали всегда идеальный код, то агентам в качестве базы обучения досталась бы намного лучшая база чем досталась.
Автор исходной статьи использовал Claude Code с промптами для написания кода, не автокомплит. "Autocomplete on steroids" это метафора автора про степень контроля, не про инструмент. То что он делал как раз и было экспериментами с Agentic Engineering.
За джуном на максималках стоило следить повнимательнее. Когда он начал контролировать архитектуру и следить, результат получился вменяемым. "Выкинул всё и переписал" хайп для заголовка, а по факту он просто перешёл от вайб-кодинга к нормальному Agentic Engineering.
Всю жизнь жила с искривленной перегородкой, поскольку в детстве ломала нос, и после его правили, и тампоны в носу забыть мне слабо. Но поправили плохо, перегородка кривая. Проблема дыхания носом решилась как только по совету диетолога стала следить за нормой выпиваемой воды. Вот уже год, как забыла, что такое, когда нос не дышит.
Спасибо за внимание к статье. Данные, которые пишутся в журнал, очень разнообразны, поскольку отражают разные типы изменений. Поэтому индексы надо будет добавлять не один раз.
Информация
В рейтинге
2 029-я
Откуда
Санкт-Петербург, Санкт-Петербург и область, Россия
Да, именно так. И ещё один момент про промпты: «НЕ делай X» при большом промпте работает хуже, чем явно описать модели, как корректно реагировать на ситуацию — то есть дать позитивный паттерн поведения вместо запрета.
Про математику и цены — это я бы вообще не доверяла модели. Не могу сказать точно, не видя вашу задачу и промпты, но по описанию похоже на кейс, где нужна оценка ситуации моделью + детерминированный расчёт на бэкенде, и, возможно, ещё один вызов модели, если нужен «голос» и разнообразие ответов.
Модель оптимизирована на правдоподобный, полезный, завершённый ответ. Если она “видит”, что человеку срочно нужна помощь, то может достроить недостающий номер просто потому, что это делает ответ более полезным и убедительным. Инструкция
не придумывайдля неё слабее, чем общее давление задачи “помоги пользователю прямо сейчас”.Поэтому промпт может снизить риск, но не убрать его. Если критичные данные нельзя выдумывать, их нельзя оставлять на усмотрение модели — их должен подставлять backend.
В диалоге вы тоже может сымитировать простейший llm-judge запросом на проверку в соседнем или другой нейросетью. Плюс сейчас с агентным ИИ, как бы его тут не пытались отрицать или чернить, возможности по написанию кода доступны всем. Другой вопрос что довести код до продукта задача сложнее, но как инструмент для себя - вполне можно делать очень интересные вещи. Сфера моих интересов сейчас - инструменты с LLM под капотом, и поскольку я инженер, то моя основное целеполагание сделать это работающим надежно. Кстати, 16% дочитываний это шикарная статистика, у моих статей меньше)
С удовольствием почитала про ваш пайплайн с разложением механики каламбура. По сути это тот же принцип, который работает в LLM-продуктах вообще: если модель одновременно анализирует что сказать и генерирует как, оба результата страдают. Разнесение по проходам помогает не только с юмором, у меня аналогичное разделение убрало галлюцинации в критичных данных.
Заметила один момент: вы ссылаетесь на Multi-Agent Comedy Club с +75% от накопленного фидбека, но в своём процессе останавливаетесь на «генерирую → отбираю руками». Кажется, тут есть пространство для улучшений – попробовать замкнуть цикл, чтобы модель учитывала что уже не зашло. Я в eval-проходах своего продукта использую похожий подход: глазами проверяю уже после LLM-judge.
Просто интересно, вы же с достаточно большой кодовой базой работаете, чтобы так уверенно утверждать «знаю что пишу»? Ну тысяч сто строк хотя бы есть? Несколько проектов параллельно? Другие члены команды, которые приносят MR больше 1K строк кода?
Статья закончилась тем, что автор поменял методику работы, и дальше результат стал устраивающим его, пусть и с нюансами. А вы всегда пишете код который безупречен до последнего символа и вписывается в изначальную архитектуру как будто она изначально предусмотрела все возможные расширения и осложнения? Если бы люди писали всегда идеальный код, то агентам в качестве базы обучения досталась бы намного лучшая база чем досталась.
Автор исходной статьи использовал Claude Code с промптами для написания кода, не автокомплит. "Autocomplete on steroids" это метафора автора про степень контроля, не про инструмент. То что он делал как раз и было экспериментами с Agentic Engineering.
100%
За джуном на максималках стоило следить повнимательнее. Когда он начал контролировать архитектуру и следить, результат получился вменяемым. "Выкинул всё и переписал" хайп для заголовка, а по факту он просто перешёл от вайб-кодинга к нормальному Agentic Engineering.
Всю жизнь жила с искривленной перегородкой, поскольку в детстве ломала нос, и после его правили, и тампоны в носу забыть мне слабо. Но поправили плохо, перегородка кривая. Проблема дыхания носом решилась как только по совету диетолога стала следить за нормой выпиваемой воды. Вот уже год, как забыла, что такое, когда нос не дышит.
Спасибо за внимание к статье. Данные, которые пишутся в журнал, очень разнообразны, поскольку отражают разные типы изменений. Поэтому индексы надо будет добавлять не один раз.