Пользователь пишет issue, агент меняет сайт. Да, я это сделал

[vdudouyt]

github-репо

Как я понимаю, данная агентная цепочка так же способна автоматически писать статьи на Хабре?

[flancer]

Не понял вопроса. Что вас смутило в "github-репо"?

[vasyan_podpivkovich]

А потом к вам приходят конкуренты, пишут кипу вредительских issue, которые не обязательно будут отличимы от обычных пользовательских отзывов и как следствие неотличимы каким-нибудь эвристическим фильтром. Агент это всё подхватывает, переваривает. Утром вы приходите и ваш ресурс превращается в тыкву.

[flancer]

Попробуйте, не голословьте.

[vasyan_podpivkovich]

Вы, ответьте, пожалуйста предметно на критику. Есть вопросы доверенного доступа и качественной базы предыдущего опыта для направления таргетированной генерации контента.

Это может звучать некорректно, но вы отнюдь не первый придумали схему подобной генерации. И она упирается в то, что у вас должны быть изначально качественные данные и вы не можете дать доступ абсолютно всем за рамками подобных песочниц. Ведь за глюки системы в этих песочницах в отличии от бизнесового прода вам ответственность не нести.

В своих проектах, например, у нас скоуп пользователей ограничен внутренними. Поэтому большинства проблем это позволяет избежать. У вас же не вижу ответа в статье, кроме расплывчатых формулировок в духе "Я уверен, что есть способы заставить агентов выполнять нелегитимные действия, но я также уверен, что есть способы ограничить возможности агентов выполнять нелегитимные действия."

[flancer]

А где здесь критика? В том, что "ресурс можно превратить в тыкву"? Я согласен, что можно. Это не так просто сделать, но можно. Абсолютной защиты не бывает, но хороша та защита, затраты на преодоление которой не оправдываются "призом". Мне, например, не сложно откатить мой сайт на несколько коммитов назад, если что-то пойдёт не так.

А так-то я тоже не во все свои проекты всех подряд запускаю.

У вас же не вижу ответа в статье

А ответ простой: "серебряной пули не существует". Каждая задача требует своих решений. У вас - свои задачи, у меня - свои. Применять мои ответы к вашим задачам... ну как-то неправильно, что ли. Сами ищите.

[Dhwtj]

Денег с такими подходом не ждите

[flancer]

Ну, я не универсальный проблем солвер. У меня есть ответы лишь на определённый класс вопросов. Да и не то, чтобы есть, я их всё ещё ищу. Но спасибо, что поделились своим мнением :)

[ProgerMan]

Это первое, что захотелось сделать, даже не будучи конкурентом. Чисто попробовать, посмотреть, получится ли базу прочистить. Делать я этого, конечно же, не буду.

Сначала дают доступ к критическим системам, а потом плачут, что базу удалили, пользователей потеряли, бизнес обанкротился.

[flancer]

Уже сделали :)

[copyhold]

Работает в общем хорошо, но guardrails бы не помешали.
Также было бы хорошо не закрывать тикет сразу , а позволить человеку отреагировать на коммент.

[flancer]

Это делается путём изменения промптов к агентам. В других репо у меня другой workflow.

[cthtuf]

Подход интересный, я так понимаю у вас внешняя интеграция которая слушает тикеты и потом запускает агента в работу. А не пробовали все то же самое реализовать средствами самого GitHub без внешних интеграций через https://github.blog/ai-and-ml/github-copilot/onboarding-your-ai-peer-programmer-setting-up-github-copilot-coding-agent-for-success/ и что думаете на этот счёт?

[flancer]

Я имею опыт взаимодействия именно с кодексом. С Copilot'ом как-то не сложилось. Плюс, я могу агента менять, на того же Клода, например. А вместо гитхаб взять гитлаб. Ну, могу думать в эту сторону. А решение от Майкрософта - это вендор-лок.

[m0tral]

Чисто спортивный интерес? Можно да, дать инструмент тестерам закрывать мелкие баги UI, вполне, что то более менее серьезное - неа.

[flancer]

Можно и посерьезнее, но, конечно, не через доступ всем, кому ни попадая.

[seregadomain]

А можно и сквозной конвеер по написанию 2е2 регресс автотестов на основе тасок

[kain64b]

Как же это все далеко от реального прода, issues, да разработки в принципе.. когда этот ваш нейрослопа уже кончится

[flancer]

Никогда. Теперь уже никогда. Привыкайте.

[alex1478]

Какой-то бред, это даже не забавно. Полный нейрослоп
Написал свои замечания по сайту (issues/102) и получил какой-то слоп в виде дополнительной страницы на сайте https://teqfw.com/demo/pages/required-elements-are-missing/

[alex1478]

Посмотрел другие issues. Судя по ответам сетки, как бы автор нам не говорил о полном доступе, фактически сетке запрещено менять что-то вне текстового содержимого /demo/pages/. Получается автор сам не доверяет своему ИИ лол

[flancer]

И в каком месте автор "говорил о полном доступе"? Вы очень странный для айтишника.

[alex1478]

LLM-агенты могут обновлять кодовую базу по тикетам конечных пользователей и сразу выкатываться на прод

Выглядит как заявка на полный доступ к кодовой базе, а не как ограниченная песочница где можно только генерировать текст для новых страничек

[flancer]

Ну так это так и есть - агенты могут обновлять кодовую базу по тикетам пользователей и выкатываться на прод. В ограниченных мной пределах. Что не так-то? Где тут заявка на полный доступ? Вы можете предоставить по такой схеме доступ к своему сайту и установить свои пределы. На свой страх и риск. Welcome, как говорится.

[danilovmy]

На самом деле там 8 разных профилей для Codex-агента - 8 разных стартовых промптов, 8 разных ролей.

....

Любой может запостить issue и посмотреть на результат работы

А сами промпты посмотреть можно? Мне как-бы не важен результат, интересно посмотреть ход инженерной мысли.

[flancer]

Да, конечно. Вот промпты и весь workflow - http://cms.teqfw.com/output.zip

[danilovmy]

Спасибо. Хотел в карму добавить... а, оказывается, я уже давно как. Могу только откатить и опять добавить :)

[flancer]

Спасибо. Не надо откатывать, пусть остаётся как есть. Не будем повышать энтропию :)