Скрипт делает то, что в нем закодировано. Агент умеет думать: если что-то пошло не по сценарию, он сам разбирается, смотрит зависимости, логи и метрики и решает, что делать дальше, а если не уверен, спрашивает. Все случаи в скрипте не учтешь. Скрипты у нас тоже есть, агент работает поверх них
Например, на релизе он собирает задачи из тега и по ним говорит, какие флаги переключить и какие индексы сделать заранее, а на канарейке смотрит метрики и логи
Нет, костыль тоже ловится: код смотрит человек на ревью, а ArchUnit и анализаторы как раз против костылей. Агент иногда пытается схитрить, например заглушить предупреждение, поэтому подавления у нас тоже под правилами
Ревью глазами у нас тоже есть, агентское идет в дополнение. А чтобы ничего не дропнул, к базе у агента доступ только на чтение и то не в проде. Sol на ревью попробую, спасибо. Получается у вас код пишет Opus, а ревьюит Sol?
у нас “что такое хороший код” для конкретного проекта записано в правилах и проверках. По сути это та самая разметка, только для своего проекта. А сеньор в команде никуда не делся, просто теперь он ревьюит и пишет правила, думает архитектуру, а не код
Поэтому мы и не пытаемся выдать агенту все заранее: ADR и контракты до кода, а дальше итерации, где ревью ловит то, что не договорили. Разница в том, что итерация с агентом сильно дешевле. А замечать недосказанность пока может только человек, тут вы правы, поэтому у нас есть и ручное ревью в добавок к ревью агентскому
Все так, гонки и утечки под нагрузкой руками почти не поймать, поэтому упор сейчас на инженерные проверки
Полностью автономных агентов внедрять планируем, сейчас как раз выбираем модели. Они будут подешевле, думаю что-то уже можно булет им отдавать
Как сейчас делают профиль нагрузочные тестировщики, надо уточнить у ребят. Но на своем кейсе убедился, что через агента это делается легко: он сам собирает профиль по НФТ, сразу нагружает, видит, где проседает, и чинит. Удобно
Про пользу для компании: я сужу по своим командам. Посмотрим, что получится по всей компании, тут нужно время на раскатку везде
Инфраструктуру уже перенесли) Инцидент закрыли, переезд сделали за два дня. Команда отработала супер быстро, красавчики, всем могу пожелать такую команду! Спасибо за пожелания!
Дичи через пару итераций у нас не всплывает: по статистике в статье выросли только те баги, которые были и раньше, и выросли вместе с объемом кода. Новых видов дефектов агент не принес. А Sol 6.1 в чем у вас лучше Opus?
Странно ругать за это агента. Придет к вам новый джун или мидл и точно так же напишет цикл вместо stream, особенно если вокруг легаси. Правило в промпте или в доке не поможет ни тому, ни другому. Помогает только статический анализатор, который валит сборку и не дает смержить. У нас так и сделано, про это и статья. А у вас анализаторы валят сборку или только предупреждают? И вы на ревью ревьювитестиль кода? ну это же путь не туда
Про экономику: мы агентом никого не заменяли, люди те же, просто делают больше. А вы как ее считаете: токены против зарплаты или против того, сколько команда успевает сделать?
Про cyber не сталкивался, на каком коде у вас срабатывает? тут не могу ничего сказать
План Б есть: руки никуда не делись ахах)
Про баги: а люди не допускают? Агент на людях и учился) У нас за полгода функциональных багов не прибавилось, хотя кода стало втрое больше. Технических стало больше вместе с кодом, но это те же баги, что были и до агентов, про это и статья
Про 10-15% похоже на правду, погуглил: у Microsoft вышло около 11% времени на код (https://arxiv.org/abs/2502.15287), у IDC 16%. Только агенты у нас не только набирают код: они тестируют, участвуют в деплое и дежурствах, с ними я пишу ADR
Почему сразу говнокод?)) В статье про это есть: статические анализаторы, ArchUnit и общие правила, которые валят сборку, если агент пишет плохо. И почему код Claude это говнокод, а код разработчика шедевр? Claude учился на коде, который писали люди, на том же Stack Overflow. Так что говнокод пишут как раз люди) И чтобы его было меньше нужно теперь работать над пайплайном его генерации и качества
Навык проверять код, наверное, правда слабеет: выходит много нового, и ты уже не так в контексте. Зато в контексте Claude, и это надо принять. Конкурировать с ним я смысла не вижу. В Anthropic инженеры команды прямо пишут, что Claude пишет код лучше них, и мне такой подход нравится. Не надо считать себя умнее машинки))
Продукта думаю не втрое, но делаем быстрее: на роадмапах и планировании теперь закладываем, что задачи будут сделаны короче. Насколько ускорился выпуск фич, хочу посчитать по метрикам отдельной статьей
А еще любят оверинженерить, это кстати инженеры Anthropic тоже отмечают, поэтому важно и нужно говорить агенту нет и стоп. Строки я считал только чтобы сравнить с багами. Графиков по фичам пока нет, хочу посчитать отдельной статьей, как ускорился выпуск фич
Ну и отлично, что смешит) А кому тогда стоит верить в этих вещах? Статья, кстати, на наших цифрах, Anthropic просто вышли в тот же день с похожими выводами
Может быть да, но и то я думаю можно скилл ревью поправить, чтобы он включал продуктовое мышление и дабл чекал логику бизнесовую, но лучше это делать левее по процессу производста, думаю, на процессе груммингов и ресерча PRD с продуктом
Кажется после написания кода уже поздно и где-то процесс поломан, если такое происходит
Скрипт делает то, что в нем закодировано. Агент умеет думать: если что-то пошло не по сценарию, он сам разбирается, смотрит зависимости, логи и метрики и решает, что делать дальше, а если не уверен, спрашивает. Все случаи в скрипте не учтешь. Скрипты у нас тоже есть, агент работает поверх них
Например, на релизе он собирает задачи из тега и по ним говорит, какие флаги переключить и какие индексы сделать заранее, а на канарейке смотрит метрики и логи
Нет, костыль тоже ловится: код смотрит человек на ревью, а ArchUnit и анализаторы как раз против костылей. Агент иногда пытается схитрить, например заглушить предупреждение, поэтому подавления у нас тоже под правилами
Ревью глазами у нас тоже есть, агентское идет в дополнение. А чтобы ничего не дропнул, к базе у агента доступ только на чтение и то не в проде. Sol на ревью попробую, спасибо. Получается у вас код пишет Opus, а ревьюит Sol?
пока метрик нет, это мнение против мнения) Ну только мусор обычно не проходит ревью и анализаторы)
у нас “что такое хороший код” для конкретного проекта записано в правилах и проверках. По сути это та самая разметка, только для своего проекта. А сеньор в команде никуда не делся, просто теперь он ревьюит и пишет правила, думает архитектуру, а не код
Поэтому мы и не пытаемся выдать агенту все заранее: ADR и контракты до кода, а дальше итерации, где ревью ловит то, что не договорили. Разница в том, что итерация с агентом сильно дешевле. А замечать недосказанность пока может только человек, тут вы правы, поэтому у нас есть и ручное ревью в добавок к ревью агентскому
Все так, гонки и утечки под нагрузкой руками почти не поймать, поэтому упор сейчас на инженерные проверки
Полностью автономных агентов внедрять планируем, сейчас как раз выбираем модели. Они будут подешевле, думаю что-то уже можно булет им отдавать
Как сейчас делают профиль нагрузочные тестировщики, надо уточнить у ребят. Но на своем кейсе убедился, что через агента это делается легко: он сам собирает профиль по НФТ, сразу нагружает, видит, где проседает, и чинит. Удобно
Про пользу для компании: я сужу по своим командам. Посмотрим, что получится по всей компании, тут нужно время на раскатку везде
Инфраструктуру уже перенесли) Инцидент закрыли, переезд сделали за два дня. Команда отработала супер быстро, красавчики, всем могу пожелать такую команду! Спасибо за пожелания!
У нас наоборот: агент говорит так сойдет, а сборка - не сойдет)
Дичи через пару итераций у нас не всплывает: по статистике в статье выросли только те баги, которые были и раньше, и выросли вместе с объемом кода. Новых видов дефектов агент не принес. А Sol 6.1 в чем у вас лучше Opus?
Странно ругать за это агента. Придет к вам новый джун или мидл и точно так же напишет цикл вместо stream, особенно если вокруг легаси. Правило в промпте или в доке не поможет ни тому, ни другому. Помогает только статический анализатор, который валит сборку и не дает смержить. У нас так и сделано, про это и статья. А у вас анализаторы валят сборку или только предупреждают? И вы на ревью ревьювитестиль кода? ну это же путь не туда
Про экономику: мы агентом никого не заменяли, люди те же, просто делают больше. А вы как ее считаете: токены против зарплаты или против того, сколько команда успевает сделать?
Про cyber не сталкивался, на каком коде у вас срабатывает? тут не могу ничего сказать
План Б есть: руки никуда не делись ахах)
Про баги: а люди не допускают? Агент на людях и учился) У нас за полгода функциональных багов не прибавилось, хотя кода стало втрое больше. Технических стало больше вместе с кодом, но это те же баги, что были и до агентов, про это и статья
Про 10-15% похоже на правду, погуглил: у Microsoft вышло около 11% времени на код (https://arxiv.org/abs/2502.15287), у IDC 16%. Только агенты у нас не только набирают код: они тестируют, участвуют в деплое и дежурствах, с ними я пишу ADR
Почему сразу говнокод?)) В статье про это есть: статические анализаторы, ArchUnit и общие правила, которые валят сборку, если агент пишет плохо. И почему код Claude это говнокод, а код разработчика шедевр? Claude учился на коде, который писали люди, на том же Stack Overflow. Так что говнокод пишут как раз люди) И чтобы его было меньше нужно теперь работать над пайплайном его генерации и качества
Навык проверять код, наверное, правда слабеет: выходит много нового, и ты уже не так в контексте. Зато в контексте Claude, и это надо принять. Конкурировать с ним я смысла не вижу. В Anthropic инженеры команды прямо пишут, что Claude пишет код лучше них, и мне такой подход нравится. Не надо считать себя умнее машинки))
Продукта думаю не втрое, но делаем быстрее: на роадмапах и планировании теперь закладываем, что задачи будут сделаны короче. Насколько ускорился выпуск фич, хочу посчитать по метрикам отдельной статьей
А еще любят оверинженерить, это кстати инженеры Anthropic тоже отмечают, поэтому важно и нужно говорить агенту нет и стоп. Строки я считал только чтобы сравнить с багами. Графиков по фичам пока нет, хочу посчитать отдельной статьей, как ускорился выпуск фич
Ну и отлично, что смешит) А кому тогда стоит верить в этих вещах? Статья, кстати, на наших цифрах, Anthropic просто вышли в тот же день с похожими выводами
Интересно, надо попробовать его на ревью! Не пробовал, с головой сейчас хватает опуса)
Они продают Claude, и это норм. Но они и сами на нем живут, а это уже их прод, а не реклама
Может быть да, но и то я думаю можно скилл ревью поправить, чтобы он включал продуктовое мышление и дабл чекал логику бизнесовую, но лучше это делать левее по процессу производста, думаю, на процессе груммингов и ресерча PRD с продуктом
Кажется после написания кода уже поздно и где-то процесс поломан, если такое происходит