Я запретил Claude говорить «всё работает» без пруфов. Это изменило всё

[nedovyazhu]

Как идея звучит прикольно, на практике мне кажется, это будет бесконечный процесс "дообучения" (редактирования скиллов с новыми правками) агента не пропускать своих же косяков, который в последствии обернется, тем что, что-то он всё равно забудет, но не хочу судить не попробовав.

Сейчас все деградации ui, я стараюсь ловить голден тестами, а все что касается бизнес логики проверяется либо вручную либо интеграционными тестами, написанные с помощью этих же агентов...

Час гонять модель по одной форме конечно сильно 😄

У меня самый частый косяк раньше был иллюзия корректности тестов. Я сама по натуре не тестировщик, а разработчик, и тесты пишутся с помощью claude. Ну и собственно когда все тесты зелёные, это не всегда значит, что тесты корректны и вообще не значит что они реально что-то проверили...

[Kova13v]

Первые месяцы - да, ощущение бесконечного дообучения, потом кривая сходится: у меня с двух-трех пропусков за прогон дошло до одного-двух в месяц. Насчет "забудет": скилл - не память, а файл, который агент перечитывает каждый прогон; забыть можно то, что в голове). Голден-тесты хороши, но они про пиксели - баг из демо они пропустят, UI-то идентичен, а мусор в payload. А "иллюзия корректности тестов": под неё в паке test-review, он ловит тесты без ассертов и оракулы вида "кнопка активна".

[Vindicar]

Пардон за оффтопик, но...

В конце — честный список того, где это всё не работает.

У меня одного уже red flag на слово "честный"? Каждый раз как его вижу, это либо брехня, либо слоп.

[Kova13v]

Проверить легко, в конце статьи раздел, где я сам перечисляю, что тут дорого, что вырезано и где агент все еще может ошибиться. Если после него ощущение брехни останется - пишите)

[WordEngineer]

Подход с обязательным артефактом под каждый вердикт - это по сути то же самое, что делают в QA с чек-листами для ручных тестировщиков, просто перенесенное на агента. Момент про SSR-гидратацию отдельно зацепил, у нас было похожее на Next.js, когда агент честно снимал скриншот пустого состояния и делал вывод, что данные не грузятся, хотя они появлялись на секунду позже. Идея логировать каждое расхождение с макетом, даже на 4 пикселя, звучит избыточно, но именно такие мелочи потом всплывают в проде. Пак скиллов выглядит зрелым, особенно если пять сущностей реально склеены в конвейер, а не просто лежат рядом.

[Kova13v]

Да, ровно так) ничего нового я не изобретал, это обычная дисциплина ручного QA, просто записанная так, чтобы агент мог ее выполнять. Ваш случай с Next.js узнаваемый, агент замеряет сразу после появления блока и попадает в окно гидратации. У меня вылечилось повторным замером через expect().toPass(), а скриншот - только после того, как страница устаканилась.

[iFoxtrot]

40-60 минут на одну форму конечно ощутимо. а не пробовал разбивать чеклист на приоритеты, чтобы был режим "смоук за 10 минут" и полный прогон отдельно? или на практике смоук от агента бесполезен?

[Kova13v]

Разбиваю, да. Глубина в скилле это параметр, есть риск-приоритизация и smoke-подмножество (критичные пути + сабмит с проверкой payload), такое агент пробегает минут за 10-15. Полный дотошный прогон это отдельный режим, для регресса. Но в то же время smoke от агента не бесполезен и грубые поломки обычно ловит. Но главное, что дает дисциплина именно смоуку - агент обязан перечислить в отчете, что не проверял. Смоук зеленый - это "критичное ок, остальное not tested", а не "все работает")

[vnoleg]

Правила можно обойти, хуки обойти нельзя. Можно еще повысить качество, если добавить PreToolUse hook на вызов gh pr create (и еще на хост гитхаба добавить триггер), который заставит его выполнять дополнительные проверки, если они еще не были пройдены.

И вообще, в claude best practices советы, которые действительно хорошо работают. "Give Claude a way to verify its work " оттуда как раз.

[Kova13v]

Да, все так. Разделяю их так: хук гейтит точки типа pre-commit ("прогон был? артефакты есть?"), а правила работают там, куда хук не повесишь - на куче микрорешений внутри прогона: лезть ли в payload, что писать в отчет. Комбинация - это то, куда хочу прийти)