Спасибо за разбор и за статью про хуки! Особенно зашли таблица слоёв (CLAUDE.md, скилл, память, хук) и принцип «гейт перед необратимым действием в сомнении запрещает» — его и взял.
Сделал по вашему совету: в плагин qa-skills добавил PreToolUse-хук на Bash и PowerShell (https://github.com/KonstantinVCH/QA-agent-skills/commit/8accaab). Перед любым запуском деплоя Bamboo он сверяет числовой environmentId со списком тестовых окружений, список собирается из Bamboo одной командой. Не тот стенд, id в переменной или списка нет — deny. guard_env оставил вторым слоем.
Что не решено: — хук видит только текст команды: деплой, спрятанный в скрипт или MCP-сервер, проскочит, как у вас с make deploy; — при новом стенде список окружений надо пересобрать, иначе хук не пустит; — на живом Bamboo сборку списка ещё не гонял, проверял фейковым JSON, как вы советуете в статье; — в командную версию перенесу следом.
С evals: сохранил тестовые запросы с проверками для трёх скиллов, включая два последних правила. Но перегоняю пока вручную через skill-creator, и evals есть только у трёх скиллов из десяти. Так что ответ на ваш вопрос: стало лучше, чем «на глаз», но до автоматической проверки ещё далеко)
По resource-locator подтверждаю — у нас то же самое было с Jira-нодами: в режиме «From list» поле уходит как объект, а не строка, и API получает не то. Перешли на явные выражения ={{ ... }} — стало предсказуемо.
Про кэш credential — у нас не стрельнуло только потому, что Claude и Allure дёргаем напрямую через HTTP Request ноду с токеном в заголовке, а не через credential-блок. Токен читается на каждом запуске, рестарт не нужен. Но для нативных нод совет золотой, забираю.
Спасибо за разбор и за статью про хуки! Особенно зашли таблица слоёв (CLAUDE.md, скилл, память, хук) и принцип «гейт перед необратимым действием в сомнении запрещает» — его и взял.
Сделал по вашему совету: в плагин qa-skills добавил PreToolUse-хук на Bash и PowerShell (https://github.com/KonstantinVCH/QA-agent-skills/commit/8accaab). Перед любым запуском деплоя Bamboo он сверяет числовой environmentId со списком тестовых окружений, список собирается из Bamboo одной командой. Не тот стенд, id в переменной или списка нет — deny. guard_env оставил вторым слоем.
Что не решено: — хук видит только текст команды: деплой, спрятанный в скрипт или MCP-сервер, проскочит, как у вас с make deploy; — при новом стенде список окружений надо пересобрать, иначе хук не пустит; — на живом Bamboo сборку списка ещё не гонял, проверял фейковым JSON, как вы советуете в статье; — в командную версию перенесу следом.
С evals: сохранил тестовые запросы с проверками для трёх скиллов, включая два последних правила. Но перегоняю пока вручную через skill-creator, и evals есть только у трёх скиллов из десяти. Так что ответ на ваш вопрос: стало лучше, чем «на глаз», но до автоматической проверки ещё далеко)
Да уж , подготовили себе достойную замену )
Все как обычно
А кто то сейчас делает иначе ?)) дай знать если агент скажет что нужно забрать пару фич себе в работу , ну или накинет на вентилятор)
Так же точно поможет настроить mcp сервера для обвязки с сервисами с которыми работают скилы👌
Принял с благодарность !
Спасибо!
Спасибо! Были такие ситуации)
Мультиагентный режим cебя не оправдал , ориентиром был этот проект https://github.com/msitarzewski/agency-agents, Агенты часами общались между собой, а разбирать их выводы приходилось дольше, чем тестировать самому. Решения пока нет, вернулся к пошаговому варианту. Но его вариант выложил у себя в репо https://github.com/KonstantinVCH/QA-agent-skills/tree/main/skills/qa-autopilot
Спасибо, оба кейса в копилку!
По resource-locator подтверждаю — у нас то же самое было с Jira-нодами: в режиме «From list» поле уходит как объект, а не строка, и API получает не то. Перешли на явные выражения
={{ ... }}— стало предсказуемо.Про кэш credential — у нас не стрельнуло только потому, что Claude и Allure дёргаем напрямую через HTTP Request ноду с токеном в заголовке, а не через credential-блок. Токен читается на каждом запуске, рестарт не нужен. Но для нативных нод совет золотой, забираю.
Воркфлоу и детали его настройки под свой проект можно найти тут :
https://github.com/KonstantinVCH/n8n-auto-qa-bot
Спасибо , принял с благодарностью