Статья была бы невозможна без беседы с Татьяной Игнатьевой и Фаилем Нигматуллиным — большое им спасибо. Ответственность за любые ошибки на мне.

Поговорим о том, как от нейрослопа прийти к хорошим сгенерированным тест-кейсам. В любом ремесле качества добиваются кропотливыми итерациями по продукту, добавляя всё новые инструменты и проверки.

Незаконченная скульптура Микеланджело
Незаконченная скульптура Микеланджело

Скажем, скульптор не «находит» уже готовую статую в камне, а проходит по материалу много раз, каждый раз всё более точным инструментом: вначале шпунтом скалывает большие куски, потом скарпелем обрабатывает до относительной гладкости, потом полирует разными способами, чтобы скрыть следы скарпеля. Если бы мы заглянули в мастерскую посредине этого процесса, то увидели бы статую «размытую», с нечёткими очертаниями.

Так же нечётко и общо отвечают нейросети, если их специально не настроить. Наш резец здесь — контекст, и о том, как он важен для генерации тест-кейсов, уже писали на Хабре (тут и тут).

В прошлой статье я показывал гипотетический пример того, как с современными инструментами можно интегрировать в один процесс разные источники данных для генерации тест-кейсов. Сейчас же я расскажу о реальном опыте команды ТестОпс:

  • Вначале опишу цепочку от макетов в Figma до проверенных тест-кейсов в TMS.

  • Потом расскажу, с какими сложностями пришлось столкнуться и как их преодолевали итерация за итерацией, добавляя новые элементы контекста.

Со многими из этих проблем разработчики в ТестОпс уже столкнулись, когда настраивали своего агента для правки багов (об этом статья в двух частях — ч. 1 и ч. 2).

1. Как выглядит процесс сегодня

Сегодня команда генерирует тест-кейсы примерно по следующей схеме:

Цепочка генерации тест-кейсов
Цепочка генерации тест-кейсов
  1. Макеты из Figma с помощью встроенного ИИ-ассистента превращаются в юз-кейсы. Промпт простой, буквально: «распиши юз-кейсы на основе данного макета».

  2. Требования берутся Из Яндекс Вики.

  3. Из требований и юз-кейсов в Cursor генерируются тест-кейсы, пока в очень сыром виде.

  4. Тест-кейсы загружаются в TMS ТестОпс в статусе черновиков. Дорабатывать их вручную в TMS гораздо удобнее, чем объяснять агенту в чате, что именно нужно исправить. Кроме того, для массовых правок можно использовать внутреннего агента TMS.

  5. Внутренний агент TMS проверяет кейсы на соответствие стилю проекта, логичность и отсутствие противоречий.

  6. Тест-кейсы отправляются на ревью другим тестировщикам. Люди лучше знают контекст, видят связи между компонентами и предлагают новые сценарии проверки.

Точно оценить эффект от нейросетей команда пока только планирует. Но по ощущениям, дорабатывать сделанные ИИ черновики где-то на 30% быстрее, чем писать с нуля.

У этого процесса большой потенциал. В перспективе с ним можно сразу будет писать автотесты, и в QA уже всерьёз обдумывают такую цепочку. Она может выглядеть так:

  • В QA приходят требования.

  • По ним пишутся тест-кейсы, причём для happy-path они пишутся в свободной форме, без сильной привязки к правилам и структуре, с главной целью — передать смысл проверки.

  • Тест-кейсы проходят ревью. На мелочи не обращают внимания, но следят за тест-дизайном и всем, что может помешать понять тест-кейс и написать по нему e2e-тест.

  • На основе этих тест-кейсов генерируются автотесты. Для этого уже написан специальный скилл.

Но пока это в будущем. Сейчас же с генерацией есть трудности, и интересно посмотреть, как тестировщики их преодолевают.

2. Как добавляется новый контекст

Сейчас тестировщики пишут скилл (стандартный SKILL.md), который должен улучшить генерацию тест-кейсов. Это — как раз тот резец, который делает агента более точным. Вот его основные компоненты — уже работающие и запланированные:

Устранение дублирования

Модель сама по себе не следила за тем, перекрываются ли тест-кейсы друг с другом. Пришлось добавить отдельную проверку, которая исключала бы дублирование. Правда, здесь есть проблема с тем, что агент плохо ориентируется в существующих тест-кейсах и их структуре хранения, поэтому путает кейс и результат теста. Здесь нужна работа с промптом.

Кроме того, скилл проверяет, что повторяющиеся между тест-кейсами действия вынесены в общие шаги, а существующие общие шаги переиспользуются. Это должно существенно сократить количество правок.

Сверка терминологии

Чтобы обеспечить единство языка, в скилл добавили специальный файл с терминологией. Туда записывают специфичные проекту понятия или термины, которые нейросеть может интерпретировать неоднозначно.

Корректировка стиля

Без чёткого руководства по стилю модель гораздо чаще выдаёт нейрослоп, пытается уместить в один тест-кейс независимые проверки или описывает ожидаемые результаты очень общо — в стиле «проверь, что работает».

Чтобы улучшить ответы нейросети, был создан отдельный файл по стилистике, который также живёт внутри скилла. В нём описаны правила для каждого раздела тест-кейса, причём касающиеся как логики, так и языка:

  • Общие правила по языку и разметке

  • Название и описание тест-кейса (например, для похожих тест-кейсов названия должны точно передавать различия)

  • Структура и метаданные (например, для названий полей нужно использовать существующие варианты, а перед предложением нового поля проверять известные аналоги)

  • Предусловие

  • Вид сценария (например, подробный пошаговый сценарий не оформляется как чек-лист)

  • Текст и порядок шагов (в частности, все действия должны быть описаны инфинитивом: «Открыть», «Нажать»)

  • Ожидаемый результат (здесь как раз прописано, что ожидаемый результат должен быть конкретным наблюдаемым фактом, например «Открывается форма»)

  • Общие шаги

  • Источники, ссылки и сопровождающий отчёт (например, точные ссылки на источники требований)

  • Проверка оформления — перед передачей модель должна проверить весь текст

Это руководство можно дополнять и менять по мере того, как накапливаются замечания от тестировщиков или агента. Иначе говоря, у процесса появился механизм отладки.

Сверка с документацией

В перспективе можно дать агенту доступ к документации всего приложения, чтобы он мог сопоставлять новую фичу с существующей функциональностью. Это тоже сделает ответы более согласованными и единообразными.

Компиляция требований

Качество генерируемых тест-кейсов и покрытие фич напрямую зависят от того, насколько полны требования. Обеспечить эту полноту оказалось самой трудной проблемой — причём не только для команды ТестОпс.

Начнём с того, что весь описанный выше путь относится к UI-фичам, для которых есть макеты в Figma. Для задач без макетов (бэкенд, интеграции, API) полноценных требований обычно нет: тесты пишутся по коду готовой фичи. Но даже для UI требования обычно неполные и живут в разных источниках: Figma, вики, треды, а что-то — только в созвонах и личных чатах с заказчиком. Ситуация усугубляется тем, что требования часто меняются, и это тоже сильно влияет на результат.

Частично эта проблема решаема благодаря гибкости ИИ-инструментов. Скилл, который пишет сейчас QA, должен будет собирать требования из нескольких источников:

  • Яндекс Вики

  • Яндекс Трекер

  • Figma (в перспективе — с прямым доступом к макетам через MCP-сервер)

  • Чаты

Кроме того, он будет проверять, не противоречат ли друг другу требования из разных источников, и если есть расхождения, спрашивать пользователя.

Этот скилл сможет автоматизировать большой кусок работы с агентом. Вместе с проверками стиля, терминологии и дублирования, о которых я писал выше, он должен улучшить и качество ответов.

И всё же даже такой скилл не решит проблему полноты и изменчивости требований, потому что как минимум часть из них живёт в голове у людей — а забраться туда ИИ пока, к сожалению (или к счастью?), не способен.

3. О чём думать дальше

Настроить нейросетевого агента сегодня — задача решаемая: инструментов много, и они очень гибкие. Тот же n8n позволяет на холсте собирать агента из нод отдельных инструментов.

Но если зарыться в каждую из этих нод и посмотреть, что стоит за ними в реальной трудовой практике, мы увидим, что многие из них очень нестабильны, потому что зависят от человеческих процессов. Например, чисто технически наладить сбор требований из разных источников вполне возможно — но это не гарантирует полноты, если какие-то вещи обговариваются только лично.

Команда QA ТестОпс сейчас отрабатывает агентную генерацию тест-кейсов, и итерация за итерацией результаты становятся всё более точными. Как будет выглядеть автоматизированный конвейер от требований к автотестам — покажет будущее.