Комментарии 11
Добрый день! Спасибо за статью!
Расскажите, пожалуйста, как вы получаете api тесты и надо ли после gpt их переписывать/адаптировать? Были ли случаи, когда gpt совершал ошибки? Вы как-то проверяете за ним результат?
Добрый день!
API тесты мы получаем следующим образом:
Первично запрашиваем генерацию API тестов по спецификации в формате CURL с описанием ожидаемых результатов для каждого из тестов, дальше можно их трансформировать в Postman путем импорта из CURL, либо в ассистенте выбрать метод трансформации в тесты на стэке Java + RestAssured, либо Python + Requests, ожидаемые результаты будут трансформированы в assertы.
Мы генерируем их на том стеке, который используют наши команды, поэтому переписывать не надо, но проверить корректность и адаптировать (например, добавить секрет авторизации для закрытой апи). Прям явных ошибок замечено не было, возможно пока не столкнулись, но на текущем этапе результат всегда перепроверяется руками.
Спасибо. Тогда такой вопрос. У вас, например, 1000 тестов. Как тогда быть? Например, вы используете голый python + request на выходе или у вас есть какая-то структура (фреймворк) под который вы подстраиватесь?
То есть идея проверять здесь и сейчас понятна, но что делать с перспективой на будущее, когда тестов станет много?
Спасибо за вопрос. Сгенерированный тест тестировщик добавляет в ручном режиме в общий скоуп тестов, после базовой проверки "здесь и сейчас", тут пока от ручных действий не ушли, возможно, в дальнейшем будет реализована возможность автоматического встраивания новых тестов в общий фреймворк, подумаем над этим.
Спасибо за интересную статью!
Несколько вопросов:
- Насколько ваши генерируемые тесты информативны и помогают найти источник проблемы?
- Насколько ваши генерируемые тесты независимы друг от друга, например каждый тест работает в динамически созданном аккаунте на время работы теста
- Соответствуют ли генерируемые тесты формату ААА?
Добрый день!
Информативность генерируемых тестов нас устраивает, тестировщики перепроверяют генерацию, при необходимости могут внести корректировки, что-то добавить, либо удалить лишнее.
Независимость на уровне генерации не прорабатывали, это остается пока в зоне ответственности тестировщика, но, возможно, будем идти в эту сторону и дорабатываться, благодарим за идею
Да, стараемся соответствовать данному паттерну, в каком формате будут сгенерированы тесты можно регулировать путем донастройки prompt-запросов
Как почитаешь статьи банка, так чуть ли не звездолет строят. А как обращение в банк оставишь, так от "Спортлото" быстрее ответ получить можно, чем от банка. IT в банке живёт явно в отрыве от болей клиентов и, видимо, бизнеса в целом.
Спасибо за статью, было интересно!
Подскажите, пожалуйста, как решали вопрос с безопасностью входных данных и, возможно, из обезличиванием?
Действительно при работе с внешними моделями это один из самых основных вопросов
Мы идем в сторону использования DLP, коллеги из ИБ уже имеют инструмент для проверки уходящих данных и сейчас мы в процессе интеграции с ними, по поводу обезличивания/маскирования некоторых данных - смотрим в сторону SpaCY, эта библиотека может помочь.
Но, в нашем конкретном кейсе, в данных, необходимых для генерации кейсов и спецификациях - нет персданных и иной чувствительной информации.
Но для других задач необходим сервис DLP с проверкой данных, в который приходит запрос до отправки вовне и ждет результата проверки.
«ИИ-тестировщик»: от идеи к реализации