Работаю в Москве, название фирмы раскрывать не буду.
Json с данными и последовательностью выполнения запросов генерируется на основе Excel — скачать его и коллекцию Postman можно на GitHub, ссылка в конце статьи.
Что нужно сделать для запуска:
1. Импортировать коллецию в Postman
2. Наполнить Excel данными и запустить генерацию Json
3. Запустить Postman Runner и импортировать файл сгенерированный на шаге 2.
4. Запустить прогон
Если требуется дополнительная консультация, пишите с описанием того, что не получилось.
Не согласен с Вашим тезисом, что тестировщик, который не умеет писать код = макака.
Тестировщик минимально должен обладать следующим:
1. Знать и уметь применять техники тест-дизайна.
2. Уметь работать с документацией, в том числе проверять их на непротиворечивость и полноту.
3. Уметь постороить отношения с разработчиками, аналитиками и другими участниками процесса.
Макака этого не может. И у нас нет Макак, у нас есть специалисты по тестированию.
Текучки у нас также практически нет, за 2 года моей работы от нас ушел 1 человек из 10 и с ним у нам до сих пор нормальные отношения.
Я решил задачу по тестированию API таким образом, и поделился результатами с сообществом. Если есть вопросы по инструменту, постараюсь ответить.
По работе отдела и тем более по моим сотрудникам, я обсуждение продолжать не буду.
Теперь по Вашему комментарию:
Визуализация не делалась и осталась стандартной, которую выдает Postman runner.
Позже, возможно, займусь работой с CI и визуализацией результатов.
Также тут хранится последовательность выполнения запросов. С базой работать не умеет, в Excel надо хранить точные данные (или ссылки на postman переменные).
Значение из базы известно на момент написания теста или может быть не определено?
Подход не претендует на 100% покрытие потребностей и замену остальных инструментов. Нам он подходит и я им поделился.
Изменения для ревью можно получать сравнивая Json сформированный по предыдущей и текущей версии Excel. Если их заливать вместе с тестами, то изменения будут видны и в системе контроля версий.
Основные мотивы были следующие:
1. При появлении нового API, для написания тестов не писать код. — не у всех есть компетенции
2. Отказаться от Json как источника данных. — Не удобно наполнять и валидировать (первоначальное формирование)
3. Excel удобно наполнять данными. Также есть ряд средств для работы с тестовым набором (функции; условное форматирование, которое подсветит изменения от кейса к кейсу и т.д.)
— Мне в табличном формате действительно удобно работать с данными
— Не понял вопрос про скрипты валидации ответа.
Куда устроиться не могу подсказать, посмотрите на hh, я нашел. При этом опыта работы с Postman у меня на тот момент времени не было, освоил недавно.
В решении не затрагивается часть с визуализацией результатов, здесь есть визуализация подаваемых значений и ожиданий, а также последовательности вызовов. Визуализация результатов стандартная через Postman runner
На счет поддерживаемости и маштабирования нас на текущий момент устраивает, дальше посмотрим, может и изменим подход.
По поводу изменений в Excel при смене параметров или логики. В этом случае все равно придется вносить изменения, в любом инструменте, само оно не подстроится.
Нет, прогон осуществляется средствами Postman. Excel хранит данные о том, что подать и что сверить (Сверяется на стороне Postman), а также последовательности вызовов API методов
1. Версионирование можно поддерживать через svn или git, где будут храниться версии excel файла. Сравнение изменений они не поддерживают, но при введении валидации файла, как шага процесса, другим тестировщиком имеет право на жизнь.
2. Для интеграции с CI у Postman есть newman CLI. Я её пока не реализовывал, но читал, что такая возможность есть. По поводу убедись что все зеленое не понял. Excel используется только для подготовки данных, прогон на стороне Postman. Он же предоставляет результат прогона (пример на предпоследнем скриншоте)
3. Валидация идет при прогоне на стороне Postman. VBA перегоняет данные из Excel в Json, который потребляет Postman.
Дополнительно: Все это делалось, чтобы тестировщики, которые не умеют писать код могли заниматься тестированием API, используя шаблонный excel и шаблонную коллекцию Postman
Работаю в Москве, название фирмы раскрывать не буду.
Json с данными и последовательностью выполнения запросов генерируется на основе Excel — скачать его и коллекцию Postman можно на GitHub, ссылка в конце статьи.
Что нужно сделать для запуска:
1. Импортировать коллецию в Postman
2. Наполнить Excel данными и запустить генерацию Json
3. Запустить Postman Runner и импортировать файл сгенерированный на шаге 2.
4. Запустить прогон
Если требуется дополнительная консультация, пишите с описанием того, что не получилось.
Не согласен с Вашим тезисом, что тестировщик, который не умеет писать код = макака.
Тестировщик минимально должен обладать следующим:
1. Знать и уметь применять техники тест-дизайна.
2. Уметь работать с документацией, в том числе проверять их на непротиворечивость и полноту.
3. Уметь постороить отношения с разработчиками, аналитиками и другими участниками процесса.
Макака этого не может. И у нас нет Макак, у нас есть специалисты по тестированию.
Текучки у нас также практически нет, за 2 года моей работы от нас ушел 1 человек из 10 и с ним у нам до сих пор нормальные отношения.
Я решил задачу по тестированию API таким образом, и поделился результатами с сообществом. Если есть вопросы по инструменту, постараюсь ответить.
По работе отдела и тем более по моим сотрудникам, я обсуждение продолжать не буду.
Теперь по Вашему комментарию:
Визуализация не делалась и осталась стандартной, которую выдает Postman runner.
Позже, возможно, займусь работой с CI и визуализацией результатов.
Значение из базы известно на момент написания теста или может быть не определено?
Подход не претендует на 100% покрытие потребностей и замену остальных инструментов. Нам он подходит и я им поделился.
Основные мотивы были следующие:
1. При появлении нового API, для написания тестов не писать код. — не у всех есть компетенции
2. Отказаться от Json как источника данных. — Не удобно наполнять и валидировать (первоначальное формирование)
3. Excel удобно наполнять данными. Также есть ряд средств для работы с тестовым набором (функции; условное форматирование, которое подсветит изменения от кейса к кейсу и т.д.)
— Мне в табличном формате действительно удобно работать с данными
— Не понял вопрос про скрипты валидации ответа.
В решении не затрагивается часть с визуализацией результатов, здесь есть визуализация подаваемых значений и ожиданий, а также последовательности вызовов. Визуализация результатов стандартная через Postman runner
На счет поддерживаемости и маштабирования нас на текущий момент устраивает, дальше посмотрим, может и изменим подход.
По поводу изменений в Excel при смене параметров или логики. В этом случае все равно придется вносить изменения, в любом инструменте, само оно не подстроится.
1. Версионирование можно поддерживать через svn или git, где будут храниться версии excel файла. Сравнение изменений они не поддерживают, но при введении валидации файла, как шага процесса, другим тестировщиком имеет право на жизнь.
2. Для интеграции с CI у Postman есть newman CLI. Я её пока не реализовывал, но читал, что такая возможность есть. По поводу убедись что все зеленое не понял. Excel используется только для подготовки данных, прогон на стороне Postman. Он же предоставляет результат прогона (пример на предпоследнем скриншоте)
3. Валидация идет при прогоне на стороне Postman. VBA перегоняет данные из Excel в Json, который потребляет Postman.
Дополнительно: Все это делалось, чтобы тестировщики, которые не умеют писать код могли заниматься тестированием API, используя шаблонный excel и шаблонную коллекцию Postman