Если в общих чертах то автогенератор обходит дерево json или xml и на каждый лист выписывает проверку — путь, оператор, ожидаемое значение и тип данных, а на объекты добавляет whitelist состава, чтобы ловить лишние поля, еще можно глубину ограничивать генерации проверок, чтобы выбирать только нужные шаги. Про локальную модель согласен, тогда мой довод про внешний чат к вам не относится. Но такой путь требует ML-инженера в штате, и это как раз то, чего в большинстве QA-команд нет. Ручной тестировщик не может собрать себе локальную модель за пару вечеров, и на выходе у него всё равно код, который кто-то должен сопровождать.
Также заметил, что оно под Windows 10 / 11, это однопользовательская программа и нужна лицензия на винду? Насколько я понимаю никакой интеграции в линуксовые CI/CD.
Да, всё верно, в дальнейшем есть в планах реализовать интеграции с CI/CD и не только.
Я пытаюсь понять чем ваше решение может быть интересно и кому.
Ваш сценарий предполагает, что в команде уже есть инженер на Python, настроенный CI и локальная модель и организация может это себе позволить. Там, где это есть, вы правы. Но чаще картина другая — тестировщик или аналитик без Python, автотестов нет и в ближайший год не будет, ответ сверяется с документацией глазами в Postman, а логи читаются отдельно руками. Их альтернатива не pytest, а внимательность и время. Для них: собрать проверку кликами, прогнать её заново на следующем спринте, передать коллеге без Python и увидеть запрос вместе с логами в одном сценарии.
Сейчас любой желающий может попробовать бесплатную ограниченную ЗБТ-версию. Затем, после окончания ЗБТ, фикса найденных багов, непокрытых важных сценариев и иных необходимых фич по обратной связи от людей, будет бесплатная двухнедельная ограниченная версия после скачивания, а дальше, если понравилось, можно снять ограничение и оплатить.
Для вашего сценария интересная связка. Я не пытаюсь её заменить, к сожалению, не смог показать всё в одном посте. Есть функция автогенератор, в который можно вставить curl или тела запросов/ответов, и сразу генерируются проверки, включая типы данных, whitelist для поиска лишних параметров, затем можно донастроить проверки под документацию (если необходимо). Также, если рассматривать работу в закрытом контуре, настоящий JSON нельзя отправить во внешний чат, а своего Python-инженера и CI под тесты там часто нет. Инструмент для этого случая, а не для команды с pytest и разрешённым LLM.
Опять же, не нужно что-то настраивать для приложения, просто portable-сборка, вставил ответ, получил проверки.
справедливо, ответил резче, чем стоило, реакций действительно ноль, но по переходам на сайт видно, что читают — поэтому и продолжаю писать
Если в общих чертах то автогенератор обходит дерево json или xml и на каждый лист выписывает проверку — путь, оператор, ожидаемое значение и тип данных, а на объекты добавляет whitelist состава, чтобы ловить лишние поля, еще можно глубину ограничивать генерации проверок, чтобы выбирать только нужные шаги.
Про локальную модель согласен, тогда мой довод про внешний чат к вам не относится. Но такой путь требует ML-инженера в штате, и это как раз то, чего в большинстве QA-команд нет. Ручной тестировщик не может собрать себе локальную модель за пару вечеров, и на выходе у него всё равно код, который кто-то должен сопровождать.
Да, всё верно, в дальнейшем есть в планах реализовать интеграции с CI/CD и не только.
Ваш сценарий предполагает, что в команде уже есть инженер на Python, настроенный CI и локальная модель и организация может это себе позволить. Там, где это есть, вы правы. Но чаще картина другая — тестировщик или аналитик без Python, автотестов нет и в ближайший год не будет, ответ сверяется с документацией глазами в Postman, а логи читаются отдельно руками. Их альтернатива не pytest, а внимательность и время. Для них: собрать проверку кликами, прогнать её заново на следующем спринте, передать коллеге без Python и увидеть запрос вместе с логами в одном сценарии.
Сейчас любой желающий может попробовать бесплатную ограниченную ЗБТ-версию. Затем, после окончания ЗБТ, фикса найденных багов, непокрытых важных сценариев и иных необходимых фич по обратной связи от людей, будет бесплатная двухнедельная ограниченная версия после скачивания, а дальше, если понравилось, можно снять ограничение и оплатить.
Для вашего сценария интересная связка. Я не пытаюсь её заменить, к сожалению, не смог показать всё в одном посте. Есть функция автогенератор, в который можно вставить curl или тела запросов/ответов, и сразу генерируются проверки, включая типы данных, whitelist для поиска лишних параметров, затем можно донастроить проверки под документацию (если необходимо). Также, если рассматривать работу в закрытом контуре, настоящий JSON нельзя отправить во внешний чат, а своего Python-инженера и CI под тесты там часто нет. Инструмент для этого случая, а не для команды с pytest и разрешённым LLM.
Опять же, не нужно что-то настраивать для приложения, просто portable-сборка, вставил ответ, получил проверки.
вычеркиваем из иишки для народа!
А вы пишите, потому что вам интересно приложение или больше поспорить?
Идеально было бы совместить аналитика и тестировщика в одном человеке
Было бы интересно в скором времени послушать теорию тестирования с ии