Очень очень очень было бы интересно увидеть детектор аномалий!
Пожалуйста, выложите его, просто banshee, skyline, morgoth хорошие попытки =(( но у меня не взлетело
если бы кто нибудь грамотный мог мне помочь понять, почему именно валится Clickhouse при повторной вставке блоков и что не так делает zetcd
было бы здорово
да, я имею ввиду именно AIDA
На чем это написано на Go или на PHP?
я правильно понимаю что AIDA это какой то монолитный инструмент, который через web-hooks интегрирован с остальными системами (JIRA, GIT, TeamCity) через их стандартный API и невозможность вытащить это в Open-source обсуловлена тем что там всякие пароли и настройки с ключами чуть ли не в коде прописаны??
Что же касается изменения логики хранения данных, можно привести пример, когда это будет проблемой?
ну наверное для вашего продукта это не проблема
скорее это проблема моего продукта в котором сейчас практически вся бизнес логика захардкожена в мобильном приложении, а API это фактически два метода LOAD и SAVE плюс несколько RPC модулей для малозначащих фич...
но в целом спасибо за идею, буду думать как сделать тестовый фреймворк для своего продукта по вашему образу и подобию
Скажите пожалуйста
а после того как появилась информация о том
как считаются целевые KPI? и как они вообще выбираются аналитиками?
это отдельный бизнес процесс в котором аналитики задействованы или инициатор аб-теста может сам посмотреть где нибудь в Tableau и свои целевые показатели с расчетом статистиечкой достоверности результатов?
В дальнейшем мы планируем автоматически ставить задачу на «выпиливание» теста из кода после его окончания.
Становится понятно, что так можно тестировать только веб-сайты и html-based мобильные приложения
Нативный код который может в AppStore ревьювится до 2х недель так тестировать не получится...
Кроме того, так нельзя тестировать ничего сложнее "поменял заголовок, поправил коэффициенты в формуле, поменял интерфейс заполнения очередной формочки, поменял форму выдачи поисковых резульатов",
тестировать какие то фичи новые, которые меняют логику хранения данных на бекенде например нельзя, потому что после завершения теста не получится привести данные к виду "как было без теста с учетом множественного пересечения с другими тестами"
побольше бы таких статей на хабре и лучше не переводных!
Пожалуйста, выложите его, просто banshee, skyline, morgoth хорошие попытки =(( но у меня не взлетело
github.com/yandex/ClickHouse/issues/777
github.com/Slach/clickhouse-zetcd
если бы кто нибудь грамотный мог мне помочь понять, почему именно валится Clickhouse при повторной вставке блоков и что не так делает zetcd
было бы здорово
ну вот мне нравится именно ВАШ процесс =)
скажем если бы можно было настроить свой запуск тестов, свои вебхуки с jira и gitlab
и вместо teamcity
ну я так понимаю что просто куча модулей есть которые конкретно на инфраструктуру завязаны (типа выкатки .shot и т.п.)
эххх… жаль
На чем это написано на Go или на PHP?
я правильно понимаю что AIDA это какой то монолитный инструмент, который через web-hooks интегрирован с остальными системами (JIRA, GIT, TeamCity) через их стандартный API и невозможность вытащить это в Open-source обсуловлена тем что там всякие пароли и настройки с ключами чуть ли не в коде прописаны??
планируете ли вы опенсорсить вашу систему интеграции между git, youtrack и билд системами с фичебранчами??
ну наверное для вашего продукта это не проблема
скорее это проблема моего продукта в котором сейчас практически вся бизнес логика захардкожена в мобильном приложении, а API это фактически два метода LOAD и SAVE плюс несколько RPC модулей для малозначащих фич...
но в целом спасибо за идею, буду думать как сделать тестовый фреймворк для своего продукта по вашему образу и подобию
а после того как появилась информация о том
как считаются целевые KPI? и как они вообще выбираются аналитиками?
это отдельный бизнес процесс в котором аналитики задействованы или инициатор аб-теста может сам посмотреть где нибудь в Tableau и свои целевые показатели с расчетом статистиечкой достоверности результатов?
но вот После фразы:
Становится понятно, что так можно тестировать только веб-сайты и html-based мобильные приложения
Нативный код который может в AppStore ревьювится до 2х недель так тестировать не получится...
Кроме того, так нельзя тестировать ничего сложнее "поменял заголовок, поправил коэффициенты в формуле, поменял интерфейс заполнения очередной формочки, поменял форму выдачи поисковых резульатов",
тестировать какие то фичи новые, которые меняют логику хранения данных на бекенде например нельзя, потому что после завершения теста не получится привести данные к виду "как было без теста с учетом множественного пересечения с другими тестами"
хоть бы кто дал НОРМАЛЬНУЮ ссылку где это попробовать можно
а то сплощной ПЕАР а результатов НЕТ