Зачем же так набрасываться. Просто мало опыта. Успешная история достойна похвалы. У может послужить примером.
У меня двое знакомых программиста. Оба музыканты. Закончили филармонию играли в оркестрах. Пришлось стать программистами (денег музыка не приносит). За год сами дома научится сумели. Теперь лиды. С другой стороны куча бестолковых, которые отучились на программистов, но реально это не дало им ума. К сожалению достаточно частое явление.
К еще большему сожалению, в автоматизации (я автоматчик) бестолковых еще больше. Большинство нормальных уходят в программисты.
По мне осознанный переход в тестировщики или программисты из гуманитариев очень даже успешен, как мин среди моих знакомых.
Ну с реальными все просто. Я ведь фанат Аппиума. Один проект. Один код под обе оси. Просто манагерить. Ну и все равно на чем бежать, просто реальные телефоны проще, плюс часть функционала пашет только на реальных тел. iPhone проще - они примерно все похожи. Android выбрал Nokia - голый Android, дешевые.
Может надо тоже этот Kubernetes попробовать. Но его ведь надо локально подымать или запускать тесты рядом. Иначе сетевые задержки все сожрут.
Ну погодите. Да фичи делают дольше. Но баг фиксы и не большие изменения выкатываются часто в течение дня. У нас например недавно до 40 в день выходило. Сейчас поменьше 10-15 для каждой платформы.
Мы делаем только ночные прогоны. Около 500 для каждой платформы. И только если надо в течение дня (девы и сами умеют запустить. Не все правда).
В релизах уже на полные 800 -) разгоняем.
Прогон 500 тестов занимает около 2 часов. Андроид чуть быстрее. Поэтому все все на каждый коммит в девелоп нам пока сложно по времени уложится.
Важно отметить, что переболевшим COVID-19 может быть достаточно даже одного компонента вакцины. У переболевших COVID-19 и вакцинированных только одной дозой значения антител даже выше, чем у неболевших и вакцинированных двумя дозами. Это справедливо для всех мРНК и аденовирусных вакцин, в том числе есть и свежая публикация и Спутник V.
Да кроссплатфома Appium + Java + testNG + maven + allureReport + TestRail (для релизов). Один повтор если тест упал по hard Assertu.
Идшки в iOS начинали сами проставлять. Потом девы помогли сделали генерацию на лету для тест билдов. Теперь лезу туда реже в основном для динамических компонентов.
В Андроиде тоже не без подачи автоматчиков навели порядок. Опять только динамические элементы больше проблема.
Но самое интересное т.к. тесты стали использовать или просить по фунционалу запускать девелоперы сами, то теперь сами стали заботится об этих идшках, если переписывают компоненты.
Флаки только серверные. У нас много third-party компонентов на серваке, а моки не пишут. В результате иногда не пашет. Плюс есть стабильные баги, которые жить не мешают, а тесты по ним сделаны. Наверно это как у всех - всегда есть проблемы по мелочи.
Пример. Ночные у нас бегают по 500 на каждой платформе. Среднее колво падений около 20-25 на платфому. Из них известные проблемы обычно около 15-18. А остальные как раз проблемы third-party сервисов, которые иногда (раз в 2 недели точно) могут и вырасти до 100 если упало совсем чтото. Тогда ругаемся и чинят сервер.
Все падения сверху это или изменения в клиентах или на сервере (скажем поменяли API).
Все ручные тестеры кто хочет автоматизировать пытаемся обучить. Но выхлоп пока мал.
Все тесты у нас с видео. Ошибки человеческие (типа нет кнопки Логин. Экран Info не появился). Это все привело к тому, что проверять результаты тестов стали ручники и девелоперы сами.
Да интересно. Но все-таки 2 проекта по мне накладных расходов больше. Переключения Kotlin/XCUItest/Api.
У нас сейчас 822 E2E теста. Для Android и iOS. Java. На Java написаны E2E и API тесты и все создание тестовых данных. Т.к. сервер на яве тоже, то девы иногда помогают или чинят когда автоматчики в отпуске.
Автоматчиков 2 на все E2E и API (WEB есть тоже, но там мало. Простой он у нас. 50 тестов).
Так у вас получается 2 проекта тестирования, которые надо как то синхронизовать. Писать одинаковые тесты с проверками. Писать одни и теже шаги. Править при изменении оба проекта...
Но самое главное ведь в крупных проектах это создание тестовых данных. Как вы это делаете имея 2 различных по коду проекта?
Интересно сколько у вас тестов в каждом проекте и сколько автотестеров их поддерживает?
при автоматизации используют то, что просит заказчик.
вы можете привести пример автоматизации? просто интересно как сильно это отличается от тестирования.
ЗЫ 4 года назад у меня был пример автоматизации (как мин это я так понял). задача проверять логин реальным клиетном каждые 15мин. проблемы - отсылка по слаку в чем проблема. Умерла сама джоба в CI, неправильный экран после кого-то действия (какой вместо), не пришла за хх секунд смс-ка реально на тел. Продолжать по возможности логин - например смс-ку взять по апи или в базе.
Вот вот. Руками. И только на личном счете.
Вы брали или вы фантазируете?
Я в 3 банках работал. Никто на проде реально не тестит автотестами.
Потому что не посоздаешь реальных пользователей и денег ниоткуда. Уже молчу о генерации платежей и карт.
тут очевидно зависит от того что тестим. скажем в банке на ПРОДе особо не потестишь.
Зачем же так набрасываться. Просто мало опыта. Успешная история достойна похвалы. У может послужить примером.
У меня двое знакомых программиста. Оба музыканты. Закончили филармонию играли в оркестрах. Пришлось стать программистами (денег музыка не приносит). За год сами дома научится сумели. Теперь лиды. С другой стороны куча бестолковых, которые отучились на программистов, но реально это не дало им ума. К сожалению достаточно частое явление.
К еще большему сожалению, в автоматизации (я автоматчик) бестолковых еще больше. Большинство нормальных уходят в программисты.
По мне осознанный переход в тестировщики или программисты из гуманитариев очень даже успешен, как мин среди моих знакомых.
Ну с реальными все просто. Я ведь фанат Аппиума. Один проект. Один код под обе оси. Просто манагерить. Ну и все равно на чем бежать, просто реальные телефоны проще, плюс часть функционала пашет только на реальных тел. iPhone проще - они примерно все похожи. Android выбрал Nokia - голый Android, дешевые.
Может надо тоже этот Kubernetes попробовать. Но его ведь надо локально подымать или запускать тесты рядом. Иначе сетевые задержки все сожрут.
Шикарная скорость! Нам чтобы ускорить надо до вас надо на 60 тредов перейти. У нас сейчас 25 реальных тел (12 iPhone, 13 Android).
PS и да. Андроид у вас тоже чуть быстрее. Все совпадает.
Ну погодите. Да фичи делают дольше. Но баг фиксы и не большие изменения выкатываются часто в течение дня. У нас например недавно до 40 в день выходило. Сейчас поменьше 10-15 для каждой платформы.
Мы делаем только ночные прогоны. Около 500 для каждой платформы. И только если надо в течение дня (девы и сами умеют запустить. Не все правда).
В релизах уже на полные 800 -) разгоняем.
Прогон 500 тестов занимает около 2 часов. Андроид чуть быстрее. Поэтому все все на каждый коммит в девелоп нам пока сложно по времени уложится.
О как. Интересно. Т.е. если в день 20 коммитов (в каждый репозиторий) то успеваете за день 20 раз все 800 прогнать. Я правильно понимаю?
Если так - то мне нравится скорость ваших тестов!
1) интересно сколько мобильных тестов вы гоняете регулярно в CI ?
2) сколько всего сейчас мобильных тестов всего (ios / android)?
да и с iOS + macOS
я от балды взял такой пример:
Важно отметить, что переболевшим COVID-19 может быть достаточно даже одного компонента вакцины. У переболевших COVID-19 и вакцинированных только одной дозой значения антител даже выше, чем у неболевших и вакцинированных двумя дозами. Это справедливо для всех мРНК и аденовирусных вакцин, в том числе есть и свежая публикация и Спутник V.https://www.thelancet.com/journals/ebiom/article/PIIS2352-3964(21)00194-8/fulltexthttps://www.sciencedirect.com/science/article/pii/S2666379121002081https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(21)00501-8/fulltexthttps://www.sciencedirect.com/science/article/pii/S1198743X21002895Имеем 3 утверждения и 4 ссылки где об этом можно прочесть. Что не так в данном примере?
А как бы вы хотели? Как аксиомы без фактов?
Да кроссплатфома Appium + Java + testNG + maven + allureReport + TestRail (для релизов). Один повтор если тест упал по hard Assertu.
Идшки в iOS начинали сами проставлять. Потом девы помогли сделали генерацию на лету для тест билдов. Теперь лезу туда реже в основном для динамических компонентов.
В Андроиде тоже не без подачи автоматчиков навели порядок. Опять только динамические элементы больше проблема.
Но самое интересное т.к. тесты стали использовать или просить по фунционалу запускать девелоперы сами, то теперь сами стали заботится об этих идшках, если переписывают компоненты.
Флаки только серверные. У нас много third-party компонентов на серваке, а моки не пишут. В результате иногда не пашет. Плюс есть стабильные баги, которые жить не мешают, а тесты по ним сделаны. Наверно это как у всех - всегда есть проблемы по мелочи.
Пример. Ночные у нас бегают по 500 на каждой платформе. Среднее колво падений около 20-25 на платфому. Из них известные проблемы обычно около 15-18. А остальные как раз проблемы third-party сервисов, которые иногда (раз в 2 недели точно) могут и вырасти до 100 если упало совсем чтото. Тогда ругаемся и чинят сервер.
Все падения сверху это или изменения в клиентах или на сервере (скажем поменяли API).
Все ручные тестеры кто хочет автоматизировать пытаемся обучить. Но выхлоп пока мал.
Все тесты у нас с видео. Ошибки человеческие (типа нет кнопки Логин. Экран Info не появился). Это все привело к тому, что проверять результаты тестов стали ручники и девелоперы сами.
... ой не туда отправил...
Да интересно. Но все-таки 2 проекта по мне накладных расходов больше. Переключения Kotlin/XCUItest/Api.
У нас сейчас 822 E2E теста. Для Android и iOS. Java. На Java написаны E2E и API тесты и все создание тестовых данных. Т.к. сервер на яве тоже, то девы иногда помогают или чинят когда автоматчики в отпуске.
Автоматчиков 2 на все E2E и API (WEB есть тоже, но там мало. Простой он у нас. 50 тестов).
Так у вас получается 2 проекта тестирования, которые надо как то синхронизовать. Писать одинаковые тесты с проверками. Писать одни и теже шаги. Править при изменении оба проекта...
Но самое главное ведь в крупных проектах это создание тестовых данных. Как вы это делаете имея 2 различных по коду проекта?
Интересно сколько у вас тестов в каждом проекте и сколько автотестеров их поддерживает?
так и в тестиравании мы каждый день делаем ночные раны. практичести бесконечно - пока проект не умрет -)
по мне ваш пример идеален для небольших задач. в Аппиме начало не такое быстрое, особенно с Аппл тел.
при автоматизации используют то, что просит заказчик.
вы можете привести пример автоматизации? просто интересно как сильно это отличается от тестирования.
ЗЫ 4 года назад у меня был пример автоматизации (как мин это я так понял). задача проверять логин реальным клиетном каждые 15мин. проблемы - отсылка по слаку в чем проблема. Умерла сама джоба в CI, неправильный экран после кого-то действия (какой вместо), не пришла за хх секунд смс-ка реально на тел. Продолжать по возможности логин - например смс-ку взять по апи или в базе.
Для фанатов ADB есть https://github.com/ashishb/adb-enhanced.
Про Аппиум: 12 Android + 12 iPhpone тел при одновременном использовании кушают процессор современного масМини на 10-15%.
Ну а для себя вы конечно молодец.
лет через 50... судя по нынешним тенденциям...
ЗЫ это я вам как автоматизатор говорю. в большинстве фирм автомазации нет. даже если есть люди кто ей там занимается.