Комментарии 16
"Но не успеть сделать даже смоук" - в смысле? Есть приоритизация, а смоук это самые базовые тесты
Я работаю, например, на очень большом проекте. Минимальное время смоука - 10 часов - это основная пользовательская функциональность, без которой вся бизнес ценность программы стремится к нулю. Это без негативных сценариев, второстепенных функциональностей и т.д.
А что с автоматизацией? На что уходит 10 часов?
Минимальная. У начальства в приоритете новые фичи и фикс багов. Не ночью же ей теперь заниматься.
Ну так оно всегда будет. И дальше будет расти количество мануальщиков, чтобы в 10 часов все успеть.
Ну до недавнего времени я вообще одна была в команде и, когда начались все эти телодвижения в сторону автоматизации, то оказалось (внезапно) что даже при уделении автоматизации 10-15% времени задач стало уходить меньше. А если ставить на задачи высокий приоритет и уменьшать количество часов на автоматизацию в 3-4 раза, да ещё и с большими перерывами, то автоматизация резко замедляется (тоже очень внезапно). В итоге решили взять второго человека и отложить автоматизацию на месяц, что уже вылилось в полгода.
Это я к тому, что я прекрасно это понимаю, но пока руководство не готово это понять - я не готова тратить свои собственные ресурсы на обеспечение их хотелок (и так потратила, когда изучала автотесты, чтобы как можно скорее включиться в процесс (меня брали ручником изначально)).
Изучения автоматизации вам только в плюс. Не знаю что у вас веб, мобильники или может апи проект, но автоматизация вытягивает только на больших проектах. Зарплаты автоматчиков под час в разы больше мануальщиков. Поэтому только на реально больших проектах.
Зато при правильной автоматизации и релизы на больших проектах реальны за пару дней, с минимальным количеством мануальщиков.
ПС Да и уделять 10-20% на автоматизацию, так не получится выхлоп. Там много тонкостей. Ведь клацание на кнопочки это только 15-30% в больших проектах. Остальные 70% это подготовка данных тестирования типа - создать аккаунт, положить деньги, изменить страну проживания, добавить карту, сделать карту expired (уже забыл по русски - просроченой?): теперь начинаем тест. Вот написания этих дополнительных возможностей по генерации данных и есть реальные сложности в больших проектах.
Я пока новичок в этом. И, к моему сожалению, боюсь, что опять практически откатилась к тому состоянию, что была до всей этой истории. Хотя, думаю, вспомнить всё-таки проще, чем с нуля начинать.
У нас в основном по АПИ автоматизация + кафка для интеграционного тестирования. Хотелось бы ещё UI, но наша платформа слабо приспособлена под нее + ещё ряд кейсов с длительным периодом ожидания - от часа до суток - тут тоже, насколько понимаю, нужны заглушки от разработчиков. Обещали в конце прошлого квартала, но воз и ныне там.
Ох ты. АПИ вообще самое простое в автоматическом тестировании. Правда опять же 70% это подготовка тестовых данных одинаково для всех при интеграционных тестах.
т.е. у вас куча АПИ коллов, которые вы руками посылаете и проверяете ответы?
Обычно параллелю. Нажимаю кнопку и смотрю в консоли куда что отправляется и что приходит - все-равно без работающего UI смысла в API здесь никакого, хотя проверка эндпоинтов, конечно, сжирает какое-то количество времени. За исключением пары негативных кейсов, которые через UI не проверишь. Если говорить о смоуке, конечно.
Привет! Мы тоже работает над большими проектами. Тестируем готовые решения, на одном из проектов только шапок у нас 29 (о количестве комбинаций вывода информации я даже говорить не хочу), и тоже столкнулись с дилеммой - чек-лист или тест-кейсы?
Пробовали разные подходы, чтобы не упустить явные ошибки, поэтому лучшим решением видели комбинировать оба варианта, но предпочтение в большей степени отдали чек-листам.
Для тех, кто тоже столкнулся с такими вещами совет - сначала чек-листы, потом тест-кейсы :)
У меня такое же понимание сформировалось к 3 месяцу работы, но я не побежал на хабр писать статьи))
Ну а мне захотелось поделиться) Это действительно бывает проблемой для новичков, особенно если они попадают в стартап и оказываются в гордом одиночестве. Я хоть и не была одна, но второй тестировщик был как правильно слишком загружен, да и воспринимали меня уже как миддла практически. Разбиралась-думала сама, если моя статья поможет хотя бы одному человеку - значит не зря старалась.
А почему автор должна последовать вашему примеру?
Чек-лист или тест-кейсы?