Несколько недель назад я решил написать о тестировании фиксов. Главной моей целью было определить, существует ли системный подход, которому можно было бы следовать в общих случаях. Анализируя это, я быстро понял решающую роль уверенности в проверке и одобрении любого тестируемого нами программного обеспечения.

Уверенность диктует, сколько тестов, по нашему мнению, нам нужно выполнить, прежде чем мы сможем подтвердить успешность тестирования. Уверенность в команде разработчиков напрямую влияет на то, сколько времени мы потратим на тестирование, чтобы почувствовать, что наш продукт готов к релизу. Эта уверенность основывается на нашем опыте общения с командой разработки и качества их кода в прошлом.

Высокая уверенность — выполняется только самое необходимое количество тестов, гарантирующих, что программное обеспечение может быть принято. (Примечание: это не относится к критически важным программным системам.)

Низкая уверенность — на основе предыдущего опыта тестировщики могут проводить дополнительные проверки, даже если нынешнее качество кода хорошее.

Я считаю, что уровень уверенности очень влияет на скорость, с которой программное обеспечение может быть разработано. Часто можно услышать, что «QA — это узкое место процесса разработки», но это потенциально связано с исторически низким качеством кода, заставляющим тестировщиков перетестировать, даже когда проверяется код хорошего качества. Чтобы проиллюстрировать этот момент, я привожу ниже подход, который я придумал для тестирования и проверки исправлений ошибок.

В моей предыдущей статье «Лидерство в тестировании: введение» мы исследовали концепцию тестирования с точки зрения его целей. Краткое резюме: независимо от того, о каком типе теста вы говорите, мой совет — всегда задавайте конкретную цель теста. Это верно, даже если кажется, что это общепринятый термин, такой как модульный тест или приемочное тестирование.

Здесь я объясню, как определить стратегию тестирования, которая заложит основу для надежного и гибкого процесса тестирования, подходящего для любой методологии разработки, используемой вашей командой. Я раскрою:

— Что такое стратегия тестирования?

— Структура стратегии тестирования

Существуют признаки высококачественного программного обеспечения. Оно удобно в использовании, надежно и обеспечивает производительность. Любое программное обеспечение, которое изобилует ошибками, работает нестабильно или работает не так, как задумано, считается неудачным.

Это приведет к появлению недовольных клиентов и разочарованных сотрудников, а также заставит клиентов потерять доверие к продукту.

От RPA (Robotic process automation) до высокотехнологичной разработки программного обеспечения — ежедневно создается огромное количество приложений. От стартапов до крупных предприятий — компании всех типов и размеров занимаются разработкой программного обеспечения.

Если ваша фирма также занимается разработкой программного обеспечения или хочет его разработать в ближайшем будущем, как вы можете обеспечить его высокое качество?

В этом может помочь тестирование. Оно гарантирует, что программное обеспечение соответствует таким основным характеристикам, как удобство использования, надежность и производительность.

Тестирование на совместимость — одна из таких форм тестирования программного обеспечения.

Веб-тестирование — это проверка вашего веб-приложения или сайта на наличие ошибок до того, как приложение или сайт будут предоставлены конечному пользователю. Веб-тестирование предназначено для проверки всех аспектов функционирования приложения, включая поиск ошибок, связанных с удобством использования, совместимостью, безопасностью и производительностью.  

Веб-тестирование является важной частью сборки любого веб-приложения или веб-сайта, поскольку никто не хочет, вложив в разработку время и деньги, сразу же столкнуться с проблемами после выпуска. 

Какие существуют типы тестирования веб-приложений?  

В наше время, когда количество программного обеспечения, используемого на каждом компьютере, огромно, неправильное тестирование может привести к катастрофическим последствиям, ущерб от которых может стоить миллионы, а то и миллиарды долларов.

Введение

Чтобы идентифицировать личность в группе людей, нам необходима любая уникальная комбинация вводных, с помощью которой мы можем это сделать. Эта комбинация может быть его именем, фамилией, адресом или номер социального страхования. Это всё является данными, которые могут помочь пользователям однозначно идентифицировать себя. Перечисленное относится к людям в реальной жизни, но что если мы хотим идентифицировать себя в веб-приложении. Для этого веб-приложения используют такое понятие как «Аутентификация».  

Что такое аутентификация? 

В случае веб-приложений используются разнообразные методы аутентификации, это может быть как имя пользователя, пароль или имя пользователя с одноразовым паролем, отправленным на ваш мобильный телефон. Если какой-либо злоумышленник знает ваше имя пользователя и пароль или другие факторы, которые вы используете для аутентификации, он может легко выдать себя за вашу личность. 

«Аутентификация» — это процесс, который подтверждает вашу личность в цифровом пространстве.

Злоумышленники стремятся получить доступ к вашей аутентификационной информации для выполнения задач, не разрешенных вами. 

Простой пример обхода аутентификации: есть некоторые веб-страницы или функции, к которым можно получить доступ только после входа в систему, но как только злоумышленник посещает эту страницу напрямую в обход интерфейса, существует вероятность, что аутентификация там может не работать. Проблемы, связанные с аутентификацией, могут возникать на разных этапах SDLC (жизненного цикла программного обеспечения). 

На вашу продуктивность влияют инструменты, которые вы используете. Чтобы повысить свою продуктивность, вы можете использовать различные расширения, которые дополняют функциональность браузера и позволяют быстрее выполнять больше задач. 

Вышеприведенное утверждение применимо и к тестированию. Мы часто используем расширения Chrome для улучшения рабочего процесса. 

Я ежедневно пользуюсь расширениями, которые я перечислила ниже. Они помогли значительно повысить эффективность моей работы. Поэтому я хочу поделиться этими расширениями и с вами.

Добро пожаловать в серию статей "Лидерство в тестировании" от гуру тестирования программного обеспечения и консультанта Пола Джеррарда. Серия статей предназначена для того, чтобы помочь тестировщикам с многолетним опытом работы, особенно тем, кто работает в гибких командах, преуспеть в своих ролях руководителя тестирования и менеджера. 

Начнем с самого начала: что такое «тестирование программного обеспечения»? Мы изучим основные концепции тестирования программного обеспечения, которые сформируют ваше мышление по мере приближения к искусству качественного инжиниринга. 

Когда вы Тест Лид на проекте, очень вероятно, что коллеги будут считать вас экспертом во всем, что связано с тестированием. У других членов команды могут быть свои собственные обоснованные или нет взгляды на тестирование; некоторые могут иметь (или, по крайней мере, говорить, что имеют) больше опыта, чем вы. 

Ожидания от тестирования часто нереалистичны и даже опытные люди занимают некорректную позицию в отношении того, чем может помочь тестирование. Некоторые люди будут сомневаться в вашей компетентности, ценности для команды или даже в вашей мотивации. Это может быть непросто. 

В вашей карьере Тест Лида вам придется адаптироваться к новым и меняющимся обстоятельствам. Вы встретитесь с представителями бизнеса и высокопоставленными заинтересованными сторонами проекта. Вы будете присоединяться к командам разного размера, в которых будут работать разные люди с самым разным опытом работы. У них может быть большой опыт или, на самом деле, совсем немного. 

ChatGPT побил все Интернет-рекорды, став вирусным в первую неделю после запуска. Миллион пользователей за 5 дней — это беспрецедентно. Система искусственного интеллекта – виртуальный собеседник, который может отвечать на вопросы на естественном языке и создавать стихи, писать сценарии фильмов, посты в социальных сетях, сочинения и делать массу удивительных вещей. Наша первая мысль, когда мы получили доступ к платформе, заключалась в том, как использовать эту замечательную платформу, чтобы облегчить жизнь тестировщикам веб-приложений и мобильных приложений. И самое главное, как можно использовать ChatGPT для автоматизированного тестирования.

 Чему мы научились, когда создавали автоматизированные тесты с помощью ChatGPT

В целом это было весело. И каждый раз мурашки по коже, когда платформа превосходила наши ожидания. Вот что на самом деле мы извлекли из всех проведенных экспериментов. И хорошее, и плохое.

 Плюсы ChatGPT для автоматизации тестирования

Тестирование программного обеспечения позволяет оценить новое приложение, чтобы убедиться в том, что после запуска оно работает так, как задумано. Составление плана тестирования помогает предотвратить ошибки, снизить затраты на разработку и повысить производительность приложения. В современной цифровой среде люди сильно зависят от программного обеспечения и приложений, поэтому надежность - одно из самых важных качеств.   

Верификация и валидация при тестировании жизненно важны для обеспечения того, чтобы разработчики использовали передовые методы создания программного обеспечения. Цель состоит в том, чтобы избежать сбоев в работе приложений на критическом этапе и гарантировать, что они продолжают работать на благо пользователя. Давайте сравним верификацию и валидацию и то, как они влияют на конечный продукт.   

Что такое верификация? 

При верификации команда разработчиков изучает документы для создания программного обеспечения или приложения. Цель состоит в том, чтобы убедиться, что разработчик, которому поручен проект, соблюдает все изложенные требования. Логика кода должна соответствовать проектной документации независимо от языка программирования. 

Процесс верификации 

Он включает следующие этапы: 

Я часто работаю с клиентами, которые либо только начинают, либо пытаются развивать свои навыки в автоматизации тестирования, и чаще всего все они совершают одни и те же фатальные ошибки.

Хотя они могут понимать основы автоматизации тестирования, они по-прежнему считают ценность скриптовых тестов экономией времени за счет автоматического выполнения сценариев, а не вручную. Они считают, что если автоматизированные сценарии выполняются быстрее, чем это могут сделать люди, то наибольший выигрыш в эффективности должен быть достигнут за счет автоматизации самых длительных тестов.

И если бы время исполнения было единственным временем для оценки, они были бы правы.

Но время выполнения теста — это всего лишь одна проблема, связанная со временем. Вам также нужно подумать о времени, необходимом для написания автоматизированных тестов, и о времени, которое вам нужно, чтобы научиться писать тесты.

Команды добиваются успеха чаще, когда они перерабатывают большие тесты в меньшие, более короткие. Вот как вы можете извлечь выгоду из этой не интуитивной идеи.

 Оставьте время для обучения

Малыши учатся балансировать, прежде чем они смогут встать. Они стоят перед тем, как научатся ходить. Программисты пишут «Hello world» каждый раз, когда изучают новый язык программирования.

Команды, обучающиеся автоматизации, могут проходить через несколько кривых обучения одновременно: язык программирования, концепции программирования, инструмент или фреймворк автоматизации тестирования, управление исходным кодом и совместная работа над программным проектом.

За последние десять лет индустрия программного обеспечения сильно изменилась. И хотя трудно точно предсказать, что принесет следующее десятилетие, оно, безусловно, поставит перед специалистами по тестированию и контролю качества целый ряд новых задач. 

Во-первых, это искусственный интеллект и машинное обучение, которые давно прогнозировались как путь к тому, чтобы сделать тестирование программного обеспечения лучше, быстрее и дешевле.

Однако для того, чтобы к этому прийти, потребуется время. Одновременно с этим изменится тип требуемых навыков. Для работы, связанной с тестированием программного обеспечения, потребуется больше опыта работы с данными и аналитикой, поэтому образование в области науки о данных и глубокого обучения (deep learning) должно стать частью роли тестировщика программного обеспечения. Кроме того, поскольку все больше тестов автоматизируется, человеческое взаимодействие будет иметь реальную ценность при утверждении результатов тестирования и принятии соответствующих мер. 

Несмотря на то, что специалисты по тестированию часто остаются невоспетыми героями, их работа получает все большее признание за ее вклад в DevOps. В то же время тестирование будет продолжать становиться неотъемлемой частью других частей жизненного цикла программного обеспечения, а быстро развивающиеся инструменты сделают тестирование доступным для большего числа членов команды.

Итак, что, как мы знаем или хотя бы подозреваем, повлияет на будущее тестирования программного обеспечения?

Искусственный интеллект (artificial intelligence) и машинное обучение (machine learning)

Аудит качества помогает выяснить, следует ли команда бизнес-процессам. Кроме того, аудит качества позволяет поддерживать желаемые стандарты качества. Этот процесс гарантирует, что сотрудники следуют всем процессам и процедурам, а команда соответствует ожиданиям клиентов при предоставлении продуктов и услуг.

Составные части аудита качества:

• Текущее качество продукции.

• Качество тестирования.

• Качество разработки.

• Требования к качеству.

• Готовность к производству.

• Опасные области.

• Состояние процессов по проекту.

• Автоматизация + Рентабельность инвестиций.

• Удовлетворенность клиентов.

Когда:

• У вас нет четкой видимости качества программного обеспечения или узких мест в процессе работы.

• Рабочая нагрузка вашего проекта увеличивается, но ваш текущий процесс контроля качества не позволяет масштабировать ресурсы.

• Ваш текущий процесс контроля качества не позволяет вам перейти на другую методологию разработки, применить другой подход к управлению инфраструктурой или внедрить другие изменения в процессе.

• Вам необходимо пройти сертификацию продукта/процесса, и вы хотите убедиться, что ваш процесс контроля качества соответствует требованиям, установленным соответствующим стандартом.

• Качество продукта в вашем проекте низкое, и для этого нет очевидных причин, вы получаете много жалоб от конечных пользователей.

Для чего:

• Изучить, с чего начинается процесс, как он поддерживает развитие и где он эффективно заканчивается.

Когда мы слышим термин "Quality Gates" (QGS), мы склонны думать о них довольно недальновидно на уровне проекта как об этапах и предпосылках для перехода к следующему этапу реализации проекта. На проектах, особенно на тех, которые работают с использованием любой гибкой методологии, часто можно обнаружить что показатели качества более низкого уровня (например, критерии входа и выхода из теста, а также определение Definition of Done) часто обсуждаются/документируются, но затем упускаются из виду или вообще не используются. 

QGS – это, по сути, очень хорошие чек-листы, подкрепленные простыми рабочими процессами. Они обеспечивают нам наглядность, уверенность и структурность того, что мы поставляем как результат процесса разработки, а также соответствие нашим установленным стандартам качества и ожиданиям. Для любой роли необходимо убедиться, что вы можете организовать список необходимых задач (чек-листов) и выполнить эти важные задачи. Этот процесс является ключом к предоставлению качественного программного обеспечения, когда команда поставляет продукт без спешки и потери качества. 

Ниже приведены примеры использования QGS для различных ролей и областей в рамках цикла обеспечения качества и контроля качества. Они продемонстрируют, насколько они могут быть полезны для обеспечения структуры и качества команды и управления разработкой продукта. Несмотря на то, что мы используем QGS, которые визуально являются последовательными, задачи и действия, проходящие через них, могут выполняться параллельно или последовательно в зависимости от вашей методологии доставки (например, гибкая, водопадная и т.д.).

В настоящее время мы можем наблюдать, что в процессе разработки продукта командам приходится быть все более гибкими, так как условия и требования постоянно меняются. В такой ситуации очень легко упустить момент, когда процесс разработки и сам продукт перестают соответствовать необходимым стандартам качества.

Сегодня мы рассмотрим одну из best practices, которая может помочь в такой ситуации – Quality Gates.