27 и 28 июня пройдет наша первая конференция тестировщиков — Test Driven Conf 2022. Темы будут сплошь для профессионалов: про автоматизацию в тестировании и QA-процессах, про нагрузочное и ML-тестирование, про оптимизацию и аналитику. Чтобы представить, как всё это будет, давайте посмотрим, что наши спикеры предлагают для решения задач тестировщиков.
Оптимизация тестов и аналитики
Виктор Раев из Test IT знает как Автоматизировать хаос, чтобы усмирить энтропию в автотестах. Сейчас уже не нанимают десяток QA-инженеров для ручной регрессии, но автоматизация не сделала жизнь тестировщиков легче. Автотесты могут выполняться медленно и падать по непонятным причинам. У них много ложных срабатываний и они пропускают баги. Их становится так много, что проблематично анализировать результаты, которые ещё и разбросаны по разным репозиториям или покрывают код на разных уровнях. Всё это знакомо каждому автоматизатору, но не все знают, что с этим делать. В докладе раскрыто как лечить причину, а не бороться с симптомами.
Энтропия в программировании распространяется как эффект домино. Каждое изменение увеличивает степень беспорядка — и чем дольше код работает без рефакторинга, тем сложнее его стабилизировать. Тесты помогают усмирить энтропию и проверить, чтобы новые фичи не вредили уже работающей функциональности. Но и в юнит-тестировании существуют свои антипаттерны. О них в своем докладе Проверяем юнит-тесты. Основные признаки неудачных решений расскажет Александр Колесников Sportmaster Lab. Научившись определять такие решения, вы сможете улучшить код тестов и объяснить это разработчикам.
С энтропией стало немного легче, теперь рассмотрим проблемы большого количества тестов. Например, юнит-тестов довольно много. Их пишут разработчики, и не всегда понятно, что они покрывают и как пересекаются с е2е-тестами. Интересно будет разобраться? Василий Юдин Авито в своем докладе Как подружить QA и разработку через применение практики хранения тестов в коде покажет как сделать систему, которая ищет и выгружает все-все-все тесты из кода приложений и агрегирует в понятное покрытие тестируемой системы. Подход сократил трудозатраты и дублирование работы у них в компании. Подробнее об этом можно будет послушать на выступлении.
Для удобства ориентирования все доклады поделены на секции. Все три про которые мы вкратце рассказали, относятся к «Оптимизации тестов и аналитики». Есть еще семь секций. Так что всегда можно быстро выбрать то, что на данный момент волнует вас больше всего:
Оптимизация тестов и аналитики.
Автоматизация рутины.
Нагрузочное тестирование.
Cutting-edge-технологии.
QA и саппорт.
QA и наука.
Cookbook — готовые рецепты.
TechTalk и другое.
Автоматизация рутины
Идемте дальше. В работе тестировщика очень много рутины. Но чтобы все изменилось, достаточно поменять точку зрения и написать код) Так скучное станет интересным и, что немаловажно, более эффективным. Да и тесты можно не писать, а генерировать в зависимости от условий, автоматически поддерживать изменения в API и делать другие классные штуки. Или отдать тестирование в crowd-sourcing. Поговорим о разных способах сделать жизнь проще.
Когда речь заходит об эффективности проекта — всегда говорится о цифрах. Бизнесу важно принимать решения на основе достоверной информации. Поэтому анализируется всё: дизайн, разработка, контекст, SEO и SMM. Но тестировать руками, еще и в каждом релизе — то еще удовольствие! А значит, надо автоматизировать! Наталья Дугуева SuperJob проведёт Мастер-класс по тестированию web-аналитики. Будет эмуляция реальной бизнес-ситуации. Проведение ревью существующих на рынке средств автоматизации для получения полной картины с мотивированным выбором и последующим написанием автотестов. Кроме того, будет подключен валидатор и проверена структура данных, которые отправляются. И все это в режиме Live!
Если после такой «обнаженной» практики захочется тайн в полумраке. Андрей Ганин Альфа-Банк в своем докладе Make .Net Automation Great Again поделится как на протяжении последних лет в темных уголках кабинетов QA вершили историю и создавали единую библиотеку тестирования на .Net Core. Необходимо было сделать общий стек тестирования для WebUI, API и БД. История хоть и с налетом таинственности, но тоже совершенно реальная. Вы узнаете про ошибки, переделки и вывод проекта в opensource. Весь путь от идеи до формирования библиотеки автоматизации, которой теперь пользуются десятки компаний по всему миру.
Интересуют решения распространённых ошибок и проблем? Обратимся к Евгению Харченко Райффайзен Банк. В своем докладе Контейнеризация и SDLC в тестировании он предлагает пересмотреть взгляд на статус-кво, при котором тестирование занимает лишь 1 этап в SDLC. Ведь существующие практики и подходы говорят об обратном. Он расскажет про разные виды контейнеризации и их применение в тестировании. Как они ускоряют тестирование. Какие есть минусы и сложности. Разберёт распространённые ошибки, которые надо учитывать при использовании контейнеров.
У каждой секции своя суть. Автоматизация рутины — это не про то, как заставить все работать само собой, сесть и бездельничать. А про иной угол зрения, возможности для развития и творчества. Про поиски нового в обыденном.
Нагрузочное тестирование
Другие секции тоже могут преподносить сюрпризы. Даже самые привычные и знакомые. Например, чем может удивить нагрузочное тестирование? Тут же всегда ищут ответы на самые насущные вопросы. Сколько пользователей в действительности может выдержать сайт? Как загружен кластер и когда покупать новое железо? Можно ли автоматически уменьшать облако в ночное время и увеличивать днём? Выдержим ли мы нагрузку на распродаже? Готов ли новый проект или версия ПО к запуску?
На все это тоже можно посмотреть по-другому. Хотя без качественно построенных процессов и правильного набора инструментов по нагрузочному тестированию на них, конечно, тяжело ответить.
Анатолий Пласковский ЮMoney на базе своего доклада Автономная система стрельб по проду на базе кластера сервисов покажет как организовать систему мониторинга ключевых бизнес-процессов и поднять свой кластер с сервисами и танками. Как регулярно получать актуальные данные с прода о производительности бизнес-сценариев в автоматическом режиме и предоставить сотрудникам компании удобный инструмент для проведения и контроля стрельб по проде. Хотите научиться так же «стрелять»? Можете использовать уже разработанный подход к организации нагрузочных тестов с инструментарием.
Бизнес-модели клиентов создают разные сценарии использования продукта и профили нагрузки. Подготовить под каждого индивидуальную тестовую среду невозможно, но можно сделать фреймворк для описания логики работы клиентских узлов, которые симулируют реальную нагрузку на тестовый кластер. Иван Артюхов GridGain в своем докладе Production-like-нагрузочное тестирование распределенной системы расскажет как оптимально сконфигурировать тестовый стенд по количеству узлов. Как добавить в один тестовый сценарий наибольшее количество пользовательских кейсов и какие внешние воздействия в него внедрить для проверки надежности и устойчивости кластера при возникновении внештатных ситуаций. Как после прогона настолько сложного сценария понять, что он успешен.
Мало? Послушайте доклад Анны Рукавицыной Dell Technologies Нагрузочное тестирование СХД и особенности генерации тестовых данных из опыта компании Dell. Для многих СХД используются популярные инструменты нагрузки и генерации данных, но существуют такие, чья сложность требует собственной автоматизации генераторов данных. Они тоже построены на общих подходах к тестированию данных на СХД, но учитывают уникальные сценарии тестирования конкретной системы. В выступлении рассматриваются именно такие. И хотя они создавались применительно к СХД PowerMax для мейнфреймов, идеи подойдут для работы с любыми СХД, когда требуется воспроизвести проблему пользователя в лабораторных условиях. Использование таких генераторов нагрузки позволяет обнаружить ошибки и недоработки ПО СХД на этапе тестирования.
Cutting-edge технологии
Об использовании нейронных сетей в тестировании говорят последние лет 10. Но у него по-прежнему высокая стоимость, да и споры о выгодах не затихают. Чтобы понять суть этой секции, придется ответить для себя на пару вопросов. Как меняется парадигма их тестирования? Из каких отраслей есть влияние, в том числе психологическое, имиджевое?
А пока можно послушать с какой стороны подходить к тестированию таких технологий как data mining и умные колонки. Помимо подходов, также посмотрим на библиотеки и готовые решения в этой области.
Представьте, что вы сделали модель, которая решает вашу задачу с ошибкой меньше 1%? Относите её заказчику, а он после тестов заявляет, что на его данных ошибка составила 25%. Потом выясняется, что у заказчика данные на другом языке, в тестовые сценарии вы не вчитывались и вообще система эксплуатировала длину тишины в аудиозаписях для обучения. Как этого избежать? Как грамотно построить процессы тестирования и сравнения нейронных сетей, чтобы не тратить на тесты больше, чем на обучение? Как построить инфраструктуру для хранения таких моделей? Ответить поможет доклад Ильи Шигабеева А что, вы нейронные сети тоже тестируете?
Подходы, применяемые командой, помогающей использовать Apache Ignite максимально эффективно и надежно в сервисах экосистемы Сбербанка довольно сильно выходят за рамки типовых. Некоторые даже могут выглядеть абсурдными, но только на первый взгляд. Чтобы разобраться как для open-source-продукта обеспечить быстрое исправление дефектов, разработку нужной функциональности, простоту внедрения и надежную работу в эксплуатации посмотрите выступление Антона Виноградова SberTech. Из его доклада Как далеко нужно зайти при тестировании распределенной базы данных? можно узнать еще много чего интересного.
А если хотите узнать как использовать современные технологии для привычных вещей, то прекрасно подойдет доклад Наталии Антроповой Extyl Кибертестирование, или Сейчас в будущее. Как раз можно задуматься о том, что ждет нас в ближайшем будущем и ответить на вопросы раскрывающие суть секции. Будет обзор AI и ML технологий и разбор того, какое влияние они оказывают на QA-тестирование в наше время. Насколько удобнее и быстрее оно становится, если объединить возможности ИИ и креативность? Может быть именно это позволит организовать процесс тестирования 2.0? Чтобы было проще разобраться, будет демонстрация возможностей нейросети для QA-специалиста в практическом применении.
Секция обещает быть прорывной. Ведь что ещё, если не нейронные сети лучше всего подходит для автоматизации тестирования? Да и своих неизведанных территорий и приключений там хватит не на одно поколение исследователей. Так что, чем мотивироваться, точно будет.
А про другие четыре секции Test Driven Conf 2022 поговорим в следующей статье.
TestDriven Conf 2022, конференция для senior тестировщиков и QA-инженеров пройдет 27-28 июня в Москве и будет посвящена всем вопросам автоматизации в тестировании и рядом с ним. Расписание и тезисы докладов смотрите на сайте конференции. Билеты еще можно купить здесь.
До встречи в понедельник 27 июня!
