Kontur Mobile Test Session: 446 багов за 5 часов

    В декабре Контур принимал ежегодную городскую тест-сессию Екатеринбурга. На этот раз 38 тестировщиков 5 часов искали баги в новом мобильном приложении. Игорь Борисихин, специалист по тестированию и организатор мероприятия, поделился опытом, рассказал что нового для тест-сессии придумал Контур и как попасть на мероприятие в этом году.




    Что такое тест-сессия


    Тест-сессия — это соревнование для начинающих и продвинутых тестировщиков и людей неравнодушных к тестированию, аналог мастер-класса или воркшопа у разработчиков. На тест-сессии можно познакомиться с коллегами из других компаний, проверить на «прочность» новый для себя продукт, выяснить, кто лучше умеет находить баги. Сессии тестирования — традиционное мероприятие для Екатеринбурга. Какой была прошлая четвертая общегородская тест-сессии можно узнать в сообществе тестировщиков Екатеринбурга — UTC.


    О формате


    Классический формат тест-сессии предполагает тестирование веб-сервиса. У участника есть аналитика по продукту. Есть N часов на поиск багов. В конце жюри считают, кто сколько багов нашел. Лучшим — призы. К классическому формату тест-сессии Контур добавил:


    Мобильное приложение.
    Продуктом для тестирования было мобильное приложение Контур.Конференция для проведения внешних и внутренних конференций. Подробнее о приложении Контур.Конференция можно почитать в маркетах: Google Play, App Store. Вот как оно работает:



    MindMap вместо аналитики.
    Мы не стали грузить участников тоннами скучной аналитики по приложению, вместо этого у каждой команды была мэпка с особенностями его работы и свободное поле для исследования. Для мэпки использовали программу XMind.


    Обучение.
    По формату тест-сессии в процессе поиска багов участники изучали новые методики и техники тестирования мобильных приложений. Подробнее о пунктах 2 и 3 чуть дальше.


    Об участниках


    На тест-сессию собрались 38 тестировщиков из разных компаний Екатеринбурга: iRidium mobile, Ridero, Motorsport.com, Уральские Авиалинии, Точка, Адванта, Мерката, Экстрим про, Студия Флаг, BD Cube, ITM Холдинг, Digital Spectr, SkyDNS, Naumen и Контур.




    Тестирование на основе опыта


    Вместо того чтобы грузить тестировщиков аналитикой, мы предложили другой способ знакомства с приложением — тестирование на основе опыта.


    Тестирование на основе опыта — эвристический эксплоринг в открытом многомерном пространстве. Если проще — исследуй приложение и делай выводы правильно или нет оно работает. Каждый участник тест-сессии уже бывал на конференциях, поэтому предметная область приложения ему знакома.


    В основе тестирования на основе опыта лежат три методики:


    1. Угадывание ошибок — предположить ошибку и проверить, что её нет в приложении.
    2. Тестирование на основе чек-листа — придумать верхнеуровневые проверки для приложения, а конкретные тест-кейсы генерировать и проверять во время тестирования.
    3. Исследовательское тестирование — сравнение ожидаемого и полученного результата поведения приложения на основе собственного опыта.

    Но не все участники тест-сессии имели опыт тестирования мобильных приложений.
    Чтобы подсказывать направления исследования новичкам, поделиться опытом и специфическими кейсами с бывалыми тестировщиками, в течение тест-сессии мы рассказывали участникам об эвристиках мобильного тестирования.


    Эвристики мобильного тестирования — это совокупность исследовательских методов, способствующих открытию ранее неизвестного.




    О парном тестировании


    На сессии участники тестировали в парах. Было составлено 19 команд. Объединяли команды и балансировали их по следующим критериям:


    Опыт в тестировании.
    Новичкам комфортнее с новичками. Опытному с опытным. Если новичок работает в паре с очень опытным и матерым тестером, в большинстве случаев, опытный доминирует и не дает раскрыться идеям начинающего коллеги. Если стаж участников более 4 лет, например, 5 и 10 лет, то можно смело объединять их в 1 команду.


    Опыт в тестировании мобильных приложений.
    Тест-сессия открытое мероприятие для тестировщиков с любой специализацией, поэтому хорошо, если в одну команду попадают тестировщики, занимающиеся не только мобильным тестированием.


    Девайсы.
    На тест-сессию люди приходили со своими гаджетами. Старались, чтобы устройства в команде были и iOS и Android.


    Разнообразие общения.
    Мы за общение! Коллеги из одной компании не могут быть в одной команде.


    Парное тестирование помогает сосредоточиться на задаче, помогает тестировщику сохранять движение, пока другой делает перерыв. Пара поощряет каждого тестировщика объяснять и реализовывать идеи. Когда тестировщик объясняет свои мысли другому, то сам процесс формулирования порождает новые идеи и кейсы. Парное тестирование — отличный способ прокачать навыки коммуникации и научиться эффективно взаимодействовать с коллегой. Для кого-то это был первый опыт тестирования в парах, для кого-то — нет. Надеемся, что участники захотят применить такой метод в своей работе.


    О багтрекере


    Системой для багтрекинга был традиционный для Контура Youtrack. Многие тестировщики первый раз работали с Youtrack, поэтому мы подготовили короткую видеоинструкцию о том, как работать с системой и как заводить баги.




    О системе оценки багов


    По плану побеждали 5 команд, набравшие большее количество баллов. Приведем пример системы оценки.


    В багтрекере можно было создать две сущности.
    Task — предложения по улучшению работы системы. Таски оценивались в 1 балл.
    Bug — дефект в продукте. У багов был разный приоритет: crash, major, minor.


    К багам с приоритетом crash относились бесконечная загрузка, зависание, потеря данных (не сохраняются введенные или отредактированные данные), блокирование основных функций девайса. Такие баги оценивались в 20 баллов.


    К major относились нерабочие кнопки или ссылки, не редактируемые поля, неожиданный результат выполнения, съехавшая верстка (мешающая работе), нарушение безопасности данных. Такие баги оценивались в 10 баллов.


    К minor относились опечатки, съехавшая верстка (не мешающая работе), некорректная анимация, не информативные подсказки, нестабильно воспроизводящаяся проблема. Такие баги оценивались в 5 баллов.




    О сленге


    Участники получили особенности сленга для грамотных багрепортов в мобильных приложениях. Небольшой пример:


    Тап — краткое прикосновение к сенсорному экрану с последующим отстранением.
    Дабл-тап — два коротких прикосновения пальцем, сродни дабл-клику.
    Тач — прикосновение длиннее, чем Тап.
    Тач-энд-холд — прикоснуться и держать. Прикосновение длиннее, чем Тач.
    Свайп (Слайд) — продолжительное скольжение пальцем по экрану.
    Тост — всплывающее сообщение на поверхности окна приложения.
    Тогл — переключатель состояния.
    Тайтл — заголовок название экрана.
    Стейт — состояние, ориентация устройства (портретная или ландшафтная).


    Теперь вы тоже вспомнили, чем тап отличается от свайпа, тогл от тоста, а тайтл от стейта.


    О призах


    По итогам тест-сессии мы выбирали 5 команд победителей, набравших наибольшее количество баллов. Контур часто проводит соревнования по спортивному программированию, поэтому мы выбрали проверенную схему и вручать призы как на ACM ICPC. На общем столе с призами команда, набравшая большее количество баллов, первая выбирает призы, вторая по баллам команда — выбирает вторая и т.д.




    Кто лучше всех тестирует


    Пока жюри подводило итоги, участники могли пообщаться с коллегами, перекусить пиццей, посетить экскурсию по офису или провести время в гейм-зоне: поиграть в телефонный дарт, 100 к 1 для тестировщиков, приставки, кикер.




    Всего участники сделали 446 репортов, из которых 349 с типом bug и 97 — task.




    Жюри приняло 278 и отклонило 140 репортов. Отклоняли непонятно описанные, невоспроизводимые или повторяющиеся в рамках одной команды баги.




    Из принятых репортов 215 оказались багами. Из них 118 багов имеют приоритет minor, 80 — major и 17 — crash.




    Подчеркну, что это статистика по всем командам. В 215 репортах много повторяющихся между командами или девайсозависимых багов. Поэтому число уникальных задач, которые перекочевали в багтрекер команды, разрабатывающей приложение, составило 23.


    Все фото с тест-сессии можно посмотреть здесь.


    TestHackathonChallenge


    Мы попробовали новую для себя тему. И сделали тест-сессию по мобильным приложениям. Ребятам понравилось, значит продолжим и в 2018 году, но добавим новизны. Следующая тест-сессия пройдет в конце года, анонс появится в нашем блоге — не пропустите!

    Контур 123,73
    Делаем веб-сервисы для бизнеса
    Поделиться публикацией
    Комментарии 0

    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

    Самое читаемое