company_banner

Краудтестинг, или Где взять опыт для первой работы в тестировании


    Изображение: источник

    Привет, Хабр! Меня зовут Евгений Кузнецов. Я работаю в Badoo, в отделе QA.

    Почти пять лет назад я начал интересоваться тестированием: читал книги, искал информацию в интернете. На одном из форумов наткнулся на тему про подработку, где один из участников оставил ссылку на сайт uTest.com. И это была действительно удачная находка, поскольку uTest оказался крупнейшей платформой для тестировщиков с кучей полезной информации и сотнями оплачиваемых краудсорсинговых проектов.

    Я думаю, многие здесь уже слышали об этом сайте или о подобных площадках. Но, как ни странно, часто я вижу удивлённые лица, когда начинаю рассказывать про краудтестирование. Так что цель этой статьи — пустить полезную информацию в массы.

    Что такое краудтестинг


    Предположим, вы продакт-менеджер и собираетесь выпустить новую версию приложения для Android и iOS. Сроки горят, вам срочно нужны результаты регрессионного тестирования, а единственный тестировщик в вашей команде говорит, что оно займёт два дня, а потом потребуется ещё день для исправления возможных багов. Более того, один из Android-девайсов сломался, и его необходимо заменить, чтобы обеспечить хотя бы базовое платформенное покрытие.

    Как можно ускорить процесс тестирования без ущерба качеству продукта? Можно расширить QA-команду и купить больше девайсов; написать кучу автотестов и запускать их в «облаке»; наконец, арендовать несколько девайсов, сесть и тестировать приложение вместе с QA-инженером. Или обратиться к какой-нибудь краудтестинговой платформе. Обычно это сайт, на котором зарегистрированы тысячи тестировщиков. Они готовы тестировать любое веб- или мобильное приложение на собственных гаджетах и ноутбуках.

    Вам нужно предоставить ссылку на сборку (например, с помощью HockeyApp или TestFlight), выбрать операционную систему и устройства, на которых вы хотите тестировать свой продукт. Можете даже выбрать страну нахождения тестировщиков. В общем, список пожеланий может быть очень длинным. Затем менеджер платформы разошлёт приглашения — и армия тестировщиков приступит к работе. Через некоторое время вы получите результаты и решите, какие баги нужно фиксить, а с какими можно существовать и после релиза.

    Так весь процесс выглядит со стороны заказчика. А теперь давайте посмотрим на него глазами тестировщика.

    Что нужно, чтобы начать тестировать



    Ничего особенного. Если вы читаете эту статью, значит, у вас есть компьютер, мобильный девайс или что-то ещё. Этого достаточно для регистрации на платформе и участия в проектах. Укажите в профиле модель своего устройства, версию ОС, список браузеров на компьютере и т. д. Будет лучше, если у вас в распоряжении несколько мобильных устройств, например, iOS- и Android-девайсы — вероятность получить инвайты будет выше.

    Также рекомендую вооружиться знаниями теории тестирования или хотя бы изучить документацию и руководство для новичков (эта информация всегда есть в специальном разделе сайта).

    Итак, сначала вам предложат пройти тест, чтобы понять, насколько хорошо вы умеете искать баги и писать репорты. После этого всё просто: вы получаете приглашение, читаете описание проекта и решаете, будете ли в нём участвовать. Время на поиск багов ограничено. После завершения цикла тестирования все репорты просматриваются тимлидом проекта, а затем заказчиком. Отправленные вами баги либо принимаются, либо отклоняются.

    Баг принят ⇒ получаете деньги.
    Баг отклонён ⇒ получаете опыт, так как в комментарии к репорту будет объяснена причина отклонения.

    Зачем краудтестинг начинающему тестировщику


    Опыт


    Я начал работать на краудтестинговых площадках до того, как нашёл первую работу. У меня были неплохие знания теории тестирования, но не было практического опыта (без которого многие рекрутеры даже не хотят начинать разговор). Работая на краудсорсинговых платформах, вы получите отличный практический опыт тестирования программного обеспечения. Разнообразие софта будет зависеть от имеющихся у вас гаджетов. У меня были iPhone и ноутбук (на Windows 7) с установленной виртуальной машиной (на которой крутились XP и Vista). Чуть позже я купил Android-девайс и iPad.

    За первые два месяца я поучаствовал примерно в 20 проектах, которые длились от нескольких часов до нескольких дней. E-commerce-приложения и сайты, игры, соцсети, мессенджеры… Если будете активно участвовать и находить много багов, то ваш рейтинг будет расти, а значит, вы станете получать больше приглашений.

    Протестировав кучу ПО, несложно понять, что баги обычно «прячутся» в одних и тех же местах. Помимо проверки основных позитивных и негативных сценариев, экспериментируйте с настройками девайсов, с сетью, используйте авиарежим, ведь часто разработчики забывают правильно обрабатывать поведение ПО при отсутствии связи.

    Помню, как я волновался, когда репортил свой первый баг: старался описать всё очень подробно, приложил несколько скриншотов и видео, так как каждый отклонённый баг может повлиять на статистику. Кстати, очень важно просматривать репорты других участников. Не только во время тестирования (чтобы избежать дублирования), но особенно после него, когда их проверят тимлид и заказчик. Ознакомление с чужими отклонёнными багами даст вам более полное представление об ожиданиях менеджеров и заказчиков.

    В итоге в вашем портфолио появится много интересных проектов и забавных баг-историй, которые можно будет использовать на собеседованиях.

    Чем более вы продуктивны в тест-циклах, тем больше приглашений на них у вас будет.

    Новые скилы


    Очевидно, что при тестировании большого количества ПО вы будете осваивать новые навыки: как снять краш-логи с Android-/ iOS-девайса и прочитать их, как использовать ADB Console и monkey-тестинг, как правильно использовать все настройки девайса (включение ограничения приложений на доступ к камере/ геолокации, «универсального доступа», режима зумирования), как использовать браузерные инструменты для разработчиков и многие другие. И вам придётся всё это узнать, чтобы найти больше багов, так как каждый проект — это мини-соревнование между тестировщиками.

    Вы научитесь работать с новыми инструментами. Например, одним из моих проектов была проверка ивентов Google Analytics, в тот день я открыл для себя Charles Proxy. Немного позже я начал использовать все его возможности (throttling, rewriting, mapping). Ещё, помню, у меня был проект по тестированию безопасности, и я нашёл прекрасный инструмент Zed Attack Proxy.

    Кстати, если хотите прокачать свои навыки, рекомендую статью «Тестирование мобильных приложений: tips & tricks».

    Любопытство — самый ценный навык тестировщика.

    Сообщество


    Общение — один из самых важных навыков для тестировщика. Это ключ ко всему. Что бы вы ни хотели узнать, найти или получить, нужно общаться. Каждый новый человек может дать вам какие-то новые возможности. На краудтестинговых платформах вы встретите много интересных людей, которые будут с вами «на одной волне». На форумах есть сотни тем, в которых можно задавать любые вопросы. Это особенно важно, когда вы начинаете свой путь в тестировании, поскольку можно научиться и получить совет у более опытных людей.

    Будьте активны, задавайте вопросы в чате тест-цикла. Если вам кажется, что в описании что-то упущено, обязательно скажите об этом. Помогайте другим участникам, если знаете ответы на их вопросы. Тимлид или заказчик это заметят — и позже вы сможете получать приглашения в проекты «для избранных».

    Общение — ключ к возможностям.

    Языковая практика


    Все мы знаем, что знание английского языка заметно повышает конкурентоспособность. Поэтому вы просто обязаны зарегистрироваться на зарубежной площадке. Ваш уровень вырастет на порядок всего лишь за несколько недель, поскольку вся документация и общение будут на английском языке, и, конечно, баг-репорты тоже должны быть на нём. Сначала будет не очень привычно, но пополнение словарного запаса определённо того стоит.

    Не бойтесь ошибаться: для 90% участников английский — тоже не родной язык.

    Деньги


    Последний аргумент — деньги. Работу на краудтестинговых платформах можно рассматривать как оплачиваемую стажировку. Ведь вы получаете и опыт, и доход. Размер оплаты будет зависеть от критичности и количества найденных багов. На большинстве платформ он колеблется в диапазоне 3—15 у. е. (в зависимости от проекта, могут отстегнуть и 50 у. е.) за баг.

    Сначала я зарабатывал около 400 евро в месяц, работая по паре часов в день. Потом я решил сосредоточиться не на количестве, а на качестве баг-репортов. Начал проводить больше времени на платформе — и в результате стал зарабатывать около 700—800 евро в месяц. Мой рейтинг ощутимо вырос — и вскоре я получил от менеджера проекта приглашение в небольшую команду на закрытый цикл тестирования одного продукта. После около 12 часов работы каждый из нас получил больше тысячи евро.

    Старайтесь сосредоточиться на поиске критичных багов и повышении качества репортов, а не на их количестве. Тогда работа будет более интересной и в конечном счёте вы больше заработаете.

    Платформы, на которых я работал


    Крупнейшее онлайн-сообщество тестировщиков ПО. Помимо оплачиваемых проектов по тестированию, здесь есть масса полезной информации, статьи и хороший форум. Возможно, это лучшее место для начала работы. К сожалению, у меня с ним, что называется, не сложилось. Четыре года назад на платформе было очень мало проектов для тестировщиков из России (сейчас с этим, насколько я знаю, получше). В то время клиенты были в основном из Европы и США, и они хотели тестировать продукты на своих потенциальных рынках. Россия, разумеется, к ним не относилась. Конечно, можно было прибегнуть к хитрости: использовать VPN и написать в профиле, что ты тестировщик из Англии или США. Так я, собственно, и сделал, чтобы получить свой первый проект. Но для меня такой способ оказался не очень удобным, так что я начал искать другие платформы.


    Раньше платформа называлась Testcloud, и она стала моей любимой краудтестинговой площадкой.
    Удобный интерфейс, налаженное взаимодействие с тимлидами и заказчиками, хорошая система рейтинга тестировщиков и прекрасные рейты за найденные баги (вывод денег — через PayPal). На этой платформе у меня было множество разных и интересных проектов. В течение нескольких месяцев я был единственным русскоязычным тестировщиком, поэтому мне доставались все проекты с RU-локализацией.

    Через год я решил стать тимлидом на этой платформе. Тимлид на краудтестинговой площадке — это тот же фрилансер, получающий приглашения в проекты; только он не тестирует продукты, а проверяет баг-репорты и контролирует весь цикл тестирования. Но, к сожалению, в тот момент я был очень занят на новом месте работы — и из-за нехватки времени мне пришлось уйти с площадки. А вообще у ребят замечательная команда, и я рад видеть, что платформа растёт. Очень рекомендую!

    Отличная платформа с разными проектами. Несколько раз мне даже присылали гаджеты для тестирования, и некоторыми я пользуюсь до сих пор. Кстати, пару лет назад появился и русскоязычный вариант — crowdtesting.ru.


    Участвовал в нескольких циклах тестирования.
    В некоторых проектах требуется знание немецкого языка.


    Индийская платформа. До сих пор получаю с неё приглашения на проекты.

    И ещё несколько ресурсов



    Если верить информации на сайте, платформа сотрудничает с Facebook, Spotify и Microsoft. Так что, если у вас есть желание зарепортить какие-то раздражающие баги FB (у меня, пожалуй, наберётся пара десятков), это место для вас.

    Хочу заметить, что этот проект является организатором тестатонов (хакатонов для тестировщиков), один из которых проходил в Москве.


    Не имеет ничего общего с известной компанией. Но, кто знает, возможно, у вас в руках окажется и предрелизная версия приложения Uber.

    Ещё одна крупная платформа. Интересная особенность: платят не за найденные баги, а за время, потраченное на тестирование. А ещё там есть прикольный блог, где вы можете почитать истории тестировщиков с этой площадки.

    Заключение


    Я без проблем нашёл первое место работы во многом благодаря опыту в краудтестинге. Было огромное количество писем и звонков, которые превратились в четыре оффера из пяти интервью. В моей следующей компании все очень заинтересовались тестированием на краудтестинговых площадках, и я даже выступил в роли заказчика на одной из них. И сейчас, работая в лондонском офисе Badoo, я использую многие навыки, которые получил в то время.

    Работа на краудсорсинговых платформах — хорошая возможность начать QA-карьеру. Вы получите опыт, научитесь пользоваться новыми инструментами, познакомитесь с интересными людьми, заработаете неплохие деньги, и главное — получите удовольствие от тестирования.

    Тестировщики не ломают софт — они ломают ваши мечты о нём...(с) James Bach

    P. S. В этой статье я по большей части описывал положительные стороны краудтестинга для тех, кто только собирается заняться тестированием. Но, конечно, на подобных площадках есть работа и для опытных тестировщиков: проекты, требующие глубоких знаний автоматизации, безопасности, UX и т. д.

    P. P. S. Кстати, в Badoo мы тоже используем краудтестинг для поиска секьюрити-багов. Так что, если вы эксперт в области IT-безопасности и хотите заработать (до £2000 за уязвимость!), то добро пожаловать в нашу bounty-программу на сайте hackerone.com.

    Badoo

    305,00

    Big Dating

    Поделиться публикацией
    Комментарии 16
      0
      Со скольки лет Вы начали заниматься тестированием?
        0
        В 24 года начал читать литературу по тестированию, изучать информацию в интернете. Ближе к 25ти вышел на первую фулл-тайм работу.
          0
          сюда же вопрос задам:
          В каком году начинали?

          UPD: глупый вопрос, я его нечаянно отправил, только потом вспомнил про первый абзац.
            0
            «Почти пять лет назад я начал интересоваться тестированием»
            В начале 2014го :)
        0

        Именно тестирование делает надежным программное обеспечение, подчеркиваю надежным.
        Надежность это не совсем (и даже далеко не правильность) правильность функционирования по алгоритму ( тут всякое может быть). Надежность это когда программа всегда функционирует и уведомляет о той ситуации в которой она находится или попала. А получить такую программу может помочь только тестеровщик, необремененный знанием предметной области.

          0
          Почти пять лет назад я начал интересоваться тестированием: читал книги, искал информацию в интернете.

          Если не сложно, посоветуйте пожалуйста, что можно почитать по этой теме.
            +1
            Моя самая первая книга была «Тестирование Дот Ком» (Роман Савин). Очень легкое и веселое, «вводное» чтиво. Далее посоветовал бы почитать «Как тестируют в Google» и более академичную «Тестирование ПО» (Канер, Фолк, Нгуен).
            0
            Спасибо за статью. Даже и не знал о существовании подобных платформ.

            Заметил, что в основном упоминается тестирование под мобильные платформы и веб. А как там дела с приложениями для ПК? Много ли заказов на их тестирование?
              0
              На моем веку не было ни разу, но думаю что такие тоже есть.
              Время от времени бывают проекты по тестированию хардвера: могут прислать мобильный телефон, планшет, ноутбук, умный будильник, зубную щетку, или еще что-нибудь.
              0
              Спасибо за статью. Сам позавчера зарегистрировался на uTest. Получил первый инвайт на тестирование сайта, но я оказался, мягко говоря, в ступоре. Куча литературы прочитано, куча видео пересмотрено, а по факту я ноль. Как тестировать что-то без требований? Я просто ходил по сайту и тыкал на кнопки. Действия казались абсолютно бессмысленными. Это и есть тестирование или все таки есть какой-то алгоритм действий?
                0
                Добавите свой список литературы? Буду очень признателен.
                +1

                Исследовательское тестирование весьма увлекательное дело, если к нему подходить системно. Самое главное не метаться из стороны в сторону, а понять какова основная задача данного сайта (приложения, девайса и т. д.) и составить примерный план действий.
                Например, если это интернет-магазин: главная страница — поиск товара — добавление в корзину — корзина — оформление заказа — регистрация (в процессе) — завершение заказа и т. д. То есть, вначале должна быть проверка главных позитивных сценариев (по факту, это и есть ваши основные требования к качеству продукта).
                После главных кейсов можно укрупнять проверку каждого отдельно взятого куска, если про регистрацию — каждое поле на ограничение ввода, на спецсимволы (вместо имени что-нибудь типа <script>alert('123')</script>), оставление пустых полей которые помечены дефолтным и т. д. В интернете есть куча чеклистов / mind maps на любой случай, которые можно и нужно использовать, чтобы выработать эту самую системность.
                Также все это дело можно "усугубить" каким-нибудь убогим браузером (я любил смотреть на Windows XP / IE 8, если это позволяли требования проекта) и браузерными тулами (в Firefox есть add-on "Web developer", если на странице включить "Convert Text input to Text Areas", то в текстовых полях пропадает проверка на спец символы, и многие сайты даже дают возможность сохранить такой ввод).

                  0
                  Спасибо за статью.
                  Было огромное количество писем и звонков, которые превратились в четыре оффера из пяти интервью.
                  Письма, звонки, интервью, офферы — это всё приходило с перечисленных краудтестинговых платформ? В Badoo тоже так попали?
                    0
                    Пожалуйста:) Нет, в статье не стал уточнять этот момент.

                    После нескольких месяцев работы на платформах я составил резюме, где указал основные платформы, на которых работал и описал проекты, в которых участвовал. Плюс конечно добавил скилы/достижения и т.д. Все стандартно.
                    Далее выложил резюме в открытый доступ на hh.ru. Оттуда и пошли звонки, письма и интервью.

                    Уже после того как нашел первую работу, закрыл общий доступ к резюме на hh, и сделал профиль в linkedin. Там, спустя некоторое время, меня и нашла следующая компания, а затем и Badoo.
                    0
                    После вашей статьи решил попробовать свои силы. Зарегистрировался на testbirds.com. Прошел вступительный тест. Подскажите, если помните, как скоро вы получили там приглашение и как часто приглашают?
                      0

                      Приглашение на первый проект было спустя неделю после теста. Дальше присылали по 2-3 в неделю вроде, точно не помню. Сейчас должно быть больше, так как они сделали русскоязычную версию сайта, и соответственно должно быть больше клиентов и проектов ориентированных на Россию/СНГ.

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое