Привет! Меня зовут Даша, я ведущий инженер по контролю качества в «Мой спорт» и наставница на курсе «Инженер по тестированию: от новичка до автоматизатора» в Практикуме.
В ноябре 2023 года я сдала экзамен ISTQB® Certified Tester Foundation Level (CTFL) 4.0. В этой статье хочу поделиться своим опытом подготовки к экзамену и впечатлениями о сертификации.
Зачем мне сертификат
Начну с горячего, холиварного. Считаю, что нет правильного ответа на вопрос «нужен ли сертификат ISTQB для работы», и просто поделюсь мотивами, которые побудили меня сдать экзамен:
У меня появилось больше свободного времени. Идея сдать экзамен пришла совершенно спонтанно в процессе чтения одной статьи на Хабре.
Мне было интересно изучить свежую версию силлабуса и узнать, насколько мой опыт и видение работы QA соответствуют современным представлениям международной системы квалификации.
Хотелось открыть для себя что-то новое, что смогу транслировать студентам с отсылкой к источнику, известному в мире тестирования.
В спорных ситуациях с коллегами хотела вооружиться знаниями из авторитетного источника, на который можно ссылаться во время разногласий.
Как и где сдавала экзамен
Я рассматривала только онлайн-варианты сдачи экзамена и только по силлабусу 2023 года (v4.0). К слову, когда я готовилась, силлабуса 2023 на русском языке ещё не было (появился после, можно изучить тут), соответственно, и экзаменов на русском нет.
Остановилась на провайдере GASQ, стоимость онлайн-экзамена на момент написания статьи — 205€. Пробовала найти провайдера с ценой ниже, но не удалось. Например, на Turkish testing board можно сдать экзамен за 2450 tl (~79€), но там сертификация по силлабусу 2018 года. В поддержке ответили, что сертификация по v4.0 начнётся только после апреля 2024 года. Сертификат бессрочный, поэтому вариант сэкономить и сдать экзамен по прошлой версии силлабуса вполне имеет место.
Про саму организацию сдачи экзамена у GASQ рассказывать не буду, об этом есть отличные статьи, например эта.
Подготовка к экзамену
С учётом моих мотивов подготовка была даже интереснее и важнее, чем сам факт получения сертификата. Распишу поэтапно, что я делала.
Прошла пробный экзамен на сайте gasq.org. Вопросы и их порядок такие же, как представленные на сайте ISTQB в Sample Exam A. Так я познакомилась с UI площадки для сдачи онлайн-экзамена, оценила вопросы и себя по ним.
Прочитала силлабус один раз.
Вернулась к Sample Exam A на сайте ISTQB, прошла его снова и уже детально разбирала каждую свою ошибку. Полезно, что есть не только правильные ответы, но и объяснения, почему какой-то ответ верный, а другие нет.
Выявила свои слабые места и стала работать с ними. Читала конкретные разделы снова в силлабусе, а также обращалась к книге Foundations of Software Testing ISTQB Certification, 4th edition. Книга основана на силлабусе 2018 года, но большинство разделов соответствуют и силлабусу v4.0. В конце каждой главы книги есть тестовые вопросы, хорошо помогают отработать проблемную тему.
Повторяла шаги 3 и 4 для других опубликованных пробных экзаменов, в том числе по силлабусу 2018 года.
Изучила отличия силлабуса 2023 от силлабуса 2018. Здесь помогли статьи эта и эта, а также видео от авторов. Хотела понять, на чём именно делают фокус создатели в новой версии, какой теме уделить больше внимания.
За день до экзамена снова перечитала главы силлабуса, в которых было меньше уверенности.
Впечатления о подготовке
Я готовилась не с нуля, но суммарно ушло около 16—18 часов в течение 3 недель. И я уверенно скажу, что время потрачено не зря:
Я убедилась, что мой опыт работы в тестировании и видение роли QA в жизненном цикле разработки идут в ногу с представлениями ISTQB.
Я навела порядок в своих знаниях, забрала некоторые идеи на подумать и даже отметила для себя что-то новое.
Изучая, на чём фокусируются в новой версии CTFL, сделала вывод, что это:
shift-left testing
whole team approach
Я обожаю идею shift-left testing! Всегда призываю QA как можно раньше подключаться к ревью ТЗ и дизайнов.
Здесь для меня был любопытен момент из силлабуса:
“Testers are involved in reviewing work products as soon as drafts of this documentation are available”
Интересно, в реальной жизни многим ли удаётся подключаться к ревью драфтов ТЗ?) Драфт для меня часто соответствует цитатам «не торопитесь, тут ещё может поменяться», «подождите, здесь пока согласовывается».
Whole team approach подразумевает, что любой член команды с необходимыми знаниями и навыками может выполнить любую задачу и каждый член команды ответственен за качество. Считаю это тоже здоровским подходом, о котором обычно не знают новички-тестировщики и возлагают всю вину за проблемы в качестве продукта на себя.
Этот же посыл о командной ответственности прослеживается и в других частях силлабуса, например Collaboration-based Test Approaches, — подразумевает коллективную работу над написанием User Story (брейншторминг, коллективные майнд-карты).
Whole team approach мы регулярно практикуем в работе. Если цель команды — релиз в сжатые сроки, то разработчики даже могут привлекаться к ручному тестированию, проходить по user acceptance сценарию и проводить демо по нему для достижения командной цели.
При всей полезности силлабуса мне показалось, что для Foundation level слишком много внимания уделено ревью (в разделе Static testing), его типам, ролям в ревью. Хоть и в моем понимании ревью — неотъемлемая часть процесса разработки, но с вопросами типа «в чём разница между Review Leader и Review manager», «каковы отличия между Technical review и Inspection» на своем опыте я не сталкивалась. Хотя, изучая эту тему в книге, открыла для себя интересные техники ревью (Checklist-based, Scenario-based, Role-based, Perspective-based).
Немного удивлена очевидным ошибкам в пробных экзаменах. Пару точно встретила. Например, варианты ответов не соответствуют вопросу, где-то не хватает данных для ответа.
Я попробовала почитать силлабус 2018 года на русском языке, и это для меня оказалось гораздо сложнее, чем восприятие его на английском. Термины и формулировки «не живые» как будто, а что-то из скучного университетского учебника. И на практике чаще сталкиваешься с UI инструментов и документацией на английском, поэтому я однозначно рекомендую готовиться и сдавать экзамен на английском языке, если это возможно.
Впечатления о самом экзамене
Я сформировала представление о «тоне» вопросов и о возможных подвохах после того, как прошла тестовые примеры. Реальные вопросы на экзамене оказались очень похожи, подавались в том же формате.
Несколько примеров, где попадались уловки в тестовых вариантах и на реальном экзамене:
Verification и Validation. Верифицируем требования, а валидируем нужды пользователей и стейкхолдеров. В вариантах ответов авторы меняют термины местами, в первый раз не придаёшь этому значения, а потом уже улавливаешь этот подвох :)
Defect и Failure. Failure — сбой, который находит тестировщик, а defect — ошибка в коде, которая привела к failure. При динамическом тестировании мы находим именно failure, а не defect.
Maintenance Testing и Maintainability testing. Хорошо раскрыты эти понятия здесь.
Testing quadrants Q1, Q2, Q3, Q4. Тут я попалась, не ожидала, что стоит выучить нумерацию квадрантов. Я знала, какой тип тестирования к какому квадранту относится, но вот их номера не запомнила, и мне не хватило этого для уверенного ответа на вопрос.
На экзамен было дано 75 минут (отсчет начинается только после того, как вы с проктором проведёте всю настройку) — я использовала почти всё время. Если вы сдаёте на родном языке, то время на экзамен — 60 минут.
Кстати, о настройке — проктор попросил установить камеру телефона не по инструкции, которая даётся для подготовки. Пришлось немного понервничать из-за этого, так как у меня заранее было продумано другое место для телефона.
В процессе можно возвращаться к любому вопросу, поэтому в последние минуты я прошлась ещё раз по всем вопросам для повторной проверки.
В итоге не могу сказать, что на экзамене был фокус на какую-то конкретную тему. Вопросы действительно похожи на пробные, хотя я морально готовилась к тому, что будет «другое», «сложнее», как читала в опыте других.
Результаты
Минимальный проходной балл для получения сертификата по-прежнему низкий: 65% (26 ответов из 40). Моё мнение: набрать 65% несложно. Часть вопросов действительно легкие, с некоторыми можно справиться даже на интуитивном уровне или зазубрив силлабус.
Набрать 80% и больше — здорово. Уже заметно, человек не только зазубрил силлабус, но и что-то понимает в тестировании. В силлабусе v 4.0 нет примеров применения техник тест-дизайна, некоторые темы поданы максимально сжато (например, SDLC models, DevOps, Test Tools, Maintenance Testing), а вопросы по ним могут быть глубже, чем они раскрыты в силлабусе.
Поэтому при рассмотрении кандидата с сертификатом CTFL я бы хотела знать, сколько баллов он набрал, с детализацией по разделам :)
Сейчас сам экзаменуемый получает результаты в таком виде:
Сразу при завершении экзамена. Таблица с номерами тем из силлабуса и количество набранных баллов по каждой теме + количество и процент правильных ответов. Но необходимо закрыть эту страницу до завершения сессии с проктором, а скриншоты в процессе делать нельзя.
Детализация на почту:
Письмо с результатами экзамена
Вопросы, в которых допущены ошибки, не указываются.
После успешной сдачи также приходит письмо для регистрации в Successful Candidate Register, где по номеру сертификата можно найти себя.
Подводим итоги
Резюмирую, что оказалось для меня самым полезным и помогло успешно сдать экзамен:
Пройти максимум тестовых вариантов с официального сайта.
Прочитать силлабус с внимательностью к деталям. Сначала многое кажется известным и очевидным, но потом ты проваливаешься на тонкостях.
При прохождении экзамена не торопиться, очень вдумчиво читать вопросы и ответы. Здесь так же — кажется, ты уверен в ответе, а в итоге оказывается, что там был скрыт подвох как раз для тех, кто торопится :)
