На глобальном игровом рынке приложения для смартфонов и планшетов в 2018 году обеспечили 45% продаж, обогнав игры для консолей (32%) и ПК (23%). Рынок мобильных игр ежегодно растет как минимум на 10% – около 7 миллиардов долларов в денежном выражении – по данным Global Games Market Report.
Мы в SimbirSoft помогаем бизнесу разрабатывать и тестировать игровые платформы и отдельные игры. В этой статье мы рассказываем о том, почему на многих проектах мы предпочитаем проводить исследовательское тестирование. Надеемся, что эта информация будет интересна и полезна как разработчикам игр, так и QA-специалистам.
«Для чего люди играют?» – это первый вопрос, который мы задаем себе при тестировании компьютерных игр. Как правило, игра нужна не для решения каких-либо задач, а для получения эмоций (причем положительных).
Когда речь идет о мобильном приложении, задача усложняется. Пользователь должен быть счастлив, играя непродолжительными сессиями тогда, когда ему удобно – во время ожидания или на ходу, стоя в автобусе или сидя на скамейке в парке. Нажав на иконку приложения в своем устройстве, он с первых минут перемещается в увлекательный игровой мир, и ничто не должно портить его впечатления.
При тестировании мобильных игр невозможно просто составить чек-лист и строго ему следовать. Почему? В первую очередь, игра – это эмоции, это огромный клубок, в котором переплетаются функциональная и визуальная, нарративная составляющие. Гейм-дизайнеры придумывают сложные захватывающие механики, программисты прописывают многоуровневые алгоритмы, а сценаристы – диалоги, тогда как художники и аниматоры визуализируют целые миры. В любой части игры возможны дефекты, как большие, так и маленькие, которые должен отыскать и устранить тестировщик. При этом тестировщик учитывает, что пользователи могут совершать непредсказуемые действия, о которых даже не задумывались создатели игр.
В основе чек-листа лежат несколько направлений (идей), на основе которых мы изучаем игру – как правило, вручную. Рассмотрим основные задачи QA специалиста на старте тестирования:
Таким образом, в начале тестирования специалист составляет своего рода путеводитель, который поможет ему проверить качество игры. После этого он приступает к тщательному исследованию, погружается в атмосферу и игровой мир. Здесь важна каждая деталь, в том числе аудиосопровождение игры, поскольку бывают баги в звуковых эффектах и в воспроизведении отдельных тем. Немаловажно уделить внимание описанию каждого предмета и каждому тексту диалогов – там бывают очепятки или ключи, забытые разработчиками.
В процессе обеспечения качества игр мы применяем комплекс различных видов тестирования. Для начала остановимся на наиболее часто используемых методах.
Для него необходимы заранее подготовленные тестовые сценарии – наборы тест-кейсов. По этой причине сценарное тестирование может занимать больше времени, чем исследовательское.
Особенности этого подхода:
В первую очередь, вопреки существующим мифам, это не бездумное нажимание на все кнопочки подряд (не путаем с monkey testing!). Тестировщик-исследователь ставит себя на место игрока и последовательно изучает проект, его функциональности. Вместо подробной документации он использует краткие чек-листы, а собственные тест-кейсы держит в голове.
Такой подход позволяет ускорить тестирование игры. Если тестировщик видит, что определенный участок игры стабилен, он направляет свое внимание на следующие участки – те, в которых действительно есть риски.
Преимущества:
Пример:
Давайте рассмотрим на живом примере. Перед командой стоит задача провести тестирование игровой сессии. Подумаем, какие будут отличия между чек-листами при разных методах тестирования.
Сценарное тестирование
1. Нажать на подсвечиваемую карту «Зеркальные копии».
2. Выполнить долгое нажатие на карту «Золотые копии».
3. Нажать и «потянуть» подсвечиваемую карту «Зеркальные копии» к игровому полю.
4. Нажать на подсвечиваемую карту «Солдат Златоземья».
5. Долгое нажатие на карту «Солдат Златоземья».
6. Нажать и «потянуть» подсвечиваемую карту «Солдат Златоземья» к игровому полю.
7. Нажать и «потянуть» подсвечиваемую карту «Солдат Златоземья» к игровому полю. Отпустить.
8. Нажать на карту «Элементаль воды».
9. Долгое нажатие на карту «Элементаль воды».
10. Нажать и потянуть карту «Элементаль воды».
11. Нажать на карту «Кислотный слизнюк».
12. Долгое нажатие на карту «Кислотный слизнюк».
13. Нажать на любую карту противника.
14. Нажать на иконку (аватар) противника.
15. Нажать на кнопку «Закончить».
Исследовательское тестирование
1. Выиграть бой.
2. Проиграть бой.
3. Проверить прибавление количества маны за ход.
4. Игра за разных персонажей.
5. Взаимодействие с окружением.
6. Взаимодействие с друзьями.
В этом примере невооруженным глазом видно, что при сценарном подходе чек-лист в несколько раз длиннее и подробнее. Он описывает элементы и взаимодействие между ними, поэтому на его создание уходит больше времени, зато ниже риски, что тестировщик пропустит тот или иной баг.
Исследовательский чек-лист описывает фичи или user-сценарии. QA-специалист самостоятельно определяет, насколько подробно нужно тестировать фичу, с чем и как она взаимодействует. В первую очередь он проходит критически важные сценарии, что помогает быстрее обнаружить и локализовать проблему.
Важно помнить, что исследовательское тестирование подходит только для опытных QA-специалистов. Если у команды нет обширного опыта, лучше сделать выбор в пользу сценарного тестирования.
Помимо методов, описанных выше, в тестировании используют следующие:
Мы в своей работе тестируем самые разные мобильные игры, с разной аудиторией. Мы стараемся комбинировать оба вышеописанных подхода, например, начинаем исследовательское тестирование с создания минимальных чек-листов. Конечно, в статье изложены только общие аспекты тестирования мобильных игр. В каждом конкретном случае специалист выбирает стратегию в зависимости от требований девелопера и других факторов.
Тестирование мобильных игр – одна из самых сложных, но в то же время увлекательных задач. Ведь нужно не только помочь в обеспечении работоспособности продукта, но и стать первопроходцем в новом фантастическом мире, созданном разработчиками, сделать путешествие для других по-настоящему классным.
Спасибо за внимание! Желаем всем хороших игр и положительных эмоций!
Авторские материалы для frontend-разработчиков мы также публикуем в наших соцсетях – ВКонтакте и Telegram.
Мы в SimbirSoft помогаем бизнесу разрабатывать и тестировать игровые платформы и отдельные игры. В этой статье мы рассказываем о том, почему на многих проектах мы предпочитаем проводить исследовательское тестирование. Надеемся, что эта информация будет интересна и полезна как разработчикам игр, так и QA-специалистам.
Игра – это эмоции
«Для чего люди играют?» – это первый вопрос, который мы задаем себе при тестировании компьютерных игр. Как правило, игра нужна не для решения каких-либо задач, а для получения эмоций (причем положительных).
Когда речь идет о мобильном приложении, задача усложняется. Пользователь должен быть счастлив, играя непродолжительными сессиями тогда, когда ему удобно – во время ожидания или на ходу, стоя в автобусе или сидя на скамейке в парке. Нажав на иконку приложения в своем устройстве, он с первых минут перемещается в увлекательный игровой мир, и ничто не должно портить его впечатления.
При тестировании мобильных игр невозможно просто составить чек-лист и строго ему следовать. Почему? В первую очередь, игра – это эмоции, это огромный клубок, в котором переплетаются функциональная и визуальная, нарративная составляющие. Гейм-дизайнеры придумывают сложные захватывающие механики, программисты прописывают многоуровневые алгоритмы, а сценаристы – диалоги, тогда как художники и аниматоры визуализируют целые миры. В любой части игры возможны дефекты, как большие, так и маленькие, которые должен отыскать и устранить тестировщик. При этом тестировщик учитывает, что пользователи могут совершать непредсказуемые действия, о которых даже не задумывались создатели игр.
С чего мы начинаем
В основе чек-листа лежат несколько направлений (идей), на основе которых мы изучаем игру – как правило, вручную. Рассмотрим основные задачи QA специалиста на старте тестирования:
- определить целевую аудиторию игры (в зависимости от жанра и сеттинга);
- определить особенности механики (что является фичей, что – багом, как все должно работать по задумке гейм-дизайнера);
- какие платформы и ОС нужно тестировать;
- определить локализацию багов;
- проверить качество анимации и визуала.
Таким образом, в начале тестирования специалист составляет своего рода путеводитель, который поможет ему проверить качество игры. После этого он приступает к тщательному исследованию, погружается в атмосферу и игровой мир. Здесь важна каждая деталь, в том числе аудиосопровождение игры, поскольку бывают баги в звуковых эффектах и в воспроизведении отдельных тем. Немаловажно уделить внимание описанию каждого предмета и каждому тексту диалогов – там бывают очепятки или ключи, забытые разработчиками.
Виды тестирования
В процессе обеспечения качества игр мы применяем комплекс различных видов тестирования. Для начала остановимся на наиболее часто используемых методах.
Сценарное тестирование
Для него необходимы заранее подготовленные тестовые сценарии – наборы тест-кейсов. По этой причине сценарное тестирование может занимать больше времени, чем исследовательское.
Особенности этого подхода:
- четкое понимание того, какие функции покрыты тестами;
- уверенность, что все задокументированные тест-кейсы будут пройдены в срок;
- быстрое и легкое подключение нового специалиста на проект благодаря наличию подробных сценариев.
Исследовательское тестирование
В первую очередь, вопреки существующим мифам, это не бездумное нажимание на все кнопочки подряд (не путаем с monkey testing!). Тестировщик-исследователь ставит себя на место игрока и последовательно изучает проект, его функциональности. Вместо подробной документации он использует краткие чек-листы, а собственные тест-кейсы держит в голове.
Такой подход позволяет ускорить тестирование игры. Если тестировщик видит, что определенный участок игры стабилен, он направляет свое внимание на следующие участки – те, в которых действительно есть риски.
Преимущества:
- быстрый старт тестирования – не нужно тратить время на создание тестовой документации;
- нет необходимости расписывать множество тест-кейсов и постоянно обновлять сценарии;
- действуя, как игрок, QA-специалист быстрее находит критические баги.
Пример:
Давайте рассмотрим на живом примере. Перед командой стоит задача провести тестирование игровой сессии. Подумаем, какие будут отличия между чек-листами при разных методах тестирования.
Сценарное тестирование
1. Нажать на подсвечиваемую карту «Зеркальные копии».
2. Выполнить долгое нажатие на карту «Золотые копии».
3. Нажать и «потянуть» подсвечиваемую карту «Зеркальные копии» к игровому полю.
4. Нажать на подсвечиваемую карту «Солдат Златоземья».
5. Долгое нажатие на карту «Солдат Златоземья».
6. Нажать и «потянуть» подсвечиваемую карту «Солдат Златоземья» к игровому полю.
7. Нажать и «потянуть» подсвечиваемую карту «Солдат Златоземья» к игровому полю. Отпустить.
8. Нажать на карту «Элементаль воды».
9. Долгое нажатие на карту «Элементаль воды».
10. Нажать и потянуть карту «Элементаль воды».
11. Нажать на карту «Кислотный слизнюк».
12. Долгое нажатие на карту «Кислотный слизнюк».
13. Нажать на любую карту противника.
14. Нажать на иконку (аватар) противника.
15. Нажать на кнопку «Закончить».
Исследовательское тестирование
1. Выиграть бой.
2. Проиграть бой.
3. Проверить прибавление количества маны за ход.
4. Игра за разных персонажей.
5. Взаимодействие с окружением.
6. Взаимодействие с друзьями.
В этом примере невооруженным глазом видно, что при сценарном подходе чек-лист в несколько раз длиннее и подробнее. Он описывает элементы и взаимодействие между ними, поэтому на его создание уходит больше времени, зато ниже риски, что тестировщик пропустит тот или иной баг.
Исследовательский чек-лист описывает фичи или user-сценарии. QA-специалист самостоятельно определяет, насколько подробно нужно тестировать фичу, с чем и как она взаимодействует. В первую очередь он проходит критически важные сценарии, что помогает быстрее обнаружить и локализовать проблему.
Важно помнить, что исследовательское тестирование подходит только для опытных QA-специалистов. Если у команды нет обширного опыта, лучше сделать выбор в пользу сценарного тестирования.
Другие виды тестирования
Помимо методов, описанных выше, в тестировании используют следующие:
- Функциональное тестирование. Его цель: определить все возможные поведенческие сценарии пользователей и проверить их в рамках продукта.
- Тестирование производительности. Цель: определить влияние на гаджет продукта, есть ли проблемы оптимизации.
- Тестирование безопасности. Цель: проверить наличие брешей в коде, которыми могут воспользоваться нечестные игроки (читеры).
- Тестирование стабильности сетевых алгоритмов. Цель: проверить работоспособность игры при условии разных подключений к беспроводному интернету, нагрузку на сервера, синхронизацию обновлений.
- Юзабилити. Цель: оптимизация UI/UX в рамках постоянного пользования и объективная оценка удобства и смотрибельности/читабельности.
- Работа с разными ОС. Особенности архитектур определенных ОС влияют на все перечисленные выше факторы. Поэтому билды нужно проверять везде.
Из практики
Мы в своей работе тестируем самые разные мобильные игры, с разной аудиторией. Мы стараемся комбинировать оба вышеописанных подхода, например, начинаем исследовательское тестирование с создания минимальных чек-листов. Конечно, в статье изложены только общие аспекты тестирования мобильных игр. В каждом конкретном случае специалист выбирает стратегию в зависимости от требований девелопера и других факторов.
Тестирование мобильных игр – одна из самых сложных, но в то же время увлекательных задач. Ведь нужно не только помочь в обеспечении работоспособности продукта, но и стать первопроходцем в новом фантастическом мире, созданном разработчиками, сделать путешествие для других по-настоящему классным.
Спасибо за внимание! Желаем всем хороших игр и положительных эмоций!
Авторские материалы для frontend-разработчиков мы также публикуем в наших соцсетях – ВКонтакте и Telegram.
