Comments 12
если у вас "карта точек" уже лежит в отдельном этапе - может добавить туда и точки от прохода человеком ? Записать трек один раз - и потом только перепроверять на проходимость и ФПС между версиями
Вы имеете в виду, записать реальный проход? Или вы про проход, который мы осуществляем на Warface?
да, реальный.
Думаю vassabi имелл ввиду реальный проход либо пролёт по маршруту как в 3dmark. Маршруты по которым передвигаются игроки всё равно одинаковые и не измены для каждой карты.
Спешу огорчить, вы тестировали не производительность игры, как указано в заголовке, а производительность карты. Это, честно говоря, очень мало и достаточно печально.
Почему вы считаете, что этого мало?
В реальном бою будут присутствовать человеки и эффекты, иногда в больших количествах. Понимаю, что для мобил эффекты гораздо больнее чем для PC, но все же и у вас кусок перфы выедать будет достаточно приличный. Никто не мешает, модели солдат проверять отдельно и прикидывать суммарную нагрузку, но в статье это не указано. У нас на карту левел дизайнеры закидывали юнитов в какие-то точки уровня, чтобы имитировать хоть какую-то нагрузку, но это не обязательно, если есть общий тест боя.
А вот что действительно желательно это тест полного боя, причем так, чтобы сетевой код в нем тоже участвовал(какая-никакая, а тоже нагрузка на CPU). Тут два варианта:
1) Написать реплеи. Это делается не так уж сложно, хоть и кажется огромной задачей. Даже на кастомном движке. Гораздо сложнее их поддерживать, чем написать. Нам, например, пришлось писать отдельный декомпилятор в текстовый формат и компилятор обратно, для реплеев. Чтобы можно было подменять куски логики. В теории можно ввести версии реплеев, и научить игру саму проводить конвертацию к последней версии, но вот это уже выглядит как что-то долгое.
2) Написать скрипт имитирующий бой. И дальше либо пролет камеры через этот бой, либо "проход игрока". Тут главное, чтобы все было максимально честно на стороне клиента, и не пропускались обсчеты, которые происходили бы в случае сетевой игры.
Покушав как следует реплеев, я склоняюсь к тому, что скрипты все же удобнее. Но со скриптами дела имел мало, возможно не вижу каких-то подводных камней.
Плюс, что вам мешает запускать найтили тест перфы(даже хотя бы тот который у вас есть), и рисовать графики? Может вы это и делаете, но в статье про это ни слова. Хотя вроде как, тоже часть автоматизации перф тестов.
Ну и там всякие тесты скорости загрузки уровней, тесты адекватности коллизий(хотя это можно отнести к валидации), тесты на утечки памяти и тд.
Извините, что не по теме, возможно, нахватаю минусов... Но рад, что есть такая возможность что-то спросить напрямую) я, постоянно играю... Нет, я постоянно возвращаюсь в эту "игру года", несмотря на то, что эта игра - боль моя дырка задница. Надеюсь, у вас, как разработчиков, такая же проблема и я не один такой) но мне бы хотелось узнать, какой штат тестировщиков трудится над тестированием warface, и как пропускаются баги в релиз? Т.е. это жёсткие рамки agile системы? Невнимательность тестеров(в чём сомневаюсь)? Руководству как-то пофиг, сами понимаете, в России живём, можно и потерпеть? Вот действительно очень интересно хотя бы хоть на капельку понять, как получается так, что я захожу в игру и с порога меня ждёт в крепкие объятия небольшая горка багов?
P.S. я сам тестер андроида, и у нас можно сесть на кол, если хоть какой-то критичный баг, который увидит пользователь, попадёт в прод?на сколько я понимаю, у вас только баги бизнес-процессов решается в течении суток, а остальное тянется месяцами ?
Очень надеюсь на ответ, прошу прощения за чрезмерную иронию)
честно говоря я ожидал большого от игровой студии)
Тестировать карту на перфоманс ещ> и в движке игры в целом можно. Но такой подход к тестированию карты может производится на любом железе не важно слабом или мощном.
А вот тестирование игры в каком то сценарии с эффектами, звуками, нормальным количеством игроков и т.п. куда правильнее и я думал студии в текущий момент уже тестируют так свои игры.
Моё вам предложение выберите среднее железо для тестирования карты - и выберите минимальные системные требования для тестирования самый тяжёлой карты в сценарии.
Сценарий можно записать, но так как вы говорите у вас нет системы реплеев (кстати он тут и не нужен потому что иначе вы мериете фпс не игрока а игры целиком что тоже не очень то и полезно) можно же просто запустить несколько удалённых тачек заскриптованных у которых будет у каждого свой сценарий. и мерить фпс от 1 игрока. это поможет вам получить сценарий без внутриигровых изменений (условно это e2e сценарий игрока в котором просто сказано запусти карту, пробеги вперёд нажимая W 5сек) с этим могут быть проблемы потому что чем хуже комп тем больше разница в том что такое дистанция в 5 сек. но если у вас есть отклонения в ХУДШУЮ или ЛУЧШУЮ сторону вы об этом узнаете сразу - как минимум потому что видео ряд начнёт сильно не совпадать. а как максимум потому что фпс либо вырастет либо упадёт.
Ну и приемущество такого подхода в том что вам не прийд>тся писать систему реплаев как я уже об этом сказал раньше :)
p.s (на этих скриптах работает ну примерно тысяча ботов в разных ММО играх)
Спасибо за статью!
Как мы автоматизировали тестирование производительности для Warface