Комментарии 28
Понятно, здраво и достаточно очевидно. И эмоционально о наболевшем, ага.
Всё это должно решаться в рамках какой-то более глобальной задачи по созданию культуры работы с комьюнити в принципе.
Проблема в том, что общением с игроками на тему багов и техпроблем занимаются либо сами разработчики (отрываясь от своих непосредственных задач), или какая-то общая служба поддержки (которая нихрена не понимает в вопросе).
В результате репорты или пропускаются, или остаются без ответа, или закрываются с тем самым «мы работаем над этим». А систем поощрения либо нет, либо они реализованы не для людей.
Возможно, нужна какая-то прослойка QA-менеджеров, которые достаточно разбираются в вопросе, чтобы фильтровать поток репортов и понятно переформулировать ответы от разработчиков, но при этом умеют общаться с людьми и понимают, что им нужно.
Всё это должно решаться в рамках какой-то более глобальной задачи по созданию культуры работы с комьюнити в принципе.
Проблема в том, что общением с игроками на тему багов и техпроблем занимаются либо сами разработчики (отрываясь от своих непосредственных задач), или какая-то общая служба поддержки (которая нихрена не понимает в вопросе).
В результате репорты или пропускаются, или остаются без ответа, или закрываются с тем самым «мы работаем над этим». А систем поощрения либо нет, либо они реализованы не для людей.
Возможно, нужна какая-то прослойка QA-менеджеров, которые достаточно разбираются в вопросе, чтобы фильтровать поток репортов и понятно переформулировать ответы от разработчиков, но при этом умеют общаться с людьми и понимают, что им нужно.
Одно замечание. Тестировщики на масс-тестах нужны не столько для выявления багов в балансе и юзабилити, а для выявления критичных багов, кладущих сервер или как минимум клиента. А информация по таким багам собирается автоматически — репорт от человека обычно не нужен.
Да вот именно. Автор, вы же сами себе отвечаете:
Очевидно, же, что именно «школьники для массовки»: выяснить часы пиковой нагрузки, отладить механизм раздачи и откатов патчей, проверить нагрузку карт, механизм лобби etc. Можно до бесконечности перечислять.
А так, все выводы сводятся к: «дайте, обеспечьте, относитесь к нам как к сотрудникам», а не то «уйду, напишу в ЖЖ и раздам на торрентах».
Вам школьники для массовки или тестеры нужны!?
Очевидно, же, что именно «школьники для массовки»: выяснить часы пиковой нагрузки, отладить механизм раздачи и откатов патчей, проверить нагрузку карт, механизм лобби etc. Можно до бесконечности перечислять.
А так, все выводы сводятся к: «дайте, обеспечьте, относитесь к нам как к сотрудникам», а не то «уйду, напишу в ЖЖ и раздам на торрентах».
Очевидно, же, что именно «школьники для массовки»
Крайне ошибочное мнение. Я, честно говоря, очень удивлён, что я на айтишном ресурсе должен указывать на разницу в стоимости исправления бага на:
— этапе разработки проекта;
— этапе проектирования;
— этапе кодирования;
— этапе модульного тестирования.
— этапе после релиза.
etc.
А еще к стоимости исправления багов после релиза можно добавить репутационые потери и разницу в человеко-часах, затраченных на исправление ошибки и т.д.
Кроме того, для
выяснить часы пиковой нагрузки, отладить механизм раздачи и откатов патчей, проверить нагрузку карт, механизм лобби etc. Можно до бесконечности перечислять.»
внезапно можно использовать ботов (пример ниже):
Допустим, у нас есть дебаговый клиент. Разработчики создают макрос-бота, который с клиентом может общаться (не важно как). Бот может залогинится в игре, нажать кнопку «в бой» и поехать к нужной точке на нужной карте. Нагрузка? — Нагрузка. А еще можно и fps померять, проверить работу физики, проверить картинку (хотя тут наверное проще человеку посмотреть будет отчет). Как кто-то сказал: «Можно перечислять до бесконечности» (с)
А использовать «толпу», как вы сказали, только ради проверки сервера на нагрузку — крайне неэффективно.
Крайне ошибочное мнение.
Это само-собой. И то, что разработчики все, как один, не ценят и не понимают своего счастья — тоже понятно. Странно только, что не нашлось ни одной команды, достойной упоминания в положительном ключе. Или это только вам так не повезло, но слухи ходят?
Это само-собой. И то, что разработчики все, как один, не ценят и не понимают своего счастья — тоже понятно./blockquote>
Внимательно перечитываем названия статьи. Если мне не изменяет память, она называлась «Ошибки разработчиков при тестировании ММО», а не «Примеры идеального тестирования игр в лицах».
Странно только, что не нашлось ни одной команды, достойной упоминания в положительном ключе. Или это только вам так не повезло, но слухи ходят?
Обобщаете здесь вы. Это кстати был наброс с желанием развести срач или как это понимать? А касательно примеров — пожалуйста :)
— мододелы проекта Sins of Galactic Empire на moddb;
— мододелы серии S.T.A.L.K.E.R. на амк-форуме и форуме Sigerous'a;
— мододелы серии «Цивилизаций» с civfanatics.com;
etc.
Отличные люди, с которыми я с огромным удовольствием общался играя в их игры и платил деньги за качественный продукт.
Это кстати был наброс с желанием развести срач или как это понимать?
Тут вы меня раскусили, прошу прощения, погорячился. Но, понимаете, сам тон статьи и комментариев на это провоцирует: достаточно сомнительные утверждения, преподносящиеся в ультимативной форме. Рефлекс сработал, понимаете ли.
А по теме — обобщу свои мысли и тех, кто высказался ниже.
касательно примеров — пожалуйста :)
— мододелы проекта Sins of Galactic Empire на moddb;
— мододелы серии S.T.A.L.K.E.R. на амк-форуме и форуме Sigerous'a;
— мододелы серии «Цивилизаций» с civfanatics.com;
Потому и положительные впечатления, что, по сути, мод — это разработка сингла, офлайн игры. И от разработчиков сетевых игр вы ждёте именно такой реакции. Отсюда и запросы обратной связи, постановки задач и т.д.
Но ОБТ самим разработчикам нужен совсем для другого, и нет, нельзя «запустить 1000 ботов». Потому что задача не «проехать из точки А в точку Б», для этого, я уверен, существуют вполне штатные тестеры. Основная задача — выявить проблемы совместимости реального железа у реальных игроков, реальной нагрузки и т.д.
Проблема в том, что вы видите игру только как код самой игры: баланс, карты, ошибки в коде. Но мы же говорим про сетевые игры. И здесь «средства доставки» чуть ли не важнее самой игры. И в ОБТ тестируется именно этот механизм (в основном). Плюс реакция аудитории на различные условия. И там уже про маркетологов сказали, и это тоже да.
Дело в том, что ресурсы не используют не потому, что не могут или не умеют, а потому, что не надо.
Не согласен
Ну сами посмотрите — весь отрицательный опыт у вас связан с разработкой ММО, а положительный с модостроителями. И, при этом, вы продолжаете упорствовать, даже не заглянув внутрь «чёрного ящика».
И, при этом, вы продолжаете упорствовать, даже не заглянув внутрь «чёрного ящика».
Честно говоря, я бы с удовольствием заглянул внутрь «чёрного ящика» в качестве консультанта по оружию, сценариста, продюсера или гейм-дизайнера. Я еще на прошлой работе пару лет назад «подсел» на Хабр и с тех пор начинаю утро на работе с кофе и чтения Хаброновостей :)
Ну сами посмотрите — весь отрицательный опыт у вас связан с разработкой ММО, а положительный с модостроителями.
Не совсем так. Скорее:
— мододелы и разработчики-любители («Ironclads», «Battle Abyss online») не имеют системы или плана, но в меру своего понимания стараются общаться с игроками и координировать процессы тестирования;
— разработчики и локализаторы ММО имеют некий план, но не считают нужным его озвучивать его коммьюнити и практически не принимают информацию игроков по багам в расчет, либо вообще реагируют агрессивно, когда игроки находят «ляпы».
Основная задача — выявить проблемы совместимости реального железа у реальных игроков, реальной нагрузки и т.д.
Стоп. Я ведь не говорю, что тестирование «сервер-клиент» не нужно. Естественно, оно необходимо — если я не смогу скачать клиент и зайти на сервер — дальше игры не будет.
Потому что задача не «проехать из точки А в точку Б», для этого, я уверен, существуют вполне штатные тестеры
Здесь я буду категорически спорить:
1. В разговорах со знакомыми игроделами киевскими я вообще слышал позицию, что «штатные тестеры не нужны — для этого есть игроки»;
2. Если штатные тестеры есть, то они не справляются со своей работой. Как это выглядит со стороны игроков я расписал выше — в статье. При желании могу начать приводить баги по каждой игре, выловленные после релиза.
Собственно, из-за недоработок штатных тестеров и неправильной работы с тестовым коммьюнити и был написан это материал, чтобы показать как можно сделать лучше, чтобы все выиграли.
И как я ботами обеспечу 1000 человек онлайн? Где я возьму оборудования, чтобы такой онлайн получить? Внутреннюю сеть я же не могу использовать и уж тем более вешать ботов на тоже оборудование, где игра вертится.
ОБТ/ЗБТ — это исключительно привлечение массовки. Причем достаточно лояльной к вайпам и крашам.
ИМХО
ОБТ/ЗБТ — это исключительно привлечение массовки. Причем достаточно лояльной к вайпам и крашам.
ИМХО
Удивительно, столько БТ пройти и так и не понять, что все бета тесты делаются не для выявления багов, а для привлечения внимания к проекту, поэтому писать, что либо, куда либо, бесполезно, я это понял после 4го БТ а автор пишет о 30 =)
Ну может быть проверить сервера на нагрузку, но не как не для вычитывания сообщений о багах от стада школьников и тем более проверять их и править.
Также стоит отметить, что обычно онлайн проекты это локализация и локализаторы просто не могут ничего поправить так как не они разработчики. При этом, орфографию и пунктуацию тоже особо не правят, так как перевод делает отдельная фирма с которой уже контракт окончен и это новые затраты. Другой причины я просто не вижу, так как сам отправлял сообщения о ошибках в переводе, но воз и ныне там=)
Ну может быть проверить сервера на нагрузку, но не как не для вычитывания сообщений о багах от стада школьников и тем более проверять их и править.
Также стоит отметить, что обычно онлайн проекты это локализация и локализаторы просто не могут ничего поправить так как не они разработчики. При этом, орфографию и пунктуацию тоже особо не правят, так как перевод делает отдельная фирма с которой уже контракт окончен и это новые затраты. Другой причины я просто не вижу, так как сам отправлял сообщения о ошибках в переводе, но воз и ныне там=)
«Гей-дев» − это не опечатка?
Статья правильная, игроки и должны думать в этом ключе, знать цели разработчиков не надо :-)
Попробую угадать игру — «War thunder»?
Цитаты точно о них:
Цитаты точно о них:
И здесь главная беда заключается в том, что ни разработчики, ни коммьюнити-менеджеры не умеют направлять энергию этой таргет-группы в конструктивное русло на пользу проекта.
Особая прелесть ситуации заключается в том, что зачастую в вакансиях компании висит «исторический консультант», но при этом на форуме игры профессиональных историков с historia.ru или tsushima.ru, указывающих на нестыковки, разработчики посылают чуть ли не матом, мотивируя это тем, что «в нашей 100% реалистичной игре историзм принесен в жертву балансу». Про вики, которые делают школьники на основе гуглтранслейтовсуких статей, вообще молчу.
А в ответ:
— вообще не получил какого-либо ответа;
— тему закрыли и перенесли в архив без объяснения причин;
— получил ответ “баг известен, мы работает над этим” даже без элементарной благодарности;
— и так далее по спику…
Да к тому, что примерно треть моих знакомых на ЗБТ/ОБТ переставали писать баг-репорты, получив резкую отповедь.
— карательно-репрессивная, вплоть до банов (пришел модератор с банхаммером);
— обвинительная (пришел разработчик и начал распекать игроков, что они сволочи неблагодарные – разраб тут ночами не спит, с женой уже секса неделю не было, а игроки все носом в баги тычут, никак не успокоятся).
Не только. Как я уже писал в предисловии, я участвовал в разных «бетах» — World of Tanks (ЗБТ). WarThunder (альфа-тест), UFO online (ОБТ), Lost Sector online (альфа-тест), Ironclads (ОБТ) и т.д. и т.п. Другое дело, что конкретные примеры я выбирал именно из WoT и Тундры потому, что их знают все.
Я особо не играл и не играю, War thunder заинтересовал графикой. Игра оказалась очень недружелюбной в интерфейсе и управлении, и я направился на форум просвещаться. Почти сразу я увидел отношение к пользователям и был очень удивлен, просто в шоке от отношения «сволочи неблагодарные». Затем попалась статья на Луркоморье о warthunder и всё стало понятно. Редкий случай когда статья там отлично разъясняла происходящее на форуме и главных участников этого.
Мысли правильные, особенно краткий вывод №1. Пожалуй, можно пересчитать по пальцам, когда разработчики писали прямо: мы отлаживаем механику N, пожалуйста, уделите ей особое внимание. Как правило, объявляют только о нагрузочных тестах. Это просто громадный промах многих компаний. И оффтоп: Не замечал я такого негатива во время альфы WoT. Полагаю, негативные примеры собраны воедино, но почему-то кажется, что раз упоминается конкретно эта игра, то и все примеры о ней.
Не замечал я такого негатива во время альфы WoT
Я пришел в танки на ЗБТ в марте 2010-го, а в июне уже стартовало ОБТ. На ЗБТ и ОБТ по моему субъективному мнению багов было меньше и отношение к игрокам адекватнее. А дальше начался мрак. Сейчас конечно все сразу и не припомню, я же 5 лет назад специально не записывал все ситуации.
Навскидку:
— баг с какой-то медалькой. То ли были неправильно описаны условия получения, то ли отображалась в профиле танка, а в инфо о танкистах не отображалась. Или это было два бага (не помню уже)? Отписался. Реакция — ноль. Никто даже не ответил.
— краши клиента, когда Варгейминг начал экспериментировать с многоядерностью. Писали все мои соклановцы у кого были такие проблемы. Либо игнорировали, либо сносил посты на форуме. При повторном размещении темы модераторы банили.
— баги с непроходимостью и застряваниями в некоторых местах карт (первые я еще на ОБТ нашел). Некоторые из них поправили года через полтора после релиза только.
— баги с проездом танков сквозь объекты (и прострелом сквозь стены) — аналогичная ситуация.
— баги с утечкой памяти и «марсианским ландшафтом». Мы баг-лист в числе первых отправляли. Ответ был гениален: переставьте дрова, переустановите систему. Если не помогает — поменяйте железо.
И так далее в том же духе…
Полагаю, негативные примеры собраны воедино, но почему-то кажется, что раз упоминается конкретно эта игра, то и все примеры о ней.
Это обобщенные ситуации с разных игр. Но я решил конкретные примеры приводить из танках и самолетов. Почему? Я предполагаю, что если бы я расписал ошибки на примере всех компаний и локализаторов, включая «Акеллу», «Нивал» и прочих, то одновременно отбиваться и спорить с представителями всех наших гейм-дев компаний мне было бы проблематично.
Сложно указать крупный проект 2013-2014гг., к которому бы данные цитаты не подходили. Сейчас балом правят маркетологи, а потому крайне сложно встретить компанию-игродела, которая считала бы игроков клиентами, а не ресурсом. Отношение к игрокам чаще всего такое, что даже Почта России в худшие свои времена просто отдыхает по сравнению с этим.
Поэтому бета-тестирование ориентировано не на поиск багов, а на продвижение проекта и оценку ЦА. Более того, на момент тестирования уже обычно составлен подробный план запуска и раскрутки проекта, который не предусматривает отсрочек из-за такой мелочи, как баги. Даже если вдруг выяснится, что сервера банально не выдержат нагрузки, а клиент дырявый как решето, проект всё равно запустят точно по графику, а с проблемами будут разбираться как-нибудь потом.
Поэтому бета-тестирование ориентировано не на поиск багов, а на продвижение проекта и оценку ЦА. Более того, на момент тестирования уже обычно составлен подробный план запуска и раскрутки проекта, который не предусматривает отсрочек из-за такой мелочи, как баги. Даже если вдруг выяснится, что сервера банально не выдержат нагрузки, а клиент дырявый как решето, проект всё равно запустят точно по графику, а с проблемами будут разбираться как-нибудь потом.
Статью читать интересно. Но кроме последнего абзаца все остальное показалось оторванным от реальности.
Что-то из разряда «Я 10 лет геймер и я то уж точно знаю как делать игры!»
Что-то из разряда «Я 10 лет геймер и я то уж точно знаю как делать игры!»
Не верно :)
Вот прочитал и самому стало интересно — а сколько же лет я играю в компьютерные игры? Итак, посчитаем: сейчас мне 27 лет, а первый компьютер я получил примерно в первом-втором классах. Следовательно, мой суммарный геймерский стаж сейчас 18-20 лет примерно.
Отнюдь. Просто рынок компьютерных игр ещё слишком молод и подобающей культуры управления и отношения к пользователям здесь нет. Как человеку, который смотрит на это со стороны и который организовывал много чего, начиная от международных ножевых шоу и заканчивая координацией турниров на 500+ человек, мне хорошо видно насколько бездарно используются человеческие ресурсы коммьюнити. Естественно глупо было бы ожидать сейчас от Wargaming или Gaijin Entertainment такой культуры управления, как у PricewaterhouseCoopers или Deloitte, но это не значит, что стоит игнорировать проблему. Определенные шаги в этом направлении уже предпринимаются — например, в Стиме теперь можно возвращать купленные игры, если они не понравились (кажется, по условиям нужно играть не более двух часов и совершить возврат в двухнедельный срок). Я уверен, что со временем «цивилизованность рынка» будет расти, а гейм-девелоперам придется учиться работать с другими стандартами качества. Например с теми, которые используются в банковской сфере или аудите. Хотя, вполне возможно, что для этого должно смениться хотя бы одно поколение управленцев в ГД.
Что-то из разряда «Я 10 лет геймер и я то уж точно знаю как делать игры!»
Вот прочитал и самому стало интересно — а сколько же лет я играю в компьютерные игры? Итак, посчитаем: сейчас мне 27 лет, а первый компьютер я получил примерно в первом-втором классах. Следовательно, мой суммарный геймерский стаж сейчас 18-20 лет примерно.
Статью читать интересно. Но кроме последнего абзаца все остальное показалось оторванным от реальности.
Отнюдь. Просто рынок компьютерных игр ещё слишком молод и подобающей культуры управления и отношения к пользователям здесь нет. Как человеку, который смотрит на это со стороны и который организовывал много чего, начиная от международных ножевых шоу и заканчивая координацией турниров на 500+ человек, мне хорошо видно насколько бездарно используются человеческие ресурсы коммьюнити. Естественно глупо было бы ожидать сейчас от Wargaming или Gaijin Entertainment такой культуры управления, как у PricewaterhouseCoopers или Deloitte, но это не значит, что стоит игнорировать проблему. Определенные шаги в этом направлении уже предпринимаются — например, в Стиме теперь можно возвращать купленные игры, если они не понравились (кажется, по условиям нужно играть не более двух часов и совершить возврат в двухнедельный срок). Я уверен, что со временем «цивилизованность рынка» будет расти, а гейм-девелоперам придется учиться работать с другими стандартами качества. Например с теми, которые используются в банковской сфере или аудите. Хотя, вполне возможно, что для этого должно смениться хотя бы одно поколение управленцев в ГД.
Для того, чтобы понять в чем и почему вы не правы вам надо поработать в какой нибудь ММО.
Вы судите по процессах происходящим в черном ящике находясь снаружи.
Даже если вы видели 100 000 черных ящиков это не увеличило вашего понимания именно внутренних процессов.
Полагаю вы можете стать находкой в плане QA для какого-нибудь проекта. Но также уверен, что вы измените свое видение ситуации если начнете там работать.
Дело в том, что ресурсы не используют не потому, что не могут или не умеют, а потому, что не надо.
Вы судите по процессах происходящим в черном ящике находясь снаружи.
Даже если вы видели 100 000 черных ящиков это не увеличило вашего понимания именно внутренних процессов.
Полагаю вы можете стать находкой в плане QA для какого-нибудь проекта. Но также уверен, что вы измените свое видение ситуации если начнете там работать.
Дело в том, что ресурсы не используют не потому, что не могут или не умеют, а потому, что не надо.
Я не отрицаю (гипотетически) возможности того, что со временем я могу изменить своё мнение. Например, как вы сказали, перейдя работать из банковской сферы и журналистики в гейм-девелопмент. Но на данный момент исходя из того, что я знаю и что я вижу, и сравнивая со своей сферой деятельности я делаю именно такие выводы.
Не согласен, но боюсь, что каждый из нас останется при своём мнении исходя из своего жизненного опыта и будет приводить все новые и новые аргументы в пользу своей точки зрения :)
Дело в том, что ресурсы не используют не потому, что не могут или не умеют, а потому, что не надо.
Не согласен, но боюсь, что каждый из нас останется при своём мнении исходя из своего жизненного опыта и будет приводить все новые и новые аргументы в пользу своей точки зрения :)
Одна российская компания, разработчик и локализатор, однажды попыталась простимулировать тестеров. Пообещали, что лучшие из них получат уникальные крылья, которые можно носить с низкого уровня (но по характеристикам хуже магазинных для последнего уровня) и которые нельзя добыть иными методами в игре. Также лучшие будут внесены в анналы истории, оказавшись в игровых субтитрах русской версии.
По окончании ЗБТ лучших тестеров действительно быстро определили, поздравили и… и ничего. Крылья дали — через месяц с небольшим, когда все уже были на топ-уровне и при всей своей уникальности крылья были бесполезны. Разве что в городе для прикола надеть. Передать твинку тоже нельзя. За этот срок менеджера по общению с коммьюнити замучили, но он сперва отвечал неопределенными отмазками, а потом вовсе прятался и не отвечал. Что мешало прислать внутриигровой подарок раньше — неизвестно. На титры, по ходу, забили. Вот и тестируй им потом.
По окончании ЗБТ лучших тестеров действительно быстро определили, поздравили и… и ничего. Крылья дали — через месяц с небольшим, когда все уже были на топ-уровне и при всей своей уникальности крылья были бесполезны. Разве что в городе для прикола надеть. Передать твинку тоже нельзя. За этот срок менеджера по общению с коммьюнити замучили, но он сперва отвечал неопределенными отмазками, а потом вовсе прятался и не отвечал. Что мешало прислать внутриигровой подарок раньше — неизвестно. На титры, по ходу, забили. Вот и тестируй им потом.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Ошибки разработчиков при тестировании ММО