Тестирование игр в Иннове: рассказ о работе отдела

    В качестве предисловия скажу, что я пришла в Иннову чуть больше года назад, моей задачей было «сделать тестирование в компании». Мой отдел тестирования состоит из двух групп: группа тестирования веб-приложений и группа тестирования игровых приложений. Такое разделение сложилось потому, что у этих направлений разные задачи и разные требования к сотрудникам.

    Дальше рассказ будет про направление игрового тестирования. Это рассказ про моих ребят, про наши процессы, про нашу организацию работы. Приглашаю на словесную экскурсию.

    Легион

    Внешняя среда

    Начну с описания внешней системы. У нас 11 игровых проектов. Они разного размера, их разрабатывают разные компании (чаще всего корейские), у них разные процессы, разный жизненный цикл, разная частота обновлений, разное качество и разные изначальные требования к качеству.

    На первый взгляд кажется, что Иннова занимается только локализацией, и, казалось бы, что тут тестировать? Нам же дают готовый продукт, тестируйте только локализацию. Но вот эти разные изначальные требования к качеству продуктов играют свою роль. Разные компании-разработчики считают нормальным выпускать продукт на свой (корейский) рынок с определенным количеством известных багов. И это количество у всех, как вы понимаете, разное.

    Мы же стараемся свести это количество к минимуму во всех наших играх. Потому что как только мы выпускаем игру в России, она становится «нашей». Мы так считаем.

    Процесс тестирования

    Тем не менее, мы не тестируем всю игру. Это было бы неправильно. В идеальном случае мы действительно должны тестировать только локализацию и сборку. К этому мы добавляем ещё тщательное тестирование новой функциональности и бета-тестирование пользователями.

    То есть, план тестирования обновления выглядит примерно так:

    — тестирование локализации:
    — — списки для проверки, сроки

    — тестирование новой функциональности:
    — — чек-листы для проверки, приоритеты, сроки

    — тестирование сборки:
    — — смоук-тесты, сроки

    — бета-тестирование:
    — — задание для игроков, сроки

    Я рассказывала про полный цикл тестирования локализованной игры на примере Атлантики.

    Процесс взаимодействия с разработчиками зависит от проекта и от компании-разработчика. Баг-репорты могут оформляться в BTS, на нашей или на их стороне, могут собираться в Excel или Google-docs. Взаимодействуют по их исправлению с разработчиками чаще всего тестировщики, но кое-где вся коммуникация проходит через руководителя проекта. Мы подстраиваемся под проект, но вносим в процессы изменения для их оптимизации.

    Тестовая среда

    Помимо боевых серверов (которых у разных игр от одного до тринадцати) есть система Публичный Тестовый Сервер (ПТС) и внутренний тестовый сервер (QA-стенд). На ПТС может зайти любой игрок при желании. Там проводятся все бета-тестирования. Для того, чтобы туда попасть, не нужно особых сложностей, даже не нужен отдельный аккаунт, подойдет тот, которым играешь на боевых серверах.

    На QA-стенде проводится внутреннее тестирование, до того, как отдать игрокам на ПТС.

    Не любое обновление игры проходит весь путь QA-стенд -> ПТС -> боевые сервера. Некоторые обновления невозможно поставить на ПТС, не задев боевую систему. Такие сразу идут в бой после внутреннего тестирования. Некоторые наоборот, не могут быть нормально протестированы на внутреннем стенде, и они сразу идут вовне к нашим бета-тестерам.

    Качество боевого продукта

    И все же, приходится выпускать продукты с известными багами. И – бывает, что с критичными. Например, последнее большое обновление легендарного проекта Lineage II High Five Part 3, установленное на сервера 28 декабря, принесло серьезный баг: случайным образом у пользователей клиент игры вылетал с критической ошибкой при телепорте.

    Это может зависеть от того, что, например, этот баг проявляется при нагрузке на серверы. И тогда он всплывает только в боевой эксплуатации. Мы не воссоздаем нагрузку в нашем цикле тестирования, потому что это делает компания-разработчик. Но, не всегда результативно. Так как часто обновления запускаются в одно время с Кореей и часто раньше Европы, мы идем на риск запуска с неизвестными багами.

    Это может зависеть, например, от запланированного срока запуска обновления, которого ждут все игроки.

    Это может зависеть от неопределенных сроков по решению проблемы от разработчиков.

    Я уверена, что если устроить опрос среди игроков, пострадавших от бага с телепортом в High Five, согласились бы они играть без обновления и по сей день, то они все равно выбрали бы предновогоднее обновление.

    Конечно же, об известных ошибках игрокам сообщается. И статус их решения постоянно обновляется. И, конечно же, они недовольны ответом «Отправлено компании-разработчику, они работают над этим»!

    Организация команды

    Почти у каждого проекта есть тест-менеджер. Это один из моих ребят, который лучше всех разбирается в этом проекте, который планирует тестирование проекта, участвует в планировании установки обновлений. Он знает слабые места в своем проекте, и знает, что самое важное для его аудитории.

    В его задачи входит:

    — планирование тестирования проекта (или его обновлений)
    — организация тестирования проекта (или его обновлений)
    — — внутреннее тестирование
    — — внешнее тестирование (с помощью бета-тестеров)
    — информирование всех заинтересованных лиц о статусе тестирования и состоянии продукта

    Тест-менеджер взаимодействует по работе:

    — с руководителем проекта (вместе планируют обновления, утверждают запуск)
    — инженер проекта (информация об установке патчей, исправление ошибки сборки)
    — разработчики (сообщает о найденных багах, о результатах тестирования)
    — коллеги-игровые тестировщики (ставит задачи, собирает результаты)
    — редактор проекта (сообщение об ошибках локализации, их исправление)
    — коммьюнити-менеджер проекта (известные ошибки, работа с бета-тестерами)
    — команда поддержки пользователей (ставит задачи, собирает результаты, собирает информацию об ошибках, найденных пользователями, )

    «Заводы стоят, одни менеджеры в стране», — скажете вы :) Конечно же, тест-менеджер – это не должность, а роль. В эту роль мой сотрудник входит тогда, как на его проекте есть активность по тестированию. В остальное время – он тестировщик. Он – «руки другой головы». Один человек никогда не справится в срок с тестированием большого обновления большой игры. Поэтому, когда ему нужно, вся команда к его услугам. В момент активности его проекта – он главный, он ставит задачи и собирает результат.

    Например, сейчас активность в Пойнт Бланке

    А сейчас - в Линейке

    Кроме того, если требуется массированная атака (например, проверить сборку клиента на всех серверах проекта), то тут на помощь приходит команда поддержки пользователей: они знают контент игры и готовы помочь. Здесь тестировщик опять же выступает в роли постановщика задачи.

    Планирование работы команды на день происходят на утренних стендапах. Основные вопросы, которые обсуждает команда, это:

    — «Я сегодня буду заниматься этим»
    — «Мне сегодня нужно 4 человека на тестирование этого»
    — «Я сегодня не загружен, кому нужно помочь?»

    Подход владельца

    У нас в компании есть понятие «драйвер задачи». Это значит «быть её владельцем», быть самым заинтересованным в её решении. Понятно, что тестировщик многого не может сделать самостоятельно:

    — он не может напрямую повлиять на скорейшее исправление бага разработчиками
    — он не может напрямую повлиять на ускорение установки
    — он не может управлять инженером
    и т.д.

    Но он является драйвером своих задач. Это ему в первую очередь нужно как можно скорее получить патч с исправлением. Это ему в первую очередь нужны релиз-ноты. Это ему нужно установить обновление на тестовый сервер в пятницу, чтобы на выходных бета-тестеры могли нам помогать. И это он добивается решения этих вопросов от руководителя проекта, от инженера, от меня, в конце концов.

    Человек, который в случае возникновения трудности, просто напишет письмо, сложит руки и будет ждать – нам не подходит.

    Мои тестировщики – это менеджеры своих проектов. Проектов по тестированию проектов. Владельцы процесса.

    Из той информации, которую я почерпнула от ребят, которые приходят на собеседования на позицию игрового тестировщика, такой подход к работе, мягко говоря, очень редок в компаниях, локализующих игры. Чаще всего отделы тестирования состоят из исполнителей, которым ставятся четкие задачи и требуются четкие результаты. Все решения принимает руководитель, все планы пишет и утверждает руководитель.

    Я считаю неправильным самой делать это за всех, поэтому я учу делать это своих ребят. Это развивает их, и это дает свободу мне как руководителю заниматься более стратегическими задачами.

    Side-effect

    Правда, side-effect у такого подхода тоже есть. Ребята видят все стороны проекта, общаются со всеми участниками проекта, с почти всеми отделами в компании. Их видят, за ними наблюдают. И они растут.

    Некоторые растут в другие отделы. Двое из моих игровых тестировщиков ушли в младшие менеджеры проектов. При этом один из них – на том проекте, на котором работал, а второго цапнул руководитель соседнего проекта. Прямо сейчас он (мой бывший тестировщик) в Сеуле налаживает коммуникации с компанией-разработчиком. Ещё один уходит в отдел аналитики игровых продуктов, как раз сейчас ищу ему замену. Я радуюсь за них. Значит, я хорошо работаю.

    И не меньше я радуюсь за тех, для кого тестирование – это та отрасль, где они хотят развиваться и приносить пользу. Они растут как тестировщики, как тест-менеджеры, и не собираются никуда вострить лыжи.

    На уровне компании

    Не все проекты тестируются отделом тестирования. У нас в Иннове полностью и целиком за свой проект отвечает его руководитель. В том числе и за его качество, и за его тестирование. Я как руководитель сервисного отдела, являюсь владельцем своего направления, и, чтобы оставаться конкурентоспособной, должна предоставлять проектам услугу тестирования с таким качеством, чтоб руководители у меня её заказывали. То есть, если вдруг мои тестировщики начнут лажать, то руководитель проекта вправе отказаться от услуг моего отдела и обустроить себе тестирование самостоятельно. Любыми методами.

    Или он может не заказывать её по другим причинам. Например, в нескольких небольших проектах тестирование осуществляется самой командой проекта. Потому что цикл тестирования обновления очень небольшой (несколько часов), контента немного, и внутри команды проще выделить время «Вот прямо сейчас все сели и побежали», чем ставить задачу в мой отдел.

    В другом проекте руководитель не отдает тестирование нам, потому что эта активность интересна его сотрудникам, и они справляются с ней, попутно изучая новый контент, знание которого им нужно для работы.

    В таких проектах мы выступаем как носители экспертизы: можем подсказать, помочь написать тесты, подсказать, как правильно оформить артефакты.

    У нас трудно, но интересно. Нас ругают, и нам говорят спасибо пользователи. Мы боремся с системой и дружим с разработчиками.

    Спасибо вам, ребята!
    Поделиться публикацией

    Комментарии 105

      +1
      Интересная статья.
      Хотелось бы ещё узнать со скольки человек состоит ваша команда тестировщиков?
        0
        Сейчас 6 игровых, и ещё двоих ищем. Как будут появляться новые проекты — будем ещё расти.

        Точная цифра колеблется, потому что то кого-то в менеджеры украдут, то новый человек придет.
        Есть её группа тестирования веб-приложений, я о них не писала ещё.
          0
          А где можно узнать про устройство вам в компанию и какие вакансии свободны? На сайте что-то не нашел :(
            0
            на сайте пока нет раздела вакансии, есть только раздел Наши лица =)
            Не думаю, что правильно в комментариях к обзорной статье пиарить вакансии. Напишите в личку — дам ссылку на список.
              +16
              пардон — не вздумайте идти в Иннову.

              как одна из (в недавнем прошлом) ключевых фигур там — «кухня» того не стоит.

              полиграф при приеме на работу?
              беспредел?
              запугивания?
              угрозы посадить на 10 лет при малейшем противоречии «топам»?
              на любой разговор с диктофоном дабы себя хоть чуть-чуть обезопасить?
              все начальники — армяне? (см tema.ru/travel/kavkazetnoexp-8/ )

              нравится? — добро пожаловать в Иннову. мазохисты везде нужны. и лохи.
                0
                Жесть. Интересно, представители Инновы как-то прокомментируют это?
                  0
                  Да, да. Но чую не дождемся мы от них комментов.
                    0
                    Да и пост до вечера вряд ли провисит
                      0
                      В мире Свобода — много думать опасно.
                  +1
                  Я понимаю, у Вас свои счеты с компанией и мне действительно жаль что IT специалистами возникают подобные ситуации, но пожалуйста, давайте уважать труд девушки которая написала замечательную статью о своей работе(не о компании) и поделилась ей с нашим сообществом.
                    +3
                    Дело в том чт опосле прочтения этого поста, у кого-то может возникнуть желание пойти туда работать. Тут же человек предостерегает о возможных рисках.
                      0
                      Я имел ввиду не только это сообщение, но и это, это, это а еще вот это.
                      А по поводу предостережения, достаточно было предупредить и подробности рассказать в личке.
                    0
                    А почему армяне-то?.. :)
                      0
                      гугл Геворг Саркисян
                      0
                      Твое мнение услышано.

                      Тем не менее, ни одного из перечисленных тобой методов я в компании не встречала.

                      Где человек родился, по-моему, не должно вообще волновать. Я, например, с Украины.
                        +2
                        Мне кажется, что если считать что компания видит в тебе лоха, то невольно будешь создавать этому подтверждения.

                        Уйти всегда можно.

                        Не нужно проецировать на других своих тараканов, а то другие по неопытности могут поверить.
                  +2
                  Интересный подход. Т.е. получается, что человек в команде является менеджером какого-то продукта, но при этом тестером для другого. Есть ли такие, кто занимает позицию только тестера?
                    +1
                    Да, Вы все верно написали.

                    Что касается «только тестеров» — то есть. «Младший специалист по тестированию» или джуниор. Такой сотрудник приходит к нам без опыта работы в тестировании и учится. Читает книги, выполняет задачи, с каждым разом — все сложнее. Проектов-то становится больше, значит сильные ребята будут заниматься новыми, а текущие нужно будет поддерживать.

                    Например, такой сотрудник может выполнить внутреннее тестирование по составленному старшим плану, организовать бета-тестирование, выдать старшему информацию по статусу и по завершению — написать отчет о тестировании. То есть — это не просто «руки», но и «голова», пусть пока и с небольшими знаниями.
                    0
                    что же такое смоук-тесты?
                      +1
                      ru.wikipedia.org/wiki/Smoke_test
                      protesting.ru/testing/types/smoke.html

                      Мы смоук-тестами называем слабо-детализированный чек-лист для проверки большого количества функциональности игры на работоспособность. Здесь могут выявлены ошибки типа «не запустился скрипт на включение ивента», «html-ки диалогов NPC испорченные», «отвалилось подключение к серверу-данжа».

                      Такие тесты проходятся при получении нового билда и сразу после установки на боевой сервер до открытия для пользователей.
                        +5
                        спасибо за разъяснение.
                        а то у меня уже воображение разыгралось :)
                      +1
                      Интересно взаимодействие с командой тестеров из игроков. Как построена мотивация? И как добиваетесь того что бы найденые игроками баги отдавали вам, а не использовали во благо себя?
                        0
                        мотивация проста:
                        — люди хотят помогать, хотят делать продукт лучше
                        — людям интересно первыми пробовать новые обновления
                        — людям интересно общаться с представителями компании. Кстати, один из моих тестировщиков пришел к нам из бета-тестеров =)

                        Как добиваемся? Да никак. Не проверишь же. Просто очень немногие баги можно использовать во благо себе. Таких единицы. Но, во-первых, и такие тоже сдают. А во-вторых, такие баги отслеживаются другими методами. У них критичность другая. Они непосредственно играть не мешают, но могут дать неоправданное преимущество тем, кто их использует. Это нарушение экономики игры. Поэтому приоритет у них высокий.
                        +4
                        *Вспоминая RF Online*
                        О да, тестеры Инновыыы…
                          0
                          На младших курсах универа я около года играл в RFO и не могу пожаловаться на большое количество багов в ней. Позже играл в другую локализацию от Инновы Айон, где все было то же на хорошем уровне. Общий скепсис по поводу Инновы не разделяю. Думаю, что компания выпускает продукты очень хорошего уровня.

                          Так же года 4 назад был в офисе Инновы на Савеловской, где он сейчас хз. Я там провел всего часа полтора, и атмосфера там напоминала бурлящий стартап, где все сидят в одной комнате, активно общаются, нет особых иерархий и т.п. Сейчас может быть что-то изменилось.
                            –1
                            [blockquote]На младших курсах универа я около года играл в RFO и не могу пожаловаться на большое количество багов в ней[/blockquote]
                            Простите, но «не верю» (с)

                            Я чуть меньше года уже не играю в RFO, но до сих пор иногда захожу глянуть старых друзей и до сих пор, как мне говорят, большенство ярчайших багов присутсвует.

                            Ну невозможно же просто не заметить баг, который переворачивает основную составляющую игры: Невозможность назначить % с аукциона гильдиям. Ведь ЧВ — это основная суть РФ. А % с ЧВ должен заставлять топ-гильдии ходить на ЧВ. До сих пор заходишь в рф, смотришь «зал славы» — пусто.

                            Фикс баги от Инновы: отсутвует.

                            Дальше все помнят этот мега-фейл с квестами на опыт. Не буду в даватся в подробности, но по задумке РФ это должна быть одно из основных способов левеления на 50+…

                            Фикс баги от Инновы: просто отключили квесты на опыт.

                            Про десятки менее важных багов я просто буду молчать, так как основной «фикс» от инновы — это ловить баго-юзеров (при чем выделить «смену» ГМ-ов постоянно присутствующих в игре чтоб им можно было сообщать не смогли. Вместо этого единственный способ «посадить» багоюзера — это самим же игрокам «стучать» создавая видео и отсылая в суппорт).
                          +1
                          Почему в играх Инновы столько багов? Это вина вашего отдела или тех, кто должен исправлять найденные вами проблемы?
                            0
                            В большей степени это вина программистов, которые эти баги делают.
                              0
                              да. программисты.

                              корейцы (разработчики игр) конечно бывает жгут, да. но многое — это уже привнесенные «чудеса».

                              … учитывая более чем кривые ручки армянских программистов «фроста» (звучит как мем «британские ученые обнаружили», да? — 100% команды разработчиков фроста находится в Ереване, и оттуда все контролируют. ) — огромное количество реальных глюков это на самом деле не игра, но привносит этот «замечательный продукта».
                                +1
                                про кривость «Фроста» можно легенды складывать, сразу вспоминаются случаи, когда он блокирует за абсолютно нормальные программы
                              0
                              ну, во-первых, баги никогда не бывают виной тестировщиков =)

                              во-вторых, выражение «в играх Инновы столько багов» — для меня равносильно «виндовс ацтой» или «яндекс не ищет».
                              Какую именно игру Вы имеете ввиду?

                              Новые проекты почти идеальны с точик зрения локализации. И, поверьте, очень много багов именно мы находим для разработчиков.
                                +1
                                Не хочу холиварить, но иногда понимаешь, что Винда не очень приспособлена для программирования и поэтому она кажется отстоем. Но иногда также бывает Яндекс не ищет (как и Гугл иногда), так что все утверждения имеют право на истину, правда с уточнениями.
                                И баги тоже частично вина тестировщиков, как и разработчиков. И иногда еще других людей.
                                Понравилась организация отдела, напоминает чем-то структуру Гугла.
                                  0
                                  Баги бывают виной тестировщиков, если эти самые тестировщики плохо выполняют свою работу и не отловили их.

                                  Насчет забагованности игр — практически все. Lineage давно была — не упомню уже. А вот в PointBlank жуки себя чувствуют превосходно. Периодические вылеты игры, зависания при конннекте к серверу, список доступных игр, который не хочет сортироваться и постоянно сбрасывается, огромное количество читеров, которые используют одни и те же баги по полгода, а то и дольше.

                                  Ну и плюс совершенно корявое обслуживание и нулевая работа с клиентами (это уже естественно к вам никакого отношения не имеет). Например, чтобы отправить баг-репорт администраторам, нужно сделать скриншот. А как сделать скриншот, к примеру, читера, который прописал себе огромное НР? Или, у которого, очень большой урон?

                                  В общем качество игр так себе, мягко говоря, потому я и поинтересовался на каком уровне компании находятся те, в чьи обязанности входит решать эти проблемы.

                                  А еще полезно иногда походить на форумы, посвященные вашим играм и почитать, что пишут люди об ошибках системы — всяко пользователей намного больше, чем сотрудников вашего отдела.
                                +1
                                Разве part 4 было установлено 28 декабря? part3 было установлено 28 декабря, а part4 15 февраля. Когда это обновления для lineage2 устанавливались одновременно с корейцами? И как вообще такое возможно, если вам нужно еще сделать перевод.
                                  0
                                  Исправления единичных багов на серверной стороне, например. Те, что не затрагивают клиент.
                                    0
                                    да, Вы совершенно правы по поводу part3, сейчас исправлю в посте

                                    А что касается обновлений одновременно с Кореей — то это не про Lineage II, а про более мелкие проекты. Там подготовить ресурсные файлы сильно заранее — не проблема.
                                    0
                                    Извините за почти оффтопик, но модель воин(ж) кроме скептической усмешки ничего не вызывает. Зачем оставлять две слабые зоны? Шея — ладно, но если бы вы когда-нибудь фехтовали, знали бы что бедро защитить сложнее всего без щита (которых на модельках нет).

                                    Остальные модельки можно простить — им не отражать мечи и топоры голыми руками. :D
                                      0
                                      А вы видели светлых эльфиек-воинов в тяжелой броне? Это вообще нечто…
                                        0
                                        Скажите это корейцам)
                                          0
                                          Я полагаю, что с этими вопросами надо все-таки к корейцам обращаться…
                                            +1
                                            T_T воин и следопыт на шпильках. Сделайте меня развидеть это. T_T
                                              +8
                                              Нереалистичность в онлайн играх! Опасносте!!1
                                              0
                                              Т.е., вас не смутило то, что эта братия торчит на берегу, где-то на Карибах, совершенно не боясь получить тепловой удар и элементарного песка в доспехах?
                                              +7
                                              Онлайн игры — зло
                                                0
                                                Есть такой момент. Но, есть и свои плюсы) Главное, чтобы вовремя тебя вынули оттуда, а то засосёт.
                                                –1
                                                Тестирование игр это на самом деле такая халявная работа, что сиди весь день и играй в свое удовольствие (если тебе это в удовольствие, конечно) или это просто стереотипы?
                                                  +2
                                                  Игра же по сути ничем не отличается от любого другого ПО, и тестировать ее надо не меньше. Да и контингент пользователей как правило более требователен. И как только игра становится работой, удовольствие куда-то исчезает )
                                                    0
                                                    Да нет, удовольствие никуда не исчезает. Если удовольствие от работы, а не от игры.
                                                    +1
                                                    Это стереотип. Игры тестировать на много тяжелее, чем софт. Софт — однобок, а игры многогранны, особенно мморпг.

                                                    P. S.: Как я понял, Иннова тестирует локализацию, соответственно, сам игровой процесс (внутренню кухню мморпг — прокачка персонажа и его развиите + социальный фактор) не очень-то и затрагивается. Или я не прав?
                                                      0
                                                      «не очень-то затрагивается» — можно и так сказать =)

                                                      Затрагиваем только новую функциональность и проводим регрессионное тестирование. Но все это поверхностно, только на работоспособность. Тем более, не участвуем в балансировке игрового процесса.

                                                      Разработчики идут для нас на изменения для удовольствия наших пользователей, но это не гейплей. Это могут быть локализованные NPC (например, Снегурочка в Атлантике), локации (Москва и Питер в той же Атлантике), петы (Бульдозер и Колобок в айоне), агатион — Змей Горыныч в Линейке.

                                                      Также нашего мнения спрашивают касательно проводимых ивентов и введения новых предметов.

                                                      Но повлиять на игровой процесс сильно мы не можем.
                                                      И — неправильно перетестировать за разработчиком, у них свои отделы тестирования.
                                                        0
                                                        Если ивент будет проводиться только на наших серверах (Россия), то вы принимаете полноценное участие или опять же много ограничений для управления процессом?
                                                          0
                                                          зависит…

                                                          ивенты есть встроенные (например, появляется определенный NPC, или дропаются определенные айтемы)
                                                          есть проводимые нами — например, турниры, организованные гейм-мастерами

                                                          опять же, зависит от проекта: может быть так, что мы следуем по плану ивентов разработчика, может быть, что согласовываем с ними наши планы, может — что действуем на наше усмотрение

                                                          только к тестированию это не относится =)
                                                            0
                                                            Тестирование не бывает идеальным. Что делаете, если в срок не укладываетесь. Например, дали неделю на тест рб. За 3 часа до dead-line'а, оказывается, что нашли критичный баг. Что делаете? На сколько переносится dead-line?
                                                              0
                                                              Во-первых, если мы тестировали неделю, а критичный баг нашли только за 3 часа — то значит мы очень плохо планировали. Это не имеет отношения к играм, это просто практики тест-менеджмента: в самые рискованные области бей первым.

                                                              А вот если у нас на тестирование 2 дня, и к концу первого мы находим критичный баг — то тут смотрим, за сколько его нам исправят. Были случаи, когда звонили в Корею в их поздний вечер, и они в срочном порядке фиксили.

                                                              А вообще — решение принимает руководитель проекта, конечно же.
                                                    +5
                                                    Как бывший CTO Инновы (полтора года — и поднимал этим армянским пи-сам бизес, после которого чего они решили что дешевле меня «кинуть» и нанять ментов из «К» (в 100 раз дешевле чем заплатить мне долг), и ничего не имеющий против Юли — коротко и ясно, скажу что то что пишет эта девшука — имеет далекую связность с реалиями ;)

                                                    Статья (большая) грядет, а пока — имеющий разум да разумеет, имеющий уши да развесит.

                                                      +3
                                                      Тарифы «по русски» — сфабриковать дело в в «К»/«БСТМ» — 20/30 килобаксов. Месяц «биллинга» сотового — 500$.

                                                      Прослушка вашего сотового — от 500$ в день, оптом скидки. Вы все еще думаете что «Автоном» и «Зо-ов» не п-сы?
                                                      Я — нет. Мало того, как активный гражданин который добиватся правды — я буду добиваться чтобы у армян из «Инновы» было расширение не только сознания, но и тех мест в которые они вечно пытаются поиметь других.

                                                      Кто к нам с мечом, тот от меча :)

                                                      Любое свое слово готов подкрепить доказательствами.
                                                        0
                                                        У Вас есть twitter, чтобы оперативно узнать о статье?
                                                          +1
                                                          Максим, я не хочу комментировать твои отношения с Инновой. Но личные оскорбления не делают тебе чести.

                                                            +2
                                                            Юля.

                                                            Те люди на которых ты сейчас работаешь (и восхваляешь процессы налаженные _тестирования_) — беспредельщики, которые думают что могут себе позволить все.

                                                            Как называть людей, которые проплатили поддельное уголовное дело в «БСТМ» против многих инженеров — это уже мне виднее (запугивали, угрожали физически уничтожить, прослушивали разговоры личные, и тд и тп)

                                                            А насчет тестирования — как были глючные игрушки, так и остались. С твоим приходом дела стали несколько лучше (о чем я тебе писал уже), но у людей здесь может сложиться ложное ощущение того что все практически идеально стало, между тем как качество продукта (не по твоей вине) как было ниже плинтуса, так и осталось.

                                                            Для того чтобы впечатление складывалось правильное — достаточно зайти на goha.ru форум и посмотреть что там пишут.
                                                            0
                                                            Да уж, подход этих товарищей видимо одинаков, что в ИТ, что в финансах, что на рынке.
                                                            0
                                                            Зоров Петр Михайлович — заместитель начальника Управления «К» БСТМ

                                                            Автономов Вячеслав Валентинович, Бюро специальных технических мероприятий МВД России, старший опер-уполномоченный по особо важным делам Управления «К»

                                                            (с) прикормлены армянами. наверное. посмотрим. :)
                                                            –5
                                                            Я тоже хочу быть тестером игр, играешь весь день и показываешь ошибки. Круто!
                                                              +1
                                                              Это только поначалу кажется прикольно. Весьма распространённая ошибка, в общем-то.

                                                              Если относиться к такой работе, как к развлечению — быстро её потеряешь. Если именно как к работе — то именно _играть_ ты не будешь весь день.
                                                                +1
                                                                +1, как таковой игры не будет. Например, за 3 часа проверить 10 NPC. На следующий день, снова этих же 10 NPC. Некоторые фишки напрягают, некоторые нравятся, к некоторым пивыкаешь)
                                                              0
                                                              jnechaeva, не могли бы вы написать как работает Служба поддержки Инновы? если они работают вообще, а не занимаются отписками на вопросы
                                                                0
                                                                Интересно есть ли у них что-то типа First-line, Second-line, third-line? На каком то из уровней должны быть тестеры.
                                                                  0
                                                                  Не знаю есть ли у них вообще служба поддержки, чаще всего их ответ «К сожалению, „это нельзя/услуга не предоставляется/не представляется возможным/ничем помочь не можем“, а вот почему и на основании чего идет отказ — сам думай и придумывай.

                                                                  Был случай, когда при обращении к ним, удалось выяснить, что инцидент произошел неделю назад (по их же сообщению), но далее ответ, что дело рассматривать не будут, так как истек срок давности инцидента (1 месяц).
                                                                    0
                                                                    «К сожалению эта услуга не предоставляется» — такой ответ дается, если пользователь просит что-либо, что мы не предоставляем =)))) Объяснять политику компании, предметы договоров с компанией-разработчиками — не в компетенции службы поддержки.

                                                                    Вы же не удивляетесь, видя в меню ресторана ограниченный набор блюд? И официант Вам не объясняет, почему нет «того, что Вам хочется». Вам ответят «Наш ресторан специализируется на итальянской кухне, к сожалению, гамбургеров в меню нет.»

                                                                    Что касается инцидента «неделю назад» — то такого просто не может быть. Возможно, пользователь обнаружил инцидент неделю назад, но само событие произошло раньше.
                                                                      0
                                                                      Вы не поняли примера, давайте на Вашем :). Пришел я в Итальянское кафе, где сначала оплачиваешь заказ, заказал, допустим, «Таглиателле с грибами», а мне приносят с семгой, мотивируя тем, что не обязаны объяснять политику компании, в плане того, что сегодня рыбный день. Я вроде не заказал что-то сверхъестественное или того, что нет в меню, а что хотел не получил, а главное — никто не объяснил почему и деньги не вернул :).

                                                                      А сама тикет-система, где сотрудник компании закрывает тикет, а не обратившийся? В результате обратившийся вынужден создавать новый тикет, если ему нужно уточнить что-то по старому тикету.

                                                                      И насчет инцидента — может, хотите дам вам номер тикета, когда оно произошло указал Ваш сотрудник, а не обратившийся, он был обнаружен пользователем через 3 дня, когда тот обратился в Службу поддержки.

                                                                      Не хочется раздувать тут «простыни», если интересно — лучше продолжить в личку.
                                                                        –1
                                                                        давайте в личку =)
                                                                    0
                                                                    Тестеры получаются вторая линия. Служба поддержки сообщает им об ошибках, найденных пользователями.
                                                                    Таких 2 типа:

                                                                    1 — массовая ошибка, она находится мгновенно после запуска. Собирается информация у первых обратившихся, и передается в починку: разработчикам. Дальше всем пользователям дается ответ «Информация передана разработчикам». Мы не всегда можем повлиять на скорость решения проблемы: у компании-разработчика свои процессы, свои приоритеты.

                                                                    2 — локальные ошибки от отдельных пользователей: ошибка в квесте, в айтеме, ошибка перевода. Такие принимаются, передаются к исправлению, пользователю говорится «Спасибо, принято к исправлению». Такие ошибки чаще всего исправляются к следующему глобальному обновлению, так как не критичны.
                                                                  0
                                                                  Я уверена, что если устроить опрос среди игроков, пострадавших от бага с телепортом в High Five, согласились бы они играть без обновления и по сей день, то они все равно выбрали бы предновогоднее обновление.

                                                                  Иногда меня удивляет наш менталитет…
                                                                  Лучше лишний раз оттестировать и что б все стабильно работало без багов (см. Blizzard). А то вылезет критическая ошибка и думай, может из-за того что у меня система операционная х64? или не совсем оптимизирована игра под windows 7(все таки создавалась l2 до ветки vita) или клиент кривой и еще 5гб качать?(прошу прощения за, возможно, не совсем корректные примеры, человек далекий от программирования)
                                                                  Как вообще можно выпускать заведомо хорошо не оттестированный продукт такого уровня? хоть на зарубежные сервера переходи чесслово…
                                                                    0
                                                                    «Совсем без багов» — не бывает. Никогда. Это аксиома программирования. Другое дело, не найденные баги, не замеченные, не мешающие пользоваться софтом.

                                                                    Если у Вас техническая проблема — напишите мне в личку.

                                                                    Даже человек, далекий от программирования, должен понимать, что если в игре есть критическая ошибка, то она присутствует на всех серверах, что на зарубежных, что на российских.
                                                                      +2
                                                                      насчет совсем без багов это вопрос к теории V&V. Например, по ссылке отсутствие багов было доказано математически
                                                                      www.facebook.com/note.php?note_id=193338934025671&id=116691628368745.

                                                                      Согласен, в реальной жизни такого почти не бывает, для тестирования очень важно не пропускать критических багов, а если появляются, то выявлять причины. Ну большинство тестировщиков это и так знают ).
                                                                        +1
                                                                        да, для тех кто не в курсе, V& V в данном случае Verfication and Validation
                                                                        +1
                                                                        понял свою ошибку, простите

                                                                        В любом случае, прошу по возможности максимально оповещать о таких «критических» нововведениях совместно с возможными ошибками, дабы не искать на форуме отклики остальных таких же пользователей
                                                                        спасибо
                                                                          0
                                                                          Мы так и делаем. Например по Lineage II — тема с известными ошибками вот: forum.4game.ru/showthread.php?t=221545

                                                                          Я понимаю, что наша система оповещения игроков не идеальна, что не все читают форум. Но служба поддержки дает ответ, если ошибка известна. И дает ссылку на форум, где можно отследить статус.
                                                                      0
                                                                      Интересно, а тестировщиком игр возможно работать удаленно (в России), или только в офисе?
                                                                        0
                                                                        В Иннове — только в офисе. Помогать в качестве бета-тестера — всегда велкам =)
                                                                        0
                                                                        jnechaeva,
                                                                        Есть разница между тестером, который пришёл и стал обучаться с нуля и тем, который знает внутренню кухню мморпг, точнее сам играет в них. Пардон за такой термин, задроты рулят у вас?
                                                                          0
                                                                          2 основных требования по hard skills, это знание подходов и методик тестирования + игровой опыт.

                                                                          Игровой опыт помогает работать намного быстрее. Лично я, например, не смогу тестировать Point Blank, потому что меня убьют на 1м же уровне =)

                                                                          Опять же, чек-лист в стиле «Проверить работу телепортов в городах» — человеку нужна экспертиза в этой области, чтобы быстро это проверить, а не искать статую Телепорта.
                                                                          Мы не используем детальные тест-кейсы «Портнуться в координаты… Подойти к Красному столбу… Поговорить с Мастером Полетов...»

                                                                          Плюс ребята, которые любят игры, хотят работать именно у нас, это большой плюс. Они более мотивированные. И я точно знаю, что им нравится то, что они делают.
                                                                            0
                                                                            Есть те, которые после работы остаются на ночь и рубятся, например, в Lineage?
                                                                            Как обстоит дело с отдыхом у ребят. Если в середине рабочего дня захотелось отойти и прогуляться, например, на балкончике (минут 10) или спокойно покурить, не 2-3 минуты, а 10. С этим как обстоит дело? В рамки не загоняют ребят?
                                                                              0
                                                                              Вы мне прямо допрос устроили =)

                                                                              1 — нет, конечно, зачем? дома есть же компьютеры

                                                                              2 — ситуация с отдыхом такая же, как и во всей компании: ты свободен в выборе времени для отдыха, если от этого не страдает работа и зависимые от твоих задач люди. Например, когда идет проверка после профилактики, то все должны участвовать. В остальное время — пожалуйста, играй в теннис, дартс, приставку, пей кофе, кури. Главное, чтоб работа делалась. И делалась вовремя.
                                                                                +1
                                                                                > Вы мне прямо допрос устроили =)

                                                                                Собственно, пардонте)))

                                                                                P. S.: Мне нравится ваша система и подход к организации рабочего процесса. Зачёт)
                                                                          +2
                                                                          Я не знаю за что вам там зарплату платят или как там в реальности работают. Но все кто пользовался продуктами инновы, в частности LA2 клиентом постоянно сталкиваются с миллионом багов, а когда происходит смена хроник то к тому что есть добавляется еще миллион. Рассказ нечего общего с реальностью не имеет. Админы рисующие вещи топ сайдам и играющие на серверах кто то там спрашивал есть конечна. Во общем и целом если там и есть такая служба то еще срочно надо расширять или набирать туда не студентов.
                                                                            0
                                                                            Почему при таком уровне подхода к тестингу, который вызывает уважение между прочим, у продуктов Инновы огромное кол-во недоделок/багов и прочих неработающих плюшек?
                                                                            Если сравнивать один и тот же продукт — л2 ру фоо иннова и л2 евро офф нцсофт — почему это 2 совершенно разных продукта к подходу и выявления багов?
                                                                            Почему русскоговорящий игрок, пользуясь продуктом инновы получает бесплатно еще уйму геморроя? И, одновременно, этот же русскоговорящий плеер, играя в этот же продукт прямиком у разработчика/издателя лишен этого самого ге*?

                                                                            Если смотреть на вашу работу, начиная с самого старта, ну, допустим продуктов л2/аион, то виден прогресс. И немалый. Это здорово.
                                                                              +1
                                                                              Потомучто, если есть баг, то его правит разработчик, а не локализатор.
                                                                                0
                                                                                Вы меня не правильно поняли или невнимательно прочли.
                                                                                Почему у локализатора появляются лично его ошибки, затрагивающие не только локализацию, которых нет у разработчика?
                                                                                  +1
                                                                                  Это означает, что задеты компоненты, которые зависят от локализации, но править должны разработчики.
                                                                                    0
                                                                                    вы рвете мой шаблон. Объясните, а зачем же тогда иннове такое количество тестеров, если ошибки есть, они появляются в процессе локализации, они доходят до конечного пользователя, а править их должен не локализатор, а разработчик?

                                                                                    Может, уволить их, если отдача вложенных в них средств выражается как ошибки официальной версии + ошибки локализации и просто выбрасывать сразу? Ведь, согласно вашей логике, ничего от отдела тестирования не зависит?
                                                                                      +1
                                                                                      От локализатров вообще мало чего зависит, если честно)

                                                                                      > Ведь, согласно вашей логике, ничего от отдела тестирования не зависит?

                                                                                      Не всё так просто. Вам дали лицензию для того, чтобы заниматься локализацией продукта, но не дали прав лезть в код, который может быть затронут от этой самой локализации. Приходиться отсылать багрепорты и ждать их фикса.
                                                                                        0
                                                                                        От отдела тестирования зависит выявление тех или иных багов, а также сортировка их по приоритетам и определение зоны ответственности для исправления ошибки. Например ошибки локализации может исправить сама компания, для этого есть переводчики и редакторы. А вот если что-то не работает в игре — это уже в зоне ответственности разработчика.

                                                                                        А теперь представьте что отдела тестирования нет — все баги на месте и может быть будут исправлены в следующем обновлении, если конечно тестеровщики разработчика, или иная компания-локализатор их обнаружит.

                                                                                        Согласитесь — это не правильно.
                                                                                          0
                                                                                          я простой управленец. Вещи понимаю согласно плану выпуска и своей ответственности. Мой отдел проверяет продукт. Находит недостатки. Я не подписываю рдок. Вообще никак не подписываю. Единственный вариант — ПО уходит с моей подписью на дефакте.

                                                                                          В вашей ситуации отдел тетсирования не нужен, поскольку даже мне, далекому от игр Инновы, неоднократно рассказывали о плачевном качестве «официальной пиратки». Значит, отдел получает зарплату, но не предоставляет необходимого функционала. Вывод: расформировать.
                                                                                    –1
                                                                                    После локализации новых хроник вылазиют баги, то есть на евро оффе их нет, когда ставят туже хронику на ру офф сервера вываливается куча багов.
                                                                                      +1
                                                                                      Насколько я понимаю, Вы прекрасно осведомлены о списке уже известных багов, которые были выложены на европейском форуме. Бегло пройдясь по ним, я могу сказать, что часть багов есть и на руофе.

                                                                                      Интересно знать почему, Вы, зная об этом факте, вводите сообщество в заблуждение?
                                                                                        –1
                                                                                        В какое заблуждение? Все прекрасно знают и осведомлены о работе вашых LA2 серверов, о том что вы только добавляете игру новые баги, о вашем чудо магазине. Мне не надо не кого не куда вводить, тот кто хоть раз был на этой кухне прекрасно знает о уровне вашей работы, а те кто незнает может загуглить и результат будет не в вашу пользу. Те кому лень могут поискать топики о вашей работе коих масса на goha.ru danieldefo.ru о каждом феиле есть отдельный. Ввести в зублеждение можете только вы, так как большая масса хабра слава богу не пользуеться услугами инновы.
                                                                                          –1
                                                                                          Можно не запускаю ваших продуктов понять о качестве работы, запустив лишь только ваше горе изобретение — «Запускатор»
                                                                                    0
                                                                                    Всегда хотел быть тестером игр или быть в команде создателей, даже диплом был на тему «игровой баланс» (полное название длиннее и заумнее), но не сложилось из-за моего географического местоположения… :(
                                                                                    А переезжать в другой город я не хочу, да и возможности особо нет.
                                                                                      0
                                                                                      forums.goha.ru/showpost.php?p=13883855&postcount=8635 Может кто прочитает и оценит ваш сервис. Кстати человек ваш бывший технический деректор, обещал сделать пост на хабре да по хлеще, там мы и узнаем что да как на самом деле.
                                                                                        0
                                                                                        «Сообщение не существует или не указан идентификатор (номер). Если вы уверены, что использовали правильную ссылку, свяжитесь с администрацией»
                                                                                          0
                                                                                          Вечером кину тебе скриншот статьи, а вообщем человек который её запостил обещал сделать репорты на хабре тоже.
                                                                                            0
                                                                                            ок, про статью я помню, тоже жду.
                                                                                        0
                                                                                        Ем… — dtf.ru/articles/read.php?id=63912 — и хоть бы слово о Хабре.
                                                                                        И вопрос в лоб, т.к. к вашему суппорту никогда не достучаться — ЗАЧЕМ ЗАПУСКАТРУ СЕЙЧАС НУЖНЫ АДМИНСКИЕ ПРАВА?!
                                                                                        Что за бред?! Вы подумали, н-р, о клубах, где такое приложение, запущенное с правами админа с 99% вероятностью убьет машину?
                                                                                        Я понимаю что Вы не разраб, а локализатор, но не могли бы вы передать напрямую сей вопрос суппорту?
                                                                                        Мне пришлось отказаться от продуктов Инновы во всей сети клубов из-за этих дурацких прав админа.

                                                                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                        Самое читаемое