Состояние алгоритма: что происходит с инди-разработчиками в Steam?

http://www.gamasutra.com/blogs/ErikJohnson/20190129/335035/The_State_of_the_Algorithm_Whats_Happening_to_Indies_on_Steam.php
  • Перевод
image

Бизнес создания инди-игр всегда был сложным, но недавно он стал ещё сложнее. 5 октября прошлого года Valve объявила о внесении изменений в алгоритмы Steam, которые привели к уменьшению трафика у игр, не ставших бестселлерами. Это уже вредит инди-разработчикам, но я думаю, мы только начинаем ощущать влияние этих перемен.

Возможно, вы знаете об «октябрьском баге» (October Bug) Steam, и, возможно, слышали. что этот баг устранили. Но ситуация несколько сложнее. К сожалению, никто за пределами Valve не знает точно, что происходит; данные просто недоступны. Но я, как смог, постарался проанализировать ситуацию. Насколько я понимаю, события развивались в следующем порядке:

  • 5 октября раздел «Похожие товары» (More Like This), отображаемый на странице каждой игры, начал рекомендовать только небольшое количество игр-бестселлеров, обычно слабо похожих на игру со страницы.
  • Соответственно, многие разработчики заметили резкое снижение трафика на их страницы в магазине. На форумах разработчиков Steam началось обсуждение. В этой теме уже набралось 60 страниц комментариев. По моим наблюдениям, для многих игр эта потеря трафика была связана со снижением присутствия в «Списке рекомендаций» и в «Основном кластере (персональные рекомендации)», и вызвано это было не в первую очередь изменениями в «Похожих товарах».
  • 9 октября раздел «Похожие товары» снова начал показывать предыдущие рекомендации, но в общем случае трафик на страницы магазина не восстановился.
  • В начале декабря, во время споров о том, что Valve предлагает более выгодную долю дохода играм-бестселлерам, Джейк Биркетт начал обсуждение о снижении трафика в Twitter и в своём блоге. Кульминацией этих обсуждений стали статьи в PC Gamer и Kotaku.
  • 4 декабря Valve опубликовала заявление с объяснением:
    • 5 октября компания развернула в Steam код, который "… изменил стандартные параметры поисковых запросов, чтобы на них больше, чем раньше влияли продажи и активность в списках желаемого (wishlists)".
    • «Это изменение повлекло за собой ненамеренный побочный эффект в виде снижения приоритета меток в разделе „Похожие товары“ на странице игры в магазине».
    • «Чтобы устранить ошибку, 9 октября мы изменили алгоритм раздела „Похожие товары“ для повышения приоритета похожести меток. Однако мы всё равно сохранили часть изменений, учитывающих продажи и популярность в списках желаемого. 30 октября мы снова повысили вес подобия меток в соответствии с наблюдаемыми нами результатами».

«Так как внеся изменения в рекомендации Steam уничтожил в начале октября мои доходы, теперь, увы, без разницы, будет ли он брать 30% или меньше. Остаётся надеяться, что они исправят сломанное/изменённое».

Valve хочет показывать людям игры, которые им нравятся. Компания замечает в своих новостных обновлениях, что иногда при работе над алгоритмами некоторые игры получают меньше трафика, а некоторые игры — больше. Но мне кажется, самое важное в том, что произошедшее с трафиком «Списка рекомендаций» (Discovery Queue) — это гораздо более масштабные изменения. Похоже, что игры, которые не находятся среди самых популярных, больше не оказываются в определённом классе видимости. Вопрос не в том, что некоторые игры выигрывают, а некоторые проигрывают. Теперь меньше трафика отправляется огромному количеству игр, не соответствующих какому-то неизвестному пороговому значению ежедневного дохода.


«Ого, GreyAlien действительно не шутил, в октябре steam_games сделали нечто, убившее трафик к куче инди-игр. Поглядите на это снижение базовой линии до 0».

Похоже, что октябрьские изменения влияют на «Список рекомендаций» (Discovery Queue) и основной кластер. При создании рекомендаций алгоритм теперь больше принимает во внимание доход от игры. В результате похожесть меток меньше влияет на то, какие игры будет рекомендовать вам Steam.


«Ого, я только что проверил… изменения огромные :-/»

Valve рассказала нам, что случилось с виджетом «Похожие товары», но умолчала о теме трафика в «Списке рекомендаций» (Discovery Queue) и главной странице. Непонятно, какая связь между багом «Похожих товаров» и изменениями в этих системах. Мы только знаем, что они произошли одновременно. Возможно, изменения трафика стали ещё одним побочным эффектом того же бага, но Valve просто этого не заметила. А возможно, компания намеренно изменила системы рекомендации так, чтобы они чаще показывали игры-бестселлеры. Как бы то ни было, похоже, что это теперь новый стандарт магазина.


«Чтобы не оставаться в стороне, тоже построил график. Переходы с „Похожих продуктов“ снизились с 5 сентября на 70%. Кажется, снижение началось с 5 октября. Корреляция не означает причинности, но по сравнению с сентябрём в октябре доходы снизились на 50%, а ноябрь будет ещё хуже.»

Почему это так важно


В сентябре 2014 года Valve выкатила в Steam обновление списков рекомендаций (Discovery). Чтобы приспособить магазин к быстро нарастающему количеству добавляемых игр, компания предприняла серьёзные усилия для персонализации страницы магазина, стремясь показывать пользователям игры, которые могут быть им интересны. Эти изменения, наряду с обновлением Discovery 2.0, появившимся в ноябре 2016 года, позволили показывать пользователям интересные игры, которых бы они в противном случае не увидели. По сравнению с цифровыми магазинами мобильных платформ и консолей, Steam показывает более разнообразный и интересный набор игр. На самом деле, я считаю, что усилия Valve по улучшению рекомендаций стали основной силой, ослабляющей воздействие «индипокалипсиса», которого все боялись на протяжении последних пяти лет.


«Единственная надежда на достойные продажи в Steam многих инди в том, что „Списку рекомендаций“ вернут прежний вид ИЛИ изменят его так, чтобы он показывал среди „популярных игр“ и мелкие инди-игры с хорошими отзывами».

Поэтому смещение алгоритма в сторону более популярных игр и бестселлеров — это серьёзный вопрос. Для нишевых игр трафик из «Списка рекомендаций» — один из наиболее важных источников трафика в Steam. Одна из причин, по которой он так важен, заключается в том, то люди, изучающие свой список рекомендаций, в буквальном смысле ищут новые игры. Если кто-то в Steam и хочет найти незнакомые им игры, так это пользователи «Списка рекомендаций».

Ещё один фактор заключается в том, что «Список рекомендаций» реагирует на повышение продаж созданием дополнительного трафика. Ларс Дюсетт задокументировал эффекты положительной обратной связи, созданной системами Steam после того, как ютубер TotalBiscuit выпустил обзор его игры Defender's Quest. Эти системы приводят к эффекту усиления маркетинга, который способен обеспечить разработчик, делая эти меры гораздо успешнее, чем если бы автор занимался этим в одиночку.

Наконец, одна из самых важных функций «Списка рекомендаций» заключается в том, что за последние несколько крупных распродаж Valve предлагала пользователям в качестве награды за изучение своего списка карточки. Большинство игр во время распродаж Valve никогда не рекомендует, поэтому увеличившийся трафик от «Списка рекомендаций» был жизненно важным источником видимости игры.


«Забавный факт: инди, по которым сильно ударили изменения в алгоритме Steam (а многие из них продавали потрясающие игры, показатели которых раньше были хорошими), теперь получают наихудшие продажи за всю историю. И да, ситуация не изменится. Из этой ямы им не выбраться с помощью даже хороших распродаж. Ура».


«Вот что я имею в виду. Это игра, какое-то время находившаяся в раннем доступе, у неё достойное и расширяющееся сообщество. Игра выглядит достаточно качественной и постепенно она должна была прийти к громкому релизу. Но потом… пшик. На графике показан первый день продаж в Steam, обычно это самый высокий пик (чтобы разглядеть его, придётся прищуриться)».

Это не первое изменение в системах рекомендаций, которое привело к изменению в трафике. Valve настраивала эти системы с самого момента их появления. Но октябрьское изменение примечательно тем, насколько значительным и масштабным стало его влияние. Широкомасштабное снижение трафика — это плохо для инди-игр и, по моему мнению, плохо для индустрии. Надеюсь, что Valve уделяет внимание происходящему и решит обратить изменения вспять.


«Слышу от многих разработчиков, что от зимней распродажи Steam они получили половину или треть того, что обычно получали по праздникам. Valve произвела индипокалипсис.»

Valve не владеет ничьим трафиком. Но она собирается доносить эти просмотры до пользователей, и я очень хочу, чтобы она была аккуратна и не похоронила нишевые и инди-игры. Хотя популярность и является значимыми данными, она не гарантирует интересность игры для игрока или её качество. А в «Списке рекомендаций», где игроки ищут ещё неизвестные им игры, популярность — это особенно неудачная метрика для подбора соответствия.

Причудливость — это замечательно. Разнообразие — это великолепно. Стремление к нишевости — это отлично. Но подобные типы игр естественно не становятся бестселлерами. Если теперь для систем рекомендаций в Steam обязательным требованием становятся продажи, то мы больше не увидим игр подобного типа. Их станет меньше. У разработчиков будет меньше свободы в экспериментах. И это окажется огромной потерей.


«Steam отслеживает мои предпочтения со снайперской точностью». Игры рекомендованы, потому что пользователь играл в игры с метками Singleplayer и Multiplayer.

Кроме того, что эти изменения плохи для мелких игр, они, похоже, делают «Списки рекомендаций» менее эффективными в предоставлении рекомендаций для каждого пользователя. Рассматривая более узкое множество игр, «Список рекомендаций» даёт менее уместные рекомендации. За последний месяц я просмотрел более 400 рекомендаций из моего личного «Списка рекомендаций». И похоже, что в основном я получаю плохо таргетированные рекомендации популярных игр с малым количеством совпадающих меток. (В следующей статье я представлю более глубокий анализ этого массива данных.)

Что дальше?



«Это потрясающе. Инди-игра разработчика, пожелавшего остаться анонимом. Она была в магазине долгие годы… и впервые за это время количество списков желаемого СНИЖАЕТСЯ. Такого никогда не происходит на распродажах Steam. Трафик стимулирует больше добавлений в списки желаемого, чем продаж. Он НЕ получает трафика. Игру покупают только те, кто когда-то занёс её в wishlist.»

Опрос Ларса Дюсетта от начала декабря показывает, что самая большая проблема для инди-разработчиков — это «как сделать так, чтобы меня не проигнорировал алгоритм». То что мы видим с октября, как раз и служит источником таких тревог. Разработчики находятся во власти Valve и вынуждены теперь приспосабливаться к этому новому статус-кво. Если у вас есть в Steam выпущенная или скоро выпускаемая игра, то посмотрите на свои показатели трафика и дохода с октября. Сравните последнюю зимнюю распродажу с предыдущей. Возможно, вам понадобится пересмотреть свои прогнозы доходов или увеличить маркетинговый бюджет, потому что вы, вероятно, получаете меньшее присутствие, чем привыкли.


«Я предполагаю, что если октябрьские изменения не откатят, то с мая-июля этого года мы начнём наблюдать кризис инди, потому что снижение продаж в Steam окажет слишком большую нагрузку на многие инди-студии.»

Valve сообщила, что работает над новой системой рекомендаций на основе машинного обучения, поэтому мы знаем, что изменения снова грядут. Тем временем, если бы Valve просто вернулась к системам рекомендаций в том виде, в каком они находились в сентябре, одно это стало бы победой. Кроме того, я бы с радостью увидел улучшенные алгоритмы рекомендаций Steam. Я хочу, чтобы «Список рекомендаций» правильно отображал высококачественные игры, соответствующие вкусам пользователя. Не думаю, что мы когда-нибудь полностью избавимся от популярности как метрики для видимости игр, но надеюсь, что Valve сделает так, чтобы её влияние не подавляло другие факторы, особенно в таких функциях, как «Список рекомендаций».
Поделиться публикацией

Комментарии 16

    +4
    Ну, причины понятны — на данный момент в стиме огромное количество квази-разработчиков, создающих гигантское количество псевдо-игр. Их количество на несколько порядков превышает количество инди-разработчиков, которые действительно делают игры, предназначение которых — чтобы в них играли. Даже Valve, при всей их толстокожести, заметило эту проблему, а пользователи жалуются на неё гораздо дольше. Был предпринят ряд шагов с целью минимизации ущерба, как то невозможность добавить коллекционные карточки сразу после выхода, а затем введение статуса «Steam is learning about this game», при котором игра не отображается в библиотеке а достижения в ней не отображаются в профиле Steam. Полагаю, описанные в этой статье изменения — часть борьбы с псевдо-играми, а вовсе никакой не баг. К сожалению, эти изменения бьют и по реальным инди-разработчикам, продукция которых недостаточно популярна. С одной стороны это нормально — зачем рекомендовать людям непопулярные продукты? С другой, чтобы продукт стал популярен, о нём должны сначала узнать, а для этого надо его порекомендовать пользователям… Замкнутый круг.
    В общем-то, самым логичным решением было бы ввести входной контроль качества игр, выпускаемых в стим. Но уже совершенно ясно, что для Valve это слишком дорого, и они на это не пойдут, ограничиваясь различными методами непрямого контроля. Какие есть ещё методы разрешить эту проблема — я не знаю, и судя по всему — в Valve тоже никто не знает.
      0
      А нет решений. Пока что стим медленно, но верно превращается в очередной аппстор, со всеми вытекающими из этого проблемами (свалка). Если еще и побег со стима крупных издателей станет массовым — то это только ускорит процесс.
        0
        В общем-то, самым логичным решением было бы ввести входной контроль качества игр, выпускаемых в стим. Но уже совершенно ясно, что для Valve это слишком дорого, и они на это не пойдут, ограничиваясь различными методами непрямого контроля. Какие есть ещё методы разрешить эту проблема — я не знаю

        Оценки игроков!
        Они есть на Стиме и их нет в альтернативном новом магазине.
          +1
          Оценки (отзывы) игроков, за которые выступают многие защитники стима тоже вещь неоднозначная. Фактически — такая же помойка, как и сам стим (с его бесконечными релизами), найти там что-то действительно толковое — тяжело. В общем-то весь этот социальный обвес над магазином получил свою фанбазу, но не стоит забывать, что нужен он далеко не всем, очень многие просто открывают магазин, что бы купить то, о чем узнали из других источников, нежели попытки разгрести бесконечные псевдоигры в стиме.
            0
            Это всё же лучше, чем покупать кота в мешке, который к тому же продаётся без возможности возврата покупки.
              0
              «кота в мешке» исключают как раз «другие источники» — друзья/видео/стримы/демо и прочее, кому что нравится. К тому же возврат покупки есть (если мы говорим об EGS и других адекватных площадках), так что не вижу проблем.
            +2
            Не знаю как там в Valve, а я конечно же думал об этом. Но тут тоже всё не так просто.
            Если в качестве оценок брать в качестве оценок текущие обзоры, то они во-первых неадекватны — из недавних событий, когда всем известный разработчик убрал всем известную игру из Steam и выпустил в другом всем известном магазине — пользователи начали писать негативные обзоры к другим играм того же разработчика, то есть вносили заведомо неверные оценки. А во-вторых — такая система уже была, и называлась Greenlight, и от неё отказались именно потому, что оценками игроков было легко управлять — игрокам обещали «дадим ключик от игры когда выйдет», игроки за это голосовали. Ну и в третьих, если брать во внимание эту статью — чтобы игрок дал оценку — он должен увидеть игру, а игру не показывают игрокам пока у неё нет оценки — замкнутый круг.
            Так что мне видится система, схожая с модерацией сообщества стим (и с переводами стим тоже) — добровольцы, работающие бесплатно за какое-нибудь символическое вознаграждение, типа значка в профиль, но не все подряд, а прошедшие отбор, из разных стран, чтобы исключить предвзятость, и с возможностью саморегуляции, чтобы если кого-то из разработчиков «подкупили» — остальные могли «изгнать» его. Тогда выходит красиво — игра выходит в стим, её бесплатно дают всем «контролёрам», желающие — играют в неё (можно сделать ограничение по времени, чтобы в «контролёры» не просились ради халявных игр), и выносят вердикт «это хлам» или «это похоже на настоящую игру». Такая система может быть и сработает. Весь вопрос — захотят ли в Valve её реализовать или пойдут по другому пути (или вообще пустят всё на самотёк, как обычно).
              0
              Кто будет отбор осуществлять?
              Если это все личные друзья разработчика, то с чего мне как игроку им верить?
                0
                Во-первых, мне не надо им верить. Надо смотреть на результат. Если мне не нравится каждый из «контролёров» в отдельности, но в результате я вижу хорошие игры в стиме и не вижу мусора — я, как игрок, доволен.
                Кто будет отбор осуществлять — тут сложнее. Но я всё же считаю что эта задача решаема, потому что в сообществе есть модераторы, они как-то выбраны и худо-бедно справляются со своими задачами.
                Ну и наконец — у вас есть предложения получше? Расскажите, мне интересно.
          0
          Зафигачить n мерную матрицу, продажи-цена-жанр-рейтинг в отзывах-количество человек-другое, распределить по ней игры согласно купленным билетам и потом основываясь на списке желаемого и библиотеки построить область интересов игрока, как некое пятно, в рекомендациях показывать игры входящие в пятно плюс небольшие смежные области, докручивая коэффициентами реакцию игрока. например если из 30 предложенных игр многопользовательские сразу закрываются, больше многопользовательские не показывать…
          ЗЫ Хотя… наверное там не дети сидят, и возможно, «уже все придумано до нас», просто слышится вопль тех, чьи игры грузились в следствии ошибки или неправильного описания…
          ЗЗЫ Или менеджеры вновь победили и маржа с ААА тайлов просто больше, путем нехитрых вычислений посчитали, что «рекламное место» ака рекомендация в случае с более продаваемыми играми приносит больший доход и на этом тему рекомендаций закрыли.
            +1
            По ходу, я вымирающий вид, который не ищет себе игру в рекомендованных. Да, могу ради профилактики проклацать, но там ни разу не было того, о чем бы я не знал или же что-то что мне бы понравилось.
              +1
              Прошу прощения, случайно минусанул, палец дёрнулся. Но вообще стимовские рекомендации — инструмент с ограниченной, но ненулевой полезностью. Что-то хорошее я там находил.
                0
                Прошу прощения, случайно минусанул, палец дёрнулся.
                Ого, впервые мне написали, что минус поставили.

                Ну, чем меньше у меня времени будет следить за играми на тех ресурсах, где я уже лет 10+ это делаю, то возможно и Стим будет что-то интересное предлагать. Сейчас основой источник — Steamgifts, всё что не интересно — в hide. Сначала ориентировался на вишлист и рекомендации, а потом когда добавил тысяч 5 игр в хайд, то уже открываю полный список. Очень удобно. Я бы в стиме это сделал, если бы можно было скрывать, а не только добавлять в вишлист. Но, они так не сделают, ибо это потенциальный трафик, который может не состоятся.
              +1
              Valve слишком долго игнорировала проблему бесконечного потока откровенного мусора, и сейчас пытаются что-то с этим сделать. Иначе они превратятся в очередной Play Market или Appstore, в котором чёрт ногу сломит. С учётом того что начинают появляться конкуренты, которые сразу заявляют что они хотят в будущем конкурировать со Steam (я об Epic) — время шевелиться и меняться к лучшему, а не пожинать лавры, будучи практически монополистом.

              Очень люблю индюшатину, но в последние годы найти что-то всё сложнее, ибо неплохие продукты тонут в огромном потоке треша. И просто уже устаёшь иной раз перебирать…
                +3
                Я наконец-то прошёл Resident Evil 7 и стимовские рекомендации сошли с ума от радости. До этого момента я знал, что в Стиме есть некоторое количество трешовых хорроров за две копейки (да здравствует мистер Зулин и его хоррор-стримы), но теперь оказалось, что их далеко не несколько. Я нажал Скрыть на нескольких сотнях хорроров, но они всё ещё в рекомендациях. Они как зомби.
                Кстати, кнопка Скрыть не помогает от слова совсем (или я не знаю каких-то настроек). Сейчас у меня скрыто почти 3000 игр, но они всё ещё отображаются во всех списках, в Новинках, Популярном и т.д. Да, они отображаются бледными цветами, но они там есть, они занимают место. Иногда вся первая страница Новинок состоит из скрытых игр. Ну и зачем это нужно?
                  0
                  Если Steam пошёл на такой шаг ради увеличения прибыли, в чём можно не сомневаться, то недолго осталось до открытия рекламной платформы внутри стора.

                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                  Самое читаемое