На рынке провайдеров IT-инфраструктуры компании успешно развиваются при условии грамотного подхода к управлению продуктами. Как и в других сферах, необходимо постоянно исследовать современные тенденции и улучшать качество своих услуг.

В этой статье я сосредоточился на четырех этапах в управлении техническим продуктом и сформулировал универсальный алгоритм. Как провести исследование и найти баланс в продукте, рассказываю под катом.

Эта статья — выжимка из моего доклада на конференции ProductSense'23. Рекомендую посетить их конференции продакт-менеджерам и всем, кто участвует в управлении продуктами.

Используйте навигацию, чтобы выбрать интересующий раздел:

→ Зачем влиять на продукт
→ Как управлять продуктом
→ Шаг 1. Исследование
→ Шаг 2. Проведение эксперимента
→ Шаг 3. Управление изменениями
→ Шаг 4. Оценка эффективности
→ Заключение

Зачем влиять на продукт

Независимо от того, ставит ли компания перед собой стратегические или краткосрочные цели, основная — получение прибыли. Это справедливо даже в том случае, если компания ориентируется на другие показатели — например, привлечение новых клиентов или повышение узнаваемости бренда. Ведь в итоге они влияют на прибыль компании. Поэтому важно проводить тщательный анализ продукта и его окружения, чтобы обеспечить стабильный рост и развитие компании из года в год.

Рассмотрим несколько причин, почему компаниям важно управлять продуктами, и как это делаем мы.

Динамичный рынок

На B2B-рынке клиенты — это люди, которые развивают свой бизнес. Их условия и запросы постоянно меняются вместе с запросами конечных клиентов. Например, во время пандемии увеличилось количество удаленных работников, а физические развлечения для людей были заменены онлайн-контентом.

Компаниям срочно потребовались удаленные рабочие места и ресурсы для работы. Из-за этого резко вырос спрос на инфраструктурные решения: серверы, облака и хранилища. И это лишь один из примеров, когда в моменте меняется буквально все.

Конкуренты

Если бизнес не работает в «голубом океане», он сталкивается с конкуренцией. Каждый хочет предложить клиентам качественные продукты и выделиться на фоне других компаний. Исследование конкурентов помогает компаниям улучшать свои продукты, чтобы не допустить оттока текущих клиентов и привлечь новых.

Обновление оборудования

Несколько раз в год вендоры выпускают новое серверное «железо», это особенность IT-индустрии. Зачастую они превосходят по мощности и производительности предыдущие поколения. Одновременно с этим растут и требования к программному обеспечению, которое использует бизнес.

Таким образом, интересы обеих сторон совпадают, и клиенты обращаются к нам за новым оборудованием. Этот подход справедлив не только для мира IT: инновации присутствуют во многих аспектах нашей жизни.

Подписочная модель

В IaaS-бизнесе клиенты каждый месяц заказывают услуги провайдеров и отказываются от существующих. Это нормальный процесс, если число новых заказов больше, чем отказов. Только так бизнес продолжает расти. Эта модель значительно отличается от транзакционной модели продаж, когда человек единоразово покупает продукт и только в исключительных случаях возвращает его обратно.

Цель IaaS-бизнеса — увеличение количества новых заказов и уменьшение отказов клиентов.

Как управлять продуктом

HADI-циклы — отличный инструмент для проверки идей и принятия решений на основе данных. Они помогают быстро тестировать гипотезы и определять, какие из них работают, а какие нет. Это экономит время и ресурсы, а также повышает эффективность работы над продуктом.

Мы немного видоизменили эту схему и теперь она выглядит так:

В ней мы делим процесс на четыре этапа. Сперва исследуем рынок, определяем текущую ситуацию и формулируем гипотезы. Проводим эксперименты, чтобы подтвердить их или опровергнуть. По результатам экспериментов вносим изменения в продукт и оцениваем эффект. Затем снова исследуем рынок и продолжаем эксперименты для масштабирования или внедрения новых изменений. Рассмотрим каждый этап подробнее.

Шаг 1. Исследование

Исследования — это важный этап в процессе управления продуктом. Для этого нам необходимо изучить:

конкурентов,
клиентов,
продукт,
эффект от изменений.

Каждый из этих пунктов можно расписать в отдельную статью, поэтому я поделюсь некоторыми полезными практиками, которые использую в своей работе.

Конкуренты

Бенчмарки конкурентов

Один из эффективных способов исследования конкурентов — составление бенчмарков. Мы выбираем критерии, по которым проводим сравнение, и заполняем таблицу по нашим соперникам. Например, по сравнению с компанией N у нас есть полезные инструкции по работе с продуктом, поэтому клиенты реже обращаются в техподдержку за помощью.

Бенчмаркинг конкурентов.

Когда результаты ваших продуктов лучше конкурентов, выделяйте ячейки зеленым цветом. И наоборот: когда у конкурентов положение лучше — красным. Красные ячейки — точки роста в продукте.

Парсинг продуктов конкурентов

Основная характеристика продукта — это цена. Отслеживать ее у конкурентов можно в ручном режиме. Но если ассортимент продуктов широкий, в ассортименте есть более 100 фиксированных конфигураций выделенных серверов, — поможет автоматизация с помощью парсера.

Благодаря такому подходу можно сравнить цены на аналогичные продукты у вас и конкурентов. В случае логирования (структурирования по хронологии) данных, вы можете отслеживать появления новых продуктов на рынке и изменение цен в динамике. А также — продукты по остаткам, если конкуренты предоставляют такую информацию. Эти данные могут стать для нас полезным источником знаний.

Пример активности продуктов по остаткам.

Однако вопрос интерпретации данных остается на ваше усмотрение. К примеру, у конкурента резко увеличился запас конкретной позиции. Означает ли это, что запас был пополнен новой закупкой? Вовсе нет, от крупной партии или резерва могли просто отказаться клиенты.

Ошибки в исследовании конкурентов

Мы можем ошибиться с интерпретацией данных, когда анализируем деятельность конкурентов. Один из примеров, когда резкое изменение стоков может означать два противоположных явления, я привел выше.

Второй пример некорректной интерпретации данных — это различные бестселлеры, товары дня и лидеры продаж. Допустим, вы видите высокую активность продукта у конкурента и автоматически предполагаете, что он популярен. Однако за ярлыками «топ продаж» может скрываться неликвидный товар, который продвигают таким нехитрым способом. Чтобы избежать ошибок, сравнивайте эти данные с вашими лучшими продуктами и здравым смыслом.

Клиенты

Чтобы узнать потребности клиентов, мы используем количественные и качественные исследования. Например, фреймворк Jobs to be done, опросы и интервью. Далее задаем нашим или потенциальным клиентам важные вопросы. Ниже перечислили несколько, но вы можете сформулировать и собственные:

Как выбирает продукт?
Что использует в продукте?
Что еще важно, кроме цены?
Чем готов пожертвовать?
Из-за чего отказывается от подписки?

Рассмотрим пример, в котором исследование помогло принять верное решение в продукте.

Перед вами — график продукта с подписной моделью. На графике видно, что начиная с сентября 2022 года начался отток клиентов. Красная линия с отказами стала почти в два раза выше, чем черная с заказами.

У нас была гипотеза: отток связан со стоимостью продукта, поэтому клиенты переходят к более дешевым решениям. Чтобы опровергнуть или подтвердить эту гипотезу, мы запустили опрос для клиентов, которые отказались от продукта. Большая часть из них — это b2b-сегмент.

Мы выяснили, что конечные пользователи наших клиентов перестали пользоваться их сервисами. Из-за этого клиенты стали закрывать свои проекты. На такие причины практически невозможно повлиять изменением цены в продукте или дополнительными бонусами. Ведь если вам не нужны лыжи летом, вероятно, вы не возьмете их в аренду даже со скидкой 50%.

После адаптации наших клиентов к новому рынку, ситуация вернулась в прежнее русло.

Во время исследования мы выяснили, что клиенты могут быть чувствительны к диапазонам цен в продукте.

Если вы немного упростите характеристики продукта и измените его цену, например, с 23 до 19 тыс рублей, он попадет в сегмент «до 20 тыс рублей». При выборе продукта между этим сегментом и «выше 20 тыс рублей» клиент отдаст предпочтение первому. В результате интерес к продукту начнет заметно расти.

В зависимости от диапазона цен на продукт и поведения пользователей, задача менеджера — найти границы таких сегментов. Например, цены могут быть кратны 1000 рублей или одному миллиону, в зависимости от продукта.

Продукт

В продуктовом менеджменте есть принцип: продукт, который стоит меньше, не должен быть лучше по характеристикам, чем тот, который стоит больше. Выглядит это так:

Серверы с большим объемом памяти и дисков стоят дороже, чем первая модель в списке. В исследованиях продукта мы идем дальше и проводим тесты.

На картинке — результаты тестирования серверов для баз данных. Они показывают, что более дешевая конфигурация может быть производительнее для определенной задачи.

Это нормально, когда продукт зависит от характеристик железа, которые «заточены» под конкретные задачи. В этом случае мы просто демонстрируем клиенту выгоду и подсказываем, какое решение будет оптимальным.

Шаг 2. Проведение эксперимента

Итак, вы оказались в точке, где исследования показывают, что все в порядке. Вы комплексно изучили конкурентов, клиентов, продукт и поняли, что готовы к изменениям. Что делать дальше? Проводить эксперимент!

A/B-тест

Я считаю, что A/B-тест — один из лучших способов проведения экспериментов для оценки двух вариаций продукта — например, с изменениями и без. Для его проведения есть четкий дизайн, но в сегменте B2B компании могут столкнуться с тем, что достичь статистической значимости практически невозможно из-за объема выборки. Так, например, когда у компании небольшое количество клиентов в продукте, A/B тестирование может растянуться на годы. Такой срок сложно назвать приемлемым для быстрой оценки эффективности изменений.

Квазиэксперимент

Если необходимо оценить эффективность изменений в продукте, а A/B-тест не подходит, мы используем квазиэксперимент. Вот как выглядит его дизайн:

Выбираем сегмент продуктов. Например, серверы в среднеценовом сегменте.
Смотрим на текущее состояние продукта. Спрос на продукт растет, стоит на месте или снижается. Определяем тренд.
Моделируем желаемый результат. Рассчитываем, где находится продукт сейчас и где должен быть после изменений.
Рассчитываем средние показатели и стандартные отклонения за прошлый период: выручка, новые заказы, новые клиенты, внешние факторы (сезонность, события в мире и т. д.).
Далее определяем доверительные интервалы, нормируем на тренд и рассчитываем значения статистически значимых результатов. Результат этапа — значения, которые скажут, что изменения не были случайными. Если мы остались в рамках этой границы, то на эффект повлияли внешние факторы. Если же преодолели — скорее всего, определенное изменение в продукте.

Главный недостаток такого квазиэксперимента в том, что мы не можем полностью исключить влияние внешних факторов. На выходе у нас остается вероятность, что на продукт повлияло что-то второстепенное, не только ваши изменения. Это может быть, например, рынок, сезонность или поведение конкурентов. Однако в случае, когда невозможно провести A/B-тест, квазиэксперимент — объективный инструмент для оценки изменений в продукте.

Важный момент: мы вносим только одно изменение в продукт. Иначе будет невозможно оценить вклад каждого фактора в общий результат. Часто такая ситуация возникает по ошибке. Например, если вы одновременно подсвечивали некоторые продукты в топе выдачи сайта и бесплатно давали клиенту бонус к этим же продуктам. Продажи выросли, но из-за чего конкретно — определить невозможно.

Шаг 3. Управление изменениями

После проведения квазиэксперимента становится понятно, влияют ли изменения в продукте на выбранные показатели, а также — случайны ли изменения или вообще не было никакого влияния на продукт.

В случае, если значимость изменений подтверждена, компании могут масштабировать изменения на все сегменты в продукте. Например, если вы проводили эксперимент только на одной группе клиентов и изменения оказались успешными, можно использовать решение на схожих группах клиентов.

Шаг 4. Оценка эффективности

После масштабирования необходимо выполнить несколько шагов:

Зафиксировать изменения в базе знаний.
Постоянно учитывать эти изменения.
Регулярно оценивать эффективность и отложенный результат от этих изменений.

Таким образом, в какой-то момент времени вы снова вернетесь в начало вашего цикла.

Заключение

Управление продуктами — важный процесс для роста компании. Сегодня его сложно представить без гипотез, исследований и экспериментов. Эти инструменты помогают компаниям принимать максимально эффективные решения.

Исследуйте, экспериментируйте, меняйте продукт и оценивайте эффект. А затем запускайте цикл на новый круг и продолжайте улучшайте свои продукты.

Еще больше полезных текстов о продуктовой разработке — в Академии Selectel.

Дополнительные материалы по теме

Что такое HADI-циклы и как они помогают управлять техническим продуктом