В одном чате зашёл интересный разговор о том, как Продакты тестируют гипотезы для B2B решений. Копья сломались вокруг тезиса, что вкладываться в разработку без подтверждённых гипотез, это потеря денег. Однако - если вы знакомы с Enterprise, неправильная проверка гипотезы вам может стоить контракта с Газпромом. Принять, отвергнуть гипотезу, всё может нести ошибку и всё может сказаться на многомиллиардном контракте.

Является ли проверка гипотез волшебной палочкой? Как бы хотелось инвестору: мы придумали идею, мы проверили идею, мы инвестируем, мы тиражировали результат. В B2C это прекрасно работает. Так ли это в B2B? Забегая вперёд скажу, что есть очень много оговорок и границ применимости такого подхода. Волшебной полчки нет точно.

В этой статье я хочу не столько описать известные мне подходы к тестированию гипотез, я хочу дать тему для обсуждения в комментариях. Я опишу те подходы, которые применяю сам. Я приведу ограничения, когда это будет работать.

Если вы применяете другие подходы, также если вы применяете эти же подходы но в ином контексте, и тем более если вы их не применяете, то поделитесь этим в комментариях! Внесите свой вклад в базу знаний отечественного product management - если кто то будет стартовать B2B продукт, он посмотрит статью и комментарии, будут полностью в теме, как тестировать гипотезы.

Классификация гипотез B2B, влияющая на выбор методов проверки

Чтобы гипотезы проверять, их надо сначала классифицировать. Классификация гипотез может сказаться на методиках проверки: где-то нужно совершить продажу, где-то достаточно "протокола о намерениях". Здесь приводим классификации, которые влияют на проверку. Есть классификации гипотез, не влияющие на технологии проверки: масштаб инвестиций, "важность для ГД". Методы проверки гипотез для них одинаковы, они остаются за рамками.

В B2B развитие бизнеса происходит либо за счёт создания нового продукта, либо за счёт развития существующего. Методики проверки разные - для развития существующего продукта спрос уже в целом определён, вопрос лишь в повышении ценности. Для нового продукта не понятно, есть ли спрос, как таковой. Гипотезы ценности и гипотезы платежеспособного спроса проверяются по разному.

С точки зрения инноваций, гипотезы классифицируется как последовательная инновация vs прорывная инновация. Если продукта ещё нет, то значит в 99% случаев клиент как-то до нас закрывал свою нужду. Мы приходим с чем-то существенно лучшим, он ещё не знает, что за закрытие этой нужды теперь нужно платить. Если же продукт уже есть, то мы последовательно даём больше ценности, не нарушая сложившихся привычек и практик применения.

Как и Инновации, гипотезы можно классифицировать как процессную и продуктовую: процессные гипотезы вроде бы не относятся к поставленной задаче. Однако, они могут сильно влиять на продуктовые характеристики! Гипотезы типа: "а не внедрить ли нам Цифровые Двойники, чтобы снизить издержки на 40% и повысить в 10 раз точность" дают продукту множество возможностей. Гипотезу можно продолжить: "а снизив издержки на 40% мы сможем выйти на рынок, который по своему объёмы в 1000 раз больше".

Таким образом, с токи зрения анализа инноваций, возможна классификация гипотез:

Продуктовая Прорывная
Продуктовая Последовательная
Процессная Прорывная
Процессная Последовательная

Ещё гипотезы могут касаться разных этапов цепочки создания ценности: мы можем сомневаться в ЦА, в то же время, мы можем для уже проверенной ЦА изучать гипотезы максимальной полезности. По этапу создания ценности гипотезы (да начинается с воронки продаж, но заканчивается не сделкой а сервисной поддержкой) могут классифицироваться как:

Гипотезы создания интереса
Гипотезы Привлечения
Гипотезы Продажи
Гипотезы Внедрения решения
Гипотезы максимизации полезности решения

В статье не получится раскрыть методы проверки для каждого типа гипотезы, статья будет чрезмерно длинной.

Способы проверки гипотез B2B

Несмотря на то, что типов продуктовых гипотез B2B реально много, способов их проверки реально столько, что хватит отдельных пальцев.

Здесь может завязаться интересная дискуссия в комментариях: применение способов оценки гипотез, другие способы которые я не учёл, успешные кейсы и т.д. Это всё позволит учесть опыт друг друга и сделать наш продукт в итоге сильнее!

Способ №1 - А/Б тестирование.

Да да, вы не ослышались. С одной стороны, А/Б тест в классическом понимании для B2B применим плохо. В интернет магазине можно сделать 2 разных баннера, один белый другой серый. И проверить, какой будет более кликабельным :) При работе с Газпромом такие шутки не пройдут: предложить туда вариант А, посмотреть купят ли, может быть крайне накладно. Контракт на 100 миллионов вы явно потеряете, а потом ещё и отзыв негативный получите. И этот отзыв убьёт все последующие А/Б тесты.

Однако, А/Б тесты для B2B возможны! Не для проверки продаж, а для проверки попадания Гипотезы в конкретную Боль. Здесь мы проверяем целевое действие: не покупку решения, а всего лишь выполнение какой-то операции, где-то на одной из точек CJM.

В B2B желательно А/Б тестировать подальше от денег: неудачный вариант Б может стоить дорого и убить последующие тесты за счёт отзыва.

Идеально через А/Б проверять гипотезы Usability: если решение используется, мы проверяем как сократить кол-во кликов до, например, события "утверждение плана". Интерфейс А - 100 кликов, Интерфейс Б - 85 кликов. Негатив пользователей это не вызовет, так как когда улучшение внедриться, что для B2B решений на моей практике редкость, пользователь будет счастлив уже от того, что о нём вендор думает (я сам работал и продавал решения, которые по 15 лет не менялись и продавалось это под соусом, что какое дело ТОПу до мук пользователей).

Возможно проверять гипотезы этапа создания интереса к продукту, ознакомления с продуктом, привлечения и т.д. Лендинг в B2B примерно тот же самый, что и для B2B и на нём работают те же законы.

по кнопке покупает в основном малый бизнес - если ваш слоган сработал в Direct, это не значит что вы попали в боль Газпрома!

Способ №2 - Customer Development интервью.

Удивительно, но большинство продакт-менеджеров боготворит этот способ проверки гипотезы. Действительно - как ещё выяснить, что клиенту нужно, как не говорить, говорить, и ещё раз говорить с ним? Говорить можно просто так, можно выстраивать схемы от проблем, можно от решений, от CJM т.д. В итоге, наслушавшись много чего, получаем кучу "Фактуры", на основе которой принимаются продуктовые решения.

Проблема: сколько не говори, пока клиент не заплатит, истину о вашем продукте вы не узнаете. Хотя, конечно без разговоров он не заплатит точно, по этому говорить нужно.

Кейс: для Технологических Стартапов, проблема востребованности продукта, который они пилят, стоит ещё острее, когда стартап рассчитывают продать результат разработки в конкретную компанию. Сколько раз звучало: "Мы запилим эту штуку, потом её купит Google". Главное что фонды дают денег, беря риск что Google не купит, на себя. В целом фонды знают кого Google покупает, страхуют сатратап от неверных продуктовых решений.

Способ №2 - JTBD интервью.

Выделю этот способ отдельно, хоть это в целом такое же интервью, но структурированные за счёт применения чёткой концепции - Just to be Done. Не буду вдаваться в одну из любимых мной методологий, про неё очень много написано.

При применении JTBD мы не просто исследуем, нужно это клиенту или не нужно. Мы увольняем! То есть мы определяем, как клиент это делает сейчас, и кого он хочет уволить, чтобы делать это лучше.

В JTBD клиент может уволить старую привычку, новую привычку, или Product менеджера :)

Способ №3 - Экономическое обоснование.

В принципе, со множеством оговорок, бизнес существует для того, чтобы приносить кому-то деньги. Таким образом, если мы создаём штуку, которая даёт % экономии (денег, материала, жидкости, времени, чего угодно), клиент по идее должен это купить, если мы просим дешевле, чем его выгода (с учётом стоимости риска и стоимости геморроя при переходе). И, зачастую, расчёт экономического обоснования уже является хорошим поводом продукт делать.

Такой подход работает хорошо в одних отраслях, в других не работает совсем. С одной стороны, мы видим как в Аккумуляторной отрасли борьба идёт за проценты эффективности заряда. С другой стороны, в отечественной практике, компании не внедряют слегка устаревшие электронные системы, такие как например ERP, потому что эффект от них не столь велик, а вот риск для конкретного менеджера большой. В моей практике один банк долго динамил проект, дающий ему экономию 0.5% экономии банковской маржи. При этом в прессе везде пишут "Для банка 0.001% маржи это колоссально! Любые деньги за такие решения!". На практике банк систему то внедрял, но по ряду причин у него было много более приоритетных задач.

Другой вопрос, что компании не могут игнорировать технологии, выигрыш от которых масштабен. Как это происходит, мы видим чуть ли не каждый день - какой-нибудь крупный олигархический монстр сидит на аналоге "трубы". И в один день раз, и все уже заказывают такси через Убер, а клиент перешёл с дров сразу на электротягу. Трубы не стало... По этому, находясь в "горячей" отрасли, можно быть гораздо смелее в своих оценках.

Как не "кастомер девелопи" нефтяников и производителей ДВС, ты не поймёшь, что им пора переходить на чистую энергию Эфира (а лично ты кстати слушал об этом?). Но проходит год, другой, а электричество тут как тут. И уже никто не спрашивает: "Какую ценность твоё решение несёт для ТОП менеджера компании? Где твой УТП?". Спрашивают лишь: "Ты даёшь 1% экономии к аналогам"?

Способ №4 - Публичные мероприятия.

Это самый малодостоверный способ проверки гипотезы, но за то самый легко применяемый. Если ваш продукт кому-то нужен, то, наверное, собрав семинар, вы получите массу регистраций и восторженных откликов. Аудитория будет вопить "Мы всю жизнь просили такое решение". Профессионалы с удовольствием заплатят за вход или онлайн трансляцию. С другой стороны, если семинар провалится, значит и продукт не нужен.

Отмечу, что это всё справедливо только для последовательных инвестиций: если мы делаем взрывное улучшение, никто не придёт, потому что все специалисты работают на старой технологии. Напомню, сколько негатива было против электродвигателей в РФ, когда пол страны сидело на нефтедобыче - и статьи заказные в прессе, и обгадить могли на публичном выступлении. Иди потом доказывай что ваша нефть никому не нужна. Национальное достояние ведь!

Ибо сказано: "Они [ветряки] так трясутся, что червяки выползают из земли"

Но, для применяемых технологий, успешный семинар обогатит копилку знаний о рынке и даст % в успех продукта.

Кроме семинара можно провести пресс-конференцию, опубликовать статью, снять фильм и др.

Способ №5 - MVP, созданный на базе картинок.

Эх, когда-то я сам работал в корпорациях и мы жаловались на больших поставщиков ПО, которые рисовали презентации с картинками, а потом это продавали не имея продукт. Потом, за счёт клиента, велась разработка. Клиент конечно страдал: даже если проект стоил не дорого, потери из за плохо отработанной методологии и сырого софта были колоссальны. Собственно, с тех пор даже крупным поставщиками обязательно задают вопрос "А где это уже работает"...

Тем не менее, для проверки гипотезы более железного аргумента не существует: "мы это нарисовали, а клиент это купил"! Купил со скидкой, но ведь купил! B это не сравнится ни с каким иным расчётом.

Способ №6 - работа с отраслевыми экспертами.

В B2B рынке есть категория людей, которые занимаются какой-то проблемой уже 20 лет. Если удаётся выйти на такого человека, он может заменить 100 клиентских интервью. Такие люди знают, кто что в отрасли купит, к кому зайти чтобы это продать. Откуда эта экспертиза? Эта экспертиза с десятков проектов, выполненных для разных бизнесов. Сейчас уже приходишь в компанию, видишь проблему, вспоминаешь кейсы где такая проблема была ранее. Далее решение очевидно. Customer Development не нужен.

Подобная экспертиза бывает почти во всём: в мателлургии, до сих пор ходят легенды о кузнецах, умеющих варить сталь. Химики пыжатся, учёные думают, а Дядя Вася знает, в какой момент надо кинуть окурок в котёл, чтобы сталь для спутника стала лучшей в отрасли. Такой Дядя Вася может быть находкой для продакт-менеджера - он может рассказать, как сделать сталь, а также применимо ли решение для продажи.

Важно не ошибиться с экспертом: чаще всего эти люди вырастают в недрах одной компании и редко знают отрасль в целом. Отраслевые эксперты, те кто консультирует разные компании, обычно известны поимённо.

Оговорки, при проверке гипотез

Если бы всё было так просто в B2B: проверил гипотезу применив метод №2 и №5, получил положительный результат, идём ковать и масштабировать бизнес. Но, в B2B нужно держать в уме несколько важных моментов, чтобы сделают продуктовые исследования успешными, а не провальными.

Особенность №1: каждый бизнес уникален. Постиндустриальный бизнес глобален и инновационен. Он целиком и полностью основан на новизне: одинакового ПО не бывает, одинаковых машин не бывает, одинаковых лекарств не бывает. Машины пока ещё отличаются лишь дизайном. ПО отличается фундаментально: задачей и миссией. В фарме есть рынок "Дженериков" это способ скопировать чужой продукт и продать его дешевле. Но в целом и Дженерики тоже разные - лечат на столько хуже на сколько дешевле стоят.

Исходя из того, что постиндустриальный бизнес уникален, продукт для B2B тоже уникален для каждого клиента! И чем дальше, тем эта уникальность будет выше: сегодня ещё можно производить одинаковые токарные станки или даже 3Д принтеры. Программисты используют одинаковые среды программирования, одинаковые компиляторы. Но, те же программисты выстраивают свою уникальную технологию из кубиков, применяя жёсткий микс из Питона, Java, С++, Kybernates и облачных технологий. Производственники выстраивают из кубиков линию, производящую их продукт, выстраивая из тех 3Д принтеров уникальную цепочку. Отмечу, что если бы программисты могли, они бы разрабатывали под каждую задачу свой язык программирования. Пока это чрезмерно затратно, но, кто знает, что будет в будущем.

Для проверки гипотез эта особенность фатальна: вы сделали коробку-монстра для B2B рынка, все респонденты сказали "Это чушь". А потом раз, и её купил Газпром. Но никому кроме Газпрома это не нужно. Или наоборот - вы поговорили с Газпромом, он вам валидировал ваши гипотезы, сообщил свои проблемы. А потом вышли в Moscow Сity и никто не купил - там другой бизнес с другими потребностями.

"Типовых компаний" всё меньше и меньше. Для примера возьмём банковскую отрасль: в нулевые годы было более 1000 одинаковых банков. Сегодня осталось ~5 банков, при чём каждый, за счёт своей уникальности, готов сожрать всех остальных.

Особенность №2: объём рынка не очевиден. Проведя разговоры с 2-3 клиентами, подписав протокол о намерениях, можно сделать вывод об успехе продукта. Но - смотри особенность №1. Те кого не опросили - они уникальны. И встаёт вопрос - точно ли им это нужно? Может быть у них уже стоит решение конкурента или они вообще по другому видят проблему?

Особенность №3: прорывные технологии нельзя игнорировать, но бизнес ориентирован на текущие технологии. Пример: в строительстве сейчас развивается BIM. Скорее всего, решения по управлению строительными проектами на MS Project он съест. Сейчас, однако, строительные фирмы с удовольствием это внедряют, говорят как это полезно. Решению осталось 3-5-7 лет, дальше отрасль поменяется. При этом, продуктовые гипотезы валидируются на ура!

Выводы

Я постарался привести известные мне способы проверки гипотез, чтобы систематизировать жизнь и работу продакт-менеджеров. Надеюсь в комментариях вы напишете как вы это делаете, и какие особенности при проверке гипотез вы знаете, с чем сталкивались в своей работе.

Главным выводом моих рассуждений можно обозначить:

в B2B проверка гипотез это полезный инструмент, это не волшебная палочка!

Да, в интернет шопе, где торгуют например трусами, легко всё перевести на А/Б тесты. В B2B, где каждый клиент уникален и чертовски сложен (сложнее ли он чем женщина?) это хороший инструмент. Но он не сделает вам бизнес.

Что же делать? При создании B2B решений, крупные успешные вендоры редко делают продукт с нуля. Чаще всего, за основу берут какую-то технологию, отработанную в недрах компании. Далее, продукт развивается в тесном сотрудничестве с клиентами. Новые модули пилятся под конкретные задачи, тиражируются другим клиентам.

Где же тогда роль продакт-менгеджера в B2B? В одной статье видел мудрую мысль, что продакт менеджмент это часть процесса разработки, в которую включили работу с клиентом. Раньше клиент писал ТЗ, команда шла делать. Сейчас ТЗ нет, но есть специальный человек который коммуницирует с клиентом и/или отраслью, подгоняет команде требования.

проверка гипотез выстреливает, когда создаётся прорывная технология.

И этим конечно также нужно заниматься! Только прорывная технология это гораздо сложнее.

Тестирование гипотез B2B