Comments 4
На одной конференции в кулуарах услышал интересную мысль про главный навык менеджмента. К сожалению, не помню, от кого уже.
Все решения (в т.ч. продуктовые) делятся на 2 класса. У одних веса аргументов "за" и "против" соотносятся примерно как 50/50. У других - есть явный перевес в ту или иную сторону. Причём - и это важно! - тут речь не об аргументах, которые мы уже имеем на руках в настоящий момент, а обо всех, до которых мы можем в целом дотянуться.
Соответственно, тратить время на аналитику в случае первого класса бессмысленно - сколько новых данных не добывай, соотношение будет плавать в диапазоне 48/52. А вот в случае вторых есть смысл повозиться и нащупать-таки тот самый фактор, который покажет перевес.
И главный талант менеджера (и продактов это касается в полной мере) - это умение отличать решения первого класса от второго ещё до того, как потрачены ресурсы на сбор данных.
Пишете:
Математика ... проста:
для 50% уверенности нужно 3 источника данных,
для 70% - 5 источников,
для 90% - 15 источников,
для 99% - бесконечность.
Данные выше интуитивны, но гармонию можно поверить алгеброй.
Базовые предположения: источники влияют на коэффициент уверенности одинаково, источники независимы.
Есть школьная задачка: пара солнцезащитных очков поглощает 90% света. Сколько света поглотят две пары очков, если их надеть одновременно? Решение (1-(1-0,9)*(1-0,9))=0,99. Ответ: 99%. Самая распространённая ошибка: 90%+90%=180%.
Вот математический расчёт, отталкиваясь от соответствия 3 источников 50% уверенности:
Для 50% уверенности нужно 3 источника данных. Уровень уверенности в одном источнике 0,2063 (с точностью до четвёртого знака после запятой, далее процитировано только 4 знака) из расчёта кубический корень от 0,5 (это не 50%, а в точности единица минус 50% из условия). Возводя в степень 0,7937 (как единица минус 0,2063), мы получаем нижеследующие расчёты.
для 68,5% уверенности достаточно 5 источников. Из расчёта (1-(1-0,2063)^5)=0,6850.
для 70% уверенности достаточно 6 источников.
для 90% уверенности достаточно 10 источников.
для 96,9% уверенности достаточно 15 источников. Из расчёта (1-(1-0,2063)^15)=0,9688.
для 99% уверенности достаточно 20 источников. Не бесконечность :)
для 99,9% уверенности достаточно 30 источников.
для 99,99% уверенности достаточно 40 источников. Из расчёта (1-(1-0,2063)^40)=0,9999.
для 99,999% уверенности достаточно 50 источников. Не подгонял, так совпало :)
В 1837 году Пуассон опубликовал свои "Recherches sur la probabilité des jugements en matière criminelle et en matière civile", то есть "Исследования о вероятности...". Там есть расчёт влияния ошибки присяжного на коллегиальный вердикт. Способ расчёта такой же.
В данных можно утонуть, если нет понимания как с ними поступать. Настоящие данные не бесплатны. Настоящие матмодели тоже. Один из подходов: (1) проверить ретроспективно что произошло бы, если мы вот этот источник данных не учитывали совсем, и далее по списку; (2) построить список формализованных ожиданий, болевых порогов, например, что должно произойти, чтобы мы сделали вот это и это -- как инструкции к действиям при наступлении рискового события; (3) построить матмодель и/или финмодель размером в 1 лист, поварьировать параметры в моделях, исследовать берега применимости. Базовые предположения нужно фиксировать письменно, даже если вы делаете бизнес соло, только если вы хотите результата и прогресса. А если нет, то и незачем.
Переведу на язык управления рисками в медицине со стороны пациента: (1) приходите к доктору, он отправляет сдать пару понятных анализов и ещё два десятка других, загадочных и недешёвых; (2) спрашиваете доктора отдельно по каждому дополнительному анализу по списку, а как именно изменятся диагноз и назначения, если там что-то этакое удастся найти; он всё равно скажет, примерно, что, ну, это чтобы исключить такой-то риск; переспрашиваете а изменится ли диагноз и изменятся ли назначения, если именно этот показатель вывалится за пределы интервала нормы, и уточняете шансы -- сколько случаев выпало на какую популяцию и за какой срок; (3а) если диагноз и назначения от этого конкретного фактора (здесь, анализа) не изменятся, вычёркиваете этот анализ из списка затрат, и начхать на шансы; (3б) если диагноз и назначения от этого конкретного фактора -- результатов анализа -- таки могут существенно измениться (например, тогда нужна экстренная хирургическая операция), вы на развилке: если вы решаете принять на себя риск (в силу невеликих шансов), вычёркиваете анализ из списка, но оставляете пометку (ага, если не сработает назначение, побегу делать этот анализ, но потом), а если решаете не принимать на себя этот риск, то оставляете этот анализ в списке; и (4) только после этого уже по фильтрованному списку всё сдаёте. Так же и в продукте, и в маркетинге, да и в корпоративном управлении.
А то будет с этими данными, всё по-модному: не хозяин, а слуга; не аналитика, а форма бездействия; не компас, а смирительная рубашка.
Проблема обычно в том что data driven это не про кучу данных, а про правильное использование правильных данных. За частую можно обойтись малым объёмом данных.
Интересный взгляд. Что важно, что продуктовый подход сейчас применяется не только в приложениях, но и в разработке буквально любой техники и автомобилей в том числе. И это выливается в боль в виде отсутствия механических кнопок в современный авто - все убрали в планшеты. Недавно читал на просторах интернета мнение одного из дизайнеров, которые работал над интерьером новой Мазды CX-5. По его словам, дизайн-команда американского офиса настаивала на кнопках для главного, типа климата, подогрева сидений , обогрева стекол, громкости музыки, но они были задавлены продукт менеджерами, которые ссылалась на продажи теслы и настаивала на том, что цифры продаж однозначно говорят о том, что потребитель хочет планшет как в Тесле.
Аналитический паралич: Как религия data-driven душит продукт