Метрики, которые нас обманывают
Почему рост в аналитическом дашборде не всегда означает рост в продукте.
Обо мне
Привет, меня зовут Владимир Павлов. Я продуктовый дизайнер с опытом более пяти лет, большую часть из которых работаю с финтех-продуктами. Сейчас развиваю SaaS-платформу для управления капиталом в дубайском финтех-стартапе Reluna. До этого четыре года отвечал за весь дизайн в эстонском крипто-стартапе Swaps, где проектировал on/off-ramp решения — платёжный шлюз между крипто- и фиатными платежами для бизнеса.
В своей работе я стараюсь смотреть на задачи не только через призму интерфейса, но и с точки зрения продукта в целом. Мне важно понимать, зачем это делается, что за этим стоит и как повлияет на пользователей и бизнес. За это время я увидел десятки A/B-тестов, дашбордов, метрик и графиков, которые обещали рост. И слишком часто — одну и ту же картину: цифры растут, а продукт — хуже. Пользователи злятся, но в компании все довольны. Это не крик «цифры — зло». Скорее, попытка разобраться, где проходит грань между аналитикой и самообманом.
Метрики как новая религия
В какой-то момент метрики заняли место здравого смысла. Кажется, что любой аргумент можно «закрыть цифрой». Рост Retention на 12%? Победа. Конверсия выше на 4%? Отлично. Time on screen увеличился? Ура, вовлечённость!
Но продукт — не график. Это живой организм. Иногда он хромает, но выглядит здоровым. Иногда — наоборот. И когда мы начинаем судить о здоровье исключительно по числам, есть риск лечить не то.
Метрики — это удобно. Они дают иллюзию контроля: можно управлять продуктом как машиной. Только вот продукт — не машина. Это поведение, восприятие, эмоции. И там, где цифры заканчиваются, начинается самое интересное.
Как-то на одном флоу мы увидели рост всех ключевых показателей после редизайна: CR +18%, Retention +10%. Радовались все — кроме поддержки, у которой резко вырос поток жалоб. Проблема была в том, что мы упростили флоу до предела, убрали все аннотации, подсказки и визуальный мусор. И пользователи начали делать действия, которых не планировали. Рост был. Но пользы — нет.
Примеры, где метрики сбивают с толку
Retention — возвращаются не те, кто доволен
Один из самых любимых показателей. Все хотят, чтобы пользователь возвращался. Но вопрос — зачем он возвращается? Потому что продукт полезен или потому что у него нет выбора?
Я видел кейс, где рост Retention объяснялся… невозможностью удалить аккаунт. Или другой: пользователи возвращались, потому что хотели отменить подписку — но не могли найти кнопку. Рост — да. Польза — вопрос.
Хороший Retention — не про «остаться любой ценой», а про «хочу вернуться».
Conversion Rate (CR) — конверсия без контекста — агрессия
CR легко взлетает, если убрать лишнее. Но часто «лишнее» — это объяснение, контекст, честность. Один экран — одна кнопка — покупка. И вроде всё прекрасно. Только возвратов стало больше, а рейтинг в сторах — меньше.
Хорошая конверсия — это когда пользователь идёт вперёд, потому что понимает и хочет. А не потому что не заметил подвох.
Time on Screen — долго ≠ хорошо
Много времени в продукте — не всегда вовлечённость. Часто — это растерянность. Пользователь блуждает по интерфейсу, не может найти нужное, зависает на экране, потому что боится нажать не туда.
Время — странная штука. Оно ничего не говорит само по себе. Как судить о качестве разговора по его длине?
Иногда мы даже празднуем рост session length, не осознавая, что пользователи просто потерялись в навигации.
CTR, лайки, клики — дешёвые сигналы
Кликнули? Отлично. Но что дальше? Часто — ничего. CTR растёт, если сделать баннер ярче. Если пообещать больше, чем дашь. Если сделать клик обязательным.
Лайки тоже мало о чём говорят. Их можно собрать на смешной кнопке, на котиках или на UI, который на самом деле неудобен, но красиво выглядит.
Как однажды сказал мой коллега-аналитик: «CTR — это как аплодисменты в театре. Иногда хлопают, потому что пора уходить».
Почему дизайнеру это важно
Мы живём в мире, где дизайнеру надо уметь «доказать» ценность своей работы. Часто — через метрики. Это справедливо. Но это и ловушка.
Ты можешь увеличить CR, ухудшив опыт. Можешь нарисовать решение, которое нравится пользователю, но не покажет прироста в цифрах. И ты окажешься в неудобной позиции — потому что всё меряется метриками, даже если метрики не о том.
Важно помнить: наша работа — не делать CR выше. Наша работа — делать продукты понятнее, честнее, человечнее. А иногда — быть голосом разума, когда все смотрят только на цифры.
Если хочешь быть дизайнером с весом, учись читать цифры — но и ставить им под сомнение.
Что с этим делать
Не влюбляйся в одну метрику. Она ничего не говорит без контекста.
Ставь метрику после цели, а не наоборот. Сначала пойми, чего хочешь добиться. Потом — чем это измерять.
Объединяй количественные и качественные данные. Цифры + интервью, поведение + ощущения. Только вместе они дают картину.
Регулярно пересматривай метрики. Они быстро устаревают и теряют смысл.
Добавляй качественные вопросы в аналитику. Например: «Почему пользователь ушёл?» или «Как он себя чувствовал после действия?»
Встраивай обратную связь в продукт. Маленький опрос после действия, кнопка «оставить фидбек», быстрые реакции. Они не заменят аналитику, но дадут душу цифрам.
Хороший дизайнер — это не тот, кто слепо следует аналитике. А тот, кто умеет соединить цифры с интуицией, и не боится сказать: «А давайте спросим у пользователя».
Финал
Иногда лучший дизайн — это минус к CR. Потому что теперь пользователи осознанно выбирают. Или потому что ты убрал агрессивный паттерн. Или потому что теперь честно показал цену.
Метрики не плохие. Они просто не всё объясняют. Они могут быть якорем, если за них прятаться. Или компасом, если задавать им правильные вопросы.
Я пишу всё это не потому, что знаю все ответы. А потому что слишком часто радовался не тем цифрам. И только потом — видел последствия. Ошибки — это часть роста. Но если мы научимся сомневаться в цифрах — возможно, ошибаться будем реже.
В конечном счёте, продукт живёт не в графиках. Он живёт в головах и сердцах людей, которые им пользуются. И вот это — настоящая метрика.
Подписывайтесь на мой Telegram
Если вам откликнулась эта статья, буду рад видеть вас в моём Telegram-канале. Там — больше размышлений о дизайне, интерфейсах, продуктах и работе без иллюзий. Без чеклистов и фанатизма. Иногда полезно, иногда честно, но всегда по-настоящему.