В 1998 году NASA потеряла свой космический аппарат Mars Climate Orbiter, стоимостью 328 миллионов долларов из-за несогласованности команд, работавших над его созданием. Летательный аппарат прошел над поверхностью Марса на высоте всего 57 км вместо расчетных 110 км и был уничтожен атмосферой планеты. Почти двукратное отклонение было обусловлено ошибкой в программном обеспечении: команды по тяге двигателя в программном обеспечении аппарата использовали единицу измерения силы ньютон, в то время как программное обеспечение на Земле, которое создавало эти команды, использовало британскую единицу измерения (фунт-сила).
Этот пример демонстрирует важность взаимопонимания и синергии исследовательских команд и лиц, принимающих решения по результатам исследований. Когда нет общей согласованности, любая работа способна превратиться в переговоры без переводчика, и малейшее недопонимание может привести к крупным потерям.
На практике проблема редко заключается в качестве самих исследований. Гораздо чаще сбой происходит на последнем этапе — в момент передачи результатов тем, кто должен принять решение.
Эта статья появилась из практического опыта работы с аналитическими отчётами в бизнесе. Её цель — разобрать типовые ошибки при представлении результатов исследований, показать, почему универсальных форматов не существует, и предложить более осознанный подход к выбору формы коммуникации между аналитиком и лицом, принимающим решения. Речь пойдёт не о том, как красиво рисовать графики или какой инструмент лучше использовать, а о том, как сделать так, чтобы результаты исследования были поняты правильно и использованы по назначению.
Я бы выделил 4 ключевые распространенные проблемы:
Длинный отчёт без чёткого ответа на управленческий вопрос
Непродуманная структура: когда данные есть, а смысла не видно
Желание отразить все, что можно на графиках
Подмена формы содержанием: вера в универсальность дашбордов или презентаций
Рассмотрим каждый пункт по отдельности.
Проблема 1. Длинные отчёты без чёткого ответа на управленческий вопрос
Предложения:
1. представьте себя на месте руководителя и составьте список вопросов, которые будут вас интересовать при принятии решения
2. пользуйтесь фреймворками “Elevator pitch”, “Dashboard canvas”, проведите интервью с заказчиком.
Подобная проблема возникает, как правило, в двух случаях:
Когда автор не понимает, какую ключевую мысль он хочет передать, либо очень боится быть понятым неверно. С выводов фокус смещается на методологию, оговорки, дисклеймеры, аналитическую терминологию и перегруженные визуализации. В итоге доклады разрастаются до десятков слайдов и страниц.
Когда сложное и длительное исследование провоцирует желание показать бизнесу не только результат, но и объём проделанной работы. Или же когда исследования нет вовсе, а отчет делается чтобы показать, что “работа не стоит на месте”.
Рассмотрим на примере:
Аналитик подготовил презентацию с результатами A/B-теста для руководителя отдела интернет-рекламы:
Слайд насыщен аналитической информацией и вполне подходит для обсуждения с другими аналитиками. Однако для неаналитической аудитории он оказывается бесполезным: повествование начинается с дисклеймера, на слайде размещены три неподписанных и неочевидных графика, выводы слабо связаны с представленными данными, а главное — слайд не отвечает ни на один управленческий вопрос. И таких слайдов в презентации десять.
Проблема здесь кроется в отсутствии фокуса на том, какое решение должен поддержать материал. Чтобы этого избежать, полезно ещё до начала подготовки презентации сделать небольшой шаг назад и задать себе несколько вопросов:
Если бы вы принимали решение на основе этого АБ-теста, на что бы вы смотрели в первую очередь?
Какие метрики лучше всего описывают результаты вашего исследования?
Какое конкретное управленческое решение должен поддержать этот слайд?
Что руководитель может спросить первым? И есть ли ответ на слайде?
Мысленно ответив на эти вопросы, набросаем макет того, что лучшим образом отражает ответы на них, исходя из целей исследования. В приведенном примере с А/Б-тестом можно выделить следующие ключевые блоки:
Параметры эксперимента (уровень доверия и направление проверки гипотезы, ключевая метрика, длительность и т.п.)
Как показали себя ключевая и контрольная метрики в контрольной и тестовой группах
Результаты теста и результирующие метрики (p-value, доверительный интервал, аплифт).
Получим примерно следующую канву:
Из макета становится понятно как лучше всего расположить объекты на странице. Кроме того, понятно, что в данном случае целесообразнее сделать дашборд, а не слайд, поскольку мы хотим отразить результаты теста при разных сценариях (И речь не о том, что дашборд лучше слайда, а о то��, что формат должен соответствовать задаче).
Если слайдов / страниц получается много и вам кажется, что ничего из доклада убрать нельзя, в дополнение к выше описанному, попробуйте воспользоваться фреймворком “elevator pitch”.
Согласно легенде, в середине XX века в США молодые предприниматели намеренно использовали короткую поездку в лифте, чтобы за считанные секунды донести суть своей идеи до инвестора и заинтересовать его продолжением разговора и претендовать на инвестиционное финансирование.
Суть концепции elevator pitch проста: презентовать материал максимально понятно и быстро. Впоследствии эта концепция нашла широкое применение в бизнесе и коммуникациях, поскольку всем нравится, когда информация преподносится четко и кратко.
Представьте, что у вас есть всего 2 минуты, чтобы донести до адресата самые важные и самые полезные выводы. Структура доклада при этом, будет примерно следующая:
Executive summary - свод самой важной информации. Именно этот раздел вы хотите рассказать адресату за 2 минуты
Приложения - drill-down-страницы, подкрепляющие каждую цифру и вывод на странице Executive summary. Это пригодится, если адресат заинтересуется вашим докладом.
Проблема 2. Непродуманная информационная архитектура: когда данные есть, а смысла не видно
Предложение: при подготовке презентаций и дашбордов пользуйтесь принцип��м распределения внимания
Суть проблемы заключается в отсутствии информационного фокуса в дашбордах и слайдах: адресат видит много цифр, но не видит главного. В итоге правильные выводы теряются, а решения принимаются дольше (либо не принимаются вообще).
Ниже представлен классический пример такой ошибки. Команда инвестиционной аналитики провела оценку инвестиционного проекта по заказу инвестора, и презентует результаты работы ему, чтобы он, на основании этой презентации, принял решение о вложении денег в проект.
Кажется, что проблема кроется в небрежном оформлении, однако, подобная ошибка имеет место даже в некоторых дизайнерских презентациях.
Чтобы понять, что же тут не так, следует упомянуть о принципах распределения внимания. Восприятие визуальной информации устроено так, что при взгляде на изображение внимание в первую очередь концентрируется в верхней левой части, и практически игнорирует нижний правый угол.
Таким образом, к моменту, когда зритель дойдет до информации с ключевыми метриками инвестиционного проекта (которые расположены справа внизу), его мозг уже будет “занят” размышлениями над текстом и картинками.
Для решения этой проблемы рационально на начальном этапе составить макет слайда или дашборда, помня о принципах распределения внимания. Переоформим и перегруппируем представленную информацию, уберем картинку, которая занимает 70% пространства, и получим совершенно иную картину понимания параметров инвестиционного проекта.
Этот подход актуален не только для презентаций и дашбордов, но и для любого другого формата аналитического повествования: самую важную и полезную информацию принято располагать на наиболее “видном” месте, поэтому никогда не прячьте выводы в конец отчета/статьи/презентации, только если того не требует регламент.
Проблема 3. Желание отразить все, что можно на графиках
Предложение: максимально упрощайте визуализации
Искусное обращение с визуализацией предполагает, что графически можно представить любую, даже самую сложную информацию, будь то корреляция, графы, матрицы или совокупность связанных метрик. Однако, если пилот самолета умеет делать мертвую петлю, это не значит, что он должен этим пользоваться при каждом полете.
На всякий случай, повторюсь: мы говорим именно про презентацию материалов широкой аудитории и бизнесу, а не от исследователей исследователям.
Неумению строить наглядные графики посвящено множество материалов (например, статьи на Хабре [1], [2]). Выделяя из них главное, я бы подчеркнул:
У каждого графика должна быть четкая цель. График — это не украшение страницы. Он должен отвечать на конкретный вопрос: выросло или упало, есть ли эффект, отличается ли одно от другого. Если на один из этих вопросов нельзя ответить, посмотрев на график в течение нескольких секунд, значит цель выбрана неверно или вовсе не сформулирована.
График должен восприниматься быстро, и по нему должно быть можно рассказать историю. Чем сложнее график, тем выше вероятность негативной реакции у его читателя. Хорошая визуализация понятна без устных пояснений аналитика. Если без комментариев автора график теряет смысл — значит, он выполнен неудачно.
График не должен вводить в заблуждение. Неудачный выбор типа графика, масштаба или пропорций может искажать реальную картину и подталкивать читателя к неверным выводам. Даже корректные расчёты теряют смысл, если визуальная форма усиливает второстепенное или скрывает важное. Поэтому задача графика — честно передать соотношения в данных, а не создавать иллюзию эффекта там, где его нет, или маскировать его там, где он есть.
пример графика, который вводит в заблуждение
Проблема 4. Подмена формы содержанием: вера в универсальность дашбордов или презентаций
Предложение: При выборе инструмента для подготовки отчета следует ответить на вопрос: «какое решение должен принять адресат и какая форма поможет ему сделать это быстрее и точнее»
Проблема кроется в том, что зачастую форма презентации результатов исследования выбирается, как правило, не исходя из задачи исследователя максимально наглядно и корректно донести информацию для адресата, а исходя из способностей самого исследователя пользоваться каким-либо инструментом, либо исходя из принятых в компании способов.
Я был свидетелем ситуаций, когда для демонстрации поведения одной и той же переменной при трех разных сценариях рисовали 3 разных слайда презентации, вставляя вручную цифры и заново отрисовывая графики, что занимало колоссальное количество времени и давало возможность руководителю сравнивать эти сценарии, только распечатав слайды на принтере и разложив их на столе.
Вместе с тем, доводилось видеть, как для построения нескольких статичных диаграмм аналитик грузил данные в BI-систему и возился с построением модели данных и оформлением
Разные управленческие задачи требуют разных форм коммуникации. Иногда достаточно короткой записки с одним-двумя ключевыми выводами. В других случаях уместна презентация, а дашборд имеет смысл лишь тогда, когда предполагается регулярный мониторинг показателей и самостоятельное исследование данных пользователем. Попытка использовать один и тот же формат для всех случаев приводит к перегрузу, потере фокуса и искажению смысла.
Важно понимать: дашборд и презентация — это всего лишь инструменты. Они не добавляют ценности сами по себе и не заменяют аналитическую мысль. Если выводы не сформулированы явно, ни количество графиков, ни интерактивность отчёта не сделают их понятнее.
