Практика сбора отзывов клиентов — плохое явление

Original author: Mark Jeftovic
  • Translation
image

Исследования удовлетворённости клиентов чрезвычайно распространены. Каждый раз, когда вы посещаете банк, отправляете запрос интернет-поставщику, отправляетесь в поездку или нанимаете фрилансера для какой-то задачи, вы затем с железной последовательностью получаете запросы по электронной почте с предложением оценить взаимодействие.

На первый взгляд, это хорошая идея. Учитывая практическую вездесущность интернета и электронной почты в сочетании с низкой стоимостью отправки этих писем, возможность понять суть дела «изнутри», которую ваша фирма может получить от клиентов, — что может не нравиться в этой практике?

Обратная связь «магазин/наём -> оценка -> вознаграждение» стала просто неотъемлемой частью некоторых систем. Многие интерактивные торговые площадки включают эти операции обратной связи в рейтинги, которые затем становятся оценкой, влияющей на перспективы оцениваемой персоны.

И вот здесь-то и начинаются проблемы.

Имеется точка, где этот подход перестаёт быть полезным и прямые эффекты системы оценки, основанной на результатах обратной связи, становятся контрпродуктивными. Такой точкой является ситуация, когда рейтинг становится целью.

Когда какая-то компания провозглашает: «Все рейтинги обратной связи от клиента должны быть как минимум X, иначе...», — то компания таким образом начинает процесс аннулирования и разрушения всей полезной информации, которую можно было бы получить из этого процесса обратной связи / обследования.

Формулировкой этой концепции является «закон Гудхарта» (по имени экономиста Чарльза Гудхарта), который, по сути, утверждает, что «когда результат измерения становится целью, измерение становится бесполезным». Он имел в виду экономический контекст, критикуя попытки Маргарет Тэтчер стимулировать экономику с помощью измерений, для чего устанавливались целевые показатели в денежно-кредитной политике (звучит знакомо? Это именно то, что «управляемая данными» Федеральная резервная система США делала в течение почти 10 последних лет). Это то, что суперинвестор Ховард Маркс описал подробно в главе «Мышление второго порядка» в своей книге «Самое главное».

Закон Гудхарта, в общем случае, относится к области «непредвиденных последствий»:
«Наиболее известными примерами действия закона Гудхарта были предприятия Советского Союза, которые, когда им ставили цель в виде количества гвоздей, производили множество крошечных бесполезных гвоздей, а при цели, сформулированной как вес, выпускали немного громадных гвоздей. Количество и вес хорошо коррелировали в сценарии центрального плана. После того как они были сделаны целями (в различное время и на различные периоды), они теряли эту ценность.»

Эта выдержка взята из статьи-рассмотрения данного феномена, в которой автор формулирует закон Гудхарта как: «Люди и учреждения пытаются достичь своих точно поставленных целей самым простым возможным способом, часто соблюдая только формальные нормы закона», — и даёт отличный пример получаемого результата в своей работе «Угадать ключевое слово учителя»:
«Предположите, что учитель ставит перед вами мудрёную задачку, в условии которой металлическая пластина расположена рядом с радиатором и её дальняя сторона теплее, чем сторона рядом с радиатором. Учитель спрашивает: „Почему?“. Если вы скажете: „Я не знаю“, — у вас не будет никаких шансов на приз; более того, вы не будете отмечены хотя бы как активный участник урока. Но в текущем семестре этот учитель неоднократно использовал фразы „благодаря тепловой конвекции“, „благодаря теплопроводности“ и „благодаря тепловому излучению“. Одна из них, возможно, и есть та, которую желает услышать учитель. Вы говорите: „Ну, может быть, благодаря теплопроводности?“.
Это не гипотеза относительно металлической пластины.
Это даже не является какой-то догадкой в полном смысле. Это просто попытка угадать ключевое слово учителя.»

И это то, что происходит в массовом порядке, как только результаты обратной связи превращаются в рейтинги, которые затем становятся целями.

Когда этот процесс проходит до конца в системах обратной связи и рейтингов, та же динамика начинает действовать и в работе. Вместо данных, несущих полезную информацию, которая может быть использована для улучшения взаимодействия с клиентами, рейтинги становятся целью сами по себе, и тогда они теряют свою полезность. Участники направляют свои усилия на оптимизацию фактических рейтинговых ответов, а не основополагающих действий, для которых и была построена система измерения.

«Я удовлетворительно справился с причиной, по которой вы сегодня позвонили, г-н Йеслович?»

«Да, спасибо.»

«Тогда вы сможете дать мне наивысшую оценку, если компания выберет вас для нашего исследования удовлетворённости клиентов?»

«Э-э, хорошо, думаю, да.»

Не знаю, как вам, но мне всегда неловко при таком разговоре. Если не внешне, то в душе. Весь разговор построен в выпрашивающей/умоляющей конструкции, которая, если она делает неловкой ситуацию для меня, должна быть, — по крайней мере, подсознательно, — многократно унизительнее для человека, средства к существованию которого зависят от моей оценки 10/10 в каком-то исследовании. Это изменяет природу и настрой разговора, выводя его из полезной сферы, где я чувствовал бы себя достаточно комфортно, чтобы передать полезную информацию.

Пример: я оценил моё общение в 8 баллов из 10-ти, потому что…

  • Робот сообщил мне, что время ожидания составит 3 минуты, а я ждал 7 с половиной.
  • Агент был вежлив, но не знал версию прошивки моего изделия.

Такая обратная связь содержит полезную информацию.

Действительность:

«Теперь всё в порядке, г-н Йефтович?»

«Да, спасибо».

«Замечательно. Послушайте, когда будет опрос, мне нужно, чтобы вы дали мне 10 из 10, иначе мне будет фигово, ОК?»

«Конечно, нет проблем».

И вот я даю оценку качества обслуживания клиента:

10/10.

Количество полезной информации, поступившей в компанию: ноль.

Что происходило, когда я пытался искренне, из идейных побуждений честно оценить качество моего обслуживания?

Я столкнулся с настоящим преследованием, воем, различными оттенками драмы и истерии, когда сделал это в контексте интерактивной торговой площадки открытого рынка. У меня был такой плохой опыт взаимодействия на торговых площадках, когда я оставлял искренне написанные отзывы, что я теперь обычно пишу в моих спецификациях работы: «Любая попытка повлиять на мою оценку в обратной связи приведёт к снижению баллов». Это, на самом деле, ведёт к снижению количества заявок, которые я получаю на какую-либо конкретную работу, но я считаю, что благодаря этому приму на работу людей, в конечном счёте, более высокого уровня.

Боже упаси от того, что случится, если я оставлю искреннюю оценку в сценарии корпоративной обратной связи.

Действительно, на этой неделе мне подвернулся случай оценить технического специалиста, который, как я почувствовал, был чертовски хорош. Он просто поразил меня. Он работал в большой бестолковой корпорации и прекрасно разбирался в моей проблеме. Он задержался после работы (и не потребовал платы за это), пока моя работа не была сделана, и привёл всё в порядок.

Он был настолько хорош, что я даже решил позвонить в эту компанию, чтобы убедиться, знает ли его руководитель, насколько великолепен этот специалист. Затем состоялся онлайн-опрос, и я сделал то, что сделал бы любой нормальный человек, который был совершенно восхищён специалистом, сделавшим значительно больше ожидаемого, чтобы исправить ситуацию, запутанную сначала компанией; я оценил качество обслуживания 9-ю баллами из 10.

Это хорошо и правильно? Нет. На самом деле, как я узнал позже, 9/10 — требуемый рейтинг для таких специалистов, который необходимо получить на опросе обратной связи, чтобы не провалиться. Он представляет собой абсолютный минимум. Парень был новичком на этой работе, и поэтому ничего не сказал мне. Он ещё не усвоил установленный порядок, чтобы попросить меня «когда будет опрос, мне нужно, чтобы вы дали мне 10 из 10, ОК?».

Логика (или её отсутствие), действующая в компании с рейтинговой системой обратной связи, в которой минимальное количество баллов, требуемое для «прохождения» сотрудника, составляет 9 из 10, просто нелепа. Здесь нет места для полезной информации. Это логика из придуманного американским писателем Гаррисоном Кейллором «типичного» городка Лейк-Уобигон в Миннесоте, «в котором все женщины сильны, все мужчины хорошо выглядят, а все дети развиты выше среднего».

Вернёмся к закону Гудхарта. Если вы желаете иметь честную обратную связь от ваших клиентов, иметь материал, который можно использовать для совершенствования бизнес-процессов и улучшения дел, то необходимо отделить эти результаты обратной связи от выставления оценок сотрудникам.

Ваши сотрудники будут обслуживать клиентов более прилежно, если они не будут беспокоиться об извлечении 10 из 10 на последующем опросе.

Ваши клиенты будут предоставлять более честную, точную и полезную информацию, если они не будут беспокоиться, что их мнение приведёт к нежелательным мерам в отношении неудачливого сотрудника.

Это может показаться противоречащим интуиции, но связывание баллов сотрудника или — ещё хуже — связывание оплаты с этими механизмами обратной связи сродни старой шутке: «Избиения будут продолжаться, пока боевой дух не улучшится».

Вы не получите ничего ценного из тех опросов, кроме довольно сомнительной иерархии, кто является лучшим при умасливании ваших клиентов участвовать в манипулируемой и бесполезной обратной связи. В этом смысле такая процедура может быть полезной для определения будущего генерального директора компании, но за пределами этого она даёт только информационный шум.
AdBlock has stolen the banner, but banners are not teeth — they will be back

More
Ads

Comments 12

    +3
    С этими опросами еще проблема: как правило клиент не знает или не понимает, оценивает ли он работу конкретного специалиста или системы в целом.

    Типичная ситуация: банк или подобное учреждение, очередь, духота, не работает кондиционер, из пяти окошек работает только одно. Отстояв долгую и нервную очередь клиент таки прорывается к окошку и получает там быструю и квалифицированную помощь сотрудника. После чего ему предлагают оценить качество работы. И что ему ставить? Кого он оценивает? Если опрос сделан с целью оценки сотрудника — надо поставить ему высший балл. А если отделения в целом — низший. При этом если не угадать — то либо сотрудник получит по голове ни за что (вы оценивали ситуацию в целом, в то время как опрос был конкретно про сотрудника), либо наоборот — начальство решит что в отделении все норм и менять ничего не надо (вы поставили 5 из 5 за хорошую работу сотрудника, а опрос-то был про обслуживание в целом).
      0
      Совершенно верно. А если начать усложнять опросник, прося оценить отдельно работу каждого звена, то многие просто поленятся и не станут отвечать. Патовая ситуация.
      +2
      Если бы только правило Гудхарта включали в программу обучения экономистов, то бестолковых менеджеров было бы немножко меньше.
      Почитав про когнитивные искажения и антипаттерны вообще начинашь верить в то, что картофельный клубень куда рациональнее человека.
        +1
        Вы не совсем правы. Экономисты не имеют отношения к обратной связи, и очень косвенное — к системе мотивации. Негативный вклад экономисты тем, что изначальную систему сбалансированных ПОКАЗАТЕЛЕЙ ОЦЕНКИ подменили системой целей, которая один в один списана с тех показателей.
        А вот кто реально уничтожает компании и их персонал всеми этими оценками — это хр-директора и менеджеры во всяких KPI и системах оплаты труда на их основе.
        А правило Гудхарта очень быстро, за пару месяцев, выводится любым сотрудником, у которого зарплата зависит от KPI — как только ему поставлены ВАЖНЫЕ показатели, все остальные сразу становятся НЕВАЖНЫМИ. При этом общее качество работы и системы работы его не волнует — «жираф большой, ему видней».
          0
          конечно я не совсем прав, я же тоже подвержен когнитивным искажениям :)
            0
            Я подразумевал, что из экономического факультета произрастают менеджеры. На западе это распространенный карьерный путь. Вы видимо имели ввиду экономиста в его первородном виде: экономист-оптимизатор.
          0
          Глобально — это есть такие любители ставить планы на все :(

          Обратная связь — план, что бы было 90% с оценками 10/10. Перестаем получать правдивую информацию.

          Эвакуация машин — план на каждый год с возрастанием. Теряем вообще смысл, машины начинают эвакуировать просто так. Идея-то обратная — водители меньше нарушают правила парковок и количество эвакуаций должно снижаться.

          План на таможенные платежи, на каждый год все больше. Вообще таможенные платежи — это просто защита своих производителей.

          И так далее везде.
            0
            Я бы сказал так:

            Процедура оценивания может быть настолько сложна, что проверить правильность ее будет крайне затруднительно.
            Это приводит к дискредитации.
            Поэтому проще установить не принципы оценивания, а принципы запуска процедуры оценивания.

              0
              В компании, где я работаю, есть маленький отдел тех.поддержки. Руководство хочет регулярно собирать ОС от клиентов в виде анкетирования с оценкой по шкале разных критериев, и это будет влиять на KPI сотрудников отдела. Вроде бы всё логично, но я думаю, что важнее не цифры, а то, как клиенту с нами нравится работать, и что наш сотрудник ему действительно помогает и хочет помогать.
              Как вы считаете, как лучше построить сбор ОС и показатели KPI, чтобы и реальную ОС получить, с которой можно работать, и сформировать правильную мотивацию у сотрудника?
                0
                Какие формальные показатели уже есть у сотрудников поддержки?
                Как эта поддержка организована?
                Как предполагается отслеживать формальные показатели?
                  0
                  Какие формальные показатели уже есть у сотрудников поддержки?

                  1. Легко измеримые: скорость ответа на заявку, решен ли вопрос клиента в срок (в зависимости от условий по договору/тарифа своя норма срока).
                  2. Трудно измеримые: уровень удовлетворенности клиента (скорость, сервис, профессионализм), использование возможности допродаж (предложить что-то ещё улучшить, посоветовать — в основном, тех.поддержка вокруг сайтов).

                  Как эта поддержка организована?

                  На входе 1 человек принимает заявки (фрешдеск). Его задача — держать клиента в курсе дела, выяснить детали, определить исполнителя, держать задачу в фокусе и всегда знать статус. Он определяет исполнителя — кого-то из 2-3 технических специалистов, которые непосредственно решают техническую задачу, или может сделать сам, если задача технически-несложная или относится к контенту (ещё для таких задач есть контент-менеджер «над подхвате»).

                  Как предполагается отслеживать формальные показатели?

                  С легко измеримыми всё понятно, мы можем это мерить, со вторыми — не так.
                  По уровню удовлетворенности — как-то давно проводили анкетирование (один раз). Сейчас руководство хочет ввести анкетирование на регулярной основе, только я считаю, что чаще чем раз в полгода такое делать нельзя. Было бы полезно узнать, как другие у себя это замеряют.
                  По использованию возможности допродаж — тут кроме как ходить за сотрудникам и субъективно решать «вот тут можно было предложить, а ты не предложил», у меня больше идей пока нет — а это дофига ресурсов и дико демотивирует всех. Думаю, многим покажется странным такое ожидание от отдела тех.поддержки :)
                    0
                    Удовлетворенность клиента — как вариант — если есть трекер, и заявка пришла от пользователя с известным адресом, при установке поддержкой статуса «выполнено» (или аналогичного) слать пользователю письмо с просьбой подтвердить выполнение обращения и просьбой оценить выполнение обращения (скажем, пять ссылок вида mailto:(адрес трекера)?subject=(ИД_Обращения — оценка), подписанных соответственно, «отвратительно»/«плохо»/«средне»/...).
                    Также, конечно, должна быть ссылка «обращение нифига не выполнено, верните в работу».

                    Дальше уже разбирать трекером эти оценки и оцененные запросы ставить как выполненные с соответствующей оценкой.
                    Ну и при разборе полетов смотреть оценки по обращениям.

                    Еще можно эпизодически просить дать обратную связь по конкретным позициям — «насколько вежлив был сотрудник поддержки», «насколько оперативно, по вашему ощущению, был решен вопрос» и прочее подобное.

                    По допродажам я не вижу смысла вносить в KPI именно предложение/непредложение и отслеживать это. Предложение может быть выражено в разной форме — и фиг вы кодифицируете, с какой интонацией сотрудник должен предлагать. Может, он будет пытаться продавать примерно с той же эффективностью, что Паниковский — выпрашивать миллион. Замучаетесь разбирать частные случаи.

                    Посадите поддержку на процент от продаж. При этом если в журнале обращения (или дочернего объекта) сотрудник указал, что он предложил такое-то решение, и это решение куплено или хотя бы вызвало вопрос от клиента к вашим продавцам — процент капает. А если сотрудник этого не отметил — то мимо.
                    Если несколько сотрудников предлагало одно и то же — тут сложности. То ли делить на всех отметивших, то ли поднимать записи бесед, если они ведутся, и решать в каждом случае.
                    Но разбор допродаж — дело сложное и требующее ручного разбора в любом случае.

              Only users with full accounts can post comments. Log in, please.