Забавно считать какой-нибудь индекс развития конкретного предприятия для внутреннего пользования, публикуя только средние значения по отрасли и т.п. И позитивных эмоций куча, и ссориться с респондентами не нужно. Сложнее считать показатели публично и непредвзято. Особенно, если оценивается уровень доверия. Недавно узнал о мелком скандале из-за таких персональных индексов. Дело было чуть больше года назад.
Аналитическая компания IDC публикует Russia IT Services Forecast and Vendor Shares, где по собранным анкетам делает выводы о состоянии предоставления ИТ-услуг в России, о долях разных поставщиков этих услуг и прогнозирует, как рынок будет меняться в ближайшие годы. В 2007 году IDC привлекла к этому исследованию ЛИНЭКС (Лигу независимых экспертов в области ИТ). Эта компания ввела «индекс доверия», показывающий насколько реальны данные о выручке ИТ-компании в анкете IDC. Т.е. в ЛИНЭКС попробовали померить, сильно ли респондент наврал. Актуальный индекс. И не только потому, что ловит лжецов на слове, а потому, что респондент мог банально не понять вопрос, ошибиться при заполнении. Индекс зашкаливает – значит стоит звонить и уточнять.
Кончилось это измерение честности коллективным письмом от совсем не последних ИТ-компаний Компьюлинк, КРОК, «Ай-Теко», ЛАНИТ и R-Style президенту IDC. В нем подписавшиеся руководители возмущались индексом и настаивали, чтобы IDC препятствовала его публикации. Как я понимаю, никакой публикации не было. Было упоминание о существовании индекса на пресс-конференции. Кроме того, гневная группа потребовала отныне согласовывать с респондентами передачу данных из анкет третьей стороне. Если же оценки точности предоставленных данных попадут в СМИ, то все вышеперечисленные публично порвут с IDC.
Чем все это кончилось? IDC мягко послала наши ИТ-компании, сказав, что субподрядом довольна, а права на результаты исследования никому не передавались. ЛИНЭКС продолжает считать расхождение предоставленных данных и уточненных. Сходятся уже точнее, чем раньше, в два раза точнее. Те, кто не хочет участвовать в исследовании – не участвуют. Кому стало лучше? Рейтингу – нет, пострадала его репрезентативность. Хотя мое, например, уважение к IDC немного выросло, т.к. на первый взгляд они подключили к расчетам не связанных со своей компанией аналитиков. Точность при этом скорее всего возрастет. К Gartner и IDC я иногда встречаю, мягко говоря, сложное отношение у руководителей. К Forrester лучше. Управленцам возмутившихся компаний – тоже не полегчало, я думаю, если они действительно получают бонусы за попадание в рейтинг IDC поближе к его началу. Исследователям весь этот демарш монопинисуарен, в принципе, пока к бойкоту не подключилась сколь-либо значимая доля ИТ-компаний и их исследования покупают.
За пару дней в этой истории разобраться невозможно, буду пытаться держать ее в поле зрения. Не уверен в полезности рейтингов вообще, но вот в чем уверен точно – для борьбы за адекватность своего места на Олимпе нужно конструктивно критиковать исследователей и указывать не ошибки в их рассчетах. А не требовать убрать конкретных аналитиков, оставив только «тех, которые считали раньше и так, как нам нравилось». Списки лучших, на мой взгляд, должны быть способом самооценки и контроля для компаний, а не инструментом продаж.
Аналитическая компания IDC публикует Russia IT Services Forecast and Vendor Shares, где по собранным анкетам делает выводы о состоянии предоставления ИТ-услуг в России, о долях разных поставщиков этих услуг и прогнозирует, как рынок будет меняться в ближайшие годы. В 2007 году IDC привлекла к этому исследованию ЛИНЭКС (Лигу независимых экспертов в области ИТ). Эта компания ввела «индекс доверия», показывающий насколько реальны данные о выручке ИТ-компании в анкете IDC. Т.е. в ЛИНЭКС попробовали померить, сильно ли респондент наврал. Актуальный индекс. И не только потому, что ловит лжецов на слове, а потому, что респондент мог банально не понять вопрос, ошибиться при заполнении. Индекс зашкаливает – значит стоит звонить и уточнять.
Кончилось это измерение честности коллективным письмом от совсем не последних ИТ-компаний Компьюлинк, КРОК, «Ай-Теко», ЛАНИТ и R-Style президенту IDC. В нем подписавшиеся руководители возмущались индексом и настаивали, чтобы IDC препятствовала его публикации. Как я понимаю, никакой публикации не было. Было упоминание о существовании индекса на пресс-конференции. Кроме того, гневная группа потребовала отныне согласовывать с респондентами передачу данных из анкет третьей стороне. Если же оценки точности предоставленных данных попадут в СМИ, то все вышеперечисленные публично порвут с IDC.
Чем все это кончилось? IDC мягко послала наши ИТ-компании, сказав, что субподрядом довольна, а права на результаты исследования никому не передавались. ЛИНЭКС продолжает считать расхождение предоставленных данных и уточненных. Сходятся уже точнее, чем раньше, в два раза точнее. Те, кто не хочет участвовать в исследовании – не участвуют. Кому стало лучше? Рейтингу – нет, пострадала его репрезентативность. Хотя мое, например, уважение к IDC немного выросло, т.к. на первый взгляд они подключили к расчетам не связанных со своей компанией аналитиков. Точность при этом скорее всего возрастет. К Gartner и IDC я иногда встречаю, мягко говоря, сложное отношение у руководителей. К Forrester лучше. Управленцам возмутившихся компаний – тоже не полегчало, я думаю, если они действительно получают бонусы за попадание в рейтинг IDC поближе к его началу. Исследователям весь этот демарш монопинисуарен, в принципе, пока к бойкоту не подключилась сколь-либо значимая доля ИТ-компаний и их исследования покупают.
За пару дней в этой истории разобраться невозможно, буду пытаться держать ее в поле зрения. Не уверен в полезности рейтингов вообще, но вот в чем уверен точно – для борьбы за адекватность своего места на Олимпе нужно конструктивно критиковать исследователей и указывать не ошибки в их рассчетах. А не требовать убрать конкретных аналитиков, оставив только «тех, которые считали раньше и так, как нам нравилось». Списки лучших, на мой взгляд, должны быть способом самооценки и контроля для компаний, а не инструментом продаж.
