Про рейтинги: Ху из ху на рынке digital-аналитики?



    Среди компаний веб-разработки принято мериться «показателями успешности». Кроме первичных признаков, вроде количества именитых клиентов и толщины портфолио, были придуманы и вторичные — рейтинги.

    Со временем дошло до измерения фолловеров и лайков — стеб, воспринимаемый многими слишком серьезно. Однако есть и традиционные рейтинги «по делу», о которых все, кто в отрасли, знают.

    Кстати, сегодня запускает голосование Tagline, один из самых крупных российских рейтингов студий веб-разработки и интернет-агентств.

    В свете актуальности вопроса, небольшое исследование. По порядку:

    Кто есть в рейтинговой сети Рунета?



    Навскидку припоминается:

    Тэглайн. Проводится с 2005-го года. Один из самых влиятельных.
    Рейтинг Рунета (CMS Magazine). Проводится с 2009-го. Тоже популярный.
    1С-Битрикс. Внутренний, для партнеров Битрикса, без комментариев.
    UMI.CMSАналогично, для UMI.
    NetCat. Аналогично, для NetCat.
    Рейтинг SEO-компаний (CMS Magazine).
    Рейтинг SEO News.
    — Это только глобальные. Есть еще региональные, коих много больше. Можете полистать результаты поиска.
    Ruward. Самообъявленный «рейтинг рейтингов», сводный рейтинг из 52 других.

    «Междусобойные» рейтинги коммерческих CMS в исследовании использовать не будем. Также не будем учитывать слишком специфичные рейтинги (например, для разработчиков flash-сайтов). Те, рейтинги, где около 20 участников — не репрезентативны, тоже не берем.

    Итак, поехали.

    Исследование


    Сузим круг до рейтингов веб-разработчиков. Финальный список:


    В основе любого рейтинга — его критерии. Ясно, что критерии для веб-студии должны отличаться от таковых для SEO-агентства. Это, к слову, первый камень в огород «сводных рейтингов», о чем позже.

    Гипотеза: Показатели успешности для компаний с одинаковой сферой деятельности должны быть очень близкими для разных рейтингов. Следовательно — разброс мест должен быть несущественным.

    Берем за основу верхнюю двадцатку «Рейтинга Рунета». Первая (и, в целом, ожидаемая новость) — только 15 компаний из 20 представлены более, чем в одном рейтинге. Это несколько искажает картину, но самое интересное впереди. Кликайте на графике.



    Эффект такой, как будто в рейтинговую систему Рунета вбросили гранату. Слишком уж большой разброс мнений. Как вести себя заказчику, который впервые встал перед выбором подрядчика — вообще не понятно.

    Давайте к причинам. То есть к критериям оценки.

    Во-первых, три рейтинга из пяти выше означенных имеют закрытую систему оценки. То есть подвергать их какой-либо критике — физически невозможно, разве что указывать на эту самую закрытость.

    Во-вторых, «прозрачная» система оценки Тэглайна и Рейтинга Рунета на деле не такая уж прозрачная. Подробная методология есть, например, на сайте первого.

    Анализ


    Но непрозрачность — это полбеды. Допустим, что можно довериться аналитическим отделам составителей рейтингов. И будем считать, что «выравнивающие» коэффициенты помогают создать нужную объективность.

    Причина несостоятельности рейтингов номер два: их много. Если некоторые громко объявляют о себе в СМИ и привлекают по своим каналам как можно больше участников, то вторые дремлют на дне морском, как Великий Ктулху, а потом внезапно публикуют результаты. Принцип «кто успел — того и тапочки» в действии. Студия-подрядчик физически не может (да и не хочет) успеть везде. А разброс тем временем увеличивается.


    Добровольность участия в рейтингах порождает неполноту информации. Неполнота порождает недостоверность общей картины. Недостоверность порождает заблуждение заказчика. Заблуждение ведет к Темной стороне.

    Еще причина: стремление все объять. Зачастую узконаправленные рейтинги публикуются «по-тихому», а больше всего внимания (и сил пиарщиков) уходит на проталкивание «общих сводных рейтингов». За места в которых потом и разгорается битва. А по факту — это винегрет из подрядчиков совершенно разной специализации. Клиент идет, естественно, в самый раскрученный рейтинг — и получает искаженную картину.

    Пожалуй, имеет место и такая причина, как фанатизм участников. Хотя, в то же время все понимают, что зная критерии можно «оптимизировать метрику». Да так, что вы проберетесь в топы. Только вот толку от этого будет — одно зашкаливающее ЧСВ и возросший поток потенциальных заказчиков. Которых может отрезвить уровень портфолио компании — он-то не вырос, пока вы занимались оптимизацией метрик.

    Простые выводы


    • Зависимость вероятности успешного завершения проекта от места в том или ином рейтинге — слабая.
    • Рационально пользоваться только «узконаправленными» рейтингами с целью составить список подрядчиков, которым вы можете доверить разработку. И выбирать затем среди них. Любые совокупные рейтинги (веб-студий, интернет-агентств и дизайн-студий в куче) — не имеют ценности.
    • Самые верные критерии выбора — это по-прежнему рекомендации коллег и уровень работ студии. О чем, кстати, как-то писал Рейтинг Рунета, подкрепляя своим же исследованием.
    • Чем больше рейтингов — тем менее ценным становится участие в них. Чем меньше желающих участвовать — тем менее достоверны сами рейтинги.

    Вот такие выводы. Предлагаю обсудить в комментариях.
    Share post

    Comments 6

      +1
      Это Адам из «Разрушители легенд»?
      +1
      Где то на adme.ru была статья с графиком распределения рекламы по эффективности. Так вот ТВ-10%, Интернет-5%, СМИ-5%. Сарафанное радио — 80%! :)
      • UFO just landed and posted this here
        • UFO just landed and posted this here
            0
            я думаю, что по мнению автора, так выглядит аналитик

          Only users with full accounts can post comments. Log in, please.