«Всезнайки» от бизнеса – как большие данные меняют облик компаний

Автор оригинала: Roman Stanek
  • Перевод
image

Помните, в школе всегда были этакие «всезнайки»? Каким-то образом, вне зависимости от предмета, им удавалось увязывать в голове разрозненные блоки информации и приходить к пониманию вопроса.

Я привел этот пример потому, что, по-моему, он хорошо отражает будущее компаний: им приходится становиться «всезнайками» от бизнеса. Сейчас, благодаря Hadoop и другим технологиям так называемых Больших данных, компании могут рассматривать до недавнего времени разрозненную информацию как единое целое. Вообразите, что это может означать. Авиалинии будут знать, когда ценный для них клиент сталкивался с неприятностями в момент вылета, и, благодаря этому, постараются улучшить обслуживание во время обратного полета. Медики смогут увязывать разрозненные виды информации, такие как результаты МРТ, показатели давления, данные о фибрилляции предсердий для предсказания возможности инфаркта или инсульта.

Речь идет не только об объемах данных – а именно это приходит в голову большинству при упоминании о Больших данных. Напротив, главное в том, что между этими данными – вне зависимости от их типа и источника – скрыты крайне важные взаимосвязи, как, например, между информацией из колл-центра, данными по пользованию веб-сайтом и показателями продаж. Для меня разница в этих подходах существенна. Проще говоря, размер тут не имеет значения.

И все же, после стольких лет восторженных разговоров о Больших данных, наш фокус сместился в сторону того, что основная их ценность состоит в возможности собирать гигантские объемы информации. Такое «промывание мозгов» напоминает мне мое детство в Чехословакии, где мы – как в «Скотном дворе» Оруэлла – привыкли думать, что «четыре ноги – хорошо, две – плохо». Я же хочу сказать вам, что две ноги – это просто отлично [учитывая сюжет «Скотного двора», переводчик не уверен в том, присутствует ли в этом пассаже скрытый сарказм – прим. перев.], а применительно к большим данным, что термин «большие» в данном случае не всегда уместен. Гораздо более значимой является возможность оценить данные – будь то поток информации напрямую из Интернета или его часть, просочившаяся через фаервол, данные сенсоров или информация из публичных источников – а затем связать их в единую цельную картину (как если бы в результате игры «нарисуй картинку по цифрам» получался шедевр живописи). Не менее важно и то, что затем компании могут встраивать эти полученные на основе данных знания в свои процессы, продукты и сервисы.

В своей книге «The Rise of Analytics 3.0: How to Compete in the Data Economy» Том Дэвенпорт (Tom Davenport) описывает, как компании начинают внедрять аналитику «в полностью автоматизированные системы, основанные на алгоритмах ранжирования или правилах, в основу которых положена аналитика. Другие встраивают аналитику в продукты и характеристики, ориентированные на нужды потребителя».

Вот, что значит быть тем, кого я называю «бизнес, во всем использующий данные» – предприятие, где знают все, что необходимо, и используют эти знания в работе.

У нас уже есть несколько примеров таких компаний:

  • LinkedIn. Используя публичную и частную информацию о том, кто кого знает, кто кому нравится и кто с кем работает, LinkedIn стал господствующим средством поиска информации о работе, клиентах и кандидатах для соискателей и работодателей.
  • AirBnB. Вебсайт компании расскажет вам, кто владеет жилплощадью, которую вы подумываете снять, является ли владелец другом кого-то из ваших знакомых на Facebook и кому из них также понравилось это жилье. В результате пользователи ощущают прозрачность схемы работы сервиса и доверие к компании.
  • Netflix. Используя данные о просмотрах пользователей, компания разработала алгоритм, который сделал рекомендации фильмов на 10% более точными. Позднее компания воспользовалась полученными данными для создания собственного контента, который сейчас соперничает по популярности с лучшими продуктами кабельного или сетевого ТВ.

В каждом из этих случаев компании использовали инсайты, которые появились в результате наблюдения за всеми доступными типами данных, и внедрили их в свой бизнес. В этом-то и состоит вся разница в работе с данными. Вместо того, чтобы передать лишь основную суть инсайтов нескольким аналитикам (в духе больших данных), эти компании постоянно анализируют весь объем существующей у них информации, чтобы продолжать в реальном времени принимать бизнес-решения.

Хотя большинство компаний не обладает подобными мощностями, я верю, что любой бизнес может стать «компанией, во всем использующей данные», коль скоро его руководство активно нацелено на применение информации и аналитики, как устойчивого конкурентного преимущества. Как пишет в своей книге Дэвенпорт: «Самая важная черта эры Аналитики 3.0 заключается в том, что не только онлайн-компании, но буквально любые фирмы в любой сфере деятельности могут быть вовлечены в экономику данных».

Компания UPS, например, использует данные цифровых карт и телематические системы, встроенные в грузовики, чтобы спланировать оптимальный маршрут для каждого из своих 55 000 водителей. Progressive Insurance сочетает информацию о кредитном рейтинге своих клиентов с внутренними данными для предсказания вероятности наступления страховых случаев. Известная мне компания, управляющая недвижимостью и оборудованием, сейчас анализирует соответствующие публичные и частные данные за последние 12 лет. Ее цель – предсказать длительность периодов сильной жары прежде, чем кондиционеры начнут выходить из строя.

Обратите внимание, что каждая компания соотносит данные ранее несвязанных типов. И все они включают инсайты, основанные на полученной информации, в свою деятельность, услуги или продукты, чтобы предсказать поведение или направление движения. Как пишет Дэвенпорт, у нас всегда было три типа аналитики: описательная, которая характеризует прошлое, нормативная, которая указывает нам, что делать, и предсказательная, которая использует данные о прошлом, чтобы предсказать будущее. «Аналитика 3.0 включает в себя все три типа, однако акцент делается в первую очередь на предсказательной аналитике», – пишет он.

Не могу с ним не согласиться. Я верю, что преимущества превращения в «бизнес, во всем использующий данные» одновременно и пугающие, и привлекательные. Я также верю, что компании, которые не анализируют всю имеющуюся у них информацию, прекратят свое существование.

С чего начать?

  • Примите решение использовать информацию и аналитику как конкурентное преимущество.
  • Используйте в работе всю имеющеюся информацию – данные внутренних систем, облачные приложения, социальное окружение, публичные источники и механически собираемые данные.
  • Внедряйте результаты аналитической работы, как нормативные, так и предсказательные, в свои продукты и процессы.
  • Используйте SaaS-приложения и PaaS-архитектуру как средства контроля за расходами и ростом сложности ИТ.

«Всезнайки» рулят.

P. S. Хотели бы поинтересоваться у хабрапользователей, приходилось ли вам использовать Hadoop или другие технологии, и если да, то в каких ситуациях, принесло ли реальную пользу? Будем рады рассказам в комментариях и в личных сообщениях.

P. P. S. Если вы заметили опечатку, ошибку или неточность перевода — напишите личным сообщением, и мы быстро все поправим.

Ссылки по теме:

1cloud.ru
IaaS, VPS, VDS, Частное и публичное облако, SSL

Комментарии 11

    –1
    Не таким уж и господствующим в поиске работы стал LinkedIn, скорее у него своя ниша, у классических сервисов поиска работы своя.
      0
      Автор оригинального материала, конечно, имел в виду ситуацию на Западе. Там LinkedIn стал очень серьезным инструментом, это факт
      +1
      Всё это романтизм, который разбивается о реальность — которая заключается в том что для анализа данных из разных источников нужна инфраструктура. Разработка этой инфраструктуры очень дорогая. Позволить её себе могут только очень богатые компании. Говорю, как человек, работающий в фирме которая решают эту задачу для одного клиента. Это очень дорого для рядового среднего бизнеса.
        0
        Не знаю кто заминусовал, я поддержу Вас. Разработка и поддержка Big Data решений действительно недешевая. С другой стороны, какие-то типовые алгоритмы уже есть, реализовать их толковый программист может за пару дней. Ну а дальше — Amazon EMR и что-нибудь типа MRJob, выходит не так уж дорого, если данных конечно сотня терабайт, а не петабайт.

        Самое главное — это экономический эффект, если потратить $2000 но сэкономить $4000, то решение оправданно.
        +1
        Позволю себе не согласиться. Насколько мне известно, со слов участника (Виктора Булгакова), в Билайне, обработка LBS для терминалов начиналось без финансирования. Чтобы собрать hadoop прошлись по офису и взяли старые компьютеры. Когда показали результаты, тогда и начались инвестиции.

        Современные технологии позволяют обрабатывать сотни миллионов записей в памяти без мучительного построения OLAP, количество и тип источников не ограничены. (При этом однопользовательская лицензия на сию технологию бесплатна:).
          0
          Речь не про мощности вычислений и не про обьёмы данных, а про количество кода который нужно написать и поддерживать.
          И речь не про гиганты типа Билайн с айти-бюджетами и штатом программистов.

          Поймите, что упомянутые в статье Авиакомпании — нищие, медецинские компании- маленькие и нищие.
          Банки, телеком, компании с большим айти бюджетом и персоналом — да, увеличат свои продажи. А революции которая изменит повседневную жизнь людей мелкий и средний бизнес — не произойдет.
            0
            За авиакомпании сказать не могу,
            но мелкие фармкомпании (Фармстандарт, российский Новартис, Кьези и т.п.) позволяют себе использовать системы анализа данных при минимальных (если не сказать нулевых) бюджетах. Аналоговые люди (люди с медицинским или гуманитарным образованием) получают результаты обрабатывая цифровые данные, практически не привлекая программистов. Да, с математической точки зрения, результаты могут быть не бесспорны, но это работает, и в конечном счете спасает чью-то жизнь.

            Желающий — ищет возможность, равнодушный — причины (С) С.П.Королев.
              0
              Анализировать действительно не так уж и дорого. Дорого интегрировать данные из разных источников.
          +1
          Хотели бы поинтересоваться у хабрапользователей, приходилось ли вам использовать Hadoop или другие технологии

          Помогаю Жене в автоматизации заказов товаров в Аптеке на основании статистики продаж и анализе объединенного прайс листа.
          Назвать данные в двести-триста МБайт – BigData, язык не поворачивается. Да и откуда могут появится кластерные решения, если в качестве единственного сервера используется desktop компьютер с 4Гб памяти? :)
          Используя технологии лингвистики, математической статистики, программа, анализируя внутренние (статистика продаж) и внешние (объединенный прайс лист от нескольких поставщиков) данные, успешно делает прогноз и заказ товаров.

          Для прогноза товаров, для которых статистика превышает больше года (аптеке только-только исполнился год) нужно учитывать сезонные компоненты. Для определения периода сезонного колебания начал изучение спектрального анализа. К сожалению, в этом направлении пока не достиг желаемого успеха (или данные слишком зашумлены, или не хватает данных – нужно минимум два года). Полученная коррелограмма с помощью БПФ содержит какие-то не корректные данные. Буду очень признателен, если поможете разобраться.
            0
            Спасибо за вопрос,
            к сожалению ответить на него у нас не получится. Т.к. мы скорее специализируемся на способе предоставления необходимой инфраструктуры, чем на анализе полученных данных. Мы задавали свой вопрос с целью узнать, какая инфраструктура (например, серверы с предустановленным hadoop) может быть востребована для решения подобных задач
              0
              Спасибо.

          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

          Самое читаемое