Big data – это большой потенциал для бизнеса.
Их сбор, хранение, обработка, аналитика требуют внушительных усилий и расхода ресурсов. И это нужно для того, чтобы делать меньше ошибок, и чтобы минимизировать последствия сделанных ошибок.
Иными словами, управление большими данными имеет главной целью принятие качественных решений.

_{Кадр из к/ф «Особое мнение» (Minority Report) Стивена Спилберга по повести Филипа Дика (2002 — 20th Century Fox, DreamWorks SKG).}

… явление

Большие данные обязаны своим появлением и укреплением позиций в мире бизнеса возросшему потоку цифровой информации. В значительной мере её избыток и неизбежность управлять таким потоком заставили задуматься о том, как это сделать наиболее рационально. С другой стороны, очевидные потребности компаний в получении дополнительной информации о рынках, потребителях, конкурентах, работниках, конъюнктуре приводят к поиску новых источников информации.

Не стоит забывать, что появилось множество вариантов прямого сбора, в том числе регистрации широко спектра параметров и сведений, которые раньше отсутствовали. Взять хотя бы регистрирующие датчики в мобильных устройствах.

Расширяющиеся инструменты фиксации в различной цифровой и аналоговой форме – это тоже регистрация состояния, которое считывается, сохраняется и обрабатывается. Возросшее количество устройств сформировало сеть цифровых регистраторов, генерирующих гигантские объемы данных. Интенсивно развивающийся «интернет вещей» увеличит массивы обрабатываемых и хранимых данных. Не забудем и о том, что создают большие данные как непосредственно пользователи, так и цифровые устройства самостоятельно по заложенным алгоритмам.
Наблюдая плотные потоки информации бизнес видит в них определённые преимущества и хочет ими воспользоваться на законных основаниях.

Феномен больших данных – это не столько результат увеличения некоторой информации в окружающем мире, сколько умение и способность собирать всё больше и больше информации из окружающего мира. Ещё «вчера» управляющий супермаркета вынужден был поставить работника на входе, чтобы считать посетителей для оценки популярности его заведения. А уже «сегодня» он снимает данные о движении посетителя по торговому залу и формирует оптимальный поток покупателей. Возможно ли будет «завтра» прогнозировать время визита конкретного потребителя и его покупки в «умном» торговом пространстве с индивидуальными предложениями и сервисом? Но это не результат какого-то революционного изменения объемов информационного пространства – это результат повышения «плотности» собираемых данных.

… плотность

Плотность регистрируемых данных – объем данных собираемых об одном объекте (событии, процессе, явлении).

Повышение плотности данных – это увеличение объема данных собираемых об одном объекте (событии, процессе, явлении).

Особенность фиксации и регистрации цифровых данных – это дискретность. Каждый конкретный сбор данных – это отдельное событие, в определенной степени независимое от других подобных. Из-за этого набор собираемых данных в каждом событии сбора конечен. Как правило такой набор данных существует в рамках поставленной задачи и зависит от инструментов и методов регистрации. Допустимо говорить о регистрации состояния объекта (события, процесса, явления), как о формировании некоторого набора данных на заданный момент времени. Временные факторы сбора данных о состоянии имеют особое влияние, и они учитываются наравне со множеством других.
Нарастающий объем фиксируемых, собираемых, хранимых, обрабатываемых данных формирует их потоки. Производительность некоторых видов устройств, обильно генерирующих данные, создает проблемы массового обмена данными и их «упаковывания» в некие общие информационно-транспортные каналы или в производительные контейнеры хранения.

… доступность

Большие данные дают большое конкурентное преимущество. И это утверждение верно, если их сбор, обработка и анализ сопровождаются соответствующей грамотной стратегией и готовностью бизнеса к переменам.

Сегодня большие данные доступны крупным и информационно-обеспеченным компаниям. Но завтра доступ к ним, с помощью тех или иных инструментов, получит средний и малый бизнес. Информационное развитие инфраструктуры бизнеса идёт впечатляющими темпами. И не корректно утверждать, что большие данные пригодны для массовых рынков сбыта и масштабных производств. Даже узкоспециализированные предприятия и сервисные компании способны получить от больших данных серьезный потенциал для развития.

Учитывая усиление специализации по отдельным компетенциям, связанным с большими данными, уместно говорить, что их будущее – это сервисный разделяемый функционал сторонних консультантов, а не тотальные процессы внутри одной компании. Оптимальной является модель, когда при общей внутренней стратегии управления большими данными, бизнес поручает внешним профессионалам узкие направления работ. Например, сбор конкретных данных и представление их заказчику в установленном виде. Вот примерно также как сейчас средства веб-аналитики, слабо понимая миссию и стратегию сайта, не интересуясь досконально его владельцами, авторами и выгодоприобретателями, собирают и предоставляют данные о количестве и качестве посетителей.

… аналитика

У больших данных есть все шансы со временем превратиться в индустрию большой аналитики. Сегодня в приоритете ИТ-инфраструктура сбора и обработки громадных массивов информации. Но по мере дальнейшего их совершенствования, всё очевидней и острее встают вопросы грамотной обработки данных и генерирования на их основе объективных и релевантных решений. Большая аналитика много сложней, чем просто большие данные. Но только при достаточном уровне проникновения последних в бизнес-среду и в профессиональные компетенции менеджмента, сформируется четкая потребность в анализе высокого уровня.

Большая аналитика должна быть обеспечена серьезными и удобными инструментами, как программными, так и непосредственно аналитическими. Очевидно, что увеличится потребность в квалифицированных кадрах. Но если для информационно-технологического развития сервисов больших данных можно привлекать подготовленных специалистов ИТ-сферы, то для большой аналитики потребуются специально подготовленные профессионалы. Они совмещают, в определенном ключе, знания и опыт информационных технологий со знаниями и опытом предметных областей.

Не смотря на серьезные подвижки в области машинной обработки информации, до настоящего времени и в перспективе, обойтись без человека не получиться. Крайне необходимы специалисты, которые будут интенсивно исследовать данные и которые смогут формулировать задачи понятные с точки зрения алгоритма анализа. Поиск и устранение ошибок в данных – очевидная и насущная проблема, которую решают такие профессионалы. А вот что им предложит ИТ-рынок в качестве инструментария – посмотрим.

Несомненно, большие данные сформируют различные рынки: от тех на которых продают данные лотами разного объёма и качества, до тех на которых предоставляются высокотехнологичные сервисы с машинным временем суперкомпьютеров.
Переход к сбору и обработке информации в объемах, превышающих традиционные, может стать хорошим поводом для специализированного или широкого реинжиниринга бизнес-процессов (и вовлеченных в них бизнес-объектов). При этом придётся признать приоритет за моделью интегрирования больших данных в бизнес-модель по всей структуре и всем направлениям.

… большая мораль для больших данных

Не стоит забывать об этической стороне вопроса больших данных. Обезличить данные о клиентах, потребителях и других субъектах рынка нереально – это лишит их ценности. Но большие данные в том или ином виде, а особенно поступившие от внутренних источников, содержат персональные или атрибутивные личностные данные.

Требуется серьезная защита от несанкционированного распространения больших данных. Да и клиенты не довольны, когда ведется тотальный сбор информации о них. Увещевания, что делается это для их же пользы — не помогает. Никто не хочет, чтобы за ним следили. И если он не найдет в себе достаточной мотивации передавать кому-то данные о себе, то и не станет этого делать. Нормальное и разумное поведение, которое приходится учитывать.

На законодательном уровне будут вводится всё более жесткие ограничения. И совершенно понятно, что эти ограничения будут вступать в конфликт с информационными потребностями бизнеса.

Во что превратятся big data – в эффективный инструмент повышения комфорта жизни или в наводящую ужас слежку за всем и вся, удастся ли сформировать «вселенную полезной информации» или будет выстроена «бездна темных материалов».

Заглянуть в будущее...

Получить ответы на разные вопросы касающиеся развития бизнеса, рынков, предпочтений клиентов, конъюнктурных факторов — так или иначе профессионалы пытаются смоделировать ситуацию в будущем и извлечь адекватную информацию о возможностях и угрозах.

Большие данные – один из инструментов для этого, весьма удобный, статистически достоверный и результативный. Но всё слишком непросто с предсказаниями и предсказателями, как в плане реализуемости прогнозов, так и в социально-этическом аспекте.

Не случайно проблемами предвидения задаются не только экономисты, математики, физики, но и философы, писатели, для которых будущее – это не практическая выгода, а сложная и хрупкая сеть человеческих достоинств и пороков полная разумных сомнений и моральных противоречий.

Повесть «Minority Report» («Особое мнение») известного писателя-фантаста Филипа Дика предлагает нам подумать на эту тему и решить в какой мере можно доверять и слепо следовать убедительным аналитическим прогнозам.
Есть ли в таких ситуациях место для личного мнения и решения.
И принимать ли во внимание особое мнение одного профессионала, пусть и сильно отличающееся от мнений большинства других уважаемых экспертов.

Во что превратятся большие данные