5 трендов в области анализа и обработки данных в 2015 году

    image

    Начало года самое время для прогнозов и предсказаний. В этом посте я собрал обзор трендов в области аналитики и систем обработки данных на 2015 год.

    С каждым годом все больше компаний приходят к выводу, что правильное использование аналитических систем и систем обработки больших массивов данных дает существенное конкурентное преимущество на рынке. Такая ситуация приводит к активному развитию аналитических отделов в компаниях и существенным инвестициям в инфраструктуру обработки данных.

    Согласно различным отчетам ежегодный прирост затрат на развитие систем аналитики и обработки данных составляет 20% — 30%. Прогнозируемый суммарный объем затрат на системы обработки данных и аналитические сервисы в 2015 году составит ~3B$.

    Большой спрос на аналитические системы и существенные инвестиции являются сильным драйвером для быстрого развития индустрии больших данных и появления огромного числа новых продуктов и решений.

    Согласно исследованиям крупных консалтинговых компаний, таких как Deloitte и Forrester, в 2015 году можно будет выделить следующие основные тренды в области анализа и обработки данных.

    • Автоматизация и коммодизация процессов обработки данных
    • Развитие аналитических систем реального времени
    • Появление новых инструментов для анализа данных датчиков и различных устройств
    • Развитие когнитивных систем и систем автоматического принятия решения
    • Изменения в законодательстве связанные с хранением и обработкой данных


    1. Автоматизация и коммодизация процессов обработки данных


    Большие затраты на техническое обслуживание систем хранения и обработки данных заставляют компании искать более дешевые решения. Одним из таких решений является отказ от собственных дата-центров и переход на облачные технологии хранения и анализа данных такие как Amazon WS, Microsoft Azure.

    Острая нехватка специалистов в области анализа данных служит хорошим стимулом для развития автоматизированных инструментов, не требующих глубоких знаний в области технологий и ориентированных на решение бизнес задач. В качестве примера таких инструментов можно привести Tableau, IBM Watson и Azure Machine Learning.

    Отдельно стоит отметить развитие систем автоматической предобработки сырых и неструктурированных данных подобных OpenRefine и DataWrangler.

    2. Развитие аналитических систем реального времени


    Традиционных аналитических решений на основе реляционных баз данных и OLAP технологий, требующих сравнительно большого количества времени для обработки запросов и формирования отчетов уже недостаточно для решения современных бизнес задач.

    Компаниям для принятия эффективных решений нужно анализировать данные в реальном времени. Это приведет к развитию технологий потоковой обработки данных и быстрого доступа к данным, хранящимся в оперативной памяти. Одними из первых продуктов предназначенных для решения этих задач являются Apache Storm и Cloudera Impala.

    3. Появление новых инструментов для анализа данных датчиков и различных устройств


    Носимая электроника и интернет вещей продолжат активно развиваться в 2015 году. Подобные гаджеты уже находят широкое применение в сфере развлечений и мониторинга здоровья. Анализируя информацию с этих устройств можно повысить эффективность их использования.

    Широкое распространение гаджетов приводит к появлению новых задач связанных с анализом сигналов различного рода датчиков и сенсоров. В отличие от транзакционных данных, данные сенсоров могут быть зашумлены и подвержены искажениям, что в свою очередь требует особого подхода к обработке подобных сигналов. Для задач связанных со сбором и анализом информации с датчков будут созданы специальные инструменты.

    Также будут активно развиваться стандарты по интеграции датчиков и аналитических систем, что позволит существенно ускорить развитие интернета вещей в целом.

    Отдельно стоит отметить, что данные носимой электроники позволят собирать больше информации о поведении и предпочтениях пользователей, что скорее всего приведет к появлению новых игроков на рынке данных.

    4. Развитие когнитивных систем и систем автоматического принятия решения


    Эксперты прогнозируют активное развитие технологий в области взаимодействия человека и искусственного интеллекта. В частности, развитие систем автоматического принятия решений в бизнес процессах, систем анализа текстовой информации, голоса, изображений и видео. Среди уже существующих продуктов можно отметить такие как Google Now и Word Lense.

    5. Изменения в законодательстве связанные с хранением и обработкой данных


    Уже сегодня мы ежедневно генерируем так много данных, что по ним можно достаточно точно составить портрет каждого человека, выявить его предпочтения и узнать личную информацию. С развитием интернета вещей и появлением новых гаджетов объем данных будет только увеличиваться, а вместе с этим будет увеличиваться доля личной информации хранимой в дата-центрах.

    Такое развитие ситуации приведет к повышению социального давления на сервисы и компании, имеющие непосредственное отношение к обработке подобного рода данных, что приведет к вмешательству регулятора и появлению новых законов ограничивающих использование личной информации и определяющих требования к безопасности хранения данных.

    Вероятно, новые требования заставят пересмотреть архитектурные решения компаний и приведут к появлению гибридных систем при которых часть данных вместо облака будет хранится в защищенных локальных дата-центрах.

    Заключение


    Несмотря на большие достижения за предыдущие периоды, 2015 год обещает быть очень интересным с точки зрения развития аналитических систем и появления новых возможностей для революционных решений в области обработки и анализа данных.

    А что вы думаете о трендах в аналитике и системах обработки данных на 2015 год? Какие из уже существующих технологий будут востребованы в этом году? Какие задачи еще только предстоит решить? Давайте обсудим в комментариях.

    Материалы


    www.lavastorm.com/assets/Forrester-Predictions-2015-Agile-Features-Keep-the-BI-Market-Moving.pdf
    public.deloitte.com/media/analytics/trends/pdf/us-da-analytics-analytics-trends-2015.pdf
    research.gigaom.com/report/outlook-big-data-and-analytics-in-2015
    channels.theinnovationenterprise.com/articles/big-data-top-trends-in-2015
    Share post

    Comments 10

      0
      Как и всегда, после/во время кризиса 90% рынка откатится от дорогих и «перспективных» решений на проверенные и дешевые.
        +3
        Насколько я понимаю вы про рынки в двух странах в которых есть кризис, мировой же рынок чувствует себя отлично.
          0
          Никто не чувствует себя хорошо, если 1 элемент, пусть и не самый крупный, болтается как «непойми_что» в проруби. Добро пожаловать в глобальную экономику.
            0
            Двух странах? — смешно. Последние 5 лет эти страны которые сейчас болтаются двигали инновационные решения за счет инвестирования — это Китай, Объединенные Арабские Эмираты, Россия (военные технологии). США конечно сейчас на коне, но через 2 года под таким давлением цены нефти их нефтедобывающие компании устанут, а они очень сильно толкают развитие в добычи ископаемых. Так, что Вы делаете поспешные выводы.
              0
              Хотелось бы так думать, но в реальности свет клином на них не сошелся. Мир живет не одной нефтедобычей.
                0
                Нууу… ээээ… (думаю как возразить)… как сказать думаю где то 30-50% мировых фин ресурсов как раз завязаны на нефтянки, а остальные 30-50% это военка.
                Попробуйте переубедить?
                  0
                  Забавно. Это петрократия так влияет на сознание? ))
                  Возьмите топ10 экономик и посмотрите из чего состоит их ВВП.
                  Вы сильно недооцениваете транспорт, торговлю, банки…
                    0
                    «транспорт, торговлю, банки…(услуги)» — самое важное, что нефтянка не влияет на данные сферы [сарказм]
                    ВВП топ10 экономик надо смотреть через год или два — а не сейчас тогда поймете.
                      0
                      Конечно влияет, все уже сейчас в экстазе — дешевая нефть повлияет на них весьма плодотворно.
            0
            Согласен, дешевые решения вполне подтвердили свою состоятельность. При правильном подходе на опенсорсном Hadoop можно собрать вполне бюджетный дата-центр.
            Кризис в данном случае только ускорит развитие аналитических систем, т.к. аналитика позволит оптимизировать затраты и выявить скрытый потенциал для роста компаний.

          Only users with full accounts can post comments. Log in, please.