Блог компании SAP

SAP HANA: где и как эффективно использовать big data и машинное обучение

Аэропорты, стадионы, промышленные предприятия, ритейлеры — что их связывает? Очевидно, что работа с большими данными, которая может быть эффективной и простой, если в арсенале присутствуют современные инструменты. Одним из таких инструментов может стать платформа SAP HANA.

Мы взяли несколько интересных кейсов, решения которых были предложены на профессиональных конференциях разработчиков SAP HANA Digital Fest и SAP Data Halloween. В основном это задачи для среднего и крупного бизнеса, но есть и потребительские сценарии, которые могут быть интересны всем (как за нами следит ритейл и старается ненавязчиво делать свои предложения, например).
История первая: SAP HANA в местах массового скопления людей
Аэропорт. У нас: мысли об отпуске, новых городах и странах. У сотрудников аэропорта: огромное количество служб, систем и сервисов, интегрированных между собой. Каждая ошибка, допущенная при ведении аэропортовой деятельности, может стоить больших денег и привести к потери лояльности пассажиров. Долгожданное путешествие могут омрачить пробки на подъезде к аэропорту, огромные очереди на регистрацию и паспортный контроль, а также задержка рейса и вынужденное пребывание в душном зале ожидания с толпой товарищей по несчастью. Всех этих ситуаций службам аэропорта можно постараться избежать, а если избежать не удалось — то оперативно и адекватно на них отреагировать.
Конечно, SAP HANA не сможет изменить направление ветра и остановить снегопад, чтобы рейс вылетел вовремя. Но платформа SAP HANA способна стать отличным помощником при разруливании проблем воздушной гавани благодаря:
  • поддержке транзакционных и аналитических (OLTP и OLAP) приложений без дублирования данных;
  • возможности для работы с разными данными от хорошо структурированных реляционных данных до данных абстрактной структуры в виде графов и неструктурированных текстовых данных;
  • инструментам для разработки и запуска приложений на разных языках.
Итак, какие проблемы могут возникнуть в аэропорту? Самая неприятная для всех, включая авиакомпании, пассажиров и внутренние аэропортовые службы, — это нештатная работа систем, не готовых к нагрузке:
  • сбои на информационных табло, которые доводят до паники всех встречающих и опаздывающих на рейс;
  • неготовность систем регистрации, приводящая к массовым скоплениям людей на стойках. Агенты регистрации крутятся, как белки в колесе, и ничего не могут поделать, а тем временем лояльность пассажира к авиакомпании падает;
  • пробки при подъезде к аэропорту (если бы, например, время, проведенное в пробке, потратить на покупки в Duty Free, это было бы выгоднее для бизнеса и гораздо приятнее для пассажира);
  • очереди на досмотр и паспортный контроль, которые возникают из-за некорректных расчетов смен сотрудников, а также из-за поломки автоматизированного оборудования (турникетов, интроскопов, рамок досмотра).
Чем может помочь SAP HANA в этих случаях? Приложения внутри SAP HANA наделены магической способностью видеть будущее возможностями прогнозировать пиковую нагрузку, быстро принимать и обрабатывать большие потоки данных, в режиме реального времени пересчитывать необходимое количество оборудования и сотрудников. Стоит также отметить, что данное программное решение хорошо адаптировано к реальным ситуациям.
Рассмотрим конкретный кейс. На парковке аэропорта установлены 20 шлагбаумов для въезда. Чтобы отслеживать нарушителей, камера распознавания номерных знаков строго фиксирует номер автомобиля, и только после этого открывается шлагбаум. Зима. Ухудшение погодных условий. Все номера автомобилей в снегу. Кроме того, по «счастливой» случайности, 10 шлагбаумов вышли из строя. Как итог — огромная пробка на въезде, водители путаются и встают в очередь к неработающим шлагбаумам, проезд буксует даже под работающие шлагбаумы, так как занесенные снегом номера не читаются, и каждый водитель вынужден выходить и протирать их. Но наши приложения по прогнозу погоды, по камерам на подъезде к аэропорту и датчикам со сломанных шлагбаумов уже спрогнозировали пробку и подсказали ответственным лицам, что необходимо заранее отправить смену инженеров чинить оборудование, оперативную группу сотрудников поставить на работающие въезды — для помощи водителям и регулирования движения. Приложения, написанные на SAP HANA, также «рекомендовали» снизить порог распознавания номерных знаков, чтобы камера, считывая хотя бы 3 знака госномера авто, пропускала его на парковку.
Это всего лишь одна простая и очень часто встречающаяся в московском узле история, которую можно предотвратить при помощи data science. Кроме аэропорта, такого же рода проблемы могут возникать на стадионах, вокзалах, в больших торговых центрах, и SAP HANA способна эффективно действовать и там.
Для решения была использована технология SAP HANA Smart Data Streaming(SDS) для передачи и обработки в режиме реального времени. SDS получает информацию о событиях из различных источников, может их комбинировать, анализировать, обрабатывать и передавать дальше другим приложениям для дальнейшей обработки или хранения.
Немедленная обработка только что поступившего сигнала позволяет послать предупреждение, среагировать на изменение условий, дополнить поступившие данные, и даже сделать выводы, сохранять данные или нет. Решение подходит для работы с потоками сигналов от устройств, с трафиком в результате кликанья по web-страницам, с событиями из социальных сетей и бизнес-систем и других задач.
История вторая: самый лояльный ритейл
В связи с ростом конкуренции ритейлерам сложно удивить покупателей обычным снижением цен и распродажами. Потребитель тратит много времени на поиск нужного продукта и «вроде бы» делает свой выбор, ориентируясь на цену, удобство доставки и сервис. Но не факт, что этот выбор падет именно на ваш магазин. Поэтому перед ритейлерами стоит задача мониторить поведение клиентов, делать им персональные предложения, тем самым стимулируя покупку прямо здесь и сейчас, повышая их лояльность компании. Кроме того, у ритейлера могут быть другие цели, кроме продаж: нагнать трафик, поднять маржу, избавиться от неликвида. И все это требует персонального подхода.
Пять лет назад персонализация работала примерно так: тому, кто покупает яйца, надо предложить в следующий поход в магазин купить муку и молоко. Но сегодня персонализация вышла на новый уровень и решает вопросы кому, какое, а главное, в какой момент, по какому каналу связи и как сделать предложение. Также становится все актуальнее вопрос, а где та грань между навязыванием и реальной помощью покупателю?
Для реализации подобных кейсов приложения внутри SAP HANA собирают статистику о клиентах, прогнозируют покупки на тестовых компаниях, предугадывают реакцию покупателей.
Когда клиент приходит в магазин, система распознавания лиц передает сигнал в приложения на SAP HANA, а они вычисляют, как и что нужно предложить клиенту, и выдают менеджменту и маркетингу эту информацию.
Для решения задач прогнозирования и машинного обучения в SAP HANA предусмотрена библиотека Predictive Analysis Library (около 80 моделей), а также компонент Automated Predictive Library (APL), предназначенный для автоматического подбора модели прогнозирования.
Если этих возможностей не хватает, то HANA легко интегрируется с R. Для этого в HANA создается хранимая процедура со скриптом R, который вместе с данными и параметрами передается на сервер R для исполнения. Результаты возвращаются в HANA.
Кроме этого, в HANA есть возможность интегрироваться с библиотекой машинного обучения TensorFlow с помощью External Machine Learning library (EML). На канале SAP HANA Academy есть видео-уроки, обучающие использованию этого инструмента SAP HANA Academy – EML Playlist.
Все мы разные, но желание клиента — всегда закон. Кто-то любит навязчивый сервис (да, есть и такие). Кто-то предпочитает спокойный шопинг и уворачивается от гиперкоммуникабельных продавцов-консультантов. Все эти моменты необходимо учитывать, выстраивая политику персонализации.
История третья: предупрежден – значит вооружен
Иногда ошибка одного сотрудника может очень дорого стоить большому промышленному предприятию. На крупных производствах не так страшны потеря денег или утрата уникального оборудования, как ущерб здоровью человека. Поэтому с каждым годом набирают обороты различные системы и схемы предупреждения опасных инцидентов. Где-то все еще действуют старым дедовским методом: за формой сотрудника (каска, перчатки, спецодежда) следят вредный инженер по технике безопасности или злой охранник при входе на опасный объект. И стоит отметить, что такая схема до сих пор работает. Частично работает. Потому что сотрудник может быть одет должным образом, но к каждому не приставишь надзирателя, а пройдя грозного цербера на входе, далее он чувствует себя полностью свободным и может вести себя как угодно.
На смену специалистам по безопасности пришли современные технологии: датчики, камеры, интернет вещей, системы предупреждения. Специальные приложения в SAP HANA, подобно виртуальному охраннику, умеют контролировать с помощью камер, как одет сотрудник при входе на объект, и открывать турникеты только в случае присутствия у работника необходимой экипировки. Но решение способно «пойти дальше» на опасное производство: следить за движениями сотрудника на объектах, сигнализировать о падении, проверять профдопуски к секретным или высокоопасным установкам.
История четвертая: цифровой двойник
Сложная техническая установка часто вызывает вопросы даже у компетентных специалистов. Такие установки могут встречаться как на производстве, так и в жизни (для многих людей работа обычного автомобиля — это «темный лес»). Непонимание, что в данный момент происходит с оборудованием, на котором ты работаешь, — проблема.
Вспомним детство, многие из нас любили создавать модели самолетов, танков, кораблей. Вырезать, собирать и клеить конструкции. И все эти поделки получались совсем как настоящие: корабли плавали, самолеты летали. А теперь представим работу большого завода по производству химических реактивов. Сложное и дорогостоящее оборудование, опасные химические реакции. Хорошо бы иметь возможность создать аналог производственной линии на таком заводе, чтобы поэкспериментировать, посмотреть на реакцию техники на те или иные условия. Вот для этого и нужен цифровой двойник.
На данный момент создание цифровых двойников имеет смысл для действительно дорогих и сложных технических установок, которые в случае повреждения или некорректной работы либо разрушат все вокруг, либо развалятся сами. Также цифровые двойники внедряются на масштабных производствах, например, автомобильных.
Как создаются цифровые двойники? Первая стадия — создание отображения, когда в базе данных платформы SAP HANA организуется хранение информации с датчиков, которая в режиме реального времени передается в систему обработки и анализа. Конечно, если взять обычный автомобиль, его владельцу не стоит заводить цифрового двойника, чтобы понять, что пора менять масло. Но если у нас в БД есть данные об автопарке на сотни машин, имеет смысл удаленно отслеживать их состояние и вовремя понимать, какому автомобилю и когда пора заменить масло. Полезный кейс.
Но не менее важна возможность использовать информацию о той или иной машине из нашего воображаемого автопарка, чтобы понимать, как она поведет себя в конкретном «живом» сценарии. Еще лучше, если информация приходит к нам с сотни одинаковых машин, и мы, имея богатую статистику и экспериментируя с цифровыми двойниками, понимаем, что при 130 км/ч у одной из них могут отказать тормоза. Таким образом, мы уже имеем возможность построить автоматическую модель. И такой сценарий помогает не только развивать производство, предупреждать о возможных инцидентах, но и экономить деньги компании.
История пятая: прозрачная благотворительность
Благотворительность и всевозможные социальные программы, с одной стороны, захватывают все больше и больше граждан. С другой стороны, вызывают у потенциальных инвесторов сомнения и вопросы: «Куда и на что пошли мои деньги?».
SAP HANA, если рассматривать ее как платформу для разработки, способна работать с системой блокчейн. Она позволяет подключаться к системе как к внешней БД, и программист может обращаться к блокчейну с помощью обычных SQL-запросов. Именно использование технологии блокчейн гарантирует надежность транзакции и помогает реализовать социально значимый сценарий, когда человек знает, на что идут деньги и за что он платит.
Реализация такого проекта, с защитой транзакций и возможностью проверки, куда уходят деньги от юридических или физических лиц — это реальный шанс для всех тех, кому по-настоящему нужна помощь. Если большие компании могут себе позволить держать в штате сотрудников, которые распоряжаются деньгами и адресно контролируют направленные на благотворительность средства, то для малого бизнеса и частных пожертвователей это обычно недоступная роскошь. И здесь может эффективно подключиться блокчейн.
Вот реальный кейс: частное лицо жертвует деньги благотворительному фонду / группе волонтеров / другому частному лицу. Каждый из этой цепочки может быть участником блокчейн-сообщества и отмечать факт прихода или расхода средств, закупки каких-то конкретных товаров у конкретного поставщика. В блокчейн также можно загружать сканы чеков, договоры, благодарности получателей пожертвований и любую информацию, которая подтверждает, что деньги достигли адресата. Приложение, разработанное на SAP HANA, может выдавать эту информацию всем участникам цепочки в реальном времени, тем самым помогая людям обрести уверенность в том, что их пожертвования не напрасны.
Платформа SAP HANA уже сейчас достаточно эффективно работает с big data и машинным обучением, решая реальные проблемы обычных людей — от простых потребительских до социально значимых. Если вы уже работаете с SAP HANA или только «прицеливаетесь», в рабочих материалах с наших конференций есть и подробные кейсы, и комментарии специалистов.

Комментарии 10

    +1
    История первая:
    «Ухудшение погодных условий. Все номера автомобилей в снегу.… Но наши приложения по прогнозу погоды...»
    Это неправда, что можно предсказать, снег в России по определению всегда выпадает внезапно, даже зимой.

    История вторая:
    «Но сегодня персонализация вышла на новый уровень и решает вопросы кому, какое, а главное, в
    какой момент, по какому каналу связи и как сделать предложение.»
    На сегодня уже главное кто даст рекомендацию вашему каналу и вашей информации в нужное время и в нужном месте

    Исторя третья:
    «как одет сотрудник при входе на объект, и открывать турникеты только в случае присутствия у
    работника необходимой экипировки»
    Тоже не самое ценное — контроль касок и униформы. Самый эффективный способ — профилактика. Особенно здоровья.
    Если каску не надел неумный сотрудник, он и пострадает, а если внезапный инфаркт у машиниста поезда, то могут погибнуть многие невинные и непричастные. Но машинист будет в каске!

    История четвертая
    Есть еще одно прекрасное и перспективное место применения цифрового двойника — служба поддержки. Например у сотового оператора. И не нужно много денег на создание цифрового двойника телефона, но обслуживание будет на порядок качественнее и продуктивнее, по части информации от обратившегося можно точно определить его проблему и выдать нужное и полезное решение.

    Исторя пятая
    никакой блокчейн не защитит от воровста

      0
      Исторя пятая
      никакой блокчейн не защитит от воровста

      Блокчейн — это вам не охрана и не детектив, его цель только в том, чтобы у разных участников процесса была одна и та же информация о свершившихся действиях и никто, даже самый важный участник не мог в одиночку поменять информацию в блокчейне. Если кто-то не внес данные о расходах в блокчейн, то они там и не появятся, если кто-то внес, то потом он не сможет единолично поменять сумму или другие атрибуты. Блокчейн выполняет функцию независимого и неподкупного участника, являясь при этом распределенной штукой.
      И боюсь, SAP HANA абсолютно не причем и мало чем поможет. Поэтому приведение этого примера, скорее показывает некомпетентность автора в вопросе SAP HANA и блокчейна, нежели приносит какую-то пользу.

      +1
      По поводу аэропортов… Когда научатся не ломать и разбивать чемоданы при выгрузке и погрузке, тогда вообще наступит почти что рай! Сомневаюсь, правда, что бигдата сильно поможет с багажом, особенно, если в наших аэропортах у людей не хватает соображения поставить на выгрузку/погрузку достаточно грузчиков или автоматизировать этот процесс.
        +2

        Никакая это не биг дата. Так, жалкие попытки сложить 1+1.

          +3
          Картинки забавные. Кто автор?
            +1
            В аэропортах бигдаты нет. Не генерируется, увы…
            Может быть в МАУ что-то можно придумать, но именно придумать, а остальные аэропорты точно обойдутся…
              +3
              Не техническая статья с расчетом на индексацию поисковиками и чтения теми кто управляет «распилом». Нет сравнений с конкурентами, нет самого важного — сравнение цен и эффективности, насколько удобно разрабатывать под эту платформу, инструментарий и т.п.
              И не одного комментария от разработчиков под SAP HANA.
                +1
                Вот ссылка на функциональный объем: help.sap.com/doc/6a2cd93857fd4973baa558931701afcd/1.0.3/en-US/index.html
                Стоимость лицензии (одной) ~ $20'000. Минимальный пакет лицензий ~ 5 штук. Это в год, если что. Сравнение проводили ASUG (Americas' SAP Users' Group) год назад, но никаких преимуществ они не обнаружили. Увы.

                Вообще SAP HANA на практике ухудшает производительность SAP, в сравнении с Oracle/DB2, а не улучшает ее. Но это уже другая история. ;))
                  0
                  Спасибо за данные! Слышал что ещё невозможно отлаживать хранимки в SAP HANA, есть проблемы с отказоустойчивостью решения и потерей данных при эксплуатации из-за особенностей дизайна.
                +1
                Зашла почитать другие статьи SAP, а написано, что SAP прекратила активность на Хабре. Странно, зачем тогда этот пост висит в рубрике «Хабр рекомендует»?

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.