Хабр, привет. Сегодня мы подготовили еще 12 примеров того, как технологии больших данных приносят компаниям деньги.
Отрасль: телеком.
Билайн обладает огромным набором данных о своих абонентах, которые компания планирует использовать не только для внутренней оптимизации и работы с клиентами (повышение продаж, удержание клиентов, противодействие мошенничеству), но и для вывода новых аналитических продуктов на рынок (предоставление данных для кредитного скоринга, таргетированной цифровой рекламы, создание геоаналитических отчетов, IPTV аналитика, внешний консалтинг). Компания реализовала множество big data проектов. Например, было произведено сегментирование базы абонентов на основе расширенного клиентского профиля, в том числе с предсказанием пола и возрастной категории, построением социальных графов; реализован проект по распознаванию и защите абонентов от денежных махинаций и вирусных активностей; были выделены абоненты, пользующиеся услугами связи на нескольких типах устройств, а также абоненты, находящиеся в аэропорту и улетающие за границу, для предложения им подходящих услуг и тарифных планов. И это далеко не полный перечень. Для хранения и обработки данных компания использует HDFS и Apache Spark, для анализа данных – rapidminer и python, в том числе библиотеку scikit-learn.
Результат: к 2018 г. прогнозируемые доходы от big data составят более 20% выручки компании.
Отрасль: развлечения, игорный бизнес.
Caesars Entertainment – один из лидеров игорного бизнеса США, управляет известным казино Caesar’s Palace в Лас Вегасе и еще более 50 игорными заведениями по всему миру. Сама компания недавно была оштрафована более чем на 20 млн. $ за отмывание денег, и ее подразделение, управляющее казино, было подвергнуто процедуре банкротства. Однако за 17 лет компания накопила впечатляющий объем данных и аналитики по своей программе лояльности Total Rewards, который теперь является одним из самых ценных ее активов и был оценен в 1 млрд. $. В игровой индустрии важны данные о каждом клиенте: некоторые игроки высшей, седьмой категории по классификации компании, ежегодно тратили в казино порядка 500 тыс. $, а один бизнесмен в базе и вовсе оставил в Лас Вегасе за год 200 млн. $. Очень важно иметь возможность встретить такого клиента по имени, проводить на любимую игру и предложить бесплатные дополнительные опции по его вкусу: развлечения, авиабилеты, поездки на лимузине, проживание в отеле и т.д. С помощью накопленных данных о вкусах и поведении клиентов и продвинутых методов анализа данных компания могла находить к клиентам такой подход, чтобы они оставили как можно больше денег и обязательно возвращались снова. Компания использует Hadoop и облачные решения, обрабатывая более 3 млн. записей в час. Анализ данных также используется для сегментации клиентов и повышения стандартов безопасности.
Результат: создан наиболее ценный индивидуальный актив компании стоимостью более 1 млрд. $, достигнут рост прибыльности и стандартов безопасности.
Отрасль: сайты знакомств.
eHarmony – сайт знакомств, ориентированный на построение долгосрочных отношений. В анкете на сайте пользователь может оставить очень подробную информацию о себе, указать более 1000 параметров. Далее, используя эти данные, а также историю симпатий и развития отношений пользователей сайта, система рекомендует наиболее подходящие варианты знакомств, причем не просто на основе схожести интересов и убеждений. Анализируются фотографии пользователей, дополняющие друг друга и совпадающие, но при этом вызывающее особое притяжение между людьми характеристики. Например, удалось выяснить, что вегетарианцы скорее образуют устойчивую пару, чем любители гамбургеров, и площадь лица на фотографии определенным образом влияет на взаимную привлекательность.
Также компания анализирует эффективность каналов маркетинговых компаний, использует персонализированную рекламу, управляет лояльностью пользователей, противодействует оттоку клиентов.
В анализе данных компания использует решения SPSS, рекомендательные системы, Hadoop, Hive и облачные технологии.
Результат: Ежедневно система делает около 100 миллионов предположений о том, что два человека могут подходить друг другу, 10 млн. $ ежегодно сберегается за счет противодействия оттоку клиентов и за счет сокращения неэффективных маркетинговых затрат.
Отрасль: химическая промышленность, производство лакокрасочных материалов.
Nippon Paint – японская компания, занимает 7 место по обороту в мире среди компаний по производству красок, лидирующая компания отрасли на рынке Китая. С помощью запущенного компанией сайта iColor, который позволяет опробовать разные цвета краски на реальных интерьерах, получил широкую популярность среди как среди частных клиентов, так и среди дизайнеров и оформительских компаний. Анализ полученных с помощью этого сайта данных позволяет компании отслеживать новые тренды в цветах и дизайне, чтобы разрабатывать новые продукты и планировать производство. Также, с помощью данной платформы компания взаимодействует с дизайнерами и оформительскими компаниями, чтобы через них продвигать продукцию компании, сегментирует потребителей и создает для них персонализированные предложения. Для обработки и анализа данных компания использует решения на базе SAP HANA и Hadoop.
Результат: компания получила мощный инструмент для выявления и отслеживания рыночных трендов, позволяющий планировать спрос и разрабатывать новые продукты, а также платформу для решения ряда других задач целевого взаимодействия с клиентами.
Отрасль: здравоохранение.
В США сепсис занимает 10 место в рейтинге причин смерти среди болезней. Ежегодно сепсис возникает примерно у 1 млн. американцев, от 28% до 50% из них умирает. На лечение сепсиса ежегодно тратится порядка 20 млрд. $.
При этом основная причина смертельных случаев – недостаточный врачебный контроль. Пациенты выписываются из госпиталя или получают первую помощь, и после этого за ними не наблюдают. Однако после этого велик риск развития сепсиса, симптомы которого – жар, озноб, учащенные дыхание и пульс, сыпь, растерянность и дезориентация – похожи на симптомы других распространенных заболеваний. Часто пациенты слишком поздно обращаются к врачу или заболевание не удается правильно диагностировать на ранних стадиях. В результате быстро развивается септический шок и происходит часто необратимое поражение множества органов.
Для контроля состояния пациентов предлагается использовать сертифицированное устройство HealthPatch от компании Vital Connect, которое будет собирать основные показатели состояния пациентов, включая даже позы и движения (при сепсисе они меняются). Далее информация поступает на серверы ClearStory Data, где объединяется с другими медицинскими данными о пациентах и анализируется в реальном времени с помощью решения на базе Apache Spark. В перспективе такие устройства будут получать все пациенты, покидающие госпитали и получившие первую помощь по состояниям, за которыми может следовать сепсис. Подобная система, но с меньшим уровнем анализа данных, уже успешно реализована в Сингапуре.
Результат: создано решение, которое позволит системе здравоохранения США значительно снизить смертность от сепсиса (общего заражение крови).
Отрасль: доставка продуктов питания b2b.
JJ Food Service – одна из крупнейших британских b2b компаний по доставке продуктов питания, имеющая более 60 тыс. клиентов в форме кафе, ресторанов, школьных и офисных столовых и т.п. В 2010 г. почти все заказы компания принимала через call-центры, сегодня 60% заказов принимается через Интернет-портал. Это повысило эффективность работы, однако привело к потере персонального контакта с клиентом. По телефону клиенту предлагали приобрести более дорогие или дополняющие товары и услуги, сообщали ему о тенденциях в его сегменте рынка. Эти возможности нужно было реализовать на новом уровне с помощью технологий больших данных. Для решения этих задач компания обратилась к специалистам Microsoft, чтобы построить решение на базе облачных сервисов Azure Machine Learning. Рекомендации, формируемые построенными на этой платформе предиктивными моделями, теперь используются не только на Интернет-портале, но и сотрудниками колл-центра. Когда клиент звонит в колл-центр или входит на сайт, его корзина уже заполнена на основании истории покупок и рекомендаций (учитываются рецепты, сходные заказы других пользователей, добавляются новинки, о которых клиенты еще не знают). Около 80% этих товаров покупатели действительно оставляют в корзине и приобретают. Такое решение возможно в b2b индустрии, т.к. часто нужны достаточно регулярные поставки определенного набора продуктов. Непосредственно перед оформлением заказа учитывается тип заведения и используемые им рецепты, чтобы определить, не забыл ли клиент купить что-то необходимое. Внедрение системы заняло 3 месяца.
Результат: 80% товаров в предварительно заполненных потребительских корзинах приобретается клиентами, рост продаж, скорости обслуживания и удовлетворенности покупателей.
Отрасль: банковская.
В предыдущем посте мы уже описывали некоторые кейсы применения больших данных в Сбербанке, в этот мы расскажем еще об одном кейсе – АС САФИ.
Эта система анализа фотографий для идентификации клиентов и предотвращения мошенничества с документами была разработана и внедрена в Сбербанке к началу 2014 г. В основе работы системы лежит сравнение фотографий из базы с изображениями, получаемыми веб-камерами на стойках, с помощью технологий компьютерного зрения. В результате потери от такого вида мошенничества сократились в 10 раз.
Основой АС стала биометрическая платформа «Каскад-Поиск» от компании «Техносерв». Изначально эта система была разработана для использования в оперативной, справочной и экспертной работе, но была адаптирована для нужд Сбербанка и интегрирована с автоматизированной системой рассмотрения кредитных заявок. Система работает очень быстро: благодаря ряду инновационных решений, таких как In-Memory Processing, сопоставление изображений камеры и изображений в базе занимает всего несколько секунд.
Результат: потери от мошенничества с документами физических лиц сократились в 10 раз.
Отрасль: сельское хозяйство.
FarmLogs – компания, предоставляющая фермерам big data аналитику и удобные сервисы для планирования и оптимизации их работы. Мобильные и веб-приложения компании уже используются более чем третью фермеров США. Сервисы FarmLogs используют открытые геоданные о типе почв, детальные данные о погодных условиях, осадках и солнечной активности. Также широко используется анализ спутниковых снимков для автоматического определения посевов различных культур, мониторинга их состояния и учета исторических данных для прогнозирования и формирования рекомендаций. Компания предоставляет фермерам в аренду устройства, которые устанавливаются в сельскохозяйственные комбайны и автоматически записывает в систему данные обо всех произведенных операциях, маршрутах и расходе топлива. В результате формируются детальные рекомендации по ведению сельского хозяйства и автоматически ведутся все необходимые расчеты, в том числе финансовые.
Результат: сравнительно далекий от высоких технологий фермерский сектор экономики США охвачен big data оптимизацией более чем на треть.
Отрасль: транспорт – аэропорты.
Международный аэропорт Дубая – самый загруженный в мире аэропорт по объему международного пассажирского трафика, один из крупнейших в мире. Большие данные о показателях работы аэропорта, рейсах и перемещении пассажиров широко используются для оптимизации работы аэропорта и повышения удовлетворенности пассажиров.
Аэропорт использует сложные алгоритмы оптимизации для динамического назначения выходов для посадки и прилета. В частности, если два рейса имееют большое число пассажиров, пересаживающихся с одного рейса на другой, их выходы будут назначены рядом.
Очень многие пассажиры посещают Дубай для шоппинга, и аэропорт имеет множество магазинов в зоне duty free. Однако увлечение шопингом приводит к тому, что пассажиры часто опаздывают на рейсы. Многие из них не говорят ни на английском, ни на арабском – на языках, на которых делаются объявления. После внедрения новой программы оповещений в каждом из магазинов аэропорта сканируются посадочные талоны пассажиров, и они получают оповещения о том, к какому выходу им нужно пройти, по какому маршруту, и сколько на это потребуется времени, на языке, которым они владеют.
Результат: оптимизировано назначение выходов на посадку и прилет, значительно сократилось число опозданий на рейсы.
Отрасль: розничная торговля, одежда, обувь и аксессуары.
Macy’s – крупная сеть универсальных магазинов, основанная в 1858 г. и сегодня имеющая более 840 магазинов в 45 штатах США. В течение года хотя бы 1 раз магазины сети посещают 70% американцев.
Компания анализирует большие объемы данных по спросу, акциям, отсутствию товара в конкретных магазинах, совмещает эти данные с предпочтениями покупателей, живущих на данной территории, и таким образом оптимизирует ассортимент всех категорий товаров в каждой из торговых точек.
Используя технологии SAS Institute, ретейлер производит коррекцию цен на 73 миллиона товаров практически в реальном времени, используя данные о спросе и имеющихся товарных запасах.
Компания использует большие данные не только в части внутренней оптимизации, но и в части ориентации на клиента. Например, интернет-магазин Macys.com, как и другие онлайн-ретейлеры, использует персонализацию, таргетированные рекламные баннеры и рассылку по электронной почте, оптимизацию поисковой системы сайта, чтобы покупатель легко мог найти интересующий его товар. Персонализация рекламных сообщений и предложений в компании очень высокая, число уникальных вариаций одной почтовой рассылки может достигать 500 000.
Результат: высокие темпы роста продаж (до 50% в год), как минимум 10% из которых, по оценке компании – чистый эффект big data.
Отрасль: банк данных, справочная система.
Основной актив компании Ancestry – огромная база данных современных и исторических документов, позволяющая восстанавливать родственные связи между людьми и строить генеалогические деревья. Сегодня банк данных компании содержит уже более 5 млрд. профилей людей, живших в разное время (начиная с 16 века) в большом количестве стран, было построено более 45 млн. генеалогических деревьев, задающих семейные связи между ними.
Исторические данные, как правило, представлены не в машиночитаемом формате. Это могут быть, например, рукописные записи в учетных книгах. Кроме того, такие данные могут быть противоречивыми, неточными и неполными. В обработке, дополнении и верификации данных компании помогают алгоритмы data mining и машинного обучения, в том числе алгоритмы нечеткого сопоставления (fuzzy matching).
Для хранения и анализа данных используются технологии больших данных. Данные Ancestry обрабатываются на трех кластерах MapR (дистрибутив, основанный на Hadoop). Первый сопоставляет с образцами в базе результаты анализа ДНК (в базе уже более 120 тыс. образцов), которые пользователи могут получить всего за 99$, плюнув в трубку и прислав образец слюны в компанию по почте. Второй реализует алгоритмы машинного обучения, третий – майнинга данных.
Предварительный анализ базы позволяет упрощать поиск родственников и формировать предположения, которые облегчают расследование семейной истории. Сегодня огромное число открытий, сделанных пользователями, обеспечивается предварительным соединением профилей и ранжированием результатов, проведенных системой на основе анализа данных профилей и предыдущей истории поиска в системе. Еще несколько лет назад все такие открытия были заслугой исключительно пользователей системы. Пользовательский опыт в системе также постоянно анализируется, чтобы выявлять этапы, где у пользователей возникают трудности, чтобы добавлять в эти области дополнительный контент или ранжировать результаты поиска.
Результат: накоплена огромная база исторических данных с очищенными, подтвержденными и предварительно соединенными записями, обеспечивающая легкое и продуктивное использование системы.
Отрасль: машиностроение, производство двигателей.
Rolls-Royce Holdings – британская мультинациональная компания, производящая двигатели и турбины для аэрокосмической отрасли, морских судов и энергетики. Двигатели, которые они производят, очень крупные и дорогостоящие, просчеты и ошибки в их производстве могут стоит миллионы и привести к гибели людей. Rolls-Royce использует технологии больших данных в разработке, производстве и дальнейшей поддержке своих двигателей после продажи.
При разработке двигателей широко используется компьютерная симуляция, производящая терабайты данных. Анализ и визуализация этих данных производится на высокопроизводительных вычислительных кластерах. Производственные системы компании взаимодействуют друг с другом посредством Интернета вещей.
Двигатели Rolls-Royce снабжены сотнями датчиков, которые регистрируют малейшие детали их работы. Эти данные оперативно обрабатываются с помощью алгоритмов машинного обучения и передаются инженерам в случае возникновения отклонений.
Компания не дает точной оценки эффективности внедрения big data технологий, однако по заявлениям руководства компании, они дали значительное сокращение издержек. Большие данные также изменили бизнес-модель компании: благодаря ним компания смогла предложить клиентам новую модель обсаживания “Total Care”, когда компании почасово оплачивают мониторинг состояния работы двигателей во время их работы.
Результат: значительное сокращение издержек в разработке и производстве, повышение надежности, внедрение новой бизнес-модели.
Будем рады вашим комментариям.
И ждем вас на программе «Специалист по большим данным», старт 15 марта.
Ориентация на клиента
1. Компания: Билайн.
Отрасль: телеком.
Билайн обладает огромным набором данных о своих абонентах, которые компания планирует использовать не только для внутренней оптимизации и работы с клиентами (повышение продаж, удержание клиентов, противодействие мошенничеству), но и для вывода новых аналитических продуктов на рынок (предоставление данных для кредитного скоринга, таргетированной цифровой рекламы, создание геоаналитических отчетов, IPTV аналитика, внешний консалтинг). Компания реализовала множество big data проектов. Например, было произведено сегментирование базы абонентов на основе расширенного клиентского профиля, в том числе с предсказанием пола и возрастной категории, построением социальных графов; реализован проект по распознаванию и защите абонентов от денежных махинаций и вирусных активностей; были выделены абоненты, пользующиеся услугами связи на нескольких типах устройств, а также абоненты, находящиеся в аэропорту и улетающие за границу, для предложения им подходящих услуг и тарифных планов. И это далеко не полный перечень. Для хранения и обработки данных компания использует HDFS и Apache Spark, для анализа данных – rapidminer и python, в том числе библиотеку scikit-learn.
Результат: к 2018 г. прогнозируемые доходы от big data составят более 20% выручки компании.
2. Компания: Caesars Entertainment.
Отрасль: развлечения, игорный бизнес.
Caesars Entertainment – один из лидеров игорного бизнеса США, управляет известным казино Caesar’s Palace в Лас Вегасе и еще более 50 игорными заведениями по всему миру. Сама компания недавно была оштрафована более чем на 20 млн. $ за отмывание денег, и ее подразделение, управляющее казино, было подвергнуто процедуре банкротства. Однако за 17 лет компания накопила впечатляющий объем данных и аналитики по своей программе лояльности Total Rewards, который теперь является одним из самых ценных ее активов и был оценен в 1 млрд. $. В игровой индустрии важны данные о каждом клиенте: некоторые игроки высшей, седьмой категории по классификации компании, ежегодно тратили в казино порядка 500 тыс. $, а один бизнесмен в базе и вовсе оставил в Лас Вегасе за год 200 млн. $. Очень важно иметь возможность встретить такого клиента по имени, проводить на любимую игру и предложить бесплатные дополнительные опции по его вкусу: развлечения, авиабилеты, поездки на лимузине, проживание в отеле и т.д. С помощью накопленных данных о вкусах и поведении клиентов и продвинутых методов анализа данных компания могла находить к клиентам такой подход, чтобы они оставили как можно больше денег и обязательно возвращались снова. Компания использует Hadoop и облачные решения, обрабатывая более 3 млн. записей в час. Анализ данных также используется для сегментации клиентов и повышения стандартов безопасности.
Результат: создан наиболее ценный индивидуальный актив компании стоимостью более 1 млрд. $, достигнут рост прибыльности и стандартов безопасности.
3.Компания: eHarmony.
Отрасль: сайты знакомств.
eHarmony – сайт знакомств, ориентированный на построение долгосрочных отношений. В анкете на сайте пользователь может оставить очень подробную информацию о себе, указать более 1000 параметров. Далее, используя эти данные, а также историю симпатий и развития отношений пользователей сайта, система рекомендует наиболее подходящие варианты знакомств, причем не просто на основе схожести интересов и убеждений. Анализируются фотографии пользователей, дополняющие друг друга и совпадающие, но при этом вызывающее особое притяжение между людьми характеристики. Например, удалось выяснить, что вегетарианцы скорее образуют устойчивую пару, чем любители гамбургеров, и площадь лица на фотографии определенным образом влияет на взаимную привлекательность.
Также компания анализирует эффективность каналов маркетинговых компаний, использует персонализированную рекламу, управляет лояльностью пользователей, противодействует оттоку клиентов.
В анализе данных компания использует решения SPSS, рекомендательные системы, Hadoop, Hive и облачные технологии.
Результат: Ежедневно система делает около 100 миллионов предположений о том, что два человека могут подходить друг другу, 10 млн. $ ежегодно сберегается за счет противодействия оттоку клиентов и за счет сокращения неэффективных маркетинговых затрат.
4. Компания: Nippon Paint.
Отрасль: химическая промышленность, производство лакокрасочных материалов.
Nippon Paint – японская компания, занимает 7 место по обороту в мире среди компаний по производству красок, лидирующая компания отрасли на рынке Китая. С помощью запущенного компанией сайта iColor, который позволяет опробовать разные цвета краски на реальных интерьерах, получил широкую популярность среди как среди частных клиентов, так и среди дизайнеров и оформительских компаний. Анализ полученных с помощью этого сайта данных позволяет компании отслеживать новые тренды в цветах и дизайне, чтобы разрабатывать новые продукты и планировать производство. Также, с помощью данной платформы компания взаимодействует с дизайнерами и оформительскими компаниями, чтобы через них продвигать продукцию компании, сегментирует потребителей и создает для них персонализированные предложения. Для обработки и анализа данных компания использует решения на базе SAP HANA и Hadoop.
Результат: компания получила мощный инструмент для выявления и отслеживания рыночных трендов, позволяющий планировать спрос и разрабатывать новые продукты, а также платформу для решения ряда других задач целевого взаимодействия с клиентами.
5. Компания: Hitachi Consulting, Vital Connect, ClearStory Data.
Отрасль: здравоохранение.
В США сепсис занимает 10 место в рейтинге причин смерти среди болезней. Ежегодно сепсис возникает примерно у 1 млн. американцев, от 28% до 50% из них умирает. На лечение сепсиса ежегодно тратится порядка 20 млрд. $.
При этом основная причина смертельных случаев – недостаточный врачебный контроль. Пациенты выписываются из госпиталя или получают первую помощь, и после этого за ними не наблюдают. Однако после этого велик риск развития сепсиса, симптомы которого – жар, озноб, учащенные дыхание и пульс, сыпь, растерянность и дезориентация – похожи на симптомы других распространенных заболеваний. Часто пациенты слишком поздно обращаются к врачу или заболевание не удается правильно диагностировать на ранних стадиях. В результате быстро развивается септический шок и происходит часто необратимое поражение множества органов.
Для контроля состояния пациентов предлагается использовать сертифицированное устройство HealthPatch от компании Vital Connect, которое будет собирать основные показатели состояния пациентов, включая даже позы и движения (при сепсисе они меняются). Далее информация поступает на серверы ClearStory Data, где объединяется с другими медицинскими данными о пациентах и анализируется в реальном времени с помощью решения на базе Apache Spark. В перспективе такие устройства будут получать все пациенты, покидающие госпитали и получившие первую помощь по состояниям, за которыми может следовать сепсис. Подобная система, но с меньшим уровнем анализа данных, уже успешно реализована в Сингапуре.
Результат: создано решение, которое позволит системе здравоохранения США значительно снизить смертность от сепсиса (общего заражение крови).
6. Компания: JJ Food Service.
Отрасль: доставка продуктов питания b2b.
JJ Food Service – одна из крупнейших британских b2b компаний по доставке продуктов питания, имеющая более 60 тыс. клиентов в форме кафе, ресторанов, школьных и офисных столовых и т.п. В 2010 г. почти все заказы компания принимала через call-центры, сегодня 60% заказов принимается через Интернет-портал. Это повысило эффективность работы, однако привело к потере персонального контакта с клиентом. По телефону клиенту предлагали приобрести более дорогие или дополняющие товары и услуги, сообщали ему о тенденциях в его сегменте рынка. Эти возможности нужно было реализовать на новом уровне с помощью технологий больших данных. Для решения этих задач компания обратилась к специалистам Microsoft, чтобы построить решение на базе облачных сервисов Azure Machine Learning. Рекомендации, формируемые построенными на этой платформе предиктивными моделями, теперь используются не только на Интернет-портале, но и сотрудниками колл-центра. Когда клиент звонит в колл-центр или входит на сайт, его корзина уже заполнена на основании истории покупок и рекомендаций (учитываются рецепты, сходные заказы других пользователей, добавляются новинки, о которых клиенты еще не знают). Около 80% этих товаров покупатели действительно оставляют в корзине и приобретают. Такое решение возможно в b2b индустрии, т.к. часто нужны достаточно регулярные поставки определенного набора продуктов. Непосредственно перед оформлением заказа учитывается тип заведения и используемые им рецепты, чтобы определить, не забыл ли клиент купить что-то необходимое. Внедрение системы заняло 3 месяца.
Результат: 80% товаров в предварительно заполненных потребительских корзинах приобретается клиентами, рост продаж, скорости обслуживания и удовлетворенности покупателей.
Внутренняя оптимизация
1. Компания: Сбербанк.
Отрасль: банковская.
В предыдущем посте мы уже описывали некоторые кейсы применения больших данных в Сбербанке, в этот мы расскажем еще об одном кейсе – АС САФИ.
Эта система анализа фотографий для идентификации клиентов и предотвращения мошенничества с документами была разработана и внедрена в Сбербанке к началу 2014 г. В основе работы системы лежит сравнение фотографий из базы с изображениями, получаемыми веб-камерами на стойках, с помощью технологий компьютерного зрения. В результате потери от такого вида мошенничества сократились в 10 раз.
Основой АС стала биометрическая платформа «Каскад-Поиск» от компании «Техносерв». Изначально эта система была разработана для использования в оперативной, справочной и экспертной работе, но была адаптирована для нужд Сбербанка и интегрирована с автоматизированной системой рассмотрения кредитных заявок. Система работает очень быстро: благодаря ряду инновационных решений, таких как In-Memory Processing, сопоставление изображений камеры и изображений в базе занимает всего несколько секунд.
Результат: потери от мошенничества с документами физических лиц сократились в 10 раз.
2. Компания: FarmLogs.
Отрасль: сельское хозяйство.
FarmLogs – компания, предоставляющая фермерам big data аналитику и удобные сервисы для планирования и оптимизации их работы. Мобильные и веб-приложения компании уже используются более чем третью фермеров США. Сервисы FarmLogs используют открытые геоданные о типе почв, детальные данные о погодных условиях, осадках и солнечной активности. Также широко используется анализ спутниковых снимков для автоматического определения посевов различных культур, мониторинга их состояния и учета исторических данных для прогнозирования и формирования рекомендаций. Компания предоставляет фермерам в аренду устройства, которые устанавливаются в сельскохозяйственные комбайны и автоматически записывает в систему данные обо всех произведенных операциях, маршрутах и расходе топлива. В результате формируются детальные рекомендации по ведению сельского хозяйства и автоматически ведутся все необходимые расчеты, в том числе финансовые.
Результат: сравнительно далекий от высоких технологий фермерский сектор экономики США охвачен big data оптимизацией более чем на треть.
3. Компания: Dubai Airports.
Отрасль: транспорт – аэропорты.
Международный аэропорт Дубая – самый загруженный в мире аэропорт по объему международного пассажирского трафика, один из крупнейших в мире. Большие данные о показателях работы аэропорта, рейсах и перемещении пассажиров широко используются для оптимизации работы аэропорта и повышения удовлетворенности пассажиров.
Аэропорт использует сложные алгоритмы оптимизации для динамического назначения выходов для посадки и прилета. В частности, если два рейса имееют большое число пассажиров, пересаживающихся с одного рейса на другой, их выходы будут назначены рядом.
Очень многие пассажиры посещают Дубай для шоппинга, и аэропорт имеет множество магазинов в зоне duty free. Однако увлечение шопингом приводит к тому, что пассажиры часто опаздывают на рейсы. Многие из них не говорят ни на английском, ни на арабском – на языках, на которых делаются объявления. После внедрения новой программы оповещений в каждом из магазинов аэропорта сканируются посадочные талоны пассажиров, и они получают оповещения о том, к какому выходу им нужно пройти, по какому маршруту, и сколько на это потребуется времени, на языке, которым они владеют.
Результат: оптимизировано назначение выходов на посадку и прилет, значительно сократилось число опозданий на рейсы.
4. Компания: Macy’s.
Отрасль: розничная торговля, одежда, обувь и аксессуары.
Macy’s – крупная сеть универсальных магазинов, основанная в 1858 г. и сегодня имеющая более 840 магазинов в 45 штатах США. В течение года хотя бы 1 раз магазины сети посещают 70% американцев.
Компания анализирует большие объемы данных по спросу, акциям, отсутствию товара в конкретных магазинах, совмещает эти данные с предпочтениями покупателей, живущих на данной территории, и таким образом оптимизирует ассортимент всех категорий товаров в каждой из торговых точек.
Используя технологии SAS Institute, ретейлер производит коррекцию цен на 73 миллиона товаров практически в реальном времени, используя данные о спросе и имеющихся товарных запасах.
Компания использует большие данные не только в части внутренней оптимизации, но и в части ориентации на клиента. Например, интернет-магазин Macys.com, как и другие онлайн-ретейлеры, использует персонализацию, таргетированные рекламные баннеры и рассылку по электронной почте, оптимизацию поисковой системы сайта, чтобы покупатель легко мог найти интересующий его товар. Персонализация рекламных сообщений и предложений в компании очень высокая, число уникальных вариаций одной почтовой рассылки может достигать 500 000.
Результат: высокие темпы роста продаж (до 50% в год), как минимум 10% из которых, по оценке компании – чистый эффект big data.
5. Компания: Ancestry.
Отрасль: банк данных, справочная система.
Основной актив компании Ancestry – огромная база данных современных и исторических документов, позволяющая восстанавливать родственные связи между людьми и строить генеалогические деревья. Сегодня банк данных компании содержит уже более 5 млрд. профилей людей, живших в разное время (начиная с 16 века) в большом количестве стран, было построено более 45 млн. генеалогических деревьев, задающих семейные связи между ними.
Исторические данные, как правило, представлены не в машиночитаемом формате. Это могут быть, например, рукописные записи в учетных книгах. Кроме того, такие данные могут быть противоречивыми, неточными и неполными. В обработке, дополнении и верификации данных компании помогают алгоритмы data mining и машинного обучения, в том числе алгоритмы нечеткого сопоставления (fuzzy matching).
Для хранения и анализа данных используются технологии больших данных. Данные Ancestry обрабатываются на трех кластерах MapR (дистрибутив, основанный на Hadoop). Первый сопоставляет с образцами в базе результаты анализа ДНК (в базе уже более 120 тыс. образцов), которые пользователи могут получить всего за 99$, плюнув в трубку и прислав образец слюны в компанию по почте. Второй реализует алгоритмы машинного обучения, третий – майнинга данных.
Предварительный анализ базы позволяет упрощать поиск родственников и формировать предположения, которые облегчают расследование семейной истории. Сегодня огромное число открытий, сделанных пользователями, обеспечивается предварительным соединением профилей и ранжированием результатов, проведенных системой на основе анализа данных профилей и предыдущей истории поиска в системе. Еще несколько лет назад все такие открытия были заслугой исключительно пользователей системы. Пользовательский опыт в системе также постоянно анализируется, чтобы выявлять этапы, где у пользователей возникают трудности, чтобы добавлять в эти области дополнительный контент или ранжировать результаты поиска.
Результат: накоплена огромная база исторических данных с очищенными, подтвержденными и предварительно соединенными записями, обеспечивающая легкое и продуктивное использование системы.
6. Компания: Rolls-Royce Holdings.
Отрасль: машиностроение, производство двигателей.
Rolls-Royce Holdings – британская мультинациональная компания, производящая двигатели и турбины для аэрокосмической отрасли, морских судов и энергетики. Двигатели, которые они производят, очень крупные и дорогостоящие, просчеты и ошибки в их производстве могут стоит миллионы и привести к гибели людей. Rolls-Royce использует технологии больших данных в разработке, производстве и дальнейшей поддержке своих двигателей после продажи.
При разработке двигателей широко используется компьютерная симуляция, производящая терабайты данных. Анализ и визуализация этих данных производится на высокопроизводительных вычислительных кластерах. Производственные системы компании взаимодействуют друг с другом посредством Интернета вещей.
Двигатели Rolls-Royce снабжены сотнями датчиков, которые регистрируют малейшие детали их работы. Эти данные оперативно обрабатываются с помощью алгоритмов машинного обучения и передаются инженерам в случае возникновения отклонений.
Компания не дает точной оценки эффективности внедрения big data технологий, однако по заявлениям руководства компании, они дали значительное сокращение издержек. Большие данные также изменили бизнес-модель компании: благодаря ним компания смогла предложить клиентам новую модель обсаживания “Total Care”, когда компании почасово оплачивают мониторинг состояния работы двигателей во время их работы.
Результат: значительное сокращение издержек в разработке и производстве, повышение надежности, внедрение новой бизнес-модели.
Будем рады вашим комментариям.
И ждем вас на программе «Специалист по большим данным», старт 15 марта.