Зачем хранить столько данных в строящихся все больше и больше дата центрах? Одна из сфер применения биг дата — прогнозная аналитика. Она отвечает на вопросы: что значат эти цифры о нас, где сейчас используется аналитика и что будет через три года?
Количество данных растет со скоростью, которую человеку невозможно вообразить. Данные ничто без анализа. Только невообразимое количество закодированной в единицы и нули информации. Зачем строят новые дата-центры? Что и почему хранится, а также обрабатывает в их глубинах?
Мы все наслышаны о контекстной рекламе, показ которой основывается на наших предпочтениях, о которых поисковые машины узнают из наших действий онлайн. Но вот про остальные сферы мало кто говорит широкой публике. А ведь кроме того, что биг дата в сумме с прогнозной аналитикой позволяет рекламодателям и банкам зарабатывать невероятные деньги, они помогают спасать человеческие жизни.
Также для всех читателей и писателей Хабра предлагаем скидку 50% на первый месяц и 15% на продление услуг на все услуги VPS и выделенных серверов, скидку можно получить по коду «HABRAHABR» посмотреть полный список услуг можно у нас на сайте.
Сферы применения прогнозной аналитики
В этой сфере можно предсказать профессиональную эффективность по профилю в публичной сети, интересные вакансии вакансии для соискателей. Этим пользуются LinkedIn, CareerBuilder, Википедия.
В компании Hewlett-Packard прогнозируют вероятность ухода сотрудников. Они используют прогнозные модели для оценки каждого сотрудника по всему миру. А их более 330 000 человек. Благодаря полученным данным руководители могут предпринять соответствующие меры, чтобы сотрудник остался или, где это невозможно, учитывать уход члена команды при планировании рабочих процессов. Экономия компании составляет минимум 300 000 000 долларов.
Спецназ США также пользуется анализом биг дата. Им нужно знать какие из кандидатов подойдут для узкоспециализированной ответственной работы лучше других — в обучение отобранных они и вкладывают деньги. Два ключевых фактора — это способность отжаться больше 80-ти раз и твердость характера, которая говорит больше, чем показатель интеллекта.
Здравоохранение
Здесь большие данные, хранящиеся в надежных дата-центрах, обрабатываются с целью прогнозирования серьезных и не очень болезней, скорости развития заболевания, эффективности лекарств и… даже смерти.
В компании FICO прогнозируется, кто из пациентов будет соблюдать график приема лекарственных средств. По статистике каждый год из-за несоблюдения режима лечения преждевременно умирает около 125 000 человек. Значительная цифра, не так ли?
Специалисты Pfizer анализировали огромные пласты данных, чтобы разработать короткий и точный тест для самостоятельной диагностики эректильной дисфункции.
Университет в Стэнфорде изобрели прогнозную систему, которая выявляет рак груди точнее, чем врачи.
Google Flu Trends, используя поисковые запросы пользователей, может предсказать волну гриппа минимум на неделю раньше, чем ЦКПЗ США.
Предсказание смерти нужно для предложения специальных консультаций в страховых компаниях или для принятия решения о хирургических операциях.
Язык является одним из самых сложных материалов для машинного обучения. И хотя с появления теста Тьюринга уже прошло относительно много лет, компьютерам все еще непросто понимать человеческий юмор. Анализ биг дата помогает при автоматической модерации комментариев, оскорблений в блогах, негативной обратной связи об услугах. Например в PayPal предвидят уход клиентов, а в Citibank автоматически сортируют сообщения о проблемах. В FordMotors система определяет уровень внимания водителя, а ВВС США работают над аналогичной системой на базе инфракрасной съемки.
Успеха в этом направлении добились некоторые ученые. Например в Еврейском университете в Иерусалиме разработана программа, которая определит сарказм в покупательских отзывах на Amazon с точностью 83%. Ложь научились распознавать в университете Буффало. По их методу система следит за движением глаз говорящего и судит о правдивости с точностью 82%. Есть положительные результаты даже в области анализа письменной речи. Появились способы, которые позволяют установить истинность или ложность заявлений от лиц, имеющих отношение к уголовным расследованиям военной полиции.
Фактически машины способны читать мысли: они декодируют информацию ФМРТ мозга и определяют, о каком объекте вы думаете со сносной точностью выше 80%.
Борьба с мошенничеством и преступностью
Компании, которые пользуются прогнозными моделями, избегают потерь больших сумм денег. Они выявляют попытки мошенничества в налоговых декларациях, чеках, счетах и контрактах, автостраховых выплатах и ложных гарантийных случаях. Этим пользуются в налоговых управлениях, почтовых службах, банках.
Благодаря правильному анализу данных в Мэриленд знают, кто из осужденных совершит убийство или станет жертвой, в США усиливают патруль районов с предполагаемым всплеском преступности, решают, кого можно освободить досрочно на основе вероятность рецидива.
Amazon выдает уровни доступа сотрудникам, а в Чикаго прогнозируют будет ли преступление раскрыто по характеристикам жертвы и самого убийства. Так экономятся силы, время и деньги.
Пожалуй, это самая открытая сфера, где применяют биг дата обо всех нас и наших предпочтениях. Больше всего тут биг дата нужны для нацеленного маркетинга и предсказания покупок. Это нужно всем, пользуются пока те, кому доступно. Среди этих компаний банки, сети розничных магазинов, казино, телекоммуникационные компании. Так, Cox Communications увеличили втрое количество откликов на свои почтовые рассылки. Предсказание спроса на конкретные услуги домашнего телевидения, интернета или телефонии гарантирует 50%-й доход ежегодно на сумму вложений в эту активность.
Прогнозам также поддается успешность запланированных продаж таких компаний, как IBM, Hewlett-Packard, Sun Microsystems. Amazon продает больше трети всех товаров благодаря персонифицированным рекомендациям. Музыкальные и кинокомпании тоже пользуются машинным обучения — так они заранее знаю, какие фильмы и песни обречены на популярность.
Есть и “менее коммерческие” точки применения прогнозной аналитики. Google уменьшает количество сообщений типа спам и неправильных срабатываний фильтра.
Государственная деятельность, политика, образование, некоммерческий сектор. Знаете ли вы, что прогнозируют конкуренты на пост президента во время выборных кампаний? Возможность влияния на избирателей, а именно — на их мнение. Проанализированная информация помогла Обаме в 2012-м году понять, кому из избирателей подойдет звонок, встреча, листовка или же ничего из предложенного. Индивидуальный подход дал свои результаты.
Очень важная сфера. Здесь можно прогнозировать вероятность отказа сложных систем спутников, ядерных реакторов, энергоснабжения, жд-путей, колес поездов, прочности зданий. И если компании-продавцы оргтехники по результатам прогнозирования снабжают склады нужными запасными частями на будущее, то Con Edison, например учитывает аварии на участках сети распределения энергии, уменьшая риски.
Страхование и оценка финансовых рисков
Это еще одна из самых прибыльных сфер применения анализа больших данных. Крупнейшие мировые банки (Chase, Citigroup, Canadian Tire, PREMIER Bankcard) пользуются прогнозными моделями для того, чтобы узнать, кто из их заемщиков может досрочно погасить ипотечные кредиты, а также, чтобы оценить платежеспособность потенциальных заемщиков. Алгоритмическая торговля на фондовых биржах — легальный способ заработать с помощью искусственного интеллекта.
Страховые фирмы (Accident Fund Insurance, Allstate) пользуются прогнозированием увечий в авариях, дорогостоящих травм во время работы и даже смерти.
Личная и семейная жизнь
Можно предсказать развод с 90%-й точностью по результатам клинических исследований. Также университетские исследования установили, что неверность в парах зависит от поведенческих особенностей и в некоторой степени от генетических факторов. Социальные сети используют биг дата для предсказания вероятной дружбы (Facebook и LinkedIn) и любви (OkCupid предсказывает вероятный полодитеьный отклик на сообщения в зависимости от их содержания, а Match.com подбирает пару на основе интеллектуального анализа данных пользователей).
Сеть магазинов Target может предсказать беременность женщин, анализируя их покупательское поведение. Так они получают на 30% больше возможных клиенток — им они предлагают специализированную рекламу для родителей.
Конечно, это не все случаи использования биг дата, их количество увеличивается каждый день.
Наглядные примеры
Биг дата, машинное обучение, аналитика — они повсюду. Эта мысль отражена в инсталляции Microsoft
Впечатляюще, не правда ли?
Что будет дальше? Например, через три года. Свой прогноз составил Эрик Сигель, основатель компании Predict Impact и автор книги “просчитать будущее”. Вот как, по его мнению, будет выглядеть день человека в будущем:
По пути в офис единственное, в чем не участвует прогнозная аналитика, это в том, как вы руками крутите руль, хотя и это только пока. Когда вы садитесь на сиденье, система идентифицирует вас, считывая биометрические показатели. Если бы за руль попал посторонний человек, пуск двигателя был бы заблокирован. Прогнозная система запускает интернет-радио с музыкой, которая должна прийтись вам по вкусу.
Модуль автонавигации прокладывает подходящие маршруты, учитывая будущую загруженность на дорогах. На подъемах максимальное ускорение уменьшается автоматически при низком уровне заряда аккумулятора. Дальше компьютерная система сама находит удобный ресторан с опцией автораздачи, при этом она учитывает ваши вкусовые предпочтения.
Секретарь с искусственным интеллектом отвечает за подбор новостных лент, которые вас точно заинтересуют. Некорректные сообщения не попадут к вам на глаза, а автоматически отфильтруются и не надо тратить время на их прочтение. Когда вы прослушиваете голосовую почту, то не получаете коммерческие звонки от роботов, спам тоже проходит сортировку.
Теперь смартфон читает письмо от вашего оператора, который хочет предупредить ваш скорый уход к конкуренту. Его предложение — это большая скидка на новый iPhone 13. Сегодня у сына коллеги день рождения и вы даете Siri поручение найти по дороге магазин с игрушками. Siri усовершенствована и ей можно управлять через автомобильную аудиосистему.
Если датчики, “установленные в вашем автомобиле”, замечают ухудшение внимания, кресло вибрирует, сообщая вам о том, что надо сосредоточиться на движении. Если есть вероятность столкновения, вы услышите громкий звук и почувствуете более сильную вибрацию кресла. Автомобиль сам проводит диагностику, прогнозирует поломки и сообщает о необходимости попасть в сервисный центр.
Надеемся, что мы дали исчерпывающий ответ на вопрос, зачем нужны огромные хранилища больших данных.
Прогнозирование — основа оптимизации
Количество данных растет со скоростью, которую человеку невозможно вообразить. Данные ничто без анализа. Только невообразимое количество закодированной в единицы и нули информации. Зачем строят новые дата-центры? Что и почему хранится, а также обрабатывает в их глубинах?
Мы все наслышаны о контекстной рекламе, показ которой основывается на наших предпочтениях, о которых поисковые машины узнают из наших действий онлайн. Но вот про остальные сферы мало кто говорит широкой публике. А ведь кроме того, что биг дата в сумме с прогнозной аналитикой позволяет рекламодателям и банкам зарабатывать невероятные деньги, они помогают спасать человеческие жизни.
Куда же без навязчивой рекламы?
Мы все-таки компания коммерческая, спонсоров у нас нет и вначале статьи хотели бы сделать читателям предложение, от которого трудно отказаться.
Итак, наши горячие предложения, которые на наш взгляд интересны по цене — это простенькие конфигурации:
- Intel Core i7;
- частота до 3.8 Ггц в турбо режиме;
- 8 gb DDR3 RAM;
- 240 SSD;
- 1гб/c неограниченным всего за 3.5т.руб в месяц.
Есть камни с индексом K, у которых разблокирован множитель и возможен разгон, но мы это не одобряем, разумеется, а так как у вас будет постоянный и круглосуточный IP KVM, то мы этого можем и не заметить :)
→ Перейти к заказу
Распродажа серверов
Также хотел предложить вашему вниманию несколько “настоящих” серверных конфигов, например, сейчас, как мы считаем, “вкусные цены” на:
- 2хXeon E5-2670 8 Core 16 потоков с 16gb RAM и 2 по 1TB всего за 11790
→ Заказать
Также для всех читателей и писателей Хабра предлагаем скидку 50% на первый месяц и 15% на продление услуг на все услуги VPS и выделенных серверов, скидку можно получить по коду «HABRAHABR» посмотреть полный список услуг можно у нас на сайте.
Сферы применения прогнозной аналитики
Управление человеческими ресурсами
В этой сфере можно предсказать профессиональную эффективность по профилю в публичной сети, интересные вакансии вакансии для соискателей. Этим пользуются LinkedIn, CareerBuilder, Википедия.
В компании Hewlett-Packard прогнозируют вероятность ухода сотрудников. Они используют прогнозные модели для оценки каждого сотрудника по всему миру. А их более 330 000 человек. Благодаря полученным данным руководители могут предпринять соответствующие меры, чтобы сотрудник остался или, где это невозможно, учитывать уход члена команды при планировании рабочих процессов. Экономия компании составляет минимум 300 000 000 долларов.
Спецназ США также пользуется анализом биг дата. Им нужно знать какие из кандидатов подойдут для узкоспециализированной ответственной работы лучше других — в обучение отобранных они и вкладывают деньги. Два ключевых фактора — это способность отжаться больше 80-ти раз и твердость характера, которая говорит больше, чем показатель интеллекта.
Здравоохранение
Здесь большие данные, хранящиеся в надежных дата-центрах, обрабатываются с целью прогнозирования серьезных и не очень болезней, скорости развития заболевания, эффективности лекарств и… даже смерти.
В компании FICO прогнозируется, кто из пациентов будет соблюдать график приема лекарственных средств. По статистике каждый год из-за несоблюдения режима лечения преждевременно умирает около 125 000 человек. Значительная цифра, не так ли?
Специалисты Pfizer анализировали огромные пласты данных, чтобы разработать короткий и точный тест для самостоятельной диагностики эректильной дисфункции.
Университет в Стэнфорде изобрели прогнозную систему, которая выявляет рак груди точнее, чем врачи.
Google Flu Trends, используя поисковые запросы пользователей, может предсказать волну гриппа минимум на неделю раньше, чем ЦКПЗ США.
Предсказание смерти нужно для предложения специальных консультаций в страховых компаниях или для принятия решения о хирургических операциях.
Обработка человеческого языка, распознавание мыслей, психология
Язык является одним из самых сложных материалов для машинного обучения. И хотя с появления теста Тьюринга уже прошло относительно много лет, компьютерам все еще непросто понимать человеческий юмор. Анализ биг дата помогает при автоматической модерации комментариев, оскорблений в блогах, негативной обратной связи об услугах. Например в PayPal предвидят уход клиентов, а в Citibank автоматически сортируют сообщения о проблемах. В FordMotors система определяет уровень внимания водителя, а ВВС США работают над аналогичной системой на базе инфракрасной съемки.
Успеха в этом направлении добились некоторые ученые. Например в Еврейском университете в Иерусалиме разработана программа, которая определит сарказм в покупательских отзывах на Amazon с точностью 83%. Ложь научились распознавать в университете Буффало. По их методу система следит за движением глаз говорящего и судит о правдивости с точностью 82%. Есть положительные результаты даже в области анализа письменной речи. Появились способы, которые позволяют установить истинность или ложность заявлений от лиц, имеющих отношение к уголовным расследованиям военной полиции.
Фактически машины способны читать мысли: они декодируют информацию ФМРТ мозга и определяют, о каком объекте вы думаете со сносной точностью выше 80%.
Борьба с мошенничеством и преступностью
Компании, которые пользуются прогнозными моделями, избегают потерь больших сумм денег. Они выявляют попытки мошенничества в налоговых декларациях, чеках, счетах и контрактах, автостраховых выплатах и ложных гарантийных случаях. Этим пользуются в налоговых управлениях, почтовых службах, банках.
Благодаря правильному анализу данных в Мэриленд знают, кто из осужденных совершит убийство или станет жертвой, в США усиливают патруль районов с предполагаемым всплеском преступности, решают, кого можно освободить досрочно на основе вероятность рецидива.
Amazon выдает уровни доступа сотрудникам, а в Чикаго прогнозируют будет ли преступление раскрыто по характеристикам жертвы и самого убийства. Так экономятся силы, время и деньги.
Маркетинг, реклама и интернет
Пожалуй, это самая открытая сфера, где применяют биг дата обо всех нас и наших предпочтениях. Больше всего тут биг дата нужны для нацеленного маркетинга и предсказания покупок. Это нужно всем, пользуются пока те, кому доступно. Среди этих компаний банки, сети розничных магазинов, казино, телекоммуникационные компании. Так, Cox Communications увеличили втрое количество откликов на свои почтовые рассылки. Предсказание спроса на конкретные услуги домашнего телевидения, интернета или телефонии гарантирует 50%-й доход ежегодно на сумму вложений в эту активность.
Прогнозам также поддается успешность запланированных продаж таких компаний, как IBM, Hewlett-Packard, Sun Microsystems. Amazon продает больше трети всех товаров благодаря персонифицированным рекомендациям. Музыкальные и кинокомпании тоже пользуются машинным обучения — так они заранее знаю, какие фильмы и песни обречены на популярность.
Есть и “менее коммерческие” точки применения прогнозной аналитики. Google уменьшает количество сообщений типа спам и неправильных срабатываний фильтра.
Государственная деятельность, политика, образование, некоммерческий сектор. Знаете ли вы, что прогнозируют конкуренты на пост президента во время выборных кампаний? Возможность влияния на избирателей, а именно — на их мнение. Проанализированная информация помогла Обаме в 2012-м году понять, кому из избирателей подойдет звонок, встреча, листовка или же ничего из предложенного. Индивидуальный подход дал свои результаты.
Обнаружение проблем в безопасности и эффективности
Очень важная сфера. Здесь можно прогнозировать вероятность отказа сложных систем спутников, ядерных реакторов, энергоснабжения, жд-путей, колес поездов, прочности зданий. И если компании-продавцы оргтехники по результатам прогнозирования снабжают склады нужными запасными частями на будущее, то Con Edison, например учитывает аварии на участках сети распределения энергии, уменьшая риски.
Страхование и оценка финансовых рисков
Это еще одна из самых прибыльных сфер применения анализа больших данных. Крупнейшие мировые банки (Chase, Citigroup, Canadian Tire, PREMIER Bankcard) пользуются прогнозными моделями для того, чтобы узнать, кто из их заемщиков может досрочно погасить ипотечные кредиты, а также, чтобы оценить платежеспособность потенциальных заемщиков. Алгоритмическая торговля на фондовых биржах — легальный способ заработать с помощью искусственного интеллекта.
Страховые фирмы (Accident Fund Insurance, Allstate) пользуются прогнозированием увечий в авариях, дорогостоящих травм во время работы и даже смерти.
Личная и семейная жизнь
Можно предсказать развод с 90%-й точностью по результатам клинических исследований. Также университетские исследования установили, что неверность в парах зависит от поведенческих особенностей и в некоторой степени от генетических факторов. Социальные сети используют биг дата для предсказания вероятной дружбы (Facebook и LinkedIn) и любви (OkCupid предсказывает вероятный полодитеьный отклик на сообщения в зависимости от их содержания, а Match.com подбирает пару на основе интеллектуального анализа данных пользователей).
Сеть магазинов Target может предсказать беременность женщин, анализируя их покупательское поведение. Так они получают на 30% больше возможных клиенток — им они предлагают специализированную рекламу для родителей.
Конечно, это не все случаи использования биг дата, их количество увеличивается каждый день.
Наглядные примеры
Биг дата, машинное обучение, аналитика — они повсюду. Эта мысль отражена в инсталляции MicrosoftMicrosoft / Infinity Room from Universal Everything on Vimeo.
Впечатляюще, не правда ли?
Что будет дальше? Например, через три года. Свой прогноз составил Эрик Сигель, основатель компании Predict Impact и автор книги “просчитать будущее”. Вот как, по его мнению, будет выглядеть день человека в будущем:
По пути в офис единственное, в чем не участвует прогнозная аналитика, это в том, как вы руками крутите руль, хотя и это только пока. Когда вы садитесь на сиденье, система идентифицирует вас, считывая биометрические показатели. Если бы за руль попал посторонний человек, пуск двигателя был бы заблокирован. Прогнозная система запускает интернет-радио с музыкой, которая должна прийтись вам по вкусу.
Модуль автонавигации прокладывает подходящие маршруты, учитывая будущую загруженность на дорогах. На подъемах максимальное ускорение уменьшается автоматически при низком уровне заряда аккумулятора. Дальше компьютерная система сама находит удобный ресторан с опцией автораздачи, при этом она учитывает ваши вкусовые предпочтения.
Секретарь с искусственным интеллектом отвечает за подбор новостных лент, которые вас точно заинтересуют. Некорректные сообщения не попадут к вам на глаза, а автоматически отфильтруются и не надо тратить время на их прочтение. Когда вы прослушиваете голосовую почту, то не получаете коммерческие звонки от роботов, спам тоже проходит сортировку.
Теперь смартфон читает письмо от вашего оператора, который хочет предупредить ваш скорый уход к конкуренту. Его предложение — это большая скидка на новый iPhone 13. Сегодня у сына коллеги день рождения и вы даете Siri поручение найти по дороге магазин с игрушками. Siri усовершенствована и ей можно управлять через автомобильную аудиосистему.
Если датчики, “установленные в вашем автомобиле”, замечают ухудшение внимания, кресло вибрирует, сообщая вам о том, что надо сосредоточиться на движении. Если есть вероятность столкновения, вы услышите громкий звук и почувствуете более сильную вибрацию кресла. Автомобиль сам проводит диагностику, прогнозирует поломки и сообщает о необходимости попасть в сервисный центр.
Надеемся, что мы дали исчерпывающий ответ на вопрос, зачем нужны огромные хранилища больших данных.
