Pull to refresh
  • by relevance
  • by date
  • by rating

I am Groot. Делаем свою аналитику на событиях

Онлайн-кинотеатр IVI corporate blog High performance *Website development *


Весной этого года я узнал о возможности базы данных HP Vertica создавать запросы с матчингом паттернов событий. Так называемый Events Pattern Matching хорошо ложился под задачу анализировать поведение пользователей в продуктах ivi.ru. Мы решили попробовать разобраться с воронками оплаты, с поиском проблемных мест на устройствах, глубже погрузиться в анализ трафика. Нашей команде очень нравится, как реализована аналитика у Mixpanel и Localytics (она как раз основана на событиях и их свойствах), поэтому многие идеи были позаимствованы у них.
Читать дальше →
Total votes 38: ↑31 and ↓7 +24
Views 32K
Comments 48

Реал-тайм процессинг данных в AWS Cloud. Часть 1

High performance *System Analysis and Design *Amazon Web Services *Big Data *
Всем привет!

Сегодня хочется рассказать об одной из типичных задач в области Cloud Computing и Big Data и подходе к ее решению, найденному нами в TeamDev.

image

Мы столкнулись с проблематикой BigData при разработке публичного сервиса для одной из компаний, занимающихся хранением и анализом результатов биологических исследований. Целью заказчика на очередном этапе стала визуализиция в реальном времени определенных срезов таких данных.

Попробуем формализировать задачу.

Читать дальше →
Total votes 7: ↑6 and ↓1 +5
Views 5K
Comments 2

Как Spotify масштабирует Apache Storm

CloudMTS corporate blog Website development *System Analysis and Design *Development of mobile applications *Development for e-commerce *
Spotify — шведский сервис потокового воспроизведения музыки с которым сотрудничают такие компании как Sony, EMI, Warner, и Universal. Сервис Spotify был запущен в октябре 2008 года, сейчас он предоставляет более 30 млн композиций. Многие считают его попыткой повторить успех Napster и легализовать его модель. Шведам все это удалось едва ли не лучше всех в мире.

Сам сервис работает следующим образом (общее описание): алгоритм анализирует плейлисты пользователей с учетом точечной классификации по жанрам и сравнивает полученные «профили предпочтений» с миллионами других плейлистов. В результате — вы получаете песни, которые подходят вашим вкусам и не воспроизводились ранее.


/ фото Sunil Soundarapandian CC
Читать дальше →
Total votes 21: ↑16 and ↓5 +11
Views 11K
Comments 3

Крупнейший хакатон в истории разработки ПО с призовым фондом в 140000$

Ruby *JavaScript *Ruby on Rails *
image

22-25 февраля 2016 года будет проходить знаковое событие в сфере разработки ПО — hack.summit(). Это крупнейшая виртуальная конференция в истории. Самая большая в истории конференция по программированию. Самый крупный из проходивших в мире хакатонов с общим призовым фондом в 140000$ (на главной странице проекта почему то фигурирует 150000$, но в описании призовых мест 100k, 30k и 10k, может чего пропустил).

Для тех, кому достаточно hack.summit().
Читать дальше →
Total votes 13: ↑13 and ↓0 +13
Views 16K
Comments 3

Cisco OpenSOC — open source решение для создания собственного центра мониторинга киберугроз

Cisco corporate blog Cisco *Apache *
Как часто бывает, сначала ты ищешь решение на рынке и, не найдя его, делаешь самостоятельно и под себя. А потом получается настолько хорошо, что ты отдаешь это другим. Так было и с OpenSOC, open source решением для управления большими объемами данных в области кибербезопасности, которое было разработано в Cisco для своих собственных нужд, а потом было выложено на GitHub для всеобщего доступа.

Архитектура Cisco OpenSOC
Читать дальше →
Total votes 14: ↑14 and ↓0 +14
Views 21K
Comments 2

Logeek Night Санкт-Петербург, 16 февраля

Luxoft corporate blog


Петербург, отличные новости: 16 февраля ждём всех желающих на неформальной встрече IT-специалистов Logeek Night!

Что такое Logeek Night? В первую очередь вам надо знать, что Logeek night является бесплатным мероприятием от LTS. Это неформальная встреча IT-специалистов с возможностью пообщаться с единомышленниками, поделиться опытом и получить новые знания.
Читать дальше →
Total votes 9: ↑8 and ↓1 +7
Views 2.9K
Comments 0

В разрезе: новостной агрегатор на Android с бэкендом. Распределённые системы обработки сообщений (Spark, Storm)

Instant Messaging *Big Data *
Вводная часть (со ссылками на все статьи)

image

Основным компонентом системы, который обрабатывает сырые данные с «пауков», выполняет обогащение данных, их индексацию и последующий поиск является система обработки сообщений, т.к. только подобные системы могут адекватно реагировать на пиковые нагрузки входных данных, недостачу некоторых видов ресурсов и могут быть легко горизонтально масштабируемы.

Когда анализировалось будущее использование системы, обрабатывающей запросы или входящие данные, были выделены следующие требования:

  • Низкая задержка (latency) обработки сообщения;
  • Возможность получения данных из разных источников (БД, message middleware);
  • Возможность обработки данных на нескольких узлах;
  • Отказоустойчивость к ситуациям выхода из строя узлов;
  • Поддержка уровня гарантированной обработки сообщения «at-least-once»;
  • Наличие интерфейса для мониторинга состояния кластера и для управления им (хотя бы частично).

В качестве итогового решения был выбран фреймворк Apache Storm. Для поклонников Apache Spark: с учётом широкой распространённости этого фреймворка (с использованием Spark Streaming или сейчас Spark Structured Streaming), всё дальнейшее повествование будет строиться в сравнении с функционалом Apache Spark.
Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Views 3.3K
Comments 0