I am Groot. Делаем свою аналитику на событиях

еще нет, но посмотрим :)

I am Groot. Делаем свою аналитику на событиях

>Быстрая в чем? Запись, чтение и особенно аналитика?

Все вместе, сложные запросы выполняются очень быстро. Запись, если например через CSV файл происходит тоже быстро, даже очень. По сути HP Vertica это postgres на стероидах, заточенная для аналитики.

>Рассматривали ли вы еще какие-то базы данных?

Раньше использовали postgres, на больших и сложных отчетах постгря умирала или выполняла запрос несколько часов. Пробовали еще iccube, но что-то у нас не срослось.

Решения типа cassandra не рассматривали сразу, так как не было опыта и аналитикам сложнее отчеты строить. + сервера, поддержка и прочее. Сейчас есть мысль старые данные убирать куда-то, но думаем про amazon redshift.

Аналитикам всегда проще дать возможность писать запросы на SQL, так как они его хорошо знают и умеют работать. Обучать писать на scalding и на других обертках — дорого.

>Проще было поставить HP потому что дружите с HP
с HP вроде не дружим

I am Groot. Делаем свою аналитику на событиях

Очень хорошая скорость на больших объемах данных. Postgesql уже не справлялся.

I am Groot. Делаем свою аналитику на событиях

В этом случае нам придется постоянно обновлять или добавлять проекции, так как клиенты присылают новые параметры события. Если аналитикам очень сильно нужно, мы переносим поле в основную таблицу

I am Groot. Делаем свою аналитику на событиях

да, так можно быстро заливать, но у нас чуть-чуть другой кейс. в другом кластере заливка так и происходит

I am Groot. Делаем свою аналитику на событиях

Строить на все возможные варианты запросов проекции сложно, а у вертики есть ограничение по количеству.

I am Groot. Делаем свою аналитику на событиях

И да, и нет. Мы используем драйвер JDBC для вертики, который при batchInsert делает COPY с транзакцией

Дальнобойщик из Юты построил самый большой любительский телескоп в мире с диаметром зеркала 1,8 метра

Майкл купил это зеркало, весом в 400 килограммов, еще в 2005 году, и отложил «на будущее».

Google Chrome: «закат» для SHA-1

shaaaaaaaaaaaaa.com/ вот тут есть проверка для доменов, и куча инструкций как сделать сертификаты с SHA-2

Lean Big Data на 6 сервисах Google

А как вы пишете? Через файловые логи или kafka/flume/etc?

Игровой сервер на Scala + Akka

думаю написать веб сервер для приема сообщений и отправки их в kafka. пока смотрю в сторону spray, может у кого-нибудь есть опыт? есть смысл?

Универсальный web-GUI для произвольных RESTful сервисов

есть же swagger helloreverb.com/developers/swagger

Пианист в борделе? Как объяснить это банку

Не могу понять в чем радость получения кредитной карты. Сейчас кредиты раздают кому попало.

Чем полезен коворкинг?

По идее там не должно быть шума :) В прошлое воскресение пробовал коворкинг в Нескучном саду, удобно, тихо, никто не мешает.

Ru-Center запустил VDS

Вообще считается, за 1Gb берут $0.02 сверх лимита. www.digitalocean.com/community/questions/bandwidth-quota
Текущий лимит можно посмотреть в графиках, которые в настойках дропплета.

Если какие-то проблемы возникают, пишите в поддержку. По любым вопросам отвечают быстро, у меня максимум 10 минут было :)

Сервер очередей

А в сторону Apache Kafka, Apache Flume смотрели?

Ru-Center запустил VDS

Я просто оставлю это здесь digitalocean.com

Пишем парсер на NodeJS

Я для асинхронной загрузки кучи страниц использовать модуль async и метод async.map.

Используем method decorator в CoffeeScript(Javascript) для удобного и читаемого DRY-кода

var logMixin  = {
	log : function(message) {
		console.log(message);
	}
};

var Cat = {
	say : function() {
		this.log('мяу'),
	},
	getFood : function() {
		$.get('/food', _.bind(this.say, this));
	}
};

Cat = _.extend(Cat, logMixin);
Cat.getFood();

примерный код. _.extend просто объявляет все методы logMixin внутри Cat

Используем method decorator в CoffeeScript(Javascript) для удобного и читаемого DRY-кода

как вариант, написать класс с методом показа ошибки и использовать mixins