1cloud Jun 30 2015 at 14:04

Большие данные и большие вопросы

3 min

11K

1cloud.ru corporate blogSystem Analysis and Design*Big Data*Development for e-commerce*Machine learning*

Comments 9

mayorovp Jun 30 2015 at 15:07

Новый способ издевательства над читателями — гифка с текстом? Успей прочесть, пока кадр не сменился!

Скрытый текст

NatalyM Jun 30 2015 at 15:20

Аж два раза смена, чтобы прочитать нужна куча времени

uSide Jun 30 2015 at 17:22

пока голову повернешь, кадр сменится :)

father_gorry Jun 30 2015 at 19:16

Корреляции — это скорее вотчина machine learning, нежели big data, не?
А используемые подходы я бы уподобил натуральному мышлению древнего человека, который, не строя и не проверяя модели, находил связь между кровавыми жертвоприношениями и приходом дождя.

ServPonomarev Jun 30 2015 at 20:09

Тут получается забавный парадокс. Корреляция между жертвоприношениями и приходом дождя может казаться дикой, но если она есть, бизнес её может использовать. Если корреляция исчезнет, всегда можно найти новую. В общем, добро пожаловать в современный ML шаманизм. Непонятно как, но работает.

father_gorry Jun 30 2015 at 20:36

Безусловно, может. И использует.
Просто если вдруг получается придумать фальсифицируемую модель и повесить на нее данные, то происходит настоящий прорыв.

mayorovp Jun 30 2015 at 21:18

Вот только если корреляция «ложная» (не связанная причинно либо связанная но не в ту сторону что надо) — то после начала использования этой корреляции она просто исчезает :)

mayorovp Jun 30 2015 at 21:17

^{(комментарий был удален)}

facha Mar 23 2016 at 18:17

Технические проблемы, вроде недостатка инфраструктурных мощностей, можно решить с помощью использования новых технологий — например, облаков.

Объясните, кто-нибудь, где в "облаке" предполагается хранить данные? Если это EBS или S3 (предположим, у нас aws), не будет data-locality. Если это ephimeral — диски, тогда кластер нужно все время держать включенным, что дорого.