От Hadoop до Cassandra: 5 лучших инструментов для работы с Big Data

[Geckelberryfinn]

Перечисленным продуктам уже сто лет в обед, смысл о них писать, они у всех и так на слуху?
У меня другой вопрос: что делает Excel, HTML5 и CSS3 на приведенной картинке для привлечения внимания?

[DrunkBear]

На самом деле, Excel хватит для анализа небольших больших данных (срезы по 16-32 Гб поместятся в оперативке и могут быть преобразованы в инсайты датасатанистами).
Про аналогичное использование HTML + CSS не знаю, видимо, это будут представители сверхновой волны анализа? /irony

[stanislavnikitin]

Недавно была новость про одного президента СНГ, написавшего нейронную сеть на HTML. Сетка даже предсказала процветание и технологическое лидерство )))

[DrunkBear]

Срази видно, человек писал, старался, а мог бы и у голосового помощника спросить c абсолютно тем же результатом! /sarcasm

[nlinker]

Ну и зоопарк развели в этих ваших бигдатах :-))

Но если серьёзно, время Hadoop уже уходит, и Spark теперь de-facto стандартный инструмент для обработки больших данных. Сам Hadoop может быть интересен только в виде hdfs + yarn, однако и тут у него есть серьёзные конкуренты в лице k8s и mesos. Короче, в вашем списке Hadoop лишний, а наоборот, не хватает Spark

[DrunkBear]

Ой-вэй, куда это hadoop уходит, ведь даже не попрощался? /irony
А данные под Spark где будут лежать?
Если серьёзно, в последних Cloudera Open Day показывали менеджер для YARN + k8s в 1 флаконе, Оракл тоже обещал docker + k8s из коробки (точнее, из Oracle linux), так что большой вопрос, кто куда пойдёт и с кем скрестится.

[somurzakov]

данные будут лежать в s3.
А анализ этих данных будут делать через managed решение типа Snowflake/databricks и не забивать голову инфраструктурой и прочей канализацией. По крайней мере мне кажется такой формируется тренд — в сторону готовых решений, без фреймворков для фреймворков для запуска кластера

[DrunkBear]

В облаке?
Или разворачивать локальное хранилище, переливать все данные туда и только после этого жить без java + фреймворки фреймворков для запуска фреймворков, типа spark-on-yarn?