Денис, (теперь) Ваше замечание более обоснованное. Хотя корпоративные правила с Вашей прошлой работы, к сожалению, никак не относятся к предмету статьи и не увеличивают кол-во знаний по теме 'Hadoop + Azure' на этой странице.
Меня одного смущает, что таких же картинок полон интернет без всякой ссылки на EMC?
P.S. я независимый разработчик и статья не 'o Microsoft', а о решении, позволяющем использовать Hadoop в облаках (и не только). Называйте, пожалуйста, вещи своими именами.
P.S.S. Денис, если Вы поможете найти первоисточник картинки, то буду только благодарен.
Да, для streaming-данных Storm — идеальный шторм кандидат (при использовании Hadoop). Я его незаслуженно-умышленно не упомянул (т.к. не хотел уходить от темы статьи), как, собственно, и не упомянул про StreamInsight (последний, как я понимаю, в рамках проекта Austin из on-premise движется в облака Azure).
> добавил в список языков программирования Pig и Hive
ну тогда Hive QL, т.к. Hive все же больше инфраструктура, чем ЯП. По платформе Pig, аналогично, язык — Pig Latin.
Если Дневник.ру использует Windows Azure именно как PaaS-платформу, а не как IaaS (это предположение я сделал из прочитанного), то, я так подозреваю, еще может помочь:
0. Wasabi (Windows Azure Autoscaling Block);
1. 3rd party сервисы, такие как AzureWatch;
2. Собственный код, работающий с Azure Management API, может также 'помочь' автомасштабированию.
Не буду лукавить: по Hazelcast ничего конструктивного (в контексте сравнения с Hadoop) сказать не могу.
Но могу сказать:
0. самописные реализации по распределенной обработке, в ряде случае, могут показывать лучший результат, чем Hadoop (но писать / поддерживать / развивать такие реализации — немалые временные и финансовые издержки).
1. есть (проприетарный, надо полагать) проект Dryad (Dayota) от Microsoft, который, если мне не изменяет память, в этом году отсортировал петабайт данных качественно быстрее [на меньшем количестве вычислительных узлов за меньшее время], чем платформа Hadoop.
Про Cassandra:
если не секрет, поделитесь опытом: 'очень' это сколько по времени, на каком объеме данных и может какие-то особенности в запросах.
У меня так же сложилось впечатление, что в проекте словаконцепции опережают делореализацию. Во всяком случае, проект до сих пор до версии 1.0 не 'дожил'. (Но это не умаляет инновационности идей, используемых в проекте).
Спасибо за интересный пост, Наталья.
P.S. я независимый разработчик и статья не 'o Microsoft', а о решении, позволяющем использовать Hadoop в облаках (и не только). Называйте, пожалуйста, вещи своими именами.
P.S.S. Денис, если Вы поможете найти первоисточник картинки, то буду только благодарен.
штормкандидат (при использовании Hadoop). Я его незаслуженно-умышленно не упомянул (т.к. не хотел уходить от темы статьи), как, собственно, и не упомянул про StreamInsight (последний, как я понимаю, в рамках проекта Austin из on-premise движется в облака Azure).можнонужно 'посвящать' целые статьи.ну тогда Hive QL, т.к. Hive все же больше инфраструктура, чем ЯП. По платформе Pig, аналогично, язык — Pig Latin.
0. Wasabi (Windows Azure Autoscaling Block);
1. 3rd party сервисы, такие как AzureWatch;
2. Собственный код, работающий с Azure Management API, может также 'помочь' автомасштабированию.
Но могу сказать:
0. самописные реализации по распределенной обработке, в ряде случае, могут показывать лучший результат, чем Hadoop (но писать / поддерживать / развивать такие реализации — немалые временные и финансовые издержки).
1. есть (проприетарный, надо полагать) проект Dryad (Dayota) от Microsoft, который, если мне не изменяет память, в этом году отсортировал петабайт данных качественно быстрее [на меньшем количестве вычислительных узлов за меньшее время], чем платформа Hadoop.
Про Cassandra:
если не секрет, поделитесь опытом: 'очень' это сколько по времени, на каком объеме данных и может какие-то особенности в запросах.
словаконцепции опережаютделореализацию. Во всяком случае, проект до сих пор до версии 1.0 не 'дожил'. (Но это не умаляет инновационности идей, используемых в проекте).