Работа с топологией Apache Ignite

[kuaw26]

Умеет ли оно выполнять распределенные SQL запросы?

Умеет. Пока только select-ы. Но над DML идет активная работа.

А если сравнить с Spark/Storm/Flink/Hawk?

Про Spark — может быть как замена Spark в некоторых условиях, а может работать как «ускоритель» Spark путем предоставления специального IgniteRDD которое лежит в памяти и может переиспользоваться.

Apache Ignite реально супер швейцарский нож — фич целый вагон (большинство опциональны)

[shamim]

Добрый день!
давайте попробую отвечать на ваши вопросы:
1) В первой очереди Ignite можно применять для кэширование данных ( например L2 кэш для Hibernate/MyBatis), подробнее можно смотреть здесь.
2) Также его можно применять для кластерация веб сессии/Off-heap memory. Ignite также поддерживает spring cache, который позволяет кэшировать результат функции.
3) Apache ignite предоставляет собой прозрачно расширяемый кластер для выполнения вычислений.
В качестве примера можно вспомнить такие часто встречаемые задачи как генерирование документов, криптография, конвертация изображений.
4) Ignite также предоставляет In-memory map/Reduce engine и можно его применять на месте Hadoop Map/Rduce, в этом случае увеличивается пройзводительности Map/Reduce
5) Ignite еще предоставляет In-memory file system (IGFS) как замена Hadoop HDFS а также кэширование для Hadoop HDFS
6) Предоставляет имплеменации Spark RDD, которые обениваются через In-memory grid и доступно для всех Spark задач. Это позволяет увеличить производительности spark задач.
7) Ignite in-memory data grid предоставляет транзакционности (XA/non XA) и поддерживает распредленный SQL с Join (версия 1.7) — Сбербанк используют этот use case для все видов транзакции.
8) Последок его часто применяют для обработки realtime данных и complex even processing вместе с Storm. В этом случае обрботкой занимается Storm или Flume а Ignite как in-memory хранилище для Realtime BI систем. Пример Beeline

Основные Usecase:

— Online fraud detection.
— DataBase caching.
— Real time machine learning.
— Complex event processing.
— Real-time analytics.
— Geospatial processing.

Его сравнить с (Spark/Storm/Flink/Hawk) нет смысла — разные класс продуктов. Хотя Ignite заявляет как realtine analysis но это не совсем так — для realtime анализа (IgniteDataStreamer) его возможности ограничен.

Если есть интерес к этому продукту, можно прочитать sample chapter из книги http://leanpub.com/ignite.

[kmorozov]

Я уже на этот вопрос отвечал. Отвечу ещё раз. Я ответа на этот вопрос не знаю. Волею судеб я должен использовать этот продукт (кто-то поймёт), и я его изучаю. Мне кажется, если в процессе изучения я поделюсь с кем-то полученной информацией, никому хуже не будет. Идея этих и будущих статей такая: прочитав их, человек с архитектурным мышлением сможет придумать, куда этот кирпич можно положить. А готовые use case пусть придумывают маркетологи.