Знакомство с Apache Ignite: первые шаги

[A_Gura]

он хранится в не абы в чём, не в java.util.concurrent.ConcurrentHashMap, как кто-то, наверное подумал, а в org.jsr166.ConcurrentHashMap8. В чём их отличие даже боюсь предположить, надеюсь, что кто-нибудь в комментах просветит.

Ignite написан на Java 7, тогда как класс ConcurrentHashMap в Java 8 получил ряд улучшений. Вот его и перенесли из jsr166 в кодовую базу Ignite и немного модифицировали. Благо лицензия CC0 это позволяет.

[kmorozov]

Спасибо!

[javax]

Не хватает объяснения или примера что вообще он умеет делать, для каких задач подходит

[kmorozov]

Этой статьёй, и если дело пойдёт, в последующих, я попытаюсь дать для себя и читателей информацию для ответа на этот вопрос. Сейчас этот ответ мне неизвестен. Рекламу ГридГейна цитировать не буду. Я не эксперт в этом продукте, я в нём копаюсь и изучаю в надежде, что не может же вся эта крутизна ни на что не быть годной.

[devozerov]

Начать можно с официального сайта: http://ignite.apache.org/

На данный момент описать продукт в двух словах проблематично. Официальная формулировка — data fabric, то есть интегрированная платформа для распределенных вычислений и работы с данными.

Многие (если не все) продукты такого класса лет 10 назад начинали с простого use case: распределенный кэш и map-reduce, горизонтальное масштабирование. За годы требования бизнеса и конкуренция возросли, поэтому они трансформировались в эдакие универсальные конструкторы для работы с данными.

Ключевые фичи конкретно Ignite: distributed cache, распределенный SQL поверх данных в памяти (+ JDBC и ODBC драйвера), map-reduce, стриминг, распределенная файловая система, множество интеграций (web sessions, hibernate L2 cache, ...), API для .NET и C++, и т. д…

[javax]

Спасибо! Звучит интересно

[SerrNovik]

Computational grid — распределенные и масштабируемые вычисления. Не только map-reduce но и любые отдельные функции.

[Ermak]

Спасибо за статью. Ignite не пробовсал еще, но работаю со Spark. Пара вопросов:
1. Apache Spark vs Apache Ignite — оба продукта предназначены для распределенных вычислений. В чем отличия, достоинства и недостатки?
2. А в чем проблема запусакть докер на Win7? Пользуюсь Boot2Docker чтобы запускать докер на Win7.

[kmorozov]

Я думал, он только под Win10, попробую, спасибо.

[shamim]

Добрый вечер!
>>> 1. Apache Spark vs Apache Ignite — оба продукта предназначены для распределенных вычислений. В чем отличия, достоинства и недостатки?

Тут есть небольшое отличие, У Ignite распредленное вычислении на уровне сервисов (так называемое service/compute grid). В качестве примера можно вспомнить такие часто встречаемые задачи как генерирование/конвертация документов, криптография, конвертация изображений. Также типовой задачей является предоставление постоянно запущенных сервисов. Service grid apache ignite позволяет прозрачно для программиста и администратора запускать сервисы в кластере ignite, предоставляет эффективный протокол доступа, контролирует их работоспособность.

[shamim]

Можно прочитать небольшой обзор (sample chapter) из книги "High performance in-memory computing with Apache Ignite".

[Sibarit]

Отличий много, но есть и симбиоз. https://www.gridgain.com/technology/integrations/apache-spark

[ilshat_gainanov]

Хорошая статья, сейчас тоже занимаюсь изучением возможностей Apache Ignite. Для себя уяснил, что многие моменты, недосказанные в документации, можно узнать на форуме, ибо имеется довольно дружелюбное и активное комьюнити.

[devozerov]

Ильшат, не подскажите чего именно, на ваш взгляд, не хватало в документации?

[ilshat_gainanov]

Владимир, ну, по мелочам бывают недосказанности в основном.
Сейчас разбираюсь с транзакциями, JTA, Affinity и Join`ами между кэшами, хотелось бы в принципе более подробного описания, примеров, может, более приближенных к реалиям.
Ну, а может, у меня возникают трудности в силу неопытности:)