Добрый вечер!
>>> 1. Apache Spark vs Apache Ignite — оба продукта предназначены для распределенных вычислений. В чем отличия, достоинства и недостатки?
Тут есть небольшое отличие, У Ignite распредленное вычислении на уровне сервисов (так называемое service/compute grid). В качестве примера можно вспомнить такие часто встречаемые задачи как генерирование/конвертация документов, криптография, конвертация изображений. Также типовой задачей является предоставление постоянно запущенных сервисов. Service grid apache ignite позволяет прозрачно для программиста и администратора запускать сервисы в кластере ignite, предоставляет эффективный протокол доступа, контролирует их работоспособность.
Добрый день!
давайте попробую отвечать на ваши вопросы:
1) В первой очереди Ignite можно применять для кэширование данных ( например L2 кэш для Hibernate/MyBatis), подробнее можно смотреть здесь.
2) Также его можно применять для кластерация веб сессии/Off-heap memory. Ignite также поддерживает spring cache, который позволяет кэшировать результат функции.
3) Apache ignite предоставляет собой прозрачно расширяемый кластер для выполнения вычислений.
В качестве примера можно вспомнить такие часто встречаемые задачи как генерирование документов, криптография, конвертация изображений.
4) Ignite также предоставляет In-memory map/Reduce engine и можно его применять на месте Hadoop Map/Rduce, в этом случае увеличивается пройзводительности Map/Reduce
5) Ignite еще предоставляет In-memory file system (IGFS) как замена Hadoop HDFS а также кэширование для Hadoop HDFS
6) Предоставляет имплеменации Spark RDD, которые обениваются через In-memory grid и доступно для всех Spark задач. Это позволяет увеличить производительности spark задач.
7) Ignite in-memory data grid предоставляет транзакционности (XA/non XA) и поддерживает распредленный SQL с Join (версия 1.7) — Сбербанк используют этот use case для все видов транзакции.
8) Последок его часто применяют для обработки realtime данных и complex even processing вместе с Storm. В этом случае обрботкой занимается Storm или Flume а Ignite как in-memory хранилище для Realtime BI систем. Пример Beeline
Его сравнить с (Spark/Storm/Flink/Hawk) нет смысла — разные класс продуктов. Хотя Ignite заявляет как realtine analysis но это не совсем так — для realtime анализа (IgniteDataStreamer) его возможности ограничен.
Если есть интерес к этому продукту, можно прочитать sample chapter из книги http://leanpub.com/ignite.
В настройках кэш apache ignite: политика Expire — по подробнее можно читать здесь
На уровне MyBatis mapper: В операциях CRUD в XML можно указать flushCache=«true»
А если в таблице изменился данные мимо DAO, то есть кто не будут или 3ая система изменил данные в БД прямую: В этом случае необходимо сбросит или обновить кэш ignite, для реализации таких случае у Oracle есть возможности так называемое «Oracle database change notification», более подробнее можно узнать здесь
у Оба framework Hibernate и MyBatis есть свой достойнства и недостатки. Выбор очень сильно зависит от системного требования проекта. Очень хотел избежать от дебаты типа "Hibernate лучшее чем MyBatis" или "MyBatis лучшее Hibernate".
по моему 2 моделей
1) опрос (poll) — когда периодический приходишь к СМЭВ за ответ с номером
2) push — когда при обращение к СМЭВ передаешь еще url сервиса для получения ответа, СМЭВ сам вызывает сервис клиента когда ответ получен от поставщика
да virtual machine на VMWare. Проблемп было в СХД, он был медленный и общий для Cassandra и Hadoop. Поэтому производительности анализ данных у нас не так высоко было
вы это зря )) у soap есть некоторые большие преимущества, это wsdl описания сервиса (которые еще применяется для создания stub) и валидация сообщения(я про wadl знаю) а также готовые разных стандартов от w3c и oasis. Такие стандарты очень важно для egovernance.
по приказу Министерства связи и массовых коммуникаций Российской Федерации от 27 декабря 2010 г. № 190 «Об утверждении технических требований к взаимодействию информационных систем в единой системе межведомственного электронного взаимодействия»
с приказом можно ознакомится по ссылке smev.gosuslugi.ru/portal/api/files/get/424
У комания AT Consulting есть подписанный договор NDA как исполнитель, который не позволяет детализировать все моменты. Если у вас есть конкретный вопрос, буду рад отвечать.
>>> 1. Apache Spark vs Apache Ignite — оба продукта предназначены для распределенных вычислений. В чем отличия, достоинства и недостатки?
Тут есть небольшое отличие, У Ignite распредленное вычислении на уровне сервисов (так называемое service/compute grid). В качестве примера можно вспомнить такие часто встречаемые задачи как генерирование/конвертация документов, криптография, конвертация изображений. Также типовой задачей является предоставление постоянно запущенных сервисов. Service grid apache ignite позволяет прозрачно для программиста и администратора запускать сервисы в кластере ignite, предоставляет эффективный протокол доступа, контролирует их работоспособность.
давайте попробую отвечать на ваши вопросы:
1) В первой очереди Ignite можно применять для кэширование данных ( например L2 кэш для Hibernate/MyBatis), подробнее можно смотреть здесь.
2) Также его можно применять для кластерация веб сессии/Off-heap memory. Ignite также поддерживает spring cache, который позволяет кэшировать результат функции.
3) Apache ignite предоставляет собой прозрачно расширяемый кластер для выполнения вычислений.
В качестве примера можно вспомнить такие часто встречаемые задачи как генерирование документов, криптография, конвертация изображений.
4) Ignite также предоставляет In-memory map/Reduce engine и можно его применять на месте Hadoop Map/Rduce, в этом случае увеличивается пройзводительности Map/Reduce
5) Ignite еще предоставляет In-memory file system (IGFS) как замена Hadoop HDFS а также кэширование для Hadoop HDFS
6) Предоставляет имплеменации Spark RDD, которые обениваются через In-memory grid и доступно для всех Spark задач. Это позволяет увеличить производительности spark задач.
7) Ignite in-memory data grid предоставляет транзакционности (XA/non XA) и поддерживает распредленный SQL с Join (версия 1.7) — Сбербанк используют этот use case для все видов транзакции.
8) Последок его часто применяют для обработки realtime данных и complex even processing вместе с Storm. В этом случае обрботкой занимается Storm или Flume а Ignite как in-memory хранилище для Realtime BI систем. Пример Beeline
Основные Usecase:
— Online fraud detection.
— DataBase caching.
— Real time machine learning.
— Complex event processing.
— Real-time analytics.
— Geospatial processing.
Его сравнить с (Spark/Storm/Flink/Hawk) нет смысла — разные класс продуктов. Хотя Ignite заявляет как realtine analysis но это не совсем так — для realtime анализа (IgniteDataStreamer) его возможности ограничен.
Если есть интерес к этому продукту, можно прочитать sample chapter из книги http://leanpub.com/ignite.
https://gyazo.com/768e87434ac49e371e6c324c393840bd
1) опрос (poll) — когда периодический приходишь к СМЭВ за ответ с номером
2) push — когда при обращение к СМЭВ передаешь еще url сервиса для получения ответа, СМЭВ сам вызывает сервис клиента когда ответ получен от поставщика
с приказом можно ознакомится по ссылке
smev.gosuslugi.ru/portal/api/files/get/424