Pull to refresh
3
Karma
0
Rating
Шамим @shamim

Ведущий архитектор

  • Followers 2
  • Following

Знакомство с Apache Ignite: первые шаги

Можно прочитать небольшой обзор (sample chapter) из книги "High performance in-memory computing with Apache Ignite".

Знакомство с Apache Ignite: первые шаги

Добрый вечер!
>>> 1. Apache Spark vs Apache Ignite — оба продукта предназначены для распределенных вычислений. В чем отличия, достоинства и недостатки?

Тут есть небольшое отличие, У Ignite распредленное вычислении на уровне сервисов (так называемое service/compute grid). В качестве примера можно вспомнить такие часто встречаемые задачи как генерирование/конвертация документов, криптография, конвертация изображений. Также типовой задачей является предоставление постоянно запущенных сервисов. Service grid apache ignite позволяет прозрачно для программиста и администратора запускать сервисы в кластере ignite, предоставляет эффективный протокол доступа, контролирует их работоспособность.

Работа с топологией Apache Ignite

Добрый день!
давайте попробую отвечать на ваши вопросы:
1) В первой очереди Ignite можно применять для кэширование данных ( например L2 кэш для Hibernate/MyBatis), подробнее можно смотреть здесь.
2) Также его можно применять для кластерация веб сессии/Off-heap memory. Ignite также поддерживает spring cache, который позволяет кэшировать результат функции.
3) Apache ignite предоставляет собой прозрачно расширяемый кластер для выполнения вычислений.
В качестве примера можно вспомнить такие часто встречаемые задачи как генерирование документов, криптография, конвертация изображений.
4) Ignite также предоставляет In-memory map/Reduce engine и можно его применять на месте Hadoop Map/Rduce, в этом случае увеличивается пройзводительности Map/Reduce
5) Ignite еще предоставляет In-memory file system (IGFS) как замена Hadoop HDFS а также кэширование для Hadoop HDFS
6) Предоставляет имплеменации Spark RDD, которые обениваются через In-memory grid и доступно для всех Spark задач. Это позволяет увеличить производительности spark задач.
7) Ignite in-memory data grid предоставляет транзакционности (XA/non XA) и поддерживает распредленный SQL с Join (версия 1.7) — Сбербанк используют этот use case для все видов транзакции.
8) Последок его часто применяют для обработки realtime данных и complex even processing вместе с Storm. В этом случае обрботкой занимается Storm или Flume а Ignite как in-memory хранилище для Realtime BI систем. Пример Beeline

Основные Usecase:

— Online fraud detection.
— DataBase caching.
— Real time machine learning.
— Complex event processing.
— Real-time analytics.
— Geospatial processing.

Его сравнить с (Spark/Storm/Flink/Hawk) нет смысла — разные класс продуктов. Хотя Ignite заявляет как realtine analysis но это не совсем так — для realtime анализа (IgniteDataStreamer) его возможности ограничен.

Если есть интерес к этому продукту, можно прочитать sample chapter из книги http://leanpub.com/ignite.

Настройка и использование Apache Ignite в качестве MyBatis кэш второго уровня (L2 cache)

L1 cache Mybatis всегда включен по умолчанию. L1 cache кэширует данные в течение одной SQL сессии, поэтому эффект от L1 cache не очень велико.
https://gyazo.com/768e87434ac49e371e6c324c393840bd

Настройка и использование Apache Ignite в качестве MyBatis кэш второго уровня (L2 cache)

Существуют несколько способ:
  • В настройках кэш apache ignite: политика Expire — по подробнее можно читать здесь
  • На уровне MyBatis mapper: В операциях CRUD в XML можно указать flushCache=«true»
  • А если в таблице изменился данные мимо DAO, то есть кто не будут или 3ая система изменил данные в БД прямую: В этом случае необходимо сбросит или обновить кэш ignite, для реализации таких случае у Oracle есть возможности так называемое «Oracle database change notification», более подробнее можно узнать здесь

Настройка и использование Apache Ignite в качестве MyBatis кэш второго уровня (L2 cache)

Да, все виртуальные машины расположены в локальной сети.

Настройка и использование Apache Ignite в качестве MyBatis кэш второго уровня (L2 cache)

'попировали' опечатка )). Мы не попровали alluxio

Настройка и использование Apache Ignite в качестве MyBatis кэш второго уровня (L2 cache)

Спасибо за замечания, следующий раз будем постараться улучшить статью

Настройка и использование Apache Ignite в качестве MyBatis кэш второго уровня (L2 cache)

у Оба framework Hibernate и MyBatis есть свой достойнства и недостатки. Выбор очень сильно зависит от системного требования проекта. Очень хотел избежать от дебаты типа "Hibernate лучшее чем MyBatis" или "MyBatis лучшее Hibernate".

Переход из SQL на NoSQL: опыт проекта СМЭВ 2.0

по моему 2 моделей
1) опрос (poll) — когда периодический приходишь к СМЭВ за ответ с номером
2) push — когда при обращение к СМЭВ передаешь еще url сервиса для получения ответа, СМЭВ сам вызывает сервис клиента когда ответ получен от поставщика

Переход из SQL на NoSQL: опыт проекта СМЭВ 2.0

да virtual machine на VMWare. Проблемп было в СХД, он был медленный и общий для Cassandra и Hadoop. Поэтому производительности анализ данных у нас не так высоко было

Переход из SQL на NoSQL: опыт проекта СМЭВ 2.0

вы это зря )) у soap есть некоторые большие преимущества, это wsdl описания сервиса (которые еще применяется для создания stub) и валидация сообщения(я про wadl знаю) а также готовые разных стандартов от w3c и oasis. Такие стандарты очень важно для egovernance.

Переход из SQL на NoSQL: опыт проекта СМЭВ 2.0

Тут похоже нужно пояснить не которые моменты, я вечером попробую расписать по подробнее

Переход из SQL на NoSQL: опыт проекта СМЭВ 2.0

по приказу Министерства связи и массовых коммуникаций Российской Федерации от 27 декабря 2010 г. № 190 «Об утверждении технических требований к взаимодействию информационных систем в единой системе межведомственного электронного взаимодействия»
с приказом можно ознакомится по ссылке
smev.gosuslugi.ru/portal/api/files/get/424

Переход из SQL на NoSQL: опыт проекта СМЭВ 2.0

SOAP являлся defacto стандартом для взаимодействия через СМЭВ с поставщиками услуг.

Переход из SQL на NoSQL: опыт проекта СМЭВ 2.0

У комания AT Consulting есть подписанный договор NDA как исполнитель, который не позволяет детализировать все моменты. Если у вас есть конкретный вопрос, буду рад отвечать.

Переход из SQL на NoSQL: опыт проекта СМЭВ 2.0

0x0FFF, поддерживаю, все верно.

Переход из SQL на NoSQL: опыт проекта СМЭВ 2.0

нет 991 проектов — еще проект СКИМО есть в Ростелекоме
1

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity