• Консистентность и ACID-гарантии в распределенных системах хранения данных

      Распределенные системы используют, когда возникает необходимость в горизонтальном масштабировании, чтобы обеспечить повышенные показатели производительности, которые не способна обеспечить за адекватные деньги вертикально масштабированная система.

      Как и переход с однопоточной парадигмы на многопоточную, миграция на распределенную систему требует своего рода погружения и понимания того, как это работает внутри, на что нужно обращать внимание.

      Одна из проблем, которая встает перед человеком, который хочет мигрировать проект на распределенную систему или начать на ней проект, — какой продукт выбрать.

      Мы, как компания, которая «собаку сьела» в разработке систем такого рода, помогаем нашим клиентам взвешенно принимать такие решения применительно к распределенным системам хранения. Также мы выпускаем серию вебинаров для более широкой аудитории, которые посвящены базовым принципам, рассказанным простым языком, и безотносительно каких-то конкретных продуктовых предпочтений помогают составить карту значимых характеристик, чтобы облегчить выбор.

      Эта статья основана на наших материалах по консистентности и ACID-гарантиям в распределенных системах.
      Читать дальше →
    • GridGain на Highload: где поговорить про распределенные СУБД, In-Memory и open source

        Если 8 и 9 ноября вы будете на конференции Highload++, это отличный повод для встречи. Оба дня на стенде GridGain (А4) будут присутствовать архитекторы и разработчики, которе ответят на любые вопросы про Apache Ignite и GridgGain. Кроме разговоров и стикеров на стенде можно принять участие в небольшом исследовании. Каждый вечер в 18:15 между ответившими на вопросы будут разыграны полезные книги. А также у нас запланированы 1 доклад, 2 митапа и 1 мини-батл.



        Присоединяйтесь!
        Читать дальше →
      • Выход из колеса Сансары, экстремизм и немного зелёнки — разбор задач из буклета GridGain на конференции Joker 2018

          19 и 20 октября в Петербурге прошла конференция Joker — лучшее мероприятие для тех, кто любит то же самое, что и мы: крутые доклады, общение с продвинутыми Java-экспертами и задачки. Не будем нахваливать третий выпуск задач от GridGain (1, 2), лучше процитируем отзывы участников:

          «Их задачи показались глупыми и не относящимися к ИТ»
          «Отличные задачи, как всегда (хоть ни одной и не осилил)»
          «Наркомания в задачах»
          «Топовые задачи, как всегда»


          Публикуем, как обещали, развернутые решения. Вынесли под спойлер, чтобы свои силы могли попробовать и те, кто пропустил конференцию.


          Читать дальше →
        • Распределённые приложения на C++ с минимумом усилий

            Цель моего поста — рассказать о C++ API распределенной базы данных Apache Ignite, который называется Ignite C++, а также о его особенностях.


            О самом Apache Ignite на хабре писали уже не раз, так что наверняка некоторые из вас уже примерно представляют, что это такое и зачем нужно.


            Кратко об Apache Ignite для тех, кто пока с ним не знаком


            Не буду вдаваться в подробности о том, как появился Apache Ignite и чем отличается от классических баз данных. Все эти вопросы уже поднимались тут, тут или тут.


            Итак, Apache Ignite — это по сути быстрая распределённая база данных, оптимизированная для работы с оперативной памятью. Сам Ignite вырос из дата грида (In-memory Data Grid) и до недавнего времени позиционировался как очень быстрый, находящийся полностью в оперативной памяти распределённый кэш на основе распределенной хэш-таблицы. Вот почему, кроме хранения данных, в нем есть множество удобных фич для их быстрой распределенной обработки: Map-Reduce, атомарные операции с данными, полноценные ACID транзакции, SQL запросы по данным, так называемые Continues Queries, дающие возможность следить за изменением определённых данных и другие.


            Однако недавно в платформе появилась поддержка постоянного хранилища данных на диске. После чего Apache Ignite получил все преимущества полноценной объектно ориентированной базы данных, сохранив при этом удобство, богатство инструментария, гибкость и быстроту дата грида.

            Читать дальше →
            • +15
            • 5,1k
            • 4
          • Два Apache Ignite митапа и In-Memory Computing вебинар в сентябре

              Мы уже готовимся к Joker и Highload++, а вы? Тем временем в сентябре можно обсудить Apache Ignite сразу на двух встречах — в Москве и Петербурге. А еще мы продолжаем цикл вебинаров для тех, кто еще только сравнивает разные In-Memory решения, чтобы выбрать самое подходящее. Присоединяйтесь!

              11 сентября (Москва) Apache Ignite Meetup Moscow #4


              Читать дальше →
            • Власть, деньги и open source. Рассказываем, как работает сообщество на примере Apache Ignite



                На последней встрече сообщества Apache Ignite в Москве я рассказывал про:

                • Open source-сообщество;
                • Власть и деньги в open source;
                • Как стать контрибьютором и коммитером, и зачем это нужно.

                Ограниченное время доклада не позволило привести больше примеров, поэтому расширенную версию выкладываю на Хабре. Всё изложенное основано на моем личном опыте и не является официальной позицией какой-либо компании или организации.
                Читать дальше →
                • +27
                • 5,5k
                • 2
              • Релиз Apache Ignite 2.5 — Memory-Centric Distributed Database and Caching Platform

                  В мае вышла новая версия Apache Ignite — 2.5. В неё внесено множество изменений, с полным списком которых можно ознакомиться в Release Notes. А в этой статье мы рассмотрим ключевые новшества, на которые стоит обратить внимание.

                  Apache Ignite — горизонтально масштабируемая платформа транзакционного хранения данных, а также распределенных вычислений поверх этих данных в режиме, близком к реальному времени.

                  Ignite применяют в тех случаях, когда нужна горизонтальная масштабируемость и очень высокая скорость обработки данных. Последнее достигается также за счет оптимизации платформы под хранение данных непосредственно в RAM в качестве первичного хранилища, а не кеша (In-Memory Computing). Отличительными особенностями продукта являются полноценный движок запросов ANSI SQL 1999, дисковое хранилище, расширяющее RAM, большое количество встроенных интеграционных инструментов и Zero-ETL машинное обучение.

                  Среди компаний, которые используют Apache Ignite такие фирмы, как Veon/Beeline, Сбербанк, Huawei, Barclays, Citi, Microsoft и многие другие.

                  Новый вариант топологии: звезда вокруг ZooKeeper


                  Одно из главных изменений в версии 2.5 — новый вариант топологии. Ранее в Ignite была лишь топология «кольцо», которая использовалась для обмена событиями внутри кластера и обеспечивала эффективную и быструю масштабируемость, на масштабе до 300 узлов.

                  Новая топология предназначена для инсталляций из многих сотен и тысяч узлов.
                  Читать дальше →
                  • +20
                  • 2,4k
                  • 2
                • Как не сломать кластер Apache Ignite с самого начала

                    Привет! Ниже — расшифровка видеозаписи выступления на митапе Apache Ignite сообщества в Петербурге 20 июня. Загрузить слайды можно по ссылке.



                    Есть целый класс проблем, с которыми сталкиваются начинающие пользователи. Они только что скачали себе Apache Ignite, запускают первые два-три-десять раз, и приходят к нам с вопросами, которые решаются схожим образом. Поэтому предлагаю создать чек-лист, который сэкономит вам много времени и нервов, когда вы делаете свои первые приложения на Apache Ignite. Мы поговорим о подготовке к запуску; как сделать так, чтобы кластер собрался; как запустить какие-нибудь вычисления в Compute Grid; как подготовить модель данных и код, чтобы можно было записать в Ignite свои данные и потом их успешно прочитать. И главное: как ничего не сломать с самого начала.

                    Читать дальше →
                    • +23
                    • 4,3k
                    • 8
                  • Летний митап Apache Ignite в Москве



                      Приглашаем вас на московский летний митап, посвящённый Apache Ignite. Присоединяйтесь к встрече пользователей и разработчиков. В этот раз, как заказывали, покажем примеры кода, много примеров.

                      10 июля (вторник), Москва

                      Читать дальше →
                    • Летний митап Apache Ignite в Петербурге



                        Друзья, приглашаем вас на летний митап, посвящённый Apache Ignite. Присоединяйтесь к нашей неформальной встрече пользователей и разработчиков. Будут новые докладчики, новые темы и мороженое. С собой приносите интересные вопросы и летнее настроение.

                        20 июня, Cанкт-Петербург

                        Читать дальше →

                      Самое читаемое