Pull to refresh
  • by relevance
  • by date
  • by rating

Интересные международные мероприятия мая

Growth Hacking *
Каждый месяц по всему миру происходят десятки, если не сотни, IT-ориентированных конференций, выставок и других мероприятий.

В очередной раз мы собираем все наиболее интересные международные даты этого месяца для того, чтобы представить читателям «Мегамозга» в одном месте.
Читать дальше →
Total votes 5: ↑5 and ↓0 +5
Views 1.7K
Comments 0

Интересные международные мероприятия апреля

Conferences
Каждый месяц по всему миру происходят десятки, если не сотни, IT-ориентированных конференций, выставок и других мероприятий.

В очередной раз мы собираем все наиболее интересные международные даты этого месяца для того, чтобы представить читателям «Мегамозга» в одном месте.
Читать дальше →
Total votes 8: ↑8 and ↓0 +8
Views 1.9K
Comments 0

Смотрите прямую трансляцию открытия конференции Microsoft Ignite! Начало 26 сентября в 15:30 (МСК)

Microsoft corporate blog
26 сентября в Атланте (США) стартует конференция Microsoft Ignite (26-30 сентября 2016 года), в ходе которой планируются более 400 технологических сессий по различным направлениям и ожидается большое количество интересных и важных анонсов.
Читать дальше →
Total votes 25: ↑22 and ↓3 +19
Views 2.7K
Comments 4

Для чего нужен Apache Ignite / GridGain, на примере .NET & C#

GridGain corporate blog Java *.NET *SQL *Big Data *

В последнее время имена GridGain и Apache Ignite нередко мелькают в интернетах. Однако, судя по комментариям (например, здесь), мало кто понимает, что же это за продукт и с чем его едят.


В этой статье я попытаюсь доступным языком объяснить, и на примерах кода показать, что умеет Apache Ignite.


Apache Ignite Logo


Читать дальше →
Total votes 23: ↑20 and ↓3 +17
Views 31K
Comments 44

Apache® Ignite™ + Persistent Data Store — In-Memory проникает на диски. Часть I — Durable Memory

GridGain corporate blog Programming *Java *SQL *Big Data *


В Apache Ignite, начиная с версии 2.1 появилась собственная реализация Persistence.

На то, чтобы построить этот механизм в современном его исполнении, ушли десятки человеколет, которые были в основном потрачены на построение распределенного отказоустойчивого транзакционного хранилища с поддержкой SQL.

Всё началось с фундаментальных проблем предыдущего механизма, который позволял интегрировать In-Memory Data Grid с внешними постоянными хранилищами, например, Cassandra или Postgres.

Такой подход накладывал определенные ограничения — например, было невозможно выполнять SQL или распределенные вычисления поверх данных, которые находятся не в памяти, а в таком внешнем хранилище, был невозможен холодный запуск и низкий RTO (Recovery Time Objective) без существенных дополнительных усложнений.

Если вы используете Apache Ignite Persistence, то оставляете себе все обычные возможности Apache Ignite — ACID, распределенные транзакции, распределенный SQL99, доступ через Java/.NET API или интерфейсы JDBC/ODBC, распределенные вычисления и так далее. Но теперь то, что вы используете, может работать как поверх памяти, так и поверх диска, который расширяет память, на инсталляциях от одного узла до нескольких тысяч узлов.

Давайте посмотрим, как устроен Apache Ignite Persistence внутри. Сегодня я рассмотрю его основу — Durable Memory, а в следующей публикации — сам дисковый компонент.
Читать дальше →
Total votes 22: ↑22 and ↓0 +22
Views 8.3K
Comments 3

Используем Apache Ignite в быту

GridGain corporate blog .NET *SQL *C# *Big Data *

В продолжение темы «доступным языком про Ignite / GridGain», начатой в предыдущем посте (Для чего нужен Apache Ignite), давайте рассмотрим примеры использования продукта «для простых смертных».


Терабайты данных, кластеры на сотни машин, big data, high load, machine learning, микросервисы и прочие страшные слова — всё это доступно Ignite. Но это не значит, что он не годится для менее масштабных целей.


Сегодня мы рассмотрим, как Ignite может легко хранить любые ваши объекты, обмениваться ими по сети и обеспечивать взаимодействие .NET и Java.


Apache Ignite.NET


Читать дальше →
Total votes 21: ↑21 and ↓0 +21
Views 13K
Comments 18

Apache Ignite: распределенные вычисления в оперативной памяти

Издательский дом «Питер» corporate blog Programming *Java *Apache *Big Data *
Translation


Привет, Хабр!

Мы продолжаем интересоваться новыми решениями от Apache. Рассчитываем выпустить в мае книгу «High Performance Spark» Холдена Карау (книга в верстке), а в августе — книгу «Kafka: The Definitive Guide» Нии Нархид (еще в переводе). Сегодня же хотим предложить краткую ознакомительную статью об Apache Ignite и оценить масштаб интереса к теме.

Приятного чтения!
Читать дальше →
Total votes 26: ↑24 and ↓2 +22
Views 8.1K
Comments 2

Как не сломать кластер Apache Ignite с самого начала

GridGain corporate blog Open source *Programming *Java *

Привет! Ниже — расшифровка видеозаписи выступления на митапе Apache Ignite сообщества в Петербурге 20 июня. Загрузить слайды можно по ссылке.



Есть целый класс проблем, с которыми сталкиваются начинающие пользователи. Они только что скачали себе Apache Ignite, запускают первые два-три-десять раз, и приходят к нам с вопросами, которые решаются схожим образом. Поэтому предлагаю создать чек-лист, который сэкономит вам много времени и нервов, когда вы делаете свои первые приложения на Apache Ignite. Мы поговорим о подготовке к запуску; как сделать так, чтобы кластер собрался; как запустить какие-нибудь вычисления в Compute Grid; как подготовить модель данных и код, чтобы можно было записать в Ignite свои данные и потом их успешно прочитать. И главное: как ничего не сломать с самого начала.

Total votes 25: ↑24 and ↓1 +23
Views 8.1K
Comments 8

Алексей Зиновьев о BigData + ML на jug.msk.ru

JUG Ru Group corporate blog Java *Scala *Big Data *
12 июля 2018 года в офисе компании КРОК прошла встреча московского сообщества Java-разработчиков jug.msk.ru, докладчиком на которой был Алексей Зиновьев. Темами встречи были Big Data и машинное обучение (machine learning).


Читать дальше →
Total votes 9: ↑9 and ↓0 +9
Views 3.2K
Comments 1

Реальный вклад в реальный Open Source

Сбер corporate blog Java *System Programming *Distributed systems *
Недавний пост о том как мы в Сбербанк-Технологиях разрабатываем Open Source раскрыл множество интересных подробностей о подходах, стремлениях и идеологии.

Сегодня я хочу рассказать о том реальном вкладе, который наша команда вносит в Open Source.


Читать дальше →
Total votes 22: ↑15 and ↓7 +8
Views 5.6K
Comments 0

Распределённые приложения на C++ с минимумом усилий

GridGain corporate blog C++ *SQL *Database Administration *Data storages *

Цель моего поста — рассказать о C++ API распределенной базы данных Apache Ignite, который называется Ignite C++, а также о его особенностях.


О самом Apache Ignite на хабре писали уже не раз, так что наверняка некоторые из вас уже примерно представляют, что это такое и зачем нужно.


Кратко об Apache Ignite для тех, кто пока с ним не знаком


Не буду вдаваться в подробности о том, как появился Apache Ignite и чем отличается от классических баз данных. Все эти вопросы уже поднимались тут, тут или тут.


Итак, Apache Ignite — это по сути быстрая распределённая база данных, оптимизированная для работы с оперативной памятью. Сам Ignite вырос из дата грида (In-memory Data Grid) и до недавнего времени позиционировался как очень быстрый, находящийся полностью в оперативной памяти распределённый кэш на основе распределенной хэш-таблицы. Вот почему, кроме хранения данных, в нем есть множество удобных фич для их быстрой распределенной обработки: Map-Reduce, атомарные операции с данными, полноценные ACID транзакции, SQL запросы по данным, так называемые Continues Queries, дающие возможность следить за изменением определённых данных и другие.


Однако недавно в платформе появилась поддержка постоянного хранилища данных на диске. После чего Apache Ignite получил все преимущества полноценной объектно ориентированной базы данных, сохранив при этом удобство, богатство инструментария, гибкость и быстроту дата грида.

Читать дальше →
Total votes 15: ↑15 and ↓0 +15
Views 6.2K
Comments 4

Обучение и тестирование нейронных сетей на PyTorch с помощью Ignite

Open Data Science corporate blog Open source *Python *Image processing *Machine learning *
Tutorial

Привет, Хабр, в этой статье я расскажу про библиотеку ignite, с помощью которой можно легко обучать и тестировать нейронные сети, используя фреймворк PyTorch.


С помощью ignite можно писать циклы для обучения сети буквально в несколько строк, добавлять из коробки расчет стандартных метрик, сохранять модель и т.д. Ну, а для тех кто переехал с TF на PyTorch, можно сказать, что библиотека ignite — Keras для PyTorch.


В статье будет детально разобран пример обучения нейронной сети для задачи классификации, используя ignite


Читать дальше →
Total votes 36: ↑36 and ↓0 +36
Views 25K
Comments 4

Apache Ignite + Apache Spark Data Frames: вместе веселее

Сбер corporate blog Open source *Scala *API *Apache *
Привет, Хабр! Меня зовут Николай Ижиков, я работаю в компании «Сбербанк Технологии» в команде развития Open Source решений. За плечами 15 лет коммерческой разработки на Java. Я коммитер Apache Ignite и контрибьютор Apache Kafka.

Под катом вас ожидает видео и текстовая версия моего доклада на Apache Ignite Meetup о том, как использовать Apache Ignite вместе с Apache Spark и какие возможности мы для этого реализовали.


Total votes 21: ↑20 and ↓1 +19
Views 5.4K
Comments 3

Ignite Service Grid — перезагрузка

Сбер corporate blog Open source *Apache *Data storage *Microservices *
26 февраля мы проводили митап Apache Ignite GreenSource, где выступали контрибьютеры open source проекта Apache Ignite. Важным событием в жизни этого сообщества стала перестройка компонента Ignite Service Grid, который позволяет развернуть пользовательские микросервисы прямо в кластере Ignite. Об этом непростом процессе на митапе рассказал Вячеслав Дарадур, старший разработчик Яндекса и уже более двух лет контрибьютер Apache Ignite.


Читать дальше →
Total votes 22: ↑20 and ↓2 +18
Views 3.3K
Comments 4

Техническая конференция Microsoft Ignite The Tour Prague

Microsoft corporate blog Microsoft Azure Development for Office 365 *Conferences
Microsoft приглашает на крупнейшую техническую конференцию Европы Microsoft Ignite The Tour Prague.

В  рамках мирового roadshow в Праге c 24 по 25 февраля 2020 года пройдет крупнейшая техническая конференция Microsoft в Центральной и Восточной Европе — Microsoft Ignite The Tour.

Microsoft Ignite The Tour — это двухдневное бесплатное техническое учебное мероприятие для разработчиков и ИТ-специалистов, на котором вы сможете ближе познакомиться с облачными инструментами и технологиями Microsoft, в том числе с Azure, Microsoft 365, Dynamics 365 и Power Platform. На конференции Microsoft Ignite The Tour будет представлен лучший контент Microsoft Ignite (США) в адаптированном виде, язык конференции — английский.

Читать дальше →
Total votes 11: ↑10 and ↓1 +9
Views 965
Comments 1

Как мы в Спортмастере выбирали систему кеширования. Часть 1

Sportmaster Lab corporate blog High performance *Website development *System Analysis and Design *IT Infrastructure *
Привет! Меня зовут Алексей Пьянков, я разработчик в компании Спортмастер. В этом посте я рассказал, как начиналась работа над сайтом Спортмастер в 2012 году, какие инициативы удалось «протолкнуть» и наоборот, какие грабли мы собрали.

Сегодня я хочу поделиться мыслями, которые следуют за другим сюжетом – выбор системы кеширования для java-бэкенда в админке сайта. Этот сюжет имеет особое значение для меня – хотя история разворачивалась всего 2 месяца, но эти 60 дней мы работали по 12-16 часов и без единого выходного. Никогда раньше не думал и не представлял, что можно так много работать.

Поэтому текст разбиваю на 2 части, чтоб не загрузить по полной. Наоборот, первая часть будет очень легкой — подготовкой, введением, некоторыми соображениями, что такое кеширование. Если вы уже опытный разработчик или работали с кешами — с технической стороны ничего нового в этой статье, скорее всего, не будет. А вот для джуниора небольшой такой обзор может подсказать, в какую сторону смотреть, окажись он на таком распутье.


Читать дальше →
Total votes 31: ↑30 and ↓1 +29
Views 11K
Comments 23

Мониторинг распределенной системы с помощью Zabbix на примере Apache Ignite

GridGain corporate blog Distributed systems *
Tutorial

Мониторинг сложных распределенных систем может стать настоящей головной болью как с точки зрения первичной настройки метрик и поддержания их актуальности, так и с точки зрения производительности. Легче всего предотвратить большинство проблем заранее, ещё на стадии проектирования.

Читать далее
Total votes 12: ↑12 and ↓0 +12
Views 3.1K
Comments 1

Обогащение данных — что это и почему без него никак

ITSumma corporate blog IT Infrastructure *Apache *Big Data *Data Engineering *

Обогащение данных — это процесс дополнения сырых данных той информацией, которая в исходном виде в них отсутствует, но необходима для качественного анализа. Оно требуется, чтобы конечные потребители данных получали качественную информацию.

В этой статье рассмотрим, что такое обогащение данных в контексте их автоматизированной обработки и какие технические средства мы для этого используем. 

Главный результат — если объединять данные, применяя предложенную нами схему обогащения, то в дальнейшем аналитикам не потребуется каждый раз делать JOIN-запрос, что сэкономит как ценное время людей, так и машинные ресурсы.

Читать далее
Total votes 21: ↑18 and ↓3 +15
Views 5.1K
Comments 0