Pull to refresh
  • by relevance
  • by date
  • by rating

Новый тип EC2 инстанса — High Memory Cluster Eight Extra Large Instance

EPAM corporate blog Amazon Web Services *
Привет! image

Сразу вслед за High-Storage Eight Extra Large Amazon Web Services анонсировали новый тип инстансов для In-Memory вычислений — High Memory Cluster Eight Extra Large Instance.

Итак, технические характеристики нового типа инстанса:
  • два восьмиядерных процессора Intel E5-2670 с частотой 2.6 GHz с поддержкой Intel Turbo Boost и NUMA
  • 244 ГБ ОЗУ (!)
  • два 120 ГБ SSD винчестера
  • 10 Гб сеть для Cluster Placement Groups0
  • только HVM виртуализация
  • только EBS-backed AMI
Читать дальше →
Total votes 9: ↑7 and ↓2 +5
Views 3.9K
Comments 11

Вебинар «Приложения SAP на инфраструктуре Fujitsu: управление жизненным циклом и стратегия развития»

Fujitsu corporate blog
26 марта 2014 г. приглашаем принять участие в совместном вебинаре компаний Fujitsu и SAP: «Приложения SAP на инфраструктуре Fujitsu: управление жизненным циклом и стратегия развития».

Компания Fujitsu сконцентрировала весь свой многолетний опыт по разработке инфраструктур для SAP в ряде специализированных разработок. Это и решение FlexFrame, имеющее многолетний положительный опыт промышленной эксплуатации по всему миру и подтвердившее свою экономическую эффективность. Это и относительно новые инфраструктурные разработки для проведения вычислений In-Memory, предназначенные для развертывания баз данных SAP HANA.

В рамках вебинара будут представлены обновления линейки продуктов Fujitsu для SAP, предложены типовые сценарии их использования реализации частных задач.
Детали вебинара и регистрация
Total votes 2: ↑2 and ↓0 +2
Views 1.7K
Comments 0

Сериал: Big Data — как мечта. 4-я серия. Революция мозгов

PalitrumLab corporate blog Search engines *System Analysis and Design *Data Mining *Big Data *
В предыдущих сериях: Big Data — это не просто много данных. Big Data — процесс с положительной обратной связью. «Кнопка Обамы» как воплощение rtBD&A.

В мире есть множество самых великих книг, которые пережили столетия и даже тысячелетия. Заложенные в этих книгах знания — универсальны. Китайские военные стратегмы, Библия, индийская Махабхарата содержат в том числе шаблоны и каноны, которые могут быть применимы к взаимоотношениям людей и в I, и в XI, и в XXI с XXXI веках. Но промышленной революции XIX-XXI веков (паровозы-космос-компьютеры-интернет) нужна была своя философия.
Читать дальше →
Total votes 13: ↑11 and ↓2 +9
Views 9.8K
Comments 2

Создание in-memory кэша первого уровня для .NET-клиентов StackExchange.Redis

Plarium corporate blog Programming *Client optimization *.NET *
Translation
Джонатан Карди написал .NET-библиотеку StackRedis.L1 с открытым исходным кодом, которая позволяет создавать кэш первого уровня для Redis. Иными словами, используя библиотеку StackExchange.Redis в .NET-приложении, вы можете подключить к ней StackRedis.L1 для ускорения работы за счет локального кэширования данных в оперативной памяти. Это позволяет избежать лишних обращений к Redis в тех случаях, когда данные не подвергались изменениям. Библиотека доступна на GitHub и NuGet.
В этой статье рассказывается о том, как и почему она была создана.


Читать дальше →
Total votes 20: ↑18 and ↓2 +16
Views 13K
Comments 2

О процессе создания сервера – от идеи к деталям

YADRO corporate blog System Analysis and Design *
Здравствуйте! Меня зовут Алексей, я руковожу созданием оборудования в компании YADRO – координирую работу всех, кто так или иначе вовлечен в процесс разработки.

В конце прошлой статьи Максим maxf75 немного коснулся особенностей расположения разъёмов памяти. Сегодня я расскажу в целом про то, как мы пришли к тому варианту архитектуры и компоновки, над которыми работаем сейчас.


Вид проектируемого сервера сзади со снятой задней решёткой.

Технические подробности и немного общих соображений.
Total votes 35: ↑34 and ↓1 +33
Views 27K
Comments 64

Почему Apache Ignite — хорошая платформа для микросервисов

GridGain corporate blog High performance *Open source *Programming *Java *
Translation
Tutorial


Прим. Переводчика. Статья может быть интересна архитекторам и разработчикам, планирующим построение решения на основе микросервисов, либо ищущим способы оптимизации текущего решения, особенно если работа идет с большими объемами данных. Перевод сделан на основе части 1 и части 2 цикла статей о микросервисах на Apache Ignite. Предполагается общее знакомство с экосистемой Java (Apache Ignite работает также с .NET, C++, а через REST и с другими языками, но примеры в статье будут апеллировать к Java), рекомендуется наличие базового знания Spring.

Сегодня микросервисная архитектура — это один из наиболее популярных подходов, на основе которого многие компании строят свои решения. Одно из ключевых преимуществ этого подхода — то, что он предполагает разделение решения на набор слабо связанных компонентов — микросервисов, — каждый из которых может иметь собственный жизненный и релизный циклы, команду разработки и т.д. У этих компонентов всегда есть хотя бы один механизм обмена данными, посредством которого микросервисы взаимодействуют друг с другом. Более того они могут создаваться с использованием разных языков и технологий, наиболее подходящих конкретному модулю системы.

Если вы используете решения на основе микросервисной архитектуры там, где есть высокая нагрузка и необходимо работать с активно растущими массивами данных, скорее всего, вы сталкивались или столкнетесь с проблемами классических подходов:
Читать дальше →
Total votes 9: ↑6 and ↓3 +3
Views 18K
Comments 2

Ревизия #1. Ключ на старт

YADRO corporate blog System Analysis and Design *
Привет всем!

Довольно долго от нас не было вестей — превращали схемы и чертежи сервера в реальное железо. Теперь у нас появилась рабочая первая ревизия, и в преддверии майских праздников можно порадовать вас рассказом, чем занимались наши разработчики последние полгода. И конечно, показать результат — в этой статье впервые опубликуем фотографии, а не только схемы и модели.

image

Райзеры с памятью в первой ревизии нашего сервера.
Читать дальше →
Total votes 41: ↑40 and ↓1 +39
Views 15K
Comments 43

Сервер VESNIN: первые тесты дисковой подсистемы

YADRO corporate blog High performance *System Analysis and Design *
Отлаживая экземпляр сервера первой ревизии, мы частично протестировали скорость работы подсистемы ввода-вывода. Кроме цифр с результатами тестов, в статье я постарался отразить наблюдения, которые могут быть полезны инженерам при проектировании и настройке ввода-вывода приложений.


Читать дальше →
Total votes 8: ↑7 and ↓1 +6
Views 6.9K
Comments 3

Apache® Ignite™ + Persistent Data Store — In-Memory проникает на диски. Часть I — Durable Memory

GridGain corporate blog Programming *Java *SQL *Big Data *


В Apache Ignite, начиная с версии 2.1 появилась собственная реализация Persistence.

На то, чтобы построить этот механизм в современном его исполнении, ушли десятки человеколет, которые были в основном потрачены на построение распределенного отказоустойчивого транзакционного хранилища с поддержкой SQL.

Всё началось с фундаментальных проблем предыдущего механизма, который позволял интегрировать In-Memory Data Grid с внешними постоянными хранилищами, например, Cassandra или Postgres.

Такой подход накладывал определенные ограничения — например, было невозможно выполнять SQL или распределенные вычисления поверх данных, которые находятся не в памяти, а в таком внешнем хранилище, был невозможен холодный запуск и низкий RTO (Recovery Time Objective) без существенных дополнительных усложнений.

Если вы используете Apache Ignite Persistence, то оставляете себе все обычные возможности Apache Ignite — ACID, распределенные транзакции, распределенный SQL99, доступ через Java/.NET API или интерфейсы JDBC/ODBC, распределенные вычисления и так далее. Но теперь то, что вы используете, может работать как поверх памяти, так и поверх диска, который расширяет память, на инсталляциях от одного узла до нескольких тысяч узлов.

Давайте посмотрим, как устроен Apache Ignite Persistence внутри. Сегодня я рассмотрю его основу — Durable Memory, а в следующей публикации — сам дисковый компонент.
Читать дальше →
Total votes 22: ↑22 and ↓0 +22
Views 8.3K
Comments 3

IBM применили вычисления в памяти для машинного обучения

CloudMTS corporate blog High performance *Machine learning *
Исследователи из IBM Research продемонстрировали успешную работу алгоритма машинного обучения без учителя, запущенного на PCM-устройствах (phase-change memory). Этот метод оказался в 200 раз быстрее и энергоэффективнее, чем традиционные вычисления по модели фон Неймана. Согласно заявлению IBM, технология подходит для создания высокоплотных массово-параллельных систем с низким энергопотреблением для использования в области ИИ.

Читать дальше →
Total votes 16: ↑16 and ↓0 +16
Views 10K
Comments 5

Apache Ignite: распределенные вычисления в оперативной памяти

Издательский дом «Питер» corporate blog Programming *Java *Apache *Big Data *
Translation


Привет, Хабр!

Мы продолжаем интересоваться новыми решениями от Apache. Рассчитываем выпустить в мае книгу «High Performance Spark» Холдена Карау (книга в верстке), а в августе — книгу «Kafka: The Definitive Guide» Нии Нархид (еще в переводе). Сегодня же хотим предложить краткую ознакомительную статью об Apache Ignite и оценить масштаб интереса к теме.

Приятного чтения!
Читать дальше →
Total votes 26: ↑24 and ↓2 +22
Views 8.1K
Comments 2

HPE Superdome Flex: новый уровень производительности и масштабирования

Hewlett Packard Enterprise corporate blog High performance *IT Infrastructure *
В прошлом декабре компания HPE объявила о выпуске модульной платформы для вычислений в памяти с использованием технологии in-memory с самыми широкими в мире возможностями масштабирования — HPE Superdome Flex. Это прорыв в области вычислительных систем для поддержки критически важных приложений, аналитики в реальном времени и высокопроизводительных вычислений с интенсивной обработкой данных.

Платформа HPE Superdome Flex обладает рядом характеристик, которые делают ее уникальной в своей отрасли. Предлагаем вам перевод статьи из блога Servers: The Right Compute, в которой рассматривается модульная и масштабируемая архитектура платформы.

Читать дальше →
Total votes 10: ↑6 and ↓4 +2
Views 3K
Comments 0

Эльфы в памяти. Выполнение ELF в оперативной памяти Linux

FBK CyberSecurity corporate blog Information Security *


Бесфайловое распространение вредоносного ПО набирает популярность. Что не удивительно, ведь работа таких программ практически не оставляет следов. В этой статье мы не будем касаться техник выполнения программ в памяти Windows. Сконцентрируемся на GNU/Linux. Linux по праву доминирует в серверном сегменте, обитает на миллионах встраиваемых устройств и обеспечивает работу подавляющего большинства веб-ресурсов. Далее мы сделаем небольшой обзор возможностей исполнения программ в памяти и продемонстрируем что это возможно даже в затруднительных условиях.

Total votes 36: ↑36 and ↓0 +36
Views 17K
Comments 10

Хранение данных In-Memory и On-Disk вынесут на суд публики

ПСБ corporate blog Programming *Conferences
«Промсвязьбанк» продолжает эксперименты с Гайд-парком для программистов. 20 декабря мы с вами обкатаем формат «открытого микрофона» на теме «Хранение данных: In-Memory vs On-Disk».


Читать дальше →
Total votes 15: ↑14 and ↓1 +13
Views 2K
Comments 0

In-memory базы данных: применение, масштабирование и важные дополнения

ПСБ corporate blog IT Infrastructure *Database Administration *Data storage *
Мы продолжаем экспериментировать с форматами проведения митапов. Недавно на боксерском ринге мы сталкивали централизованную шину данных и Service Mesh. В этот раз решили попробовать нечто более миролюбивое — StandUp, то бишь открытый микрофон. Темой выбрали in-memory базы данных.



В каких случаях стоит переходить на in-memory? Как и зачем масштабировать? И на что стоит обратить внимание? Ответы в выступлениях спикеров, которые мы осветим в этом посте.
Total votes 16: ↑15 and ↓1 +14
Views 7.8K
Comments 5

Реплицируй это. Вебинары Apache Ignite и GridGain

GridGain corporate blog Distributed systems *
Продолжаем серию вебинаров, где разработчики GridGain не только рассказывают, но и показывают, как работать с теми или другими возможностями Apache Ignite.

Если пропустили, обязательно посмотрите Руководство по настройкам безопасности для Apache Ignite и GridGain с примерами.

В четверг 23 апреля поговорим о том, как в Ignite устроен ребаланс, и подробно разберем примеры логов, чтобы научиться определять, когда ребаланс остановлен, а когда все еще активен, и безопаснее перезапускать узлы кластера. Также пример поможет понять, почему был автоматически выбрал исторический или полный ребаланс. Перед вебинаром советуем прочитать про распределение данных в Apache Ignite.
Регистрация

Читать дальше →
Total votes 4: ↑4 and ↓0 +4
Views 576
Comments 2

In-memory архитектура для веб-сервисов: основы технологии и принципы

Headz.io corporate blog High performance *SQL *Big Data *Data storage *
In-Memory — набор концепций хранения данных, когда они сохраняются в оперативной памяти приложения, а диск используется для бэкапа. В классических подходах данные хранятся на диске, а память — в кэше. Например, веб-приложение с бэкендом для обработки данных запрашивает их в хранилище: получает, трансформирует, а по сети перегоняется много данных. В In-Memory вычисления отправляются к данным — в хранилище, где обрабатываются и сеть нагружается меньше.

Благодаря своей архитектуре, в In-Memory в разы, а иногда и на порядки, быстрее скорость доступа к данным. Например, аналитики банка хотят посмотреть в аналитическом приложении отчет по выданным кредитам в динамике по дням за прошлый год. Этот процесс на классической СУБД займет минуты, а c In-Memory появится почти сразу. Всё потому, что подход позволяет кэшировать гораздо больше информации и она хранится в оперативной памяти «под рукой». Приложению не нужно запрашивать данные у жесткого диска, доступность которых ограничена скоростью сети и диска.

Какие еще возможности доступны с In-Memory и что это за подход, расскажет Владимир Плигин — инженер компании GridGain. Этот обзорный материал будет полезен разработчикам бэкенда веб-приложений, которые не работали с In-Memory и хотят попробовать, или интересуются современными трендами разработки программных решений и проектированием архитектуры.

Примечание. Статья основана на расшифровке доклада Владимира на конференции #GetIT Conf. До введения самоизоляции мы регулярно проводили митапы и конференции для разработчиков в Москве и Санкт-Петербурге: обсуждали тренды, актуальные вопросы разработки, проблемы и их решения. Сейчас конференции не провести, зато самое время поделиться полезными материалами с прошлых.
Total votes 9: ↑7 and ↓2 +5
Views 6.4K
Comments 13

Что под капотом у BI? Детальный разбор технологии In-Memory OLAP

Visiology corporate blog High performance *Database Administration *Big Data *Data visualization
Привет, Хабр! Меня зовут Иван Вахмянин, и сегодня я хочу рассказать о том, что находится “под капотом” у современной BI-системы, от чего зависит ее производительность (и как можно её ненароком убить), и какие технические оптимизации позволяют технологии In-Memory OLAP выигрывать по скорости у других подходов.


Читать дальше →
Total votes 23: ↑22 and ↓1 +21
Views 5.2K
Comments 8

Разворачиваем базу данных SAP HANA в домашних условиях

Database Administration *ERP-systems *
Sandbox

В этой статье описаны шаги по установке базы данных SAP HANA в домашних условиях. Основное отличие этого материала заключается в том, что мы не будем использовать традиционные виртуальные машины, такие как Oracle VirtualBox или VM Ware Workstation Player. В этом документе речь пойдет о новом подходе, разработанном компанией Microsoft, под названием Windows Subsystem for Linux.

Что же такое WSL? По сути, это новая функция запуска Linux с использованием облегченного подхода к виртуализации.

Вот прямое определение от Microsoft:

The Windows Subsystem for Linux lets developers run a GNU/Linux environment — including most command-line tools, utilities, and applications — directly on Windows, unmodified, without the overhead of a traditional virtual machine or dualboot setup.

Более детальную информацию о WSL можно получить на сайте Microsoft по ссылке ниже.

В 2019 году появилась стабильная версия WSL2, которая получила ряд существенных дополнений по сравнению с первой версией. Основное отличие от первой версии - улучшенная производительность файловой системы, а также появившаяся полная поддержка системных вызовов ядра Linux. Ниже представлено сравнение двух версий WSL.

Читать далее
Total votes 4: ↑3 and ↓1 +2
Views 1.7K
Comments 5

SAP HANA. Операция Delta Merge

Database Administration *

Добрый день, коллеги. Сегодня хотелось бы поговорить о такой регулярной и важной операции происходящей в базе данных SAP HANA, как Delta Merge.

В концепции базы данных HANA, изменения в колоночных таблицах не происходят напрямую в основном хранилище (Main store). Это происходит потому, что область MAIN оптимизирована для операций чтения, а не записи. Все операции записи происходят в специальной области, которая называется Delta store. При этом операции чтения производятся из обеих областей.

Периодически необходимо обновлять основную область хранения колоночных таблиц (main store) содержимым области delta store. Процесс слияния этих двух областей называется delta merge. Этот процесс можно разбить на три этапа: операция, производимая непосредственно до слияния, во время слияния и после слияния. Схематично процесс delta merge можно представить следующим образом:

Читать далее
Total votes 4: ↑4 and ↓0 +4
Views 1.1K
Comments 0
1