Хранение данных *

Как работает современный RAID-массив: разбираем реализацию YADRO

Чтобы обеспечить доступность данных, T-RAID решает определенный набор задач.

Построение пула хранения на несколько петабайт. Эту возможность обеспечивает архитектура T-RAID: схемы расположения данных, реализация страйпов и allocation-групп дисков.

Оптимизация ребилда дисков и нагрузки на них. T-RAID проводит ребилд только реальных данных, а также распределяет нагрузку ребилда на несколько дисков. Здесь задействована обработка ошибок через блоки, а также фоновые процессы recovery и balancer. В распределении нагрузки помогает фоновый воркер rate limiter и адаптивный троттлер фоновых процессов.

Защита от выхода из строя аппаратных компонентов СХД (процессора, материнской платы, блока питания, контроллера, системного диска). Достигается посредством двухконтроллерной работы в режиме active-active. Тома блоков доступны на запись и чтение одновременно с двух контроллеров при балансировке нагрузки к лунам. Реализацию active-active мы раскроем в отдельной части материала.

Обеспечение отказоустойчивой работы с самими данными от получения запроса до записи в диск. Это реализуется с помощью integrity-механизмов.

Отработка отказов оборудования. Здесь возможно несколько сценариев разного масштаба — от потери отдельного диска до потери целого контроллера или интерконнекта.

О том, как в T-RAID реализованы все перечисленные технические средства, в своей статье подробно рассказал Вячеслав Пачков, ведущий инженер по разработке ПО в департаменте СХД YADRO.

1 год DBaaS в облаке Рег.ру

Привет, Хабр! На связи команда Облака Рег.ру. Сегодня нашему сервису DBaaS исполняется год с момента его выхода из статуса βeta. Давайте вместе посмотрим, чего мы достигли за это время. Начнем с видимых изменений в панели управления:

• Обновили версии PostgreSQL, добавив текущие ветки 16 и 17.

• Добавили возможность для пользователей кастомизировать настройки кластеров под их собственную нагрузку для PostgreSQL и MySQL.

• Добавили возможность для пользователей выбирать локали в PostgreSQL.

• Расширили возможности управления доступом для пользователей кластеров баз данных.

• Обновили список доступных расширений в PostgreSQL.

Но это, конечно же, далеко не всё! Кроме того, что пользователи могут увидеть напрямую через личный кабинет, у нас есть огромное количество новшеств «под капотом» DBaaS, среди них:

• Изменения способа хождения трафика клиента к кластерам баз данных, чтобы увеличить стабильность сетевых соединений.

• Добавили поддержку SSL/TLS для DBaaS.

• Оптимизировали работу autovacuuma'а по умолчанию в кластерах PostgreSQL.

• Оптимизировали работу с WAL в PostgreSQL, чтобы меньше влиять на распределение доступного места между данными пользовательской БД и служебными данными.

• Увеличили общую надежность операций над кластерами PostgreSQL и MySQL, требующих переключение активного мастера.

И еще, на самом деле, много всего, включая новые фичи, которые проходят внутреннее тестирование. Stay tuned!

Горячая новость про холодное хранилище 🧊

Добавили «холодный» класс хранения данных в S3. Теперь их два — стандартный и, собственно, холодный. Разбираемся что к чему👇

Стандартное хранение подходит для данных, которые нужны здесь и сейчас. Например, операции биллинга, логи для аналитики в реалтайме, медиафайлы для стриминговых сервисов и др. Поэтому база этого хранения — быстрый диск.

Для данных, к которым вы обращаетесь редко, подойдет холодное хранение. Например, чтобы складывать туда резервные копии, архивные документы и многое другое, про которое можно сказать «залил и забыл». Они хранятся на диске помедленнее, за счет чего стоимость хранения в разы дешевле.

А именно 1 ГБ — 1 руб/мес

Плюс полностью бесплатный входящий трафик и 100 ГБ бесплатного исходящего в месяц. С платой за превышение последнего 1.5 руб/ГБ.

Также для холодного хранилища мы сделали гибкий конфигуратор бакетов. От 1 ГБ до 50 ТБ с шагом в 1 ГБ. Можно и больше, через менеджера.

«Охладить» свои данные в S3 →

Как работать с Apache Spark? Практический гайд (видео + материалы на GitHub)

В Сравни мы используем Apache Spark для загрузки сырых данных из источников.

У нас есть два вида загрузки:

1. Batch-загрузка — когда данные грузятся один раз в какой-то период (час, день и так далее). Актуальна она, например, для данных по курсам валют: аналитикам достаточно знать курс валют на конкретный день, поэтому читаем раз в день данные по API с сайта ЦБ и грузим их в S3 (объектное хранилище) при помощи Python. Таких API достаточно много, они могут сильно различаться по количеству данных, поступающих с каждой. 
   
   Уже из S3 в Greenplum мы грузим все эти данные при помощи Spark. Фреймворк позволяет быстро трансформировать данные одновременно на нескольких машинах, так как все вычисления происходят в оперативной памяти.

2. Потоковая загрузка, которая работает 24/7 (на то она и стриминг). Здесь мы имеем дело с данными, изменения в которых нам нужно видеть несколько раз в день. Данные в этом случае читаются из Kafka посредством Spark и сразу пишутся в Greenplum (параллельно скидываем файлы в S3, чтобы был бэкап).  

Порог входа в Spark выше, чем в SQL или Python, поскольку он требует знания и того, и другого. Плюс, когда начинаешь заниматься написанием трансформаций на Spark, возникают вопросы по оптимизации кода и правильной настройке ресурсов. Так как Spark — приложение, которое запускается на наших серверах, его надо уметь настраивать: примерно понимать, сколько потребуется выделить ядер процессора, оперативной памяти и количества executors (процессов для параллельной обработки).

Наш дата-инженер Евгений Виндюков полагает, что изучать Spark сразу с выделения ресурсов не стоит: лучше сперва научиться крутить таблички локально на одном компьютере. И только потом переходить на параллельную обработку на нескольких машинах.

Специально для тех, кто планирует ознакомиться с Apache Spark на практике, Евгений подготовил видео-гайд, который можно посмотреть здесь:

• YouTube

• RUTUBE

Плюс материалы на GitHub, чтобы вы могли не просто разобраться в Spark, но и запустить его на своём локальном ПК в режиме библиотеки или режиме кластера через docker compose.

• HalltapeSparkCluster

Смотрите, изучайте, осваивайте Spark на практике. Надеемся, будет полезно!

🗓 07.02.1920 - Родился Ван Ань [вехи_истории]

Выдающийся американский инженер-электронщик и предприниматель китайского происхождения. Он стал известен своими достижениями в области компьютерных технологий. В 1951 году Ван запатентовал инновационную систему магнитной памяти, которая впоследствии стала ключевой технологией для первых компьютеров.

В 1957 году он основал Wang Laboratories, компанию, сыгравшую важную роль в развитии вычислительной техники. Под его руководством были созданы одни из первых компактных программируемых калькуляторов и текстовых процессоров, что сделало компьютеры доступнее для бизнеса и образования.

💙 Ставь лайк, если знаешь что такое "дискета" и даже применял их по назначению)
А еще они хорошо летают😄

Проекты на базе продуктов Arenadata стали победителями конкурса «Проект года»

Участники профессионального сообщества лидеров цифровой трансформации Global CIO подвели итоги ежегодного конкурса для ИТ-директоров и топ-менеджеров «Проект года». В этом году его провели уже в тринадцатый раз, а в числе победителей вошли проекты, реализованные на базе продуктов Arenadata. 

На конкурс номинировали 12 проектов с продуктами Arenadata. В номинации «Управление и хранение данных» победил проект «Корпоративная дата-платформа» ПАО «Газпром нефть», а в спецноминации «Банки/Финансы» — проект импортозамещения ИТ-инфраструктуры АО «Газпромбанк».

В конкурсе участвовали шесть проектов ПАО ВТБ, пять из которых стали победителями. Среди них: система прогнозирования процентного риска (ALM-платформа), RWA-калькулятор 2.0, импортозамещение витрин данных для ФОИВ, управление финансами на основе трансфертного ценообразования и система мотивации сети продаж и СМБ.

Подробнее о победивших проектах

Проект ПАО «Газпром нефть». Цель — создать единую платформу для работы с данными на базе отечественных решений, оптимизировать процесс обработки и анализа данных, повысить эффективность и снизить стоимость проектов за счёт использования общей инфраструктуры. Уникальность заключалась в построении единого конвейера, где всё базируется на общих бизнес- и технических метаданных. Использовались Arenadata DB (ADB) и Arenadata QuickMarts (ADQM).

Проект АО «Газпромбанк». Проект по импортозамещению ИТ-инфраструктуры и переводу значимых объектов критической информационной инфраструктуры на суверенные решения. Важными задачами стали сохранение высокого уровня удобства, доступности и безопасности цифровых услуг, а также формирование технологических стандартов для рынка. Обработка больших данных ведётся на базе продуктов Arenadata.

Главной целью проекта ПАО ВТБ «Реализация прогноза метрик процентного риска банковской книги в ALM-платформе» стала реализация системы сценарного анализа риск метрик в части процентного риска банковской книги, чистого процентного дохода, маржинальности банка. В качестве одного из элементов ALM-системы использован дистрибутив распределённой платформы хранения больших данных Arenadata Hadoop (ADH).

Другой проект ПАО ВТБ был посвящён импортозамещению продукта SAS RRM для корпоративного контура банка, SAS ECL для розничного бизнеса, Oracle Exadata в части автоматизации расчета RWA по кредитному риску и расчета резервов по МСФО ФЛ и разработке собственного решения. В качестве одного из продуктов для хранения данных была выбрана Arenadata DB.

В проекте «Импортозамещение витрин данных для ответов на запросы Федеральных Органов Исполнительной Власти (ФОИВ)» от ПАО ВТБ важной целью стало развитие ФОИВ и развитие слоя источника данных для предоставления ответов на запросы ведомства. В рамках проекта было перенесено 22 витрины с данными, начиная с 2017 года, по более чем 1300 атрибутам. Проектирование и построение витрин, а также ETL-процессы по их обновлению выполнены на Arenadata Hadoop и Arenadata DB.

Проект ПАО ВТБ «Управление финансами на основе трансфертного ценообразования» был направлен на формирование на импортозамещенном стеке технологий витрины данных по расчету внутреннего аналитического финансового результата. Это улучшило «time to market» по доступности данных на 2 рабочих дня и позволило глубже анализировать доходность банковских продуктов. Использованы Arenadata DB и Arenadata Hadoop.

Ещё один проект ВТБ — «Система мотивации Сети продаж и Стримов блока СМБ» (номинация «Управление маркетингом и продажами») — был направлен на внедрение автоматизированной системы работы с большими данными для новой модели продаж и обслуживания клиентов сегмента СМБ. В числе используемых технологий — Arenadata DB.

Подробнее о конкурсе «Проект года»

«Проект года» — ежегодный конкурс ИТ-проектов от Global CIO, ключевая площадка для обмена опытом в цифровизации. Среди победителей разных лет — проекты на базе Arenadata от «Газпром нефть», ВТБ, X5 Retail Group и других.

Я разверну этот мониторинг «с трех нот»: система для инсталляций с десятками СХД

Инженеры YADRO включили в состав продукта TATLIN.SATELLITES интегрированное решение для мониторинга — система получила название Monitoring Appliance. Она включает в себя компоненты для сбора и хранения метрик со множества массивов, а также их визуализацию и алертинг.

Возможности Monitoring Appliance

Система мониторинга, разворачиваемая из Docker Compose, может: 

• Собрать метрики производительности компонентов СХД по протоколу SNMP.

• Принять и обработать SNMP traps от СХД.

• Принять и обработать Syslog-сообщения от СХД.

• Мониторить состояние сервера, на котором установлен Monitoring Appliance.

• Отображать данные мониторинга в виде дашбордов.

• Оповещать о внештатных ситуациях и пороговых состояниях.

Главная страница визуализации мониторинг. На ней отображаются основные метрики «здоровья» систем хранения данных, на которых хочет сфокусироваться пользователь. Можно выбрать нужную СХД и получить данные конкретно по ней. Также этот дашборд легко пересобрать, исходя из своих целей. 

Из чего состоит мониторинг и как его повторить, читайте по ссылке →

Запустили ленточную систему хранения данных

В Рег.ру доступна новая услуга безопасного хранения данных — ленточная СХД. Решение позволяет хранить большие массивы данных объемом от десятков терабайт до нескольких петабайт и защитить информацию от кибератак и несанкционированного доступа. Сервис будет особенно полезен для размещения критичной информации с чувствительными данными.

Ленточное хранилище представляет собой устройство, записывающее информацию на специальные картриджи стандарта LTO с магнитной лентой. Информация на ленточных носителях может храниться до 30 лет без перезаписи. Каждый картридж вмещает от 10 до 40 терабайт данных.

Ленточная СХД обеспечивает высокую степень безопасности и изоляцию информации от киберугроз и сетевых атак. В отличие от традиционных облачных решений, где данные могут быть уязвимы для внешних вмешательств, ленточные носители физически не подключены к внешней сети, что значительно повышает защищенность и сохранность ИТ-инфраструктуры. При необходимости ленточную систему хранения можно подключить к серверу или облаку.

В рамках услуги пользователям в том числе доступны приватное хранилище с индивидуальными параметрами и ленточная библиотека, совмещающая устройство для записи и независимые ячейки для хранения нескольких десятков картриджей. 

Подключить ленточую СХД можно на сайте.

Приглашаем на бесплатный вебинар «Как построить домик у озера данных: табличные форматы Iceberg, Delta, Hudi».

В современном мире данных Data Lakehouse становится все более популярной архитектурой, объединяющей масштабируемость и экономичность озера данных с надежностью и производительностью хранилища данных. Ключевой элемент построения Data Lakehouse — выбор подходящего табличного формата. 

Вебинар посвящен трем ведущим форматам: Apache Iceberg, Delta Lake и Apache Hudi. Мы рассмотрим их архитектуру, особенности, плюсы и минусы, а также дадим рекомендации по выбору оптимального решения для конкретных задач. 

📅 Дата: 23.01.2025

⏰ Время: 15:00-16:00 (Мск)

Эфир будет полезен начинающим и опытным специалистам в области обработки данных, желающих построить современную и эффективную платформу для работы с большими объемами данных.

👨‍🎓 Спикер: Брейман Александр — эксперт Учебного центра IBS, кандидат технических наук, доцент департамента программной инженерии ФКН ВШЭ.

👉Записаться👈

Лучшие книги для освоения Excel

Excel — мощный инструмент для анализа данных, построения графиков и сводных таблиц. Чтобы освоить его возможности, составили подборку книг для начинающих и опытных пользователей.

Excel 2019 для чайников (Грег Харвей) — книга охватывает основные функции Excel: создание таблиц, работу с формулами, графиками и сводными таблицами. Подходит для начинающих пользователей. По книге можно научиться работать и в актуальной версии офисного пакета — значительных изменений между версиями нет.

Практикум по работе с приложением MS Excel. Задания 1–12 (Николай Морозов) — практическое руководство с заданиями для развития конкретных навыков работы с Excel — от ввода данных до решения финансовых задач.

Excel 2019. Библия пользователя (Джон Уокенбах, Ричард Куслейка, Майкл Александер) — подробное руководство включая шаблоны, форматирование, диаграммы, сводные таблицы и основы Visual Basic. Рассматриваются методы работы с большими объёмами данных и оптимизации процессов.

Сводные таблицы в Microsoft Excel 2021 и Microsoft 365 (Билл Джелен) — книга для начинающих. Практические примеры и советы, которые помогут освоить таблицы на высоком уровне.

Excel. Трюки и эффекты (Джон Уокенбах) — сборник советов и приёмов для повышения продуктивности работы в Excel, включая нестандартные решения и оптимизацию процессов. В книге много примеров и всё написано простым языком, чтобы облегчить понимание информации. Подойдет начинающим и опытным пользователям.

Microsoft Excel: Мастер Формул (Майкл Александер) — книга о создании и использовании формул в Excel, с продвинутыми техниками для решения сложных задач. К формулам стоит приступать после освоения базовых навыков.

Бизнес-моделирование и анализ данных. Решение актуальных задач с помощью Microsoft Excel (Уэйн Лесли Винстон) — о сложных формулах и системах, моделировании и аналитике данных. Книга учит делать выводы и давать рекомендации для бизнеса, решать сложные математические задачи.

MS Excel и VBA для моделирования различных задач (Джеффри Камински) — книга сочетает изучение Excel и Visual Basic for Applications (VBA), позволяя автоматизировать задачи и создавать модели для различных сценариев. Подходит для продвинутых пользователей.

→ Курс «Excel для работы» поможет научиться анализировать данные, работать с большими таблицами и визуализировать результаты, чтобы эффективнее решать рабочие задачи.

Новых нервных клеток мы вам подарить не можем, но интересную подборку подкастов — всегда пожалуйста!

Слушайте, лайкайте, сохраняйте :)

Путь от отклика до оффера: советы рекрутера
В подкасте рекрутер КОРУСа Ксюша Державина рассказала, какие специалисты сейчас востребованы, где искать вакансии, как проходить собеседования, а еще поделились несколькими рекрутерскими секретами :)

Из инженера судостроения в дата-инженера за полгода
Паша Хлопотин, дата-инженером Департамента аналитических решений (ДАР), рассказал о том, как решиться сменить профессию в 32 года и что для этого нужно.

Про DWH, карьерное развитие и работу в разных форматах
В подкасте с Сашей Зеньковичем, руководителем направления DWH&ML ДАРа, говорим про работу с Data Warehouse в разных форматах — in-house и в консалтинге и подробно рассказываем про плюсы и минусы каждого.

Как эффективно взаимодействовать с заказчиком
Как эффективно взаимодействовать с заказчиком и командами проекта обсудили с Димой Смирновым, директором по консалтингу департамента CRM и BPM, и Таней Веселовой, руководителем направления ELMA. Как работает индивидуальный подход, как его найти, и есть ли какие-то универсальные инструменты для выстраивания отношений на проекте. Дима рассказал про то, как это работает в командах продаж, а Таня — в командах производства.

Про личные и профессиональные кризисы и их преодоление
Очень честный и даже личный подкаст с Мариной Кузнецовой, руководителем направления в Департаменте EPM, про то, как справляться с кризисными ситуациями на работе и в жизни.

Продажи в ИТ: ожидание vs реальность
В этом выпуске подкаста Talk it Easy поговорили с Алексеем Кучиным, директором по развитию бизнеса департамента бизнес-планирования. Обсудили, как прийти в продажи, почему ожидания часто не совпадают с реальностью и как преодолеть кризисы на разных этапах развития.

Вопросы, которые вы хотели, но стеснялись задать
Задаем глупые вопросы Альфии Селезеневой, инженеру третьей линии поддержки и узнаем, как устроена работа техподдержки, как происходит процесс работы над заявками и кому подойдет работа в этой сфере.

Ну и отдельно про наш видкаст!
Развитие: взгляд эксперта и руководителя
Сразу два эксперта из Департамента 1С КОРУСа на личном опыте расскажут о том, как угнаться за постоянно меняющейся ИТ-сферой и как всегда оставаться востребованным специалистом. Евгений Бородин руководитель проектов, и Анна Аджемян, консультант, рассказывают о факапах, страхах, о том, как можно много стараться и не достичь цели и как не опускать при этом руки.
К вопросу развития коллеги подходят с разных сторон. Женя – РП, ему важно не только развивать себя, но и помогать в этом своим коллегам. Аня – консультант, в самом начале карьеры ей пришлось переучиваться на работу с новой системой из-за ухода вендора.

Представляем YDB DWH — компонент для аналитической обработки данных в СУБД Яндекса

В YDB появилась новая функциональность: теперь СУБД Яндекса поддерживает работу со сложными аналитическими запросами (OLAP). Благодаря этому компании смогут не только хранить и обрабатывать в YDB сотни терабайт транзакционных данных, но и выполнять над этими данными запросы и создавать системы для поддержки принятия решений — корпоративные хранилища данных.

Система горизонтально масштабируется за счёт шардирования — автоматического партиционирования по объёму и нагрузке, — а также обеспечивает быстрое выполнение запросов благодаря массивно‑параллельной архитектуре (МРР).

Аналитическая функциональность компонента YDB DWH включает колоночные таблицы с консистентным хранением данных и управление смешанной нагрузкой. В платформу СУБД Яндекса также входит движок выполнения запросов со спиллингом данных на диск, стоимостный оптимизатор, федеративные SQL‑запросы к внешним источникам данных (S3, PostgreSQL, Greenplum, Oracle, Microsoft SQL), что позволяет создавать корпоративные хранилища данных. В планах реализация поддержки SQL-диалекта PostgreSQL для интеграции как в OLAP‑, так и в OLTP‑сценарии.

Платформа распространяется по коммерческой лицензии. Её можно и установить в собственной инфраструктуре (on‑premise), и использовать как управляемый сервис в Yandex Cloud.

Проверьте точность ваших вычислений 🧮

Привет, Хабр! Мы продолжаем рубрику для тех, кто хочет поразмять мозги. На этот раз предлагаем вам решить задачу посложнее: 

Как нам поведал Дуглас Адамс в «Путеводитель для путешествующих автостопом по галактике», «сверхразумная раса существ создала компьютер Думатель (Deep Thought) — второй по производительности за всё существование времени и вселенной, — чтобы найти окончательный ответ на величайший вопрос жизни, вселенной и всего такого. После семи с половиной миллионов лет вычислений Думатель выдал ответ: «Сорок два».

Оцените накопленное количество ошибок вычислений ответа «Сорок два» под воздействием космической радиации при следующих условиях:

• Сверхразумная раса – Земляне;

• Думатель находится на орбите Плутона;

• размер Думателя 1 * 1 * 1 км;

• Думатель сделан из водяного льда;

Каждая молекула является вычислительной ячейкой, которая может поменять свое состояние.

Каждая частица галактического излучения, попавшая в Думатель, приводит к изменению состояния вычислительной ячейки (одной ошибке) с вероятностью 100%.

Варианты ответов оставляйте в комментариях 👇 В пятницу Павел Бузин (@pbuzin) — эксперт Cloud.ru по AI и машинному обучению, раскроет правильный ответ под этим постом.

И оставляйте реакции — как вам в целом такой формат, хотите еще задач в будущем?

Вам может быть интересно:

• Нобелевские премии 2024 и искусственный интеллект. Химия: предсказание белковых структур

• Нобелевские премии 2024 и искусственный интеллект. Физика: Джон Хопфилд и нейросети имени его

• Математика прекрасного. Как создать красивую картинку, если ты дилетант, художник или нейросеть?

Тестирование систем и движков массивно-параллельных вычиcлений

Все о подходах к тестированию, которые использует команда Data Sapience, и результатах сравнения движков и систем — в партнерском материале технического идеолога Lakehouse-платформы данных Data Ocean Nova. В центре внимания — гонка зайца Trino и антилопы Impala.

Практический курс по работе с объектным хранилищем

В новом бесплатном курсе рассказываем, что такое S3 и как применить его в своих проектах. Вас ждет 10 материалов, изучение которых займет чуть менее трех часов.

В рамках курса вы научитесь:

• использовать хранилище в Kubernetes,

• подключаться к нему из платформы для дата-аналитики,

• интегрировать хранилище с Tilda,

• сохранять бэкапы, в том числе игровых серверов,

• монтировать контейнеры S3 в Windows и Linux.

Переходите в Академию Selectel и изучайте курс.

Добавили в панель мониторинг дополнительных метрик для пяти СУБД.

Для MongoDB отображаем количество операций с данными, открытые или доступные соединения. В OpenSearch теперь можно отслеживать задержку и скорость индексации/поиска, в ClickHouse — операции вставки и поиска.

И, наконец, в RabbitMQ выводим на графики количество созданных каналов и активных соединений, а также общее состояние сообщений. А для Kafka пропускную способность и скорость запросов.

Все данные собираем через VictoriaMetrics.

Помониторить свои базы → 

Возможности аппаратного ускорения сети облака OpenStack — доклад на IT-конференции GoCloud Tech ⚙️

Поговорим об облачной сети на примере OpenStack и о том, как к ней могут подключаться виртуальные нагрузки. Расскажем, как выявить узкие места при передаче данных в облаке. Подробно рассмотрим технологию аппаратного ускорения сети ASAP2 от NVIDIA Mellanox. А еще разберем результаты тестов, которые мы получили, и преимущества и недостатки этой технологии.

🕚 Когда: 24 октября с 18:05 до 18:30

📍 Где: онлайн и офлайн в Москве в лофт-пространстве Goelro

👉 Зарегистрироваться на GoCloud Tech

Полезное в блоге:

• Нобелевские премии 2024 и искусственный интеллект. Физика: Джон Хопфилд и нейросети имени его

• Зачем я использую контейнеры как виртуалки: опыт python-разработчика

• Что нового слышно о шине CXL: заметки с саммита по вычислениям, памяти и хранению данных

Как мы сделали высокоскоростной RPC с помощью RDMA для собственного SDS — доклад на IT-конференции GoCloud Tech 🦾

На конференции GoCloud Tech расскажем, почему выбрали RDMA RoCE v2 — программный блок для потоковой передачи данных. Посмотрим на внутреннее устройство транспорта с позиции разработчика. Покажем, как изменилась производительность RPC между сервисами SDS. Обсудим недостатки и перспективы решения.

Приходите послушать доклад и обсудить тему в неформальной обстановке.

🕚 Когда: 24 октября с 17:40 до 18:05

📍 Где: онлайн и офлайн в Москве в лофт-пространстве Goelro

👉 Зарегистрироваться на GoCloud Tech

Полезное в блоге:

• Что нового слышно о шине CXL: заметки с саммита по вычислениям, памяти и хранению данных

• Математика прекрасного. Как создать красивую картинку, если ты дилетант, художник или нейросеть?

• Зачем нужна R&D-команда: взгляд разработчика

Как мы уворачивались от граблей, пока строили DBaaS — расскажем на IT-конференции GoCloud Tech ☁️

Приходите на конференцию GoCloud Tech, и вы узнаете про плюсы, минусы и особенности нашего решения — Database as a Service (DBaaS) поверх Kubernetes, а также про особенности, которые мы заметили при работе операторов Kubernetes на различных сервисах. Вместе обсудим основные проблемы интеграции DBaaS и Serverless, сложности при работе с Dedicated-кластерами и преимущества концепции Shared-кластеров.

🕚 Когда: 24 октября с 19:05 до 19:30

📍 Где: онлайн и офлайн в Москве в лофт-пространстве Goelro

👉 Зарегистрироваться на GoCloud Tech

Полезное в блоге:

• Синергия ручных проверок и автоматизации: как мы улучшили тестирование и ускорили запуск продуктов

• Что нового слышно о шине CXL: заметки с саммита по вычислениям, памяти и хранению данных

• Математика прекрасного. Как создать красивую картинку, если ты дилетант, художник или нейросеть?

Data Ocean Nova. Next-gen платформа данных класса Lakehouse.

Что такое Data Ocean Nova? Ответ — в партнерском материале технического идеолога платформы. Вы узнаете об архитектуре, системе хранения данных, возможностях управления ресурсами и других особенностях решения, благодаря которым Data Ocean Nova стала одним из технологических лидеров рынка больших данных.

Читайте по ссылке