Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Как устроены хранилища данных: обзор для новичков

Блог компании 1cloud.ru Хостинг Разработка веб-сайтов *Разработка под e-commerce *Хранение данных *
Международный рынок гипермасштабируемых дата-центров растет с ежегодными темпами в 11%. Основные «драйверы» — предприятия, подключенные устройства и пользователи — они обеспечивают постоянное появление новых данных. Вместе с объемом рынка растут и требования к надежности хранения и уровню доступности данных.

Ключевой фактор, влияющий на оба критерия — системы хранения. Их классификация не ограничивается типами оборудования или брендами. В этой статье мы рассмотрим разновидности хранилищ — блочное, файловое и объектное — и определим, для каких целей подходит каждое из них.

Читать дальше →
Всего голосов 13: ↑12 и ↓1 +11
Просмотры 36K
Комментарии 1

Семинар: «Объектное хранилище DataLine: выбор оборудования, возможности и сценарии использования», 31 мая, Москва

Блог компании DataLine IT-инфраструктура *Хранение данных *Хранилища данных *Облачные сервисы
image

Привет, Хабр! Давно мы не проводили семинары — исправляемся.

31 мая совместно с Lenovo мы расскажем о новом сервисе DataLine — объектном хранилище. Поговорим о том, как мы выбирали решение и с чем столкнулись в процессе создания сервиса. Рассмотрим основные сценарии использования объектного хранилища и о цифрах не забудем.

Осталось всего несколько мест, регистрация обязательна!
Читать дальше →
Всего голосов 16: ↑14 и ↓2 +12
Просмотры 1.4K
Комментарии 0

Принципы организации объектных хранилищ

Блог компании VK IT-инфраструктура *Хранение данных *DevOps *Облачные сервисы
Перевод
Storage by Phade01

Наш коллега недавно написал об архитектуре объектного S3-хранилища Mail.ru Cloud Storage. Теперь мы переводим хорошую статью об общих особенностях и ограничениях объектных хранилищ.
Читать дальше →
Всего голосов 23: ↑23 и ↓0 +23
Просмотры 3.7K
Комментарии 2

Как мы создаём почтовую систему нового поколения Mailion. Эффективное объектное хранилище для электронной почты

Блог компании МойОфис Хранение данных *Сжатие данных *Хранилища данных *

Недавно на Хабре вышли две статьи про новую корпоративную почтовую систему Mailion от МойОфис (1, 2) — уникальную российскую разработку, которая отличается беспрецедентными возможностями масштабирования и способна работать в системах с более чем 1 миллионом пользователей.

Несложно подсчитать, что для обслуживания такого числа пользователей потребуется колоссальный объем дискового пространства вплоть до десятков петабайт. При этом почтовая система должна уметь быстро обрабатывать эту информацию и надежно хранить её. Сегодня мы объясним общие принципы организации хранения данных внутри почтовой системы Mailion и расскажем, к каким оптимизациям мы прибегли, чтобы значительно снизить количество операций ввода/вывода и сократить требования к инфраструктуре.

Читайте далее
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 4K
Комментарии 10

Как выбрать облачную систему хранения данных, чтобы получить лучшую производительность и оптимизировать стоимость

Блог компании VK IT-инфраструктура *Хранение данных *Хранилища данных *Облачные сервисы

Многие компании активно переносят свои данные в облако, обеспечивая тем самым гибкость и масштабируемость своих приложений. Но те, кто впервые пробуют облачные технологии, нередко сталкиваются с проблемой выбора правильного облачного хранилища под конкретную задачу. Какой тип диска подключить? Когда использовать объектное хранилище, а когда файловое? Какие преимущества и недостатки у каждого из них в облаке? Как можно использовать их совместно, чтобы улучшить утилизацию ресурсов?

Я, Хамзет Шогенов, архитектор облачной платформы Mail.ru Cloud Solutions, расскажу о системах хранения данных, доступных на нашей платформе, подробно остановлюсь на их технических характеристиках и оптимальных вариантах использования.

Читать далее
Всего голосов 26: ↑25 и ↓1 +24
Просмотры 10K
Комментарии 2

Как мы создаём почтовую систему нового поколения Mailion. Принципы проектирования масштабируемых хранилищ данных

Блог компании МойОфис Хранение данных *Хранилища данных *Распределённые системы *

МойОфис продолжает цикл публикаций (1, 2) о разработке корпоративной почтовой системы нового поколения Mailion, которая реализуется при грантовой поддержке РФРИТ. В состав Mailion входит объектное хранилище DOS; в предыдущей статье мы рассмотрели его общую архитектуру и ключевые оптимизации, повышающие экономическую эффективность хранения данных. Сегодня мы переходим к одной из самых сложных и увлекательных тем в области разработки баз данных — проблеме масштабирования.

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 9.1K
Комментарии 5

Как работать с Big Data быстрее и эффективнее: Kubernetes для Data Science

Блог компании VK Облачные вычисления *Big Data *Kubernetes *Data Engineering *


Big Data by Batjorge


Традиционный подход к построению работы с большими данными — развернуть Hadoop-кластер, установить дополнительные инструменты и построить на нем платформу для работы с данными. Но в таком подходе есть несколько ограничений, вроде невозможности разделения Storage- и Compute-слоев, сложностей масштабирования и изоляции сред для разных приложений. Даже несмотря на то, что Hadoop можно арендовать у облачного провайдера как сервис (aaS), такой подход все равно мало чем отличается от развертывания на собственном оборудовании.


Однако есть другой, Cloud-Native подход работы с большими данными. Он позволяет решить эти проблемы, а также получить дополнительные возможности от облачных технологий. Для этого используют Kubernetes, интегрируя его с различными инструментами.


Я Александр Волынский, архитектор облачной платформы Mail.ru Cloud Solutions. Расскажу, как Kubernetes помогает в работе с Big Data, какие используются инструменты и какие преимущества можно получить по сравнению с классическим развертыванием.


Также вы можете посмотреть видеовыступление на митапе «Большие данные: не хайп, а индустрия».
Читать дальше →
Всего голосов 17: ↑17 и ↓0 +17
Просмотры 5.3K
Комментарии 4

Как мы создаём почтовую систему нового поколения Mailion. Архитектура кластера DOS

Блог компании МойОфис Хранение данных *Хранилища данных *Распределённые системы *

МойОфис продолжает серию статей о корпоративной почтовой системе Mailion (1, 2), разрабатываемой при грантовой поддержке РФРИТ, и входящем в его состав объектном хранилище DOS. Мы уже рассказали об основных оптимизациях DOS, которые позволяют увеличить экономическую эффективность хранения данных, а также коснулись общих принципов построения масштабируемых хранилищ. Сегодня мы поговорим о том, как эти принципы применялись на практике в ходе работ над кластером DOS.

Читать далее
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 3.8K
Комментарии 3