Как стать автором
Обновить
47.1

Хранилища данных *

Публикации, рассказывающие о хранилищах данных

Сначала показывать
Порог рейтинга
Уровень сложности

Собираем InnoDB cluster из mysql 5.7 на centos 7

Время на прочтение 5 мин
Количество просмотров 11K
Всем привет!

Как-то раз появилась по работе задача — есть вроде бы настроенный тестовый innoDB cluster на нескольких виртуалках с centos 7.5, надо его поизучать и добавить еще пару нод. Можно ломать и издеваться как угодно. Звучит заманчиво.
Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 13

Обновление базы данных и zero-downtime deployment

Время на прочтение 4 мин
Количество просмотров 9.1K
Про обновление систем «на лету» без их остановки (zero-downtime deployment) написано немало статей и многие аспекты этого подхода является достаточно очевидными. На мой взгляд, наиболее сложная часть деплоймента в этом случае — обновление хранилищ данных, в случае если их контракт (схема) изменился. Именно этот аспект я бы и хотел рассмотреть в этой статье.
Читать дальше →
Всего голосов 12: ↑11 и ↓1 +10
Комментарии 6

Разворачиваем хранилище LINSTOR для Proxmox

Время на прочтение 5 мин
Количество просмотров 18K

image


Недавно LINBIT выпустили свое новое решение для оркестрации и управления множеством DRBD-массивов.


К примеру у вас может быть несколько нод и у каждой будет собственный LVM или ZFS пул в котором LINSTOR будет автоматически создавать новые тома и реплицировать их между нодами используя DRBD-протокол.


LINSTOR поддерживает thin-provisioning, снапшоты и много других интересных штук.
Это решение хорошо подойдет для виртуальных машин и контейнеров.

Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 12

Почта Яндекса [была] недоступна уже около часа на момент 12:16 МСК

Время на прочтение 1 мин
Количество просмотров 19K
UPD Проблема предположительно устранена на момент времени 12:30 МСК



Крупный сбой в сервисах российского интернет-гиганта. Утром 11 сентября 2018 года интернет-пользователи сообщили о недоступности основной веб-версии Яндекс.Почты и «Почты для домена». Проблема возникает при попытке авторизации через Паспорт «Яндекса» не зависимо от версии браузера.

image




Техническая поддержка Яндекса рекомендовала использовать облегченную версию почтового сервиса.
В компании никак не прокомментировали причину сбоя, но подтвердили, что есть «некоторые трудности со входом в почту»:
Всего голосов 25: ↑22 и ↓3 +19
Комментарии 23

Истории

Калькулятор стоимости СХД, или Как мы вскрыли «чёрный ящик»

Время на прочтение 5 мин
Количество просмотров 11K


Как известно, для бизнеса ИТ — это черный ящик. Думаю, ни для кого не секрет, что иногда ИТ — черный ящик даже для самих айтишников. Пришли новые люди, ушли те, кто знал, почему в подвале швабры подпирают потолок. Технологии устремились вперед, а специфика нынешней архитектуры не всегда позволяет успеть за ними. Но это полбеды. Вторая часть проблемы заключается в том, что этот черный ящик надо кормить. В смысле, деньгами. Я имею в виду бюджетирование ИТ-подразделения. Никогда не замечали, что это похоже на жертвоприношение? Осенью, когда природа посылает людям свои дары, начинается период бюджетирования. Не все доживут до конца, но те, кому посчастливится, никогда уже не будут прежними.
Читать дальше →
Всего голосов 21: ↑18 и ↓3 +15
Комментарии 13

Яндекс запустил облако

Время на прочтение 2 мин
Количество просмотров 66K
Сегодня компания Яндекс открыла новый сервис Яндекс.Облако.



Вычислительные мощности Яндекса и сервисы для обработки и хранения данных. Яндекс.Облако — публичная облачная платформа, где вы можете создавать и развивать свои проекты.

Проект представляет из себя 7 различных сервисов:

  1. Yandex Compute Cloud — Виртуальные машины и диски
  2. Yandex Object Storage — Масштабируемое хранилище данных
  3. Yandex Virtual Private Cloud — Сети для обмена информацией между облачными ресурсами и интернетом
  4. Yandex Identity and Access Management — Идентификация и контроль доступа к облачным ресурсам
  5. Yandex Managed Databases — Управление базами данных ClickHouse, PostgreSQL и MongoDB
  6. Yandex SpeechKit — Комплекс технологий распознавания и синтеза речи
  7. Yandex Translate — Машинный перевод с поддержкой более 90 языков

В данный момент воспользоваться сервисом можно только после заполнения формы и одобрения заявки со стороны Яндекса, однако компания обещает, что до конца 2018 года у всех появится свободный доступ к сервису.

Мне, как владельцу проектов Поиск VPS и VPS.today больше всего интересны виртуальные серверы. Первая особенность, которую я заметил у Яндекса — это то, что в выключенном состоянии за виртуальную машину не нужно платить.
Читать дальше →
Всего голосов 101: ↑93 и ↓8 +85
Комментарии 168

Приглашаем на конференцию Fujitsu World Tour 2018

Время на прочтение 1 мин
Количество просмотров 710
Привет Хабр! Мы продолжаем регистрацию на ежегодную конференцию Fujitsu World Tour, которая пройдет в Москве 20 сентября под лозунгом «Сотрудничество для достижения успеха». Переходи по ссылке прямо сейчас и окажись в списке участников.


Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 0

QSAN XCubeNAS — NAS для корпоративного использования

Время на прочтение 8 мин
Количество просмотров 3.7K

На текущий момент предложения на рынке корпоративных NAS разделились на два полярных лагеря. В одном лагере находятся дорогие и функциональные системы типа Netapp FAS или EMC Unity. В другом – выходящие за рамки сегмента домашних устройств решения вроде QNAP или Synology, которые привлекают своих потенциальных пользователей прежде всего умеренной стоимостью. И вот в этот огромный неохваченный сегмент между указанными лагерями мы предлагаем поместить героев нашего обзора – NAS серверы QSAN серии XCubeNAS.



Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 17

Как мигрировать ONTAP и не сойти с ума

Время на прочтение 8 мин
Количество просмотров 4K


Миграция ИТ-систем — задача непростая. Но особую сложность представляет ситуация, когда нужно не просто перейти со старого железа на новое, а переехать на новую операционную систему на существующем оборудовании, причём без миграции продуктивных данных. Один подобный переезд длился около года, причём большую часть времени заняла подготовка.
Читать дальше →
Всего голосов 29: ↑29 и ↓0 +29
Комментарии 2

Bonding и SSH-сервер в initramfs

Время на прочтение 5 мин
Количество просмотров 11K


Всякая система является компромиссом между безопасностью и удобством использования.


В построенном NAS, существовала серьёзная проблема: нельзя было перезагрузить систему, не присутствуя на месте, что понижало уровень доступности данных.


Эта проблема не была критичной, до того момента, как начали аварийно отключать электричество: за три месяца два раза на несколько часов. ИБП рассчитан на кратковременные сбои и не предполагается работа от батарей более получаса (хотя реально — около часа), и при каждом таком отключении, чтобы снова включить систему, приходилось ездить в другой город.

Читать дальше →
Всего голосов 23: ↑23 и ↓0 +23
Комментарии 10

Надежное хранилище с DRBD9 и Proxmox (Часть 2: iSCSI+LVM)

Время на прочтение 9 мин
Количество просмотров 18K

image


В предыдущей статье я рассмотрел возможность создания отказоустойчивого NFS-сервера с помощью DRBD и Proxmox. Получилось довольно неплохо, но не будем останавливаться на достигнутом и теперь постараемся "выжать все соки" из нашей хранилки.


В этой статье я расскажу как подобным образом создать отказоустойчивый iSCSI-таргет, который при помощи LVM мы будем нарезать на маленькие кусочки и использовать под виртуальные машины.


Именно такой подход позволят снизить нагрузку и повысить скорость доступа к данным в несколько раз, это бывает особенно выгодно когда не требуется конкурентный доступ к данным, например в случае когда вам нужно организовать хранилище под виртуальные машины.

Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 5

Список статей и литературы про NAS

Время на прочтение 7 мин
Количество просмотров 23K


В рамках цикла статей по построению NAS, либо домашнего сервера, по просьбам пользователей я погуглил за вас и сделал небольшой обзор информационных источников.


В этой статье собраны ссылки на большую часть материалов, которые я использовал. По мере накопления и обработки материалов, тут может появиться что-то новое.

Читать дальше →
Всего голосов 15: ↑15 и ↓0 +15
Комментарии 57

Распределенное хранилище данных в концепции Data Lake: администрирование кластера

Время на прочтение 4 мин
Количество просмотров 2.3K

Тема администрирования кластера Cloudera достаточно широка и осветить ее в рамках одной статьи не представляется возможным. В этом посте остановимся на инструкциях по решению наиболее часто встречающихся задач, связанных с кластером и установленными в него сервисами, а для более глубокого погружения рекомендую обратиться к официальной документации и форуму. Там можно найти информацию практически по любому вопросу.



Читать дальше →
Всего голосов 4: ↑3 и ↓1 +2
Комментарии 0

Ближайшие события

PG Bootcamp 2024
Дата 16 апреля
Время 09:30 – 21:00
Место
Минск Онлайн
EvaConf 2024
Дата 16 апреля
Время 11:00 – 16:00
Место
Москва Онлайн
Weekend Offer в AliExpress
Дата 20 – 21 апреля
Время 10:00 – 20:00
Место
Онлайн

Теория и практика использования HBase

Время на прочтение 13 мин
Количество просмотров 12K
Добрый день! Меня зовут Данил Липовой, наша команда в Сбертехе начала использовать HBase в качестве хранилища оперативных данных. В ходе его изучения накопился опыт, который захотелось систематизировать и описать (надеемся, что многим будет полезно). Все приведенные ниже эксперименты проводились с версиями HBase 1.2.0-cdh5.14.2 и 2.0.0-cdh6.0.0-beta1.

  1. Общая архитектура
  2. Запись данных в HBASE
  3. Чтение данных из HBASE
  4. Кэширование данных
  5. Пакетная обработка данных MultiGet/MultiPut
  6. Стратегия разбивки таблиц на регионы (спилитинг)
  7. Отказоустойчивость, компактификация и локальность данных
  8. Настройки и производительность
  9. Нагрузочное тестирование
  10. Выводы
Читать дальше →
Всего голосов 14: ↑13 и ↓1 +12
Комментарии 10

Из нагруженной MPP СУБД — бодрый Data Lake с аналитическими инструментами: делимся подробностями создания

Время на прочтение 9 мин
Количество просмотров 6.2K
Все организации, которые имеют хоть какое-то отношение к данным, рано или поздно сталкиваются с вопросом хранения реляционных и неструктурированных баз. Непросто найти одновременно удобный, эффективный и недорогой подход к этой проблеме. А еще сделать так, чтобы на данных смогли успешно работать дата-сайентисты с моделями машинного обучения. У нас получилось – и хотя пришлось повозиться, итоговый профит оказался даже больше ожидаемого. Обо всех подробностях расскажем ниже.


Читать дальше →
Всего голосов 15: ↑15 и ↓0 +15
Комментарии 7

Тестирование производительности нескольких типов накопителей в виртуальной среде

Время на прочтение 6 мин
Количество просмотров 9.2K
Технологии виртуализации сегодня востребованы не только в сегменте «большого бизнеса», но и в SMB и у домашних пользователей. В частности для небольших компаний сервера виртуализации могут применяться для реализации некоторого числа не очень ресурсоемких служебных сервисов. При этом речь обычно идет об автономных серверах на базе одно- или двухпроцессорных платформ, с относительно небольшим объемом оперативной памяти в 32-64 ГБ и без специальных высокопроизводительных СХД. Но за всей чередой преимуществ нужно отдавать себе отчет, что с точки зрения производительности виртуальные системы отличаются от реальных. В этой статье будет проведено сравнение скорости локальных накопителей разных типов (HDD, SSD и NVMe) для нескольких конфигураций виртуальных машин с целью оценить потери от их виртуализации. Никто не спорит, что в «правильных» реализациях систем виртуализации лучше использовать внешнюю СХД, но в бюджетном варианте можно обойтись и локальными дисками.
Читать дальше →
Всего голосов 16: ↑15 и ↓1 +14
Комментарии 18

«Массовый продукт»: первое коммерческое ДНК-хранилище представят в 2019 году

Время на прочтение 4 мин
Количество просмотров 6K
Запустить сервис планирует стартап Catalog. Компания разрабатывает специальную установку, которая позволит ежедневно записывать терабайт данных в 500 трлн ДНК-молекул.

Далее расскажем о подходе, используемом Catalog, и других свежих разработках на ДНК-поприще.

Читать дальше →
Всего голосов 21: ↑21 и ↓0 +21
Комментарии 16

Тестирование технологии кэширования RAID–массивов Adaptec

Время на прочтение 6 мин
Количество просмотров 9.9K
Решения для работы с RAID-массивами из жестких дисков используются уже очень давно. В целом они продолжают оставаться популярными во многих областях, когда требуется относительно недорогой отказоустойчивый массив большого объема. Учитывая размеры современных винчестеров, их скорость, а также и другие причины, наибольший практический интерес вызывают массивы RAID6 (или RAID60, если дисков много). Но этот тип массивов имеет невысокую производительность на операциях случайной записи и сделать что-либо с этим непросто.

Конечно, в данном случае речь идет о скорости «сырого тома». В реальной жизни к нему добавляется файловая система, операционная система, приложения и все такое. Так что на самом деле не все так плохо. Однако есть и программно-аппаратные способы увеличения производительности, независимые от указанных подсистем. Речь идет о технологиях кэширования, когда к массиву из жестких дисков добавляется существенно более быстрый накопитель на базе флэшпамяти.
Читать дальше →
Всего голосов 17: ↑16 и ↓1 +15
Комментарии 17

Реализация программной платформы защищённого NAS

Время на прочтение 36 мин
Количество просмотров 47K


В предыдущей статье было описано проектирование программной платформы NAS.
Настало время её реализовать.

Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 2

Обзор системы хранения данных Lenovo DS6200

Время на прочтение 17 мин
Количество просмотров 11K
Привет Хабр! Предлагаем вашему вниманию отличный обзор системы хранения данных (СХД) Lenovo DS6200, выполненный изданием THG.

Читать дальше →
Всего голосов 16: ↑14 и ↓2 +12
Комментарии 6