Хранение данных *

Перед вами перевод статьи Manjunath M, которая была опубликована на Bits and Pieces. Мы предлагаем прочитать ее тем, кто уже преодолел этап подготовки к миграции и приступает к следующему шагу.

Обычно компании рассматривают разные способы переноса приложений в облачное хранилище во время оценки и планирования портфеля — на второй стадии миграции. Задумываются также над тем, какие приложения будет легче перенести и что повлечет за собой их миграция. Именно на этом этапе разработчик понимает, насколько сложны и взаимозависимы компоненты его среды разработки. С его точки зрения, многое может пойти не так.

Мы продолжаем вас знакомить с российскими системами хранения данных AERODISK ENGINE N-серии. Предыдущая – вводная – статья находится здесь. Также у ребят появился свой YouTube канал с обучающими видео по настройке и работе с системой. А еще перед новым годом Аэродиск запустил промо-программу, в рамках которой можно купить СХД со скидкой до 60%! Предложение, на наш взгляд, отличное.

В этот раз Аэродиск нам предоставил систему хранения ENGINE N2 в All-flash конфигурации для самостоятельного изучения и настройки, и мы поделимся этим опытом.
В рамках знакомства с ENGINE мы сделаем цикл из 3-х статей:

1. Базовая настройка
2. Краш тесты
3. Нагрузочные тесты

В рамках этой статьи мы выполним базовую настройку СХД: презентуем LUN-ы и файловые шары хосту, а также оценим юзабилити интерфейса управления. До этого мы прошли однодневный курс обучения по работе с системой и почитали документацию.

В «Ростелекоме» мы используем Hadoop для хранения и обработки данных, загруженных из многочисленных источников с помощью java-приложений. Сейчас мы переехали на новую версию hadoop с Kerberos Authentication. При переезде столкнулись с рядом проблем, в том числе и с использованием YARN API. Работа Hadoop с Kerberos Authentication заслуживает отдельной статьи, а в этой мы поговорим об отладке Hadoop MapReduce.

Часто приходится слышать, что хранить данные и выводить свои системы на ИТ-аутсорсинг – это опасно и ненадёжно. Якобы данные могут быть недоступны из-за технических проблем у провайдера, дата-центр может стать объектом хакерской атаки, да и просто спокойнее, когда всё ИТ-оборудование и все данные компании рядом, «под боком», а не хранятся и обслуживаются «на стороне».

Предлагаю посмотреть, как устроен дата-центр IXcellerate, в котором мы храним свои данные и данные клиентов. Мы – это сервис-провайдер «Онланта». Наше облако OnCloud.ru создано на базе нескольких географически распределённых дата-центров. ЦОД IXcellerate как раз и является одним из них.

Одна из малозаметных, но важных функций наших сайтов объявлений — сохранение и отображение количества их просмотров. Наши сайты следят за просмотрами объявлений уже больше 10 лет. Техническая реализация функциональности успела несколько раз измениться за это время, и сейчас представляет из себя (микро)сервис на Go, работающий с Redis в качестве кэша и очереди задач, и с MongoDB в качестве персистентного хранилища. Несколько лет назад он научился работать не только с суммой просмотров объявления, но еще и со статистикой за каждый день. А вот делать все это действительно быстро и надежно он научился совсем недавно.



В сумме по проектам, сервис обрабатывает ~300 тысяч запросов на чтение и ~9 тысяч запросов на запись в минуту, 99% которых выполняются до 5мс. Это, конечно, не астрономические показатели и не запуск ракет на Марс — но и не такая тривиальная задача, какой может показаться простое хранение чисел. Оказалось, что делать все это, обеспечивая сохранение данных без потерь и чтение согласованных, актуальных значений требует определенных усилий, о которых мы расскажем ниже.

Новый год все ближе, а значит наступает самая благодатная пора для разнообразных прогнозов. Изначально мы планировали охватить сразу несколько аспектов IT-индустрии, но учитывая, насколько объемным стала получаться статья, а также незримый дамоклов меч, нависший в последнее время над множеством отраслей, решили сделать более узкоспециализированный материал. Сегодня речь пойдет об облаках, о том, какие перспективы развития ожидают в ближайшем будущем многочисленные cloud-сервисы, а также о том, что ни на одну технологию не следует полагаться в полной мере.

Всем знакома пословица «Один переезд равен двум пожарам». Смысл этой народной мудрости в том, что процесс переезда сопряжен со стрессами, суетой, переживаниями и, конечно, беготней, которые бывают и при пожаре, а подчас и с утратами ценного имущества. К тому же, когда собираешься в спешке, пакуешь вещи для перевозки бессистемно, то велика вероятность что-то потерять, разбить, забыть.

Технологии повышения производительности, основанные на использовании SSD и широко применяемые в СХД, уже давно изобретены. Прежде всего – это применение SSD в качестве пространства хранения, что на 100% эффективно, но дорого. Поэтому в ход идут технологии тиринга и кэширования, где SSD используются только для наиболее востребованных («горячих») данных. Тиринг хорош для сценариев долговременного (дни-недели) использования «горячих» данных. А кэширование, наоборот, для краткосрочного (минуты-часы) использования. Оба этих варианта реализованы в СХД QSAN XCubeSAN. В данной статье мы рассмотрим реализацию второго алгоритма – SSD кэширования.

Как вы наверное помните, НРЕ давно вкладывается в тему новых типов хранилищ данных (конечно, The Machine) и в оптимизацию доступа к хранилищам (наше членство в консорциуме Gen-Z).

Цель этого движения — ускорить работу приложений наших заказчиков. Причем движение это многоуровневое: пока куется совершенно новая архитектура вычислительных систем The Machine (т.н. памяте-центричная архитектура), мы понимаем, что ускоряться нужно уже сейчас. Давайте посмотрим что можно сделать сегодня, и что появится у HPE завтра. Подсказка — речь пойдет о сильном ускорении наших СХД 3PAR и Nimble с помощью умного и относительно бюджетного кэширования на Storage Class Memory (SCM) в форме Intel Optane.

Берёте ПК с HDD, втыкаете ему внутрь PCIe-модуль Intel Optane, и он становится кэшем жёсткого диска. Получается сильно быстрее, потому что это, по сути, флешовый NVMe-модуль, который становится частью жёсткого диска. Вы получаете гибридный массив. Это ещё и относительно просто.

К нам упал такой запрос: будет ли дешевле покупать офисные ПК с этой платой в сравнении с SSD-диском? И какие подводные камни возможны, если они есть? А они есть, конечно.

Плату 32 Гб мы сожгли во время тестов, поэтому числа будут только про 16 Гб.

Сегодня на тематических зарубежных сайтах о Big Data можно встретить упоминание такого относительно нового для экосистемы Hadoop инструмента как Apache NiFi. Это современный open source ETL-инструмент. Распределенная архитектура для быстрой параллельной загрузки и обработки данных, большое количество плагинов для источников и преобразований, версионирование конфигураций – это только часть его преимуществ. При всей своей мощи NiFi остается достаточно простым в использовании.



Мы в «Ростелекоме» стремимся развивать работу с Hadoop, так что уже попробовали и оценили преимущества Apache NiFi по сравнению с другими решениями. В этой статье я расскажу, чем нас привлек этот инструмент и как мы его используем.

По меркам рынка компьютерных комплектующих Western Digital начала осваивать сегмент твердотельных накопителей сравнительно недавно: если опустить первые попытки в виде Silicon Edge Blue (2009 год) и гибридного WD Black SSHD (2013), то отправной точкой можно назвать 11 октября 2016 года, когда состоялся анонс линейки SATA-дисков WD Green и Blue SSD, а чуть позднее вышли высокоскоростные WD Black NVMe SSD, ориентированные на энтузиастов. С тех пор прошло 2 года. За это время мы перепрофилировали производственные мощности на выпуск инновационной 3D NAND, лишенной ряда недостатков планарной флэш-памяти, и обновили модельный ряд SSD-накопителей. «Черная» серия также эволюционировала: 4 июня 2018 года мы представили новое поколение WD Black 3D NVMe SSD. Какие же выгоды обеспечил переход на новый техпроцесс и чем NVMe-устройства отличаются от SATA?

Сериализация (Serialization) — это процесс, который переводит объект в последовательность байтов, по которой затем его можно полностью восстановить. Зачем это нужно?

datacenterknowledge.com

В прошлом году была реализована самая крупная на данный момент инсталляция СХД на базе RAIDIX. Система из 11 отказоустойчивых кластеров была развернута в Центре вычислительных наук института RIKEN (Япония). Основное назначение системы — хранилище для инфраструктуры HPC (HPCI), которая реализована в рамках масштабного национального проекта по обмену академической информацией Academic Cloud (на базе сети SINET).

Знаковой характеристикой этого проекта является его суммарный объем — 65 ПБ, из которых полезный объем системы составляет 51,4 ПБ. Чтобы точнее понять эту величину, добавим, что это 6512 дисков по 10 ТБ (самых современных на момент установки). Это много.

Недавно я глубоко погрузился в тему архивирования веб-сайтов. Меня попросили друзья, которые боялись потерять контроль над своими работами в интернете из-за плохого системного администрирования или враждебного удаления. Такие угрозы делают архивирование веб-сайтов важным инструментом любого сисадмина. Как оказалось, некоторые сайты гораздо сложнее архивировать, чем другие. Эта статья демонстрирует процесс архивирования традиционных веб-сайтов и показывает, как он не срабатывает на модных одностраничных приложениях, которые раздувают современный веб.

Недавно заказчик попросил нас реализовать систему учета дисковых мощностей. Стояла задача объединить информацию с более семидесяти дисковых массивов разных вендоров, от свичей SAN и ESX-хостов VMware. Затем данные нужно было систематизировать, проанализировать и иметь возможность выводить на дашборд и различные отчеты, например, о свободном и занятом объеме дискового пространства во всех или отдельно взятых массивах.

Мы решили реализовать проект с помощью системы анализа операционной деятельности — Splunk.

Летом этого года в России заработала Единая биометрическая система для юридически значимого и при этом простого для пользователя подтверждения личности. О том, как она устроена, мы писали в недавнем посте.

Чтобы системой было удобно пользоваться, необходимо приложение. Создание этого приложения — «Ключ Ростелеком» — открыло для нас целый бонусный уровень с новыми задачами, новыми вызовами. Которые, как несложно догадаться, направлены на повышение безопасности пользователей.

Рынок твердотельных накопителей развивается семимильными шагами – если совсем недавно ещё не каждый мог себе позволить такое устройство в рабочую систему, то сегодня можно найти десятки совершенно разных моделей в любой ценовой категории. Объёмы контента растут с каждым месяцем – сейчас смартфоны даже среднего ценового диапазона умеют снимать высококачественное видео в разрешении 4K, не говоря уже о флагманах и профессиональных камерах, которые позволяют фиксировать самые важные моменты вашей жизни в режиме 4K 60fps. Можно даже сказать, что FullHD уже уходит в небытие, хоть и пока ещё достаточно популярен. Не прошло и 15 лет, как жёстких дисков объёмом 20 ГБ хватало для хранения важных данных. А сейчас на дворе уже и 14 ТБ диски можно приобрести – что делать, если надо оперативно перекинуть 500-800 ГБ файлов? Для этого есть несколько способов, поэтому сегодня разговор пойдёт не о привычных SSD для установки внутрь ПК или ноутбуков, а о портативном накопителе HyperX SAVAGE EXO, который стал первым этапом кампании по замещению внешних HDD. Дело остаётся лишь за временем. Но уже сейчас SAVAGE EXO способен завоевать внимание тех пользователей, кому часто требуется переносить много данных или запускать то или иное программное обеспечение прямо со своего переносного накопителя. А в конце данного материала мы подведём итоги конкурса ваших историй и озвучим победителей, которые получат флешки Kingston!

В последнее время люди все чаще отдают предпочтение аренде. Снимают квартиры, чтобы быть более мобильными. Выбирают каршеринг вместо дорогостоящего содержания собственного автомобиля. Арендуют облако, вместо того чтобы хранить файлы на своих смартфонах.

Работает ли такой же принцип с видеонаблюдением? Мы провели анализ, в каком случае целесообразно отказаться от собственного видеосервера в пользу облачного видеонаблюдения.