Вообще-то, эта статья планировалась последней в цикле технических статей, в которой по шагам планировалось изложить технические заметки о внедрении нами NVMEoF через ROCEv2.
Но потом подумалось, а ведь сам процесс, как это всё организовалось, происходило, и все пережитые эмоции, интереснее, чем чисто техническое изложение.
Завершение процесса обучения модели — это, как правило, не конец проблемы, а только её начало.
Сразу же возникают вопросы. Как передать результаты команде аналитиков из соседнего отдела? Где найти актуальную копию того размеченного набора данных, с которым работали на прошлой неделе? Следующему этапу конвейера (pipeline) результаты инференса нужны уже через несколько минут — придется ли снова запускать задачу копирования?
Большинство команд вкладывают значительные средства в инфраструктуру для обучения: быстрые диски, сети с поддержкой RDMA, специализированные коммутаторы. Однако этап передачи данных зачастую по-прежнему выполняется вручную: копирование через scp, открытие доступа к общей папке на GPU-сервере и опора на устные договоренности о том, в какой именно директории лежит верная версия. Если практиковать такой подход достаточно долго, каждая из этих привычек обрастает собственным набором проблем.
Функция S3 Compatible Share, доступная начиная с версии QSM 4.3.1, призвана устранить именно этот пробел. Она позволяет использовать один и тот же общий файловый ресурс одновременно для работы с объектным API (S3) и файловыми протоколами (NFS/SMB). Никаких дублирующих наборов данных или фоновой синхронизации — только один комплект файлов с двумя способами доступа к ним.
Эта статья адресована трем категориям читателей: специалистам, проектирующим инфраструктуру для ИИ или аналитики; администраторам систем хранения данных, выбирающим между объектным шлюзом и репликацией; а также разработчикам клиентского ПО.
Технология RAID уже настолько старая, что порой кажется, что она была всегда. И, несмотря на почтенный возраст, основные ее принципы работы остаются неизменными на протяжении многих десятилетий. И это при том, что как минимум дважды индустрия хранения меняла носители информации HDD → SSD → NVMe. Разумеется, все эти типы накопителей по‑прежнему актуальны, но именно с точки зрения прогресса и происходит обозначенный переход.
Безусловно, главной функцией в работе любой системы хранения данных является сохранность этих самых данных. Следующим пунктом уже идет обеспечение доступа к ним. А применение различных технологий, многие из которых уже давно стали стандартом де‑факто, позволяет объединить эти важнейшие вехи. В данной статье мы поговорим об одной из таких технологий — метро‑кластере, поддержка которого появится в СХД Qsan начиная с FW 4.3.0.
Нельзя не отметить, что в последнее время Qsan рьяно взялся за углубление различного функционала своих продуктов в отношении темы резервного копирования. В целом здесь нет ничего удивительного, т.к. сохранность данных для производителя СХД – приоритетная цель. И хотя резервное копирование все же больше относится к классу прикладных задач и зачастую производится с помощью специального ПО, наличие дополнительных способов, предоставляемых в том числе производителем СХД, лишними точно не будут, так как еще одна резервная копия никогда не будет лишней. Так что предметом данной статьи будет обзор ПО резервного копирования от Qsan – XVault.
Какой бы быстрой ни была ваша система хранения данных, всегда хочется еще быстрее. Растет как объем хранимых данных, так и количество сервисов, работающих с ними. И все это требует скорости. Скорость становится ключевой характеристикой и порой даже объектом вожделения. Поэтому сегодня мы поговорим о некоторых способах ускорения производительности (и не только) в СХД Qsan.
Любой грамотный специалист вам подтвердит, что резервное копирование – это важная часть любой IT инфраструктуры. Наличие резервных копий – это не только возможность исправить последствия сбоев различного характера, но и порой последний рубеж обороны в нелегком деле противостояния вирусам-шифровальщикам (так называемым ransomware). На эту тему сломано немало копий, и на просторах Интернета легко найти множество практических советов о том, как можно максимально обезопасить себя от данной напасти. У нас также есть статья на эту тему в контексте использования технологии WORM, некогда считавшейся едва ли не панацеей против любых видов атак. Однако время не стоит на месте, технологии совершенствуются как на стороне злоумышленников, так и на стороне защиты от них. Поэтому представляем вашему вниманию технологию Qseal, призванную обеспечить максимально возможную защиту резервных копий средствами СХД.
Всегда хотел развернуть шару SMB с хранилищем на ZFS, но есть нюансы…
Совершенно не приемлю, чтобы пользователи каким либо образом взаимодействовали с сервером, где расположен pool\ZFS. В моем понимании, СХД может включать в себя только служебные компоненты без прямого пользовательского доступа к его сети.
Идея казалось очень простой - поднимаем виртуальный сервер, подключаем его к домену, цепляем туда существующий ZFS пул....
Вы наверняка сталкивались с системами хранения данных семейства TATLIN или серверами VEGMAN, хотя можете об этом даже не подозревать. Например, делая заказ в интернет-магазине или пользуясь другими популярными онлайн-сервисами — в глубине ИТ-инфраструктуры для них можно обнаружить продукты YADRO.
Всем привет, меня зовут Александр Чуриков, я технический эксперт отдела сервисного дизайна YADRO. Мы служим мостиком между сервисом и нашим R&D, который разрабатывает продукты — изучаем все боли сервиса, которые возникают при обслуживании, в том числе при обновлении и замене компонентов, и транслируем их в R&D. Предлагаю подробно разобраться в процессе обновления СХД TATLIN.UNIFIED: от операционной системы и до прошивок аппаратных компонентов.
Мы продолжаем исследовать работу протокола RDMA в СХД Qsan, начатую в предыдущей статье. Безусловно, самым интересным эффектом от применения данного протокола в разрезе его использования для доступа к данным является возможный прирост производительности. По крайней мере идейная составляющая самой концепции протокола RDMA на это недвусмысленно намекает. Так ли это на самом деле?
Можно ли подключить сетевой диск к железному серверу за минуту, при этом не выключая его, сохраняя отказоустойчивость и не привлекая инженеров?
Я Беляков Алексей — Go-разработчик в Cloud.ru, в статье расскажу, как нам удалось это сделать. Сначала поделюсь кейсами, которые натолкнули на создание такой фичи, затем расскажу, как мы реализовали ее интеграцию со стороны сервиса Bare Metal, а в конце покажу, как всего за минуту можно расширить дисковое пространство физического сервера.
RDMA — аббревиатура, достаточно известная благодаря частым упоминаниям в технических статьях и спецификациях на оборудование. Многим, скорее всего, известно, что означает она Remote Direct Memory Access или прямой доступ к памяти на удаленном хосте. Но что скрывается за ней на самом деле? В чем суть этой технологии, особенно в контексте систем хранения данных? Давайте разберемся в этом. Тем более, что поддержка данной технологии недавно появилась в СХД Qsan.
Прошло уже почти 4 года с момента выхода предыдущей модели All flash массивов (AFA) от Qsan. Вроде бы и не такой большой срок по житейским меркам. Однако, для мира IT это – просто пропасть. Отчасти поэтому Qsan, стараясь быть в тренде, выпустил новое, уже третье по счету, поколение AFA, краткий обзор которого мы предлагаем вашему вниманию.
В отличие от предыдущей серии AFA, состоящей из единственной модели XF3126, новая серия будет иметь более разнообразный модельный ряд. Флагманская модель среди новых AFA – это XF5226. И на момент написания статьи пока что только эта модель доступна к заказу. Позднее также будут доступны модели из младших линеек с чуть более упрощенной аппаратной частью, но зато с более привлекательной ценой.
Важным аспектом при построении IT-инфраструктуры любой сложности является ее устойчивость к различным инцидентам. К сожалению, полностью исключить ошибки, вызванные аппаратной или программной неисправностью, а также человеческими действиями (случайными или преднамеренными), увы, невозможно. Поэтому всегда необходимо иметь четко отработанный план по восстановлению. Раз мы ведем речь в контексте использования СХД, то наиболее уязвимыми здесь являются как раз хранимые на ней данные.
Привет! Меня зовут Вячеслав Пачков, я ведущий инженер по разработке ПО в департаменте СХД YADRO. В этом посте я расскажу о T-RAID — технологии защиты целостности данных, которая используется в нашей гибридной СХД TATLIN.UNIFIED, а также СХД для сверхбольших объемов данных TATLIN.ARCHIVE.
Ряд предыдущих статей мы посвятили подробным обзорам различных продуктов Qsan. В основном это были их блочные СХД серий XCubeSAN и All Flash массивы XCubeFAS. Выбор объектов для обзоров был не случаен. Ведь именно эти серии составляют львиную долю продаж на только в РФ (в том числе благодаря нам), но и во всем мире. Надежность и высокая производительность, вкупе с простым и понятным управлением, сделали продукты весьма популярными. Однако, в настоящее время сугубо блочные СХД уже не выглядят локомотивом прогресса. Поэтому настало время поговорить о Unified системах Qsan – серии XCubeNXT.
Существуют различные технологии по уплотнению ресурсов физических серверов с целью их более эффективного использования. Наиболее известный вариант – это виртуализация. Именно в данной сфере системы хранения данных (СХД) являются одним из ключевых элементов, поскольку позволяют достаточно легко реализовать кластеры высокой доступности (HA cluster). Однако, помимо виртуализации доступны иные методы повышения эффективности, одним из которых является применение контейнеров.
Мы продолжаем публикацию статей в стиле how-to касательно использования систем хранения данных (СХД) Qsan в различных типовых задачах. На сей раз рассмотрим первичную настройку серверов на базе операционных систем (ОС) семейства Linux при подключении блочных томов со стороны СХД.
Прошло уже немало времени с момента нашей публикации обзора СХД Qsan серии XCubeSAN. Некоторое время назад QSAN обновил эту линейку, и на текущий момент эти системы хранения данных являются самыми востребованными среди наших заказчиков. Поэтому мы хотим, пусть и с некоторым опозданием, поделиться своим мнением относительно данного продукта.
Привет, Хабр! Меня зовут Сергей Качкин. Вместе с командой я занимаюсь тестированием производительности систем хранения данных: много тестов делаем сами, видим результаты наших коллег и заказчиков, так у нас накопилось некоторое количество опыта, которым хочется поделиться.
В этой статье я расскажу про тестирование блочных стораджей. Начнем с теории — поговорим о выборе цели теста, отличиях синтетики от реальных нагрузок, выборе инструмента для генерации нагрузки. Затем перейдём к практике — тестированию случайного и последовательного доступа, измерению масштабируемости СХД.
