Данная статья была написана в результате решения задачи об использовании библиотеки HP MSL8096 для хранения данных, которые не востребованы в ближайшем времени, но важны.
Получилось так, что была приобретена кассетная библиотека HP MSL8096 c 96 кассетами LTO-5 Ultrium (TotalCommander показывал что объем каждой был 1 400 000 000 000 байт) и Data Protector 7.0 от HP. По неизвестным мне причинам был утерян лицензионный ключ от Data Protector и найти его не удалось. Пропадало огромное количество места на ленточной библиотеке, которое можно было использовать для хранения архивных данных. Пошарив на Хабре, нашел статью «LTO Ultrium берет терабайтный ба��ьер», из которой получил первичную информацию о файловой системе LTFS. Далее начались эксперименты, результат которых собственно и выкладываю.
Для записи файлов на кассету существует файловая система LTFS. Кассета, смонтированная в ОС с этой файловой системой выглядит как обычный накопитель: с ним можно работать как с обычным жестким диском, только время доступа к произвольному файлу достаточно велико и может измеряться десятками секунд. Но скорость последовательной записи и чтения больших файлов (видео, образы жестких дисков из виртуализаторов) может достигать 100 МБ/сек (быстрее разогнаться не позволила дисковая система сервера). На сервере был собран RAID-массив объемом 4TB и разбит на разделы, соответствующие размерам кассеты (чтобы не было досадно, когда из папки нужно дописать всего несколько файлов, а места на кассете не хватает). При архивировании данные организовывались и записывались сначала на раздел, а потом непрерывным потоком на кассету.
Итак. Для подключения вышеуказанной библиотеки понадобилось: сервер (IBM x3650 7979), контроллер FiberChannel 4 Gbit (по-моему это был Qualcomm), ОС WindowsServer (в принципе, не важно какой, я проверял на 2003 и 2008R2).
1. Подключаем ленточную библиотеку к контроллеру с помощью оптического кабеля;
2. Устанавливаем драйверы для ленточной библиотеки (Находились на диске с Data Protector-ом или можно скачать на сайте HP);
3. Смотрим «Управление» и убеждаемся, что драйвер библиотеки установлен. У меня из двух стримеров увиделся только один.
4. Далее устанавливаем LTFS Configuration (LTFS for Windows). Когда я все это исследовал, то удалось скачать только с сайта IBM, предварительно зарегистрировавшись, сейчас этот софт есть и на сайте quantum.com (ищется в Google по запросу «lto5 ltfs») и доступен без регистрации.
1 — смонтированная кассета
2 — выбрать стример (если их несколько)
3 — выбрать букву диска, под которой будет смонтирована кассета
4 — кнопка «Смонтировать», после ее нажатия в системе появляется диск, представляющий содержимое кассеты
5 — утилиты для обслуживания кассет (форматирование, проверка)
С помощью веб-интерфейса библиотеки роботом загружаем кассету в стример (Data Protector делает все сам) и нажимаем «Create mapping» и ждем (занимает до нескольких десятков секунд). Если кассета не отформатирована в LTFS, то Конфигуратор предложит сделать это и указать имя и серийный номер кассеты.
После монтирования в поле «Existing mapping» появляется информация о смонтированной кассете, а выпадающие списки с выбором устройства и буквы диска становятся неактивными.
После монтирования кассета представляется в ОС как обычный накопитель, на который с помощью Проводника можно записать нужные файлы.
Для размонтирования нужно нажать кнопку «Remove» и подождать (размонтирование и остановка служб может занять более одной минуты). Дожидаться обязательно, иначе неостановленная служба не даст смонтировать другую кассету, а то и привести к порче информации о данных на кассете, которые хранятся в начале кассеты в специальном секторе. Неразмонтированную кассету робот библиотеки просто отказался вытаскивать из стримера.
В процессе эксплуатации на одной из кассет возникла ошибка и кассета отказалась читаться. Для таких случаев предусмотрен набор инструментов, вызываемый по кнопке «Cartridge utilities...»
С помощью этого набора можно отформатировать кассету (что удобно, когда на кассету записано много мелких файлов и нужно быстро ее очистить), проверить и исправить (это помогло при вышеупомянутой ошибке).
Кроме записи и чтения с кассет нужно было как-то помнить, на какой из них что записано. Я использовал Camel Disk Catalog, причем запускал каталогизацию прямо с кассеты.
Вот таким был мой опыт по использованию файловой системы LTFS для перемещения данных в долговременный архив (архивами заполнил 13 кассет).
Получилось так, что была приобретена кассетная библиотека HP MSL8096 c 96 кассетами LTO-5 Ultrium (TotalCommander показывал что объем каждой был 1 400 000 000 000 байт) и Data Protector 7.0 от HP. По неизвестным мне причинам был утерян лицензионный ключ от Data Protector и найти его не удалось. Пропадало огромное количество места на ленточной библиотеке, которое можно было использовать для хранения архивных данных. Пошарив на Хабре, нашел статью «LTO Ultrium берет терабайтный ба��ьер», из которой получил первичную информацию о файловой системе LTFS. Далее начались эксперименты, результат которых собственно и выкладываю.
Для записи файлов на кассету существует файловая система LTFS. Кассета, смонтированная в ОС с этой файловой системой выглядит как обычный накопитель: с ним можно работать как с обычным жестким диском, только время доступа к произвольному файлу достаточно велико и может измеряться десятками секунд. Но скорость последовательной записи и чтения больших файлов (видео, образы жестких дисков из виртуализаторов) может достигать 100 МБ/сек (быстрее разогнаться не позволила дисковая система сервера). На сервере был собран RAID-массив объемом 4TB и разбит на разделы, соответствующие размерам кассеты (чтобы не было досадно, когда из папки нужно дописать всего несколько файлов, а места на кассете не хватает). При архивировании данные организовывались и записывались сначала на раздел, а потом непрерывным потоком на кассету.
Итак. Для подключения вышеуказанной библиотеки понадобилось: сервер (IBM x3650 7979), контроллер FiberChannel 4 Gbit (по-моему это был Qualcomm), ОС WindowsServer (в принципе, не важно какой, я проверял на 2003 и 2008R2).
1. Подключаем ленточную библиотеку к контроллеру с помощью оптического кабеля;
2. Устанавливаем драйверы для ленточной библиотеки (Находились на диске с Data Protector-ом или можно скачать на сайте HP);
3. Смотрим «Управление» и убеждаемся, что драйвер библиотеки установлен. У меня из двух стримеров увиделся только один.
4. Далее устанавливаем LTFS Configuration (LTFS for Windows). Когда я все это исследовал, то удалось скачать только с сайта IBM, предварительно зарегистрировавшись, сейчас этот софт есть и на сайте quantum.com (ищется в Google по запросу «lto5 ltfs») и доступен без регистрации.
1 — смонтированная кассета
2 — выбрать стример (если их несколько)
3 — выбрать букву диска, под которой будет смонтирована кассета
4 — кнопка «Смонтировать», после ее нажатия в системе появляется диск, представляющий содержимое кассеты
5 — утилиты для обслуживания кассет (форматирование, проверка)
С помощью веб-интерфейса библиотеки роботом загружаем кассету в стример (Data Protector делает все сам) и нажимаем «Create mapping» и ждем (занимает до нескольких десятков секунд). Если кассета не отформатирована в LTFS, то Конфигуратор предложит сделать это и указать имя и серийный номер кассеты.
После монтирования в поле «Existing mapping» появляется информация о смонтированной кассете, а выпадающие списки с выбором устройства и буквы диска становятся неактивными.
После монтирования кассета представляется в ОС как обычный накопитель, на который с помощью Проводника можно записать нужные файлы.
Для размонтирования нужно нажать кнопку «Remove» и подождать (размонтирование и остановка служб может занять более одной минуты). Дожидаться обязательно, иначе неостановленная служба не даст смонтировать другую кассету, а то и привести к порче информации о данных на кассете, которые хранятся в начале кассеты в специальном секторе. Неразмонтированную кассету робот библиотеки просто отказался вытаскивать из стримера.
В процессе эксплуатации на одной из кассет возникла ошибка и кассета отказалась читаться. Для таких случаев предусмотрен набор инструментов, вызываемый по кнопке «Cartridge utilities...»
С помощью этого набора можно отформатировать кассету (что удобно, когда на кассету записано много мелких файлов и нужно быстро ее очистить), проверить и исправить (это помогло при вышеупомянутой ошибке).
Кроме записи и чтения с кассет нужно было как-то помнить, на какой из них что записано. Я использовал Camel Disk Catalog, причем запускал каталогизацию прямо с кассеты.
Вот таким был мой опыт по использованию файловой системы LTFS для перемещения данных в долговременный архив (архивами заполнил 13 кассет).