Pull to refresh
  • by relevance
  • by date
  • by rating

UNИX: доклад по теме «Системы хранения данных»

Lumber room
30 мая в 18:30 в ауд. 707 второго учебного корпуса МГУ (факультет ВМК, МГУ1С52) состоится семинар Александра Герасёва по теме «Системы хранения данных». Страница доклада здесь: uneex.mithril.cs.msu.su/Events/Storage

Доклад рассчитан на тех, кто пока мало что знает о СХД, SAN и тому подобных вещах (но хочет узнать больше), и на тех, кто готов вносить интересные комментарии; проходит в рамках семинара UNИX.

В здании факультета ВМК работает бюро пропусков. Для получения пропуска необходимо предъявить паспорт и сказать, на что вы идёте — и этого должно быть достаточно. В случае проблем в день семинара можно связаться с Артёмом Гавриченковым (это я) по телефону +7 916 515 4958 и в джаббере (ximaera@gmail.com).

P. S. С этой весны мероприятия UNИX начинают проходить более-менее регулярно, так что вопрос: насколько интересны подобные объявления в будущем?

31 мая 2008. Всем пришедшим спасибо, было круто!

Материалы лежат по следующим адресам:
uneex.mithril.cs.msu.su/Events/Storage
http://esyr.org/wiki/index.php/UNИX,_весна_2008,_04_семинар_(от_30_мая)
esyr.org/photo/uneex_08_05_30
Total votes 8: ↑8 and ↓0 +8
Views 485
Comments 9

Time Capsule своими руками за 2 часа и 5000р

IT-companies
Позвольте представить короткую заметку о том, как самому сделать Time Capsule.

Задача.

У меня есть macbook, старенький по нынешним временам, но любимый. С ростом объемов баз Aperture и iTunes проблема резервного копирования встала довольно остро, для чего был в свое время приобретен WD mybook на 500 Гигабайт и Hitachi с USB-коробкой на 400. Хитачи использовался как диск с данными, а WD для резервного копирования Time Machine, подключалось же все по USB. Данная схема меня не устраивала обилием проводов и привязкой к столу: отключаясь от USB я терял связь с накопителями, пойти на кухню с ноутбуком и музыкой я не мог. Я решил сделать файловый сервер, который бы раздавал нужные мне файлы по сети, скажем через WiFi.
Читать дальше →
Total votes 33: ↑26 and ↓7 +19
Views 12K
Comments 60

Заставляем дружить Citrix XenServer 5.5 и Openfiler 2.3

Virtualization *
Если Вы используете в своей работе программное обеспечение виртуализации Citrix XenServer, то не использовать бесплатную функцию XenMotion для «живой» миграции виртуальных машин с одного хостового сервера на другой — просто, так сказать, грешно. Итак для реализации этой функции потребуются 2 вещи:

1. Хостовые сервера под управлением Citrix XenServer — 2 шт.
2. Общее сетевое хранилише для пула серверов Citrix XenServer (SAN, NFS, FC) — 1 шт.

Если с первым пунктом все, в принципе, понятно, то со вторым придется немного подумать о реализации.
Вариантов может быть два. Либо аппаратное ХД, либо программное ХД. Аппаратные хранилища не всегда оправдывают свою цену, поэтому я решил остановить свой выбор на программной реализации, а именно openfiler 2.3. На странице закачки можно выбрать необходимую версию под свою платформу. Установка достаточно проста. Если все делать согласно инструкции то трудностей возникнуть не должно. После установки, рекомендую сразу же обновить OpenFiler через веб интерфейс, а после разметки дисков сохранить бекап, так как, в последствии, если придется переустановить хранилище оно не увидит уже созданные разделы на дисках.

А теперь о нюансах.

При использовании OpenFiler через iSCSI как общее сетевое хранилище для Citrix XenServer, возникает проблема с «отваливанием» хранилища и не восстановлением с ним связи, в случае перезагрузки хранилища. При этом в самом хранилище нельзя сделать unmap созданному для Citrix LUN.

Лечится эта беда следующим образом:

1. Заходим с консоли хранилища и вводим команду:

openfiler# chkconfig aoe off

Данной командой мы отключаем сервис ATA Over Ethernet, который перехватывает на себя управление шарингом дисков по сети и iSCSI сервис уже не может начать управление.

2. Комментируем в редакторе vi или nano, входящих в состав дистрибутива OpenFiler, для версии 2.3, строки 333-337 в файле /etc/rc.sysinit

# if [ -x /sbin/lvm.static ]; then
# if /sbin/lvm.static vgscan --mknodes --ignorelockingfailure > /dev/null 2>&1 ; then
# action $"Setting up Logical Volume Management:" /sbin/lvm.static vgchange -a y --ignorelockingfailure
# fi
# fi


3. Перезагружаемся

openfiler# reboot

После перезагрузки хранилища, оно снова станет доступным для Citrix XenServer и можно начинать создавать виртуальные машины.

П.С.

Альтернативы. Можно же использовать всеми любимый FreeNAS, ведь он тоже позволяет делать iSCSI target..., скажет кто то… Можно но FreeNAS, не делает LUN, а как раз их и требует Citrix XenServer. Также можно использовать как общее хранилище NFS, но для меня iSCSI более унифицированный, хотя по всем показателям NFS меньше грузит систему и практически не проигрывает в скорости iSCSI.
Total votes 3: ↑2 and ↓1 +1
Views 3.8K
Comments 7

О сетях хранения данных

IT Infrastructure *
Решил написать небольшую статейку о сетях хранения данных (СХД), тема эта достаточно интересная, но на Хабре почему-то не раскрыта. Постараюсь поделиться личным опытом по построению и поддержке SAN.

Что это?
Сеть хранения данных, или Storage Area Network — это система, состоящая из собственно устройств хранения данных — дисковых, или RAID — массивов, ленточных библиотек и прочего, среды передачи данных и подключенных к ней серверов. Обычно используется достаточно крупными компаниями, имеющими развитую IT инфраструктуру, для надежного хранения данных и скоростного доступа к ним.
Упрощенно, СХД — это система, позволяющая раздавать серверам надежные быстрые диски изменяемой емкости с разных устройств хранения данных.

Читаем дальше...
Total votes 11: ↑7 and ↓4 +3
Views 80K
Comments 15

SAN начального уровня

IT Infrastructure *
Продолжая тему SAN, хочу написать о системах начального уровня. Предположим, что у нас есть небольшая компания, у которой образовался бюджет для перехода на SAN. Посмотрим, какие есть варианты, что мы можем получить и за какие деньги.

Для начала определимся — FC или SAS. Будем считать, что у нас есть 3 сервера (если взять больше — нет особого смысла использовать SAS), и нам нужно 10 терабайт места для хранения скачанного с торрентов данных компании.
Нам нужно при минимальном расходовании бюджета получить максимальную скорость обмена, минимальную стоимость мегабайта и, в идеале, возможность расширения системы в дальнейшем.

Читать дальше →
Total votes 4: ↑2 and ↓2 0
Views 11K
Comments 15

LeftHand – это не только iSCSI

Hewlett Packard Enterprise corporate blog
HP StorageWorksОколо года назад в продуктовом портфеле систем хранения HP появился дисковый массив LeftHand, разработанный одноименной компаний, которую HP приобрела в 2008 году.

Обычно продукты LeftHand рассматривают всего лишь как дисковые массивы начального класса, предназначенные для сетей хранения SAN на базе протокола iSCSI. Однако разработки LeftHand, которые теперь официально называются HP StorageWorks P4000, выделяются на фоне других систем реализацией ряда продвинутых функций защиты данных, часть из которых еще недавно можно было встретить только в дисковых массивах класса high-end.
Читать дальше →
Total votes 23: ↑19 and ↓4 +15
Views 10K
Comments 92

SAN 2.0 – доступно уже сегодня

NetApp corporate blog
На конференции на прошлой неделе мне пришлось потратить немало времени, убеждая одного заказчика, что NetApp производит устройства, работающие в SAN. Имидж NetApp как компании, являющейся в первую очередь лидером на рынке NAS, очень силен, и далеко не все знают, что первые SAN устройства в рамках идеи Unified Storage были выпущены NetApp в 2002 году.

Сейчас, когда производители оборудования (в первую очередь Cisco) раскручивают идею FCoE как SAN следующего поколения (SAN 2.0 так сказать), и обращаются к идее использования единого провода для совмещения блочного и файлового трафика, NetApp пока остается первым и единственным, у кого есть end-to-end FCoE решение. Если коротко — в существующие СХД можно установить FCoE адаптеры. У других — нет родной поддержки FCoE. Интересность таких адаптеров именно в совмещении типов трафика – по ним можно передавать и блочные данные (FCoE, iSCSI – доступно сейчас), и файловые данные (CIFS, NFS – будет доступно позднее).

UPD. Чтобы было понятно, о каком конкретно железе говорим:

Читать дальше →
Total votes 6: ↑4 and ↓2 +2
Views 3.1K
Comments 10

Настройка ISCSI initiator в linux

System administration *
Abstract: как работает open-iscsi (ISCSI initiator в linux), как его настраивать и чуть-чуть про сам протокол ISCSI.

Лирика: В интернете есть множество статей довольно хорошо объясняющих, как настроить ISCSI target, однако, почему-то, практически нет статей про работу с инициатором. Не смотря на то, что target технически сложнее, административной возни с initiator больше — тут больше запутанных концепций и не очень очевидные принципы работы.

ISCSI


Перед тем, как рассказать про ISCSI — несколько слов о разных типах удалённого доступа к информации в современных сетях.

NAS vs SAN

Существует два метода доступа к данным, находящимся на другом компьютере: файловый (когда у удалённого компьютера запрашивают файл, а какими файловыми системами это сделано — никого не волнует), характерные представители NFS, CIFS (SMB); и блочный — когда у удалённого компьютера запрашивают блоки с дискового носителя (аналогично тому, как их читают с жёсткого диска). В этом случае запрашивающая сторона сама себе делает на блочном устройстве файловую систему, а сервер, отдающий блочное устройство, знать не знает про файловые системы на нём. Первый метод называют NAS (network attached storage), а второй — SAN (storage area network). Названия вообще указывают на другие признаки (SAN подразумевает выделенную сеть до хранилищ), но так сложилось, что NAS — это файлы, а SAN — это блочные устройства по сети. И хотя все (?) понимают, что это неправильные названия, чем дальше, тем больше они закрепляются.
Читать дальше →
Total votes 58: ↑55 and ↓3 +52
Views 107K
Comments 58

SN6000 – коммутатор для развития сети хранения

Hewlett Packard Enterprise corporate blog
Сегодня мы расскажем вам о новом стекируемом коммутаторе StorageWorks SN6000 c 20 восьмигигабитными портами Fibre Channel. Такое устройство предназначено прежде всего для построения сети хранения SAN в небольшой компании, где у ИТ-специалиста обычно нет опыта настройки оборудования Fibre Channel.

HP StorageWorks SN6000

HP StorageWorks SN6000 стандартно поставляется с утилитой Simple SAN Connection Manager (SSCM), которая с помощью графических визардов помогает даже новичку в технологиях SAN правильно определить конфигурацию устройств SAN, включая сам коммутатор, HBA-адаптеры серверов и дисковый массив HP StorageWorks MSA или EVA (разумеется, если таковой имеется у заказчика).
Читать дальше →
Total votes 4: ↑3 and ↓1 +2
Views 4K
Comments 15

Unified Storage — «слуга двух господ»: NAS + SAN

NetApp corporate blog

Unified Storage называется «мультипротокольная» система хранения, такая, когда с данными, которые на ней хранятся, можно работать по разным протоколам в рамках одной и той же системы. Обычно под unified storage понимают систему, которая способна работать одновременно и в SAN-сети, то есть с «блочным доступом» по протоколам FC или iSCSI, и как NAS-устойство, для хранения файлов.

А началось все в начале 2000-х, когда компания NetApp выпустила на рынок свою новую серию хранилищ под названием FAS — Fabric Attached Storage — что-то типа «подключаемая в сетевую инфраструктуру система хранения», дело в том, что инфраструктура Fibre Channel, состоящая из коммутаторов, традиционно называется Fabric, «фабрика».
Такие системы могли работать как хорошо себя зарекомендовавшие с 1994 года NAS-системы компании, то есть как сетевые файловые хранилища по протоколам NFS и CIFS, но также одновременно и как SAN-устройства хранения, по протоколу FibreChannel (а вскоре к ним добавился и «IP-SAN», «блочный» протокол iSCSI).
Читать дальше →
Total votes 18: ↑14 and ↓4 +10
Views 15K
Comments 16

Дата-центр в водяном баке

High performance *
После третьего по счёту демонтажа городского дата-центра в поисках площадки, наиболее защищённой от стихийных бедствий, мэрия американского города Альтамонте-Спрингс (Флорида) нашла необычное место — старый неиспользуемый водяной резервуар в самом центре города. Это огромный бак, который раньше вмещал 2,9 млн литров воды. Рядом с ним сделали две пристройки: одна — для сетевого оборудования, вторая — офисные помещения.

По мнению инженеров городского IT-подразделения, лучше места не найти: 20-сантиметровые стены из железобетона великолепно защищают от любого шторма.

Правда, не совсем понятно, почему сетевое оборудование поместили в пристройке, а не непосредственно в защищённом здании.
Читать дальше →
Total votes 8: ↑7 and ↓1 +6
Views 2.7K
Comments 6

Построение единого хранилища на основе SAN с общим файловым пространством

IT Infrastructure *
Sandbox
В производстве возникла задача построить единое хранилище данных на небольшую сеть (20 рабочих станций).
Типовые и тривиальные варианты в виде сетевых шарингов или мапингов по NFS отпали, в виду того, что сети в 1Гбит весьма мало для наших задач, а решения в 10Гбит в России носят скорее теоретический характер, потому как: во-первых, дорого очень, во-вторых, недоступно. Купить, например, полноценный свитч на 16 портов по 10Гбит каждый — откровенно невозможно. Или за очень много денег опять же. Хотя что происходит сейчас на рынке железа, я скажу честно, уже не в курсе. Так как то что уже построили — не ломать же.

Перейдем в таком случае к варианту, который работает у нас. Сеть на основе Fibre Channel.
Читать дальше →
Total votes 12: ↑8 and ↓4 +4
Views 5.8K
Comments 5

Использование Linux в SAN сети. Маленькая хитрость

Lumber room
Sandbox
Всем доброго времени суток.
Я не думаю, что ситуация, описанная мной, типична для большинства, но тем не менее думаю это будет полезно знать. Мой рассказ о способе защиты «от дурака» в случае, когда у вас есть SAN сеть, есть несколько СХД(Система хранения данных), которые не поддерживают технологию ограничения доступа к определённым LUN (Logical Unit Number) и серверы на базе Linux (в нашем случае все действия будут проводиться с использованием ОС SLES 10SP1).
Читать дальше →
Total votes 1: ↑1 and ↓0 +1
Views 639
Comments 0

Мониторинг задержек в подсетях SAN в VMware vSphere 4.1

Cloud One corporate blog
В этом и ближайших постах мы попробуем раскрыть несколько любопытных технологических моментов из тех, что регулярно встречаются нам в работе. К этому нас отчасти побуждает тот факт, что особенности тарификации, выделения и распределения мощностей – вещь прозаическая, да и постов на эту тему Хабр увидел уже немало. А реальный опыт в решении каких-то мелких, но важных моментов может серьезно пригодиться. Так что spread the word!

image

Читать дальше →
Total votes 9: ↑6 and ↓3 +3
Views 2.1K
Comments 0

E5000 – решение для больших почтовых ящиков Exchange 2010

Hewlett Packard Enterprise corporate blog
В одном из предыдущих постов мы уже писали об ожидаемом выходе на рынок решения под ключ для электронной почты HP E5000 Messaging System for Microsoft Exchange Server 2010. Эта система была официально представлена HP на последнем CeBIT, и теперь есть возможность познакомиться с ней подробнее.



Сначала стоит сказать о двух новшествах Microsoft Exchange Server 2010, которые активно использует наша E5000. Во-первых, эта увеличение максимального размера почтовых ящиков за счет хранения их на почтовом сервере на относительно дешевых 3,5-дюймовых одно/двухтерабайтных дисках со скоростью вращения 7200 rpm. В предыдущих версиях Microsoft Exchange такой вариант хранения не применялся из-за того, что диски 7200 rpm работают слишком медленно, однако в новой версии почтового сервера Microsoft оптимизировал ввод/вывод и в результате требования по IOPS-ам снизились до уровня, которые могут обеспечить терабайтные диски.
Читать дальше →
Total votes 16: ↑12 and ↓4 +8
Views 9.2K
Comments 25

Библиотеки HP D2D с дедубликацией StoreOnce

Hewlett Packard Enterprise corporate blog
Недавно мы рассказывали в нашем блоге о виртуальной ленточной библиотеке HP VLS9200, предназначенной для внедрения резервного копирования на жесткие диски в сети SAN крупного предприятия. Кроме этой системы HP предлагает и дисковые системы резервного копирования младшего и среднего класса серии D2D, в которых с лета прошлого года применяется разработанная в HP Labs технология онлайновой дедубликации StoreOnce.

Главное отличие StoreOnce от аналогичных решений других вендоров – это выборочное индексирование резервных копий (sparse indexing) и разбивка их при анализе на сегменты переменной длины (средний размер сегмента – 4 Кбайт), поэтому эта технология обеспечивает сокращение размера резервных копий до 20 раз, а также благодаря более компактному индексу существенно снижает требования к вычислительно мощности устройства дедубликации и пропускной способности его ввода/вывода.

Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Views 6.4K
Comments 6

Новые компоненты для Proliant-ов

Hewlett Packard Enterprise corporate blog
В начале этого года наша компания анонсировала новые компоненты для использования в серверах HP ProLiant. С января для HP ProLiant G7 стали доступны модули памяти DDR3 изготовленные по технологии 40 нанометров и по сравнению с 60-нанометровыми модулями предыдущим поколением DDR2 работают вдвое быстрее и в то же время на 73% потребляют меньше энергии. Новая технология производства, позволяет увеличить объем планок до 32 Гбайт, поэтому максимальный объем оперативной памяти двухсокетных HP ProLiant G7 на базе Xeon 5600, у которых 18 слотов DIMM, удвоился до 384 Гбайт, а их аналогов на базе AMD Opteron 6100, оборудованных 24 слотами DIMM, вырос до 584 Гбайт. Наконец, наша флагманская восьмисокетная модель HP ProLiant DL980 G7 с процессорами Xeon 7500 при использовании 32-гигабайтных модулей памяти масштабируются до двух терабайтов. Такие объемы оперативной памяти требуются, если серверы используются для виртуализации, обслуживания больших баз данных и высокопроизводительных вычислений.

Также с января владельцам HP ProLiant G7 предлагаются 10-гигабитные карты Ethernet для подключения серверов к конвергированным сетям. Благодаря встроенной поддержке FCoE и iSCSI они освобождают центральные процессоры серверов от обработки сетевого трафика этих протоколов.
Читать дальше →
Total votes 9: ↑7 and ↓2 +5
Views 2.8K
Comments 4

Введение в системы хранения данных

Dell Technologies corporate blog

От автора



Добрый день, хабр! А вы знаете, что продает HP, кроме принтеров? А Dell, кроме ноутбуков и мониторов? А Hitachi, кроме бытовой техники? Что общего у перечисленных компаний и EMC? Ответ кажется простым для специалистов, но не так очевиден для среднего IT-специалиста.

Все перечисленные компании продают (в т.ч.) системы хранения данных. Какие системы? Да, по своему опыту я убедился, что познания в области хранения данных большинства знакомых мне IT-инженеров заканчиваются в области RAID. Так родилась идея написать эту статью, или даже несколько. Для начала мы рассмотрим ряд технологий в области управления информацией, отметим, какие существуют подходы к хранению данных и почему каждого из них оказывалось недостаточно. Здесь описываются базовые принципы DAS, NAS и SAN, поэтому специалистам эта статья будет, скорее всего, бесполезна, если же вам эта тема не близка, но интересна, добро пожаловать!

Читать дальше →
Total votes 47: ↑38 and ↓9 +29
Views 61K
Comments 61

Открыта запись на новейший курс по коммутаторам Brocade в рамках обучения по HP B-Series Switches

МУК corporate blog
Учебный центр МУК, авторизованный дистрибьютор компании Brocade, впервые в Украине открывает запись на курс, посвященный коммутаторам этого производителя. Тренинг “HK910S — Администрирование коммутаторов Brocade / HP B-Series Switch Administration (BCFA)” читается по материалам Brocade в рамках международного партнерства с HP. Предлагаемая учебная программа обеспечит слушателям понимание основ технологии FiberChannel, повседневного управления FC-коммутаторами семейств Brocade SAN Switch 300/5000/7000/8000 (как входящими в состав блейд-систем, так и отдельными), охватывая все применяемые в них основные концепции и технологии. Особенно важно, что слушатели получат практический опыт решения проблем, возникающих при эксплуатации SAN корпоративного класса.

Среди заинтересованных лиц ожидаются:

Читать дальше →
Total votes 1: ↑1 and ↓0 +1
Views 2.4K
Comments 0

NetApp Data ONTAP 8 — Storage Hypervisor

NetApp corporate blog


Этот год для компании станет «годом Cluster-mode», несмотря на то, что поддерживающая этот режим работы версия Data ONTAP, собственная внутренняя OS, которая работает во всех системах хранения NetApp, в версии 8.0 вышла еще в 2008 году, по настоящему ее возможности по созданию «многоузлового кластера хранения» начинают реализовываться только сейчас.

Но для начала немного истории.
О перспективах развития систем хранения в направлении «облачных» систем начали говорить уже несколько лет назад, хотя тогда еще не вошло в IT-лексикон это модное слово, и тогда говорили о GRID-системах, идущих на смену «классическим» сетевым системам хранения.
Нет ничего удивительного в том, что NetApp, как компания традиционно много внимания уделяющая перспективным направлениям в отрасли, занялась темой «облачных» кластерных систем одной из первых. И вот что из этого получилось.
Читать дальше →
Total votes 2: ↑2 and ↓0 +2
Views 11K
Comments 3