Задача стояла следующая — выполнить upgrade системы хранения для фотографа. Вернее, фотографов.
Имелось сетевое хранилище на основе Windows Server 2008 (так сложилось исторически), RAID контроллера Adaptec 3405 и 4х подключенных к нему дисков по 1.5Тб. Для связи с внешним миром использовалась 2х портовая гигабитная серверная сетевая карта HP NC360T.
Проблемы имеющейся системы:
— скорость доступа к сетевым ресурсам «упиралась» в производительность гигабитных Ethernet интерфейсов,
— место на RAID массиве кончалось.
Пожелания:
— быстрый доступ по сети к расположенным на дисковом массиве файлам фото и видео материалов,
— увеличение доступного объема дискового массива в 2-3 раза.
Идея объединения гигабитных интерфейсов в транк была попробована и отброшена как неработоспособная. Позднее общение со службой поддержки HP и чтение стандартов лишний раз подтвердило — даже наличие многопортовых серверных сетевых карт и управляемого коммутатора с поддержкой LACP не позволяют для имеющейся системы балансировать нагрузку по нескольким линкам в соединении 1 сервер — 1 клиент.
Идея сделать хранилище на основе недорогих карточек Infiniband тоже мало вдохновила — требовался именно сетевое хранилище с доступом к файлам с нескольких компьютеров. Пусть не со всех с особо высокой скоростью (для каких-то подойдет и гигабитный интерфейс, для каких-то многопоточный WiFi типа n, а там, глядишь, и ac в ноутбуки начнут ставить).
Остался, по сути, один вариант — 10G Ethernet. У которого есть одна неприятность — цена.
Берем, например, HP NC523SFP (в девичестве — Qlogic) и получаем цену примерно в $1000 за 1 карточку.
Добавляем еще примерно столько же на трансивер и получаем… Экономически абсурдную для этой задачи цену получаем.
Вопрос цены играл не последнюю роль. Задача не была «сделать круто за 3 копейки», но брендовые корпоративные решения, с которыми мне приходится иметь дело последние… цать лет, тоже не проходили по бюджету.
И пришлось обратить свои взоры на ebay.
Там были подобраны
— две 10G карточки от Myricom 10G-PCIE2-8B2-2S по цене $200 за штуку,
— два 10G SFP трансивера неведомого китайского производителя по $60 за штуку,
— RAID контроллер Adaptec 7805 с SATA/SAS кабелями за $400.
Наверное, сетевые карточки и контроллер можно было взять попроще — подешевле, если подождать — повыбирать. Но была оказия из Штатов…
Все, кроме трансиверов, приехало быстро, а трансиверы ехали из Китая. Неторопливо ехали. Но все-таки русская почта их довезла :-)
Учитывая, что рабочих станций с быстрым каналом подключения больше двух не планируется даже в будущем, обошлись без 10G коммутатора. Пока ехали трансиверы, была предпринята попытка соединить машины с Myricom картами direct attach twinax кабелем от Cisco длиной 7 метров. Система не завелась. Карточки «поднимали» интерфейс и тут же его «опускали». Служба поддержки от Myricom запросила кучу диагностики с карт (благо, у карт есть такая возможность), дала множество советов типа «попробуйте так, а потом сяк», но под конец резюмировала «меняйте кабель».
Еще одного twinax кабеля под рукой не оказалось, поэтому пришлось дождаться трансиверов.
Они были успешно получены, поставлены в карточки, и соединены 10 метровым LC-LC патч кордом (куплен в ближайшем магазинчике за 700р). Линк «поднялся» мгновенно.
На тестах через микрософтовский NTttcp получилось 9.5 — 9.6 гигибита. При включенном на картах AIM (Adaptive Interrupt Moderation) с задержкой на прерывания по умолчанию 25 микросекунд. Это, по словам тех поддержки, в некоторых случаях излишне нагружает CPU, но дает меньше latency.
С выключенным AIM производительность в тесте падала на 30%. Возможно, этот тест не показатель для реальной загрузки, но пока оставлено с AIM. Благо, процессорной мощности там для этой задачи сколько угодно (Intel i7 3770).
Этот тест показал, что хотя бы явных глупостей не сделано, карты работают на полн��й скорости.
Дисковый массив был собран на 5 дисках WD Red 3TB. В RAID5. Предложенный RAID6 принят не был на основании «у нас все равно все в облако копируется». И действительно, на сервере настроена програмка от CrashPlan, и через 20 мегабитный канал все бодро уходит в дата центр где-то в Атланте. Восстанавливать данные пробовали (как-то потрбовалась старая версия файла). Восстанавливается вполне бодро.
Собирался дисковый массив сутки. и еще часов несколько туда копировались данные со старого массива. Во время сборки-проверки массивом можно было начинать пользоваться, но производительность была не интересная.
После сборки и копирования данных началось тестирование. Для начала синтетическими тестами.
ATTO benchmark что при прямом запуске на сервере, что при работе с клиента показывала что-то странное.
Тест с сервера.
Тест с клиентской машины
Скорее, она меряет скорость доступа к кэшу контроллера с случае локального подключения. А в случае подключения по сети — вообще непонятно что.
При этом сетевой интерфейс загружается на все 100%.
HD Tune Pro показал тоже что-то странное. Помня, что от одиночных дисков этой серии в лучшем случае можно получить в районе 150 мегабайт в секунду на чтении-записи больших файлов, похоже, мы опять меряем кэш контроллера.
Более интересной была реальная работа с изображениями.
По ощущениям скорость просмотра фотографий из Lightroom повысилась раза в 4.
При открывании и сохранении больших панорам в Photoshop (tiff без сжатия c «несклеенной» послойной панорамой размером 3.5Гб) система «уперлась» в производительность Photoshop на клиентской машине. Открывался файл секунды 4, записывался секунд 10. Большую часть из этих 10 секунд Photoshop «думал о своем», не выдавая никакой сетевой активности.
Первая группа пиков — считывание картинки, последняя группа с загрузкой интерфейса почти до 100% — запись картинки.
По ощущениям работать все стало быстрее в разы. Да и 12Тб дискового пространства на некоторое время хватит :-)
Я не считаю себя специалистом в области high performance computing, и буду рад замечаниям — пожеланиям по поводу этой системы.
Продолжение истории.
Имелось сетевое хранилище на основе Windows Server 2008 (так сложилось исторически), RAID контроллера Adaptec 3405 и 4х подключенных к нему дисков по 1.5Тб. Для связи с внешним миром использовалась 2х портовая гигабитная серверная сетевая карта HP NC360T.
Проблемы имеющейся системы:
— скорость доступа к сетевым ресурсам «упиралась» в производительность гигабитных Ethernet интерфейсов,
— место на RAID массиве кончалось.
Пожелания:
— быстрый доступ по сети к расположенным на дисковом массиве файлам фото и видео материалов,
— увеличение доступного объема дискового массива в 2-3 раза.
Идея объединения гигабитных интерфейсов в транк была попробована и отброшена как неработоспособная. Позднее общение со службой поддержки HP и чтение стандартов лишний раз подтвердило — даже наличие многопортовых серверных сетевых карт и управляемого коммутатора с поддержкой LACP не позволяют для имеющейся системы балансировать нагрузку по нескольким линкам в соединении 1 сервер — 1 клиент.
Идея сделать хранилище на основе недорогих карточек Infiniband тоже мало вдохновила — требовался именно сетевое хранилище с доступом к файлам с нескольких компьютеров. Пусть не со всех с особо высокой скоростью (для каких-то подойдет и гигабитный интерфейс, для каких-то многопоточный WiFi типа n, а там, глядишь, и ac в ноутбуки начнут ставить).
Остался, по сути, один вариант — 10G Ethernet. У которого есть одна неприятность — цена.
Берем, например, HP NC523SFP (в девичестве — Qlogic) и получаем цену примерно в $1000 за 1 карточку.
Добавляем еще примерно столько же на трансивер и получаем… Экономически абсурдную для этой задачи цену получаем.
Вопрос цены играл не последнюю роль. Задача не была «сделать круто за 3 копейки», но брендовые корпоративные решения, с которыми мне приходится иметь дело последние… цать лет, тоже не проходили по бюджету.
И пришлось обратить свои взоры на ebay.
Там были подобраны
— две 10G карточки от Myricom 10G-PCIE2-8B2-2S по цене $200 за штуку,
— два 10G SFP трансивера неведомого китайского производителя по $60 за штуку,
— RAID контроллер Adaptec 7805 с SATA/SAS кабелями за $400.
Наверное, сетевые карточки и контроллер можно было взять попроще — подешевле, если подождать — повыбирать. Но была оказия из Штатов…
Все, кроме трансиверов, приехало быстро, а трансиверы ехали из Китая. Неторопливо ехали. Но все-таки русская почта их довезла :-)
Учитывая, что рабочих станций с быстрым каналом подключения больше двух не планируется даже в будущем, обошлись без 10G коммутатора. Пока ехали трансиверы, была предпринята попытка соединить машины с Myricom картами direct attach twinax кабелем от Cisco длиной 7 метров. Система не завелась. Карточки «поднимали» интерфейс и тут же его «опускали». Служба поддержки от Myricom запросила кучу диагностики с карт (благо, у карт есть такая возможность), дала множество советов типа «попробуйте так, а потом сяк», но под конец резюмировала «меняйте кабель».
Еще одного twinax кабеля под рукой не оказалось, поэтому пришлось дождаться трансиверов.
Они были успешно получены, поставлены в карточки, и соединены 10 метровым LC-LC патч кордом (куплен в ближайшем магазинчике за 700р). Линк «поднялся» мгновенно.
На тестах через микрософтовский NTttcp получилось 9.5 — 9.6 гигибита. При включенном на картах AIM (Adaptive Interrupt Moderation) с задержкой на прерывания по умолчанию 25 микросекунд. Это, по словам тех поддержки, в некоторых случаях излишне нагружает CPU, но дает меньше latency.
С выключенным AIM производительность в тесте падала на 30%. Возможно, этот тест не показатель для реальной загрузки, но пока оставлено с AIM. Благо, процессорной мощности там для этой задачи сколько угодно (Intel i7 3770).
Этот тест показал, что хотя бы явных глупостей не сделано, карты работают на полн��й скорости.
Дисковый массив был собран на 5 дисках WD Red 3TB. В RAID5. Предложенный RAID6 принят не был на основании «у нас все равно все в облако копируется». И действительно, на сервере настроена програмка от CrashPlan, и через 20 мегабитный канал все бодро уходит в дата центр где-то в Атланте. Восстанавливать данные пробовали (как-то потрбовалась старая версия файла). Восстанавливается вполне бодро.
Собирался дисковый массив сутки. и еще часов несколько туда копировались данные со старого массива. Во время сборки-проверки массивом можно было начинать пользоваться, но производительность была не интересная.
После сборки и копирования данных началось тестирование. Для начала синтетическими тестами.
ATTO benchmark что при прямом запуске на сервере, что при работе с клиента показывала что-то странное.
Тест с сервера.
Тест с клиентской машины
Скорее, она меряет скорость доступа к кэшу контроллера с случае локального подключения. А в случае подключения по сети — вообще непонятно что.
При этом сетевой интерфейс загружается на все 100%.
HD Tune Pro показал тоже что-то странное. Помня, что от одиночных дисков этой серии в лучшем случае можно получить в районе 150 мегабайт в секунду на чтении-записи больших файлов, похоже, мы опять меряем кэш контроллера.
Более интересной была реальная работа с изображениями.
По ощущениям скорость просмотра фотографий из Lightroom повысилась раза в 4.
При открывании и сохранении больших панорам в Photoshop (tiff без сжатия c «несклеенной» послойной панорамой размером 3.5Гб) система «уперлась» в производительность Photoshop на клиентской машине. Открывался файл секунды 4, записывался секунд 10. Большую часть из этих 10 секунд Photoshop «думал о своем», не выдавая никакой сетевой активности.
Первая группа пиков — считывание картинки, последняя группа с загрузкой интерфейса почти до 100% — запись картинки.
По ощущениям работать все стало быстрее в разы. Да и 12Тб дискового пространства на некоторое время хватит :-)
Я не считаю себя специалистом в области high performance computing, и буду рад замечаниям — пожеланиям по поводу этой системы.
Продолжение истории.
