Comments 43
Спасибо за обзор. Интересно было бы увидеть мнение людей, работающих с системой, хотя бы через полгода (или год) ее эксплуатации в продуктиве.
А тесты производительности документировали? Статью планируете?
Что будет через год — покажет время, может и будет что интересного рассказать, а может и нет :)
Хорошо, тогда не касаясь глубоко "сферических коней в вакууме", производительность в тех тестах, что были проведены, полностью устроила?
Интересно еще поведение системы в случае выхода из строя двух контроллеров. А то доступные данные разнятся. Система продолжит работать, но отключит write cache? Или все же уйдет в некий сервисный read only режим до исправления ситуации?
По поводу выхода из строя одного контроллера. Я правильно понимаю, что IP адреса и port WWN-ы (для FC) переезжают в этом случае на другой контроллер? Что касается FC, на портах используется NPIV? И если да, то как обстоят дела с возможностью прямого подключения хостов к портам Infinibox без использования FC свитчей?
Есть прогнозы по появлению не просто репликации (синхронной\асинхронной), а функционала metro кластера между двумя массивами Infinibox?
полностью устроила
Бизнес — устроила, инженеры хотят NVMe :)
в случае выхода из строя двух контроллеров
Система переходит в сервисный режим
переезжают в этом случае на другой контроллер?
Нет
на портах используется NPIV
Нет
прямого подключения хостов к портам Infinibox
Тут не подскажу, не пробовал.
metro кластера между двумя массивами Infinibox
Про это, к сожалению, ничего не говорят.
По поводу переезда wwn есть упоминание в статье Василия Кострюкова (“Архитектура хранения для цифрового предприятия”), на которую вы сослались в данной статье. Т.е. все таки в случае выхода из строя одного контроллера часть путей от хоста теряется?
Попробуйте ниже у Odondon_Labama спросить, он всё-таки Storage guy @ INFINIDAT :)
упс, и снова мимо
Это уже скорее из разряда религиозных войн :). Но если вы плотно работаете с Infiniband, то может объясните (с вашей точки зрения) в чем его "серебряная пуля" по сравнению со старым добрым Fiber Channel Protocol, давно прижившимся и ставшим стандартом де-факто в сетях хранения данных? И почему компания Infinidat должна срочно все бросить и добавить в новую прошивку поддержку подключения хостов по Infiniband?
Вы как то отклонились от темы :). Про вынос "быстрого" кэша на NVMe на сторону СХД тут речи вроде бы не шло. Да и у Infinibox такого функционала не заявлено. У меня не было возможности тестировать отдельно Infiniband, но совершенно точно в реальных инсталляциях он встречается крайне редко в качестве интерфейса подключения серверов к СХД. Хотя еще лет 8-10 назад пророчили, что Inifiniband полностью заменит собой и Ethernet, и FC. Скорее всего есть вполне объективные причины, почему этого до сих пор не произошло. При этом Infiniband бесспорно занял определенную нишу в отрасли. Чаще именно во внутри кластерных соединениях между нодами.
У HPC, как правило, нет требований к продвинутым фичам массива, основные критерии это производительность на поток+цена. Есть сектора HPC, где и функционал нужен получше и надежность (например медицина), но там и IB реже бывает.
Я правильно понимаю, что IP адреса и port WWN-ы (для FC) переезжают в этом случае на другой контроллер?
В случае отказа одного контроллера (или конкретных сервисов на нём)
IP адреса переедут довольно быстро
FC порты — нет
функционала metro кластера между двумя массивами Infinibox?
В версии 5.0 — ETA — 2018-2019. Любые апгрейды бесплатны и недеструктивны.
*INFINIDAT employee here, но лучше призвать Василия
упс, ошибся веткой.
youtu.be/XHaseBDzmWs?t=1530
Добавить 1000 хостовМожно еще посредством Infinishell это сделать, там очень простой скриптовый неязык вида:
host.create name=NAME
host.add_port host=NAME port=PORT
На самом деле даже не смотрел на его возможности в плане обработки строк, циклов, регулярных выражений и тд, именно те средства, которые позволяют упростить работу с большими объёмами хостов/лунов и т.д. Тем более, API всё-таки позволяет производить это удалённо, а не из интерфейса массива. Но да, шел удобный и приятный для выполнения простых и рутинных задач, если вы конечно любите консоль :)
Мы его используем таким способом: на баше / питоне / любом удобном языке генерируем текстовый файл, в котором требуемые инфинишелловые команды, например тысяча команд по созданию хоста, как в вашем примере. И потом infinishell -c FILE.
Она тоже удаленно запускается, кстати, это вполне такой standalone клиент. Мы даже инсталлятор под ОС виндовс сделали. (Или можно прицепиться к нашему PyPI и pip install infinishell, в любой ОС, CI даже на Солярисе настроен.)
Профит наступает для тех пользователей, которым нужно делать много повторяющихся действий (например, работникам QA), а программировать на питоне они не умеют или не хотят.
Система действительно интересная, синтетические тесты для Инфинидат скорее будут некорректны, т.к. будут нагружать 22Тб кеш а как его "пробьют" — а за ним уже нлсас, но "пробить" его проблематично. Основная нагрузка по латенси (до 20-25мс) у нас происходит при резервном копировании, что логично, т.к. данные качаются минуя кеш, но при этом системы все работают стабильно и без просадок. Мы довольны. Есть некоторые минусы самой операционной системы (нельзя погасить из веб морды отдельные порты, допустим 10GE) и ещё не полная интеграция с забиксом, но это некритично. Тот же ИнфиниМетрик даёт историю по нагрузке- что удобно.
Интересно было бы получить результат теста в разнородной среде запросов к СХД. Т.е. типичное состояние хранилки для хостеров.
У инфинидат интересная финансовая политика. Когда можно брать большую железку, а оплатить только часть её, пока не загрузил её достаточным количеством данных.
Обзор InfiniBox F2230