raidixteam Jul 2 2018 at 18:15

Российская распределенная СХД. Как все устроено

8 min

14K

RAIDIX corporate blogIT Infrastructure*SAN*Server Administration*Data storage*

+12

Comments 16

Chugumoto Jul 2 2018 at 22:54

так вот кто яровой проплатил и теперь будет грести деньги! :)
ну и да

сборка СХД на базе отечественного железа и отечественной операционной системы становится вполне привлекательным продуктом внутреннего рынка, в частности для заказчиков, имеющих фокус на импортозамещение.

а какое это импортозамещение, если требует зарубежных винтов? плюс на которых еще и прошивки буржуйские… с закладками всё небось :)

raidixteam Jul 3 2018 at 11:45

Все так. Уже выбираем цвет для корпоративной яхты :)

maslyaev Jul 2 2018 at 23:39

Всё, что про big data, мерзковатенько попахивает. А когда с оговоркой на импортозамещение, запашок становится сильнее.

raidixteam Jul 3 2018 at 11:37

Вы, наверно, и нанотехнологии не любите?

Smasher Jul 3 2018 at 01:00

Результаты тестирования без средней, минимальной и максимальной задержек, а также без указания размера блока не имеют никакого практического смысла.
Локальный raid 0? Оооок. А в продакшн вы такую конфигурацию рекомендуете? Это же нереалистичная конфигурация, никто не будет использовать в реальной инфраструктуре ноды с двумя локальными дисками.

raidixteam Jul 3 2018 at 11:41

1. Тестирование детально не описывали здесь, поскольку тестирование распределенно кластера это большая и сложная тема, которую можно долго обсуждать ввиду большого количества параметров и правильной интерпретации результатов. Лучше все подробно расписать в отдельной статье. Над табличкой добавили информацию про параметры нагрузки.
2. Для двух дисков этой модели при наличие сетевого RAID — локальный страйп подойдет.
В случае отказа 1 диска будет работать сетевой RAID. За два года использования нашего кластера (32 накопителя) не было ни одного отказа.
Также в наших нодах стоят по 16 HDD. Для них мы используем локальный RAID6. Для трех NVMe рекомендуем локальную 5-ку. Перед выбором схем защиты мы строили модель отказов системы, выдерживая уровень доступности 99.999.

SakamotoDesuGa Jul 23 2018 at 11:55

Коллеги, так никто обсуждать тестирование Вас не просит, интересуют честные цифры, снятые во вполне конкретных условиях (изложенных в результатах). Совершенно не принципиально, что в других условиях производительность будет иной — это очевидно для всех, и кому надо — проведет тесты после. Но никто не мешает честно взять 3 узла вместо шести, создать по RAID-5 из 4 дисков (вместо нуля из двух), нагрузить FIO не с одной машины, а одновременно с восьми машин (чтобы запросы поступали не последовательно) — и всё. Такие нагрузочные тесты как минимум дадут и Вам трезвое понимание, что из себя представляет продукт. А умалчивание показателей лишь говорит о том, что с продуктом всё совершенно не хорошо (хотя это может быть и неверно) — увы, «презумпция невиновности» на рынке СХД не работает — продукт плохой, пока вендор не докажет обратного.

Smasher Jul 3 2018 at 01:08

Какие варианты NVMeOF поддерживаете?

raidixteam Jul 3 2018 at 11:36

Поддерживается NVMe over Infiniband. В принципе, с небольшой доработкой можно добавить поддержку FC и RoCE.

Hardened Jul 4 2018 at 07:31

"Взаимодействие узлов кластера RAIN между собой и с конечными потребителями ресурсов хранения (серверами, приложениями) осуществляется по протоколам iSCSI (IP, IPoIB), iSER (RoCE, RDMA) или NVMeOF."

Немного запутали. Поддержка RoCE есть или нет?

raidixteam Jul 4 2018 at 14:36

Для iSER RoCE поддерживается уже в текущей сборке, для NVMeOF — пока нет, дорабатываем.

Sobic Jul 3 2018 at 10:06

Что-то подсказывает, что не все так радужно, как описано. Наверняка как и у других «импотозаменителей» полно детских болезней и досадных глюков. Но тем не менее надо ж с чего-то начинать и я желаю удачи Вам на этом нелегком пути. Главное, чтоб это было не просто попытка срубить бабла на волне импортозамещения, а желание создать поистине достойного продукта, которым можно гордиться.

raidixteam Jul 3 2018 at 11:36

Не все радужно. Но основные задачи касаются, скорее, расширенного функционала, а не параметров стабильной работы.
За пожелания — отдельное спасибо :)

MrCleaner Jul 3 2018 at 10:59

Молодцы. Движетесь в правильном направлении. Немного фокус статьи уплыл в сторону Эльбрусов, в то время когда основная тема — это возможности RAIDIX RAIN. Правильный Software Defined Storage (SDS) должен быть независим от аппаратного уровня (хотя учитывать его возможности) и ограничен только возможностями гипервизора или даже контейнера. Следовательно, давать возможность поднять качественную СХД на любом железе даже с учетом политических предпочтений.

raidixteam Jul 3 2018 at 11:32

Спасибо! Мы действительно старались описать возможности (и потенциал) продукта, выходя за пределы отечественного железа.

Yo1 Jul 3 2018 at 16:02

от статьи попахивает дремучестью.
1. фишка exadata умение разбирать SQL, а не выступать тупым блочным сториджем для которого субд просто набор файликов. понятно что у вы не альтернатива oracle exadata.
2. к чему там hdfs упомянут? у вас тупой сторидж без ничего. какое отношение стоидж без ничего к бигдате и hdfs? суть hdfs в том что оно интегрировано в ядро хадупа, который запускает код на том же узле, где лежат данные. у вас же просто сторидж.