Comments 35
Какие-то уж очень скромные цифры для одного диска (и массива соответственно). Сейчас домашние 7.2к показывают до 250мб/с линейной скорости.
15K SCSI - не про линейную скорость и объемы, а про случайный доступ. Линейная у 7.2К большого объема уже сто лет как выше.
Собственно, поэтому они и по сути загнулись - SSD их на порядки бьют на случайном доступе, и ниши применения просто нет.
Сейчас домашний - это уже считается 5400 оборотов, недавно был удивлен из обилию при том, что это 3,5".
Уже достаточно много лет обороты = сродни классу диска. 5400 диск вполне может быть IRL 7200. Например, те, кто любят shuck-ать диски из всяких WD Elements, знают, что WD "white label" диски маркируются, как 5400. Но в реальности у них 7200:
Пример 10ТБ CMRка с белой наклейкой (WD101EDBZ-11B1DA0) (HGST по факту): https://i.imgur.com/2wuiR8I.png
контроллеры под 4 NVMe диска продаются на том же Aliexpress
Только это не контроллер, а простой переходник (для матплат, поддерживающих бифуркацию x16 → x4x4x4x4). Сам уже две такие штуки юзаю, есть более компактные варианты (по 2 диска с каждой стороны), чтобы в HHHL-слоты влезали.
Да, было больно узнать что для полноценной работы этой железяки требуется поддержка со стороны материнской платы, а это умеют далеко не все материнки, особенно древние
К слову, есть и адаптеры со своим контроллером. Они как раз позволяют подключать те же четыре диска даже к старым материнским платам. Только цена выше сотки долларов, и та за границей, поэтому применение ограничено. Может иметь смысл поменять материнскую плату...
Такое страшно использовать. А что будет если этот контроллер сдохнет? Ведь по сути для материнки эти диски будут являться не независимыми устройствами, а подчиненными хост контроллеру виртуальными сущностями (типа как в диски в аппаратном рэйде). Ну может быть есть железяки с драйверами, которые будут работать по тому же принципу, что и USB-Hub, т.е. чисто как разветвитель линий (Берет 16 как один девайс и отдает 4*4), но хз, есть много вопросиков к подобным схемам
А что - нельзя купить SSD с ёмкостью в 4-ре раза больше?
В модуль 3DNAND ведь заложена избыточность.
Это функционально тот же RAID5/6.
Чего Вы хотите добиться 4-мя модулями?
нельзя купить SSD с ёмкостью в 4-ре раза больше?
Я пока не видел 32тб ссд (в формате м.2 и за разумные деньги)
Я пока не видел 32тб ссд (в формате м.2 и за разумные деньги)
А нужно все 32 ТБ со скоростью SSD?
Можно же поставить 2х32 ТБ HDD и пару террабайт SSD и собрать на LVM2 "вытесняющее хранение"
Да и просто два тома "быстрый" и "медленный" сделать.
Что-то я видимо перестал понимать в домашних серверах.
Обычно там совсем чуть-чуть рабочих файлов и много киношек и фоточек...
да, нужно все 32, точнее на данный момент нужно уже 50, и доступ ко всем со скоростью нвме. Не знаю, что делать когда данные перевалят за 120 и на плате закончатся PCIe способные к бифуркации...
ну правда это не домашний сервер с порнушкой
Интересно.
Что на домашнем сервере может создавать такую нагрузку, чтобы потребовался RAID10 c NVMe- интерфейсом?
Не правильней будет кэш на оперативной памяти создать и массив из нескольких M2 NVMe с помощью LVM или утилит производителей модулей?
Что на домашнем сервере может создавать такую нагрузку
Избыточное кол-во денег, возможности и "что если и дурная голова рукам покоя не даёт"
Для большинства ворклоада хватит просто SATA/SAS RI или MU в RAID6. Скорость контроллера диска быстрее его интерфейса и контроллера стораджа в большинстве случаев.
А в чем вообще смысл рейдов на домашних серверах?
Тут либо нужна большая ёмкость хранения и небольшое количество потоков чтения/записи.
Тогда ставим бездефектные диски большой ёмкости "for NAS" с любым интерфейсом.
И с помощью LVM2 собираем в нужное нам количество томов.
Либо для скорости ставим M2 SSD в адаптер PCIE. И опять же с помощью LVM2 собираем в тома.
RAID10 - это про количество потоков чтения-записи больше 20.
Если вспомнить про тесты TPC, то там это называлось "профили нагрузки OLTP".
Сейчас, с подешевением оперативной памяти все это OLTP в 99% случаев купируется кэшированием.
Многопоточных данные кэшируются в ОЗУ и записываются на диск блоками в один поток.
Мне не очень понятны ролики и статьи, с собиранием твердотельных накопителей в рейды.
Может в этом и есть какой-то смысл, но я его не вижу.
Технология была придумана для HDD , со "шпинделями".
В чем смысл собирать в рейды SSD - не понимаю.
Чтобы что?
В чем смысл собирать в рейды SSD - не понимаю.
Отказоустойчивость + объем.
И с помощью LVM2 собираем в нужное нам количество томов.
Ну так это и есть софтверный рейд (как и у автора статьи, кстати). Или у вас вопросы к аппаратным рейд-контроллерам, а не рейдам как таковым?
Ну так это и есть софтверный рейд (как и у автора статьи, кстати). Или у вас вопросы к аппаратным рейд-контроллерам, а не рейдам как таковым?
Нет.
LVM - это не рейд.
Рейд для LVM-ов - частный случай.
Когда нужно HDD в тома собрать. Со "шпинделями".
Представлять SSD в виде диска - дурь несусветная....
Видимо нелегко людям с закальцинированными мозгами объяснить, что у SSD нет "шпинделей".
Вот и предоставили возможность гигантам мысли твердотельные контроллеры в рейды собирать.
"У Браундо есть то что нужно растениям - электролиты!" (C) к/ф "Идиократия"
Если вы собираете несколько дисков в единый том - это, по определению, рейд. А какую конкретно технологию вы при этом используете и какими буквами ее называете - дело десятое.
Даже если я называю технологию буквами "Intel VMD" к примеру или "ZFS", то это тоже "рейд по определению"?
И где такое определение дано, кроме Вашего поста?
Где угодно, начиная от википедии и заканчивая документацией на указанные вами решения. Извините, далее терминологический ликбез мне проводить неинтересно.
Википедия - такой себе источник знаний.
Я в свое время слушал лекции на EMC2.
Так там лектор рассказывал, что RAID - комбинация из технологий чередования секторов на дисках и зеркалирования цилиндров.
А LVM - более широкое понятие, включающее создание снапшотов, вытесняющего хранения и ряда других ништяков.
И я склонен опираться на его толкование терминов, а не на Ваше.
Потому что он был разработчиком систем хранения, а кто Вы в этой области - хз.
Было бы интересно посмотреть на сравнительный тест TPC-C накопителей M2 NVMe с профилем нагрузки OLTP в 20+ потоков с отношением операций чтения к записи 60 к 40-ка.
RAID10/RAID60 vs Intel VHD vs одиночный накопитель .
Ваши домыслы конечно тоже представляют какой-то ненулевой интерес, но лучше бы тесты...
И LVM2 умеет кое-что кроме организации томов.
Кэширование там, вытесняющее хранение в некоторых своих реализациях.
И уж точно RAID5/6/10 - это не про M2 NVMe.
Что хорошего в чередовании MLC/TLC/3DNAND- блоков, вместо секторов - хз.
Вы точно уверены, что получится быстрее, чем просто один M2 NVMe контроллер?
Тогда проще начинать вопрос: "В чём смысл вообще в домашнем сервере?"
Чтобы что? Для AdGuard и HomeAssistant можно и в контейнере на AX3 или любом NUC-е запустить.
Виртуалки потестит погонять в лабе? 13700K, 128GB рамы, пара 2 ТБ 970 evo plus хватает. Влезет всё основное: 4 ноды эксченджа, полная АД и набор рабочих станций. Или симулятор любого гипервизора.
Технология была придумана для HDD , со "шпинделями". В чем смысл собирать в рейды SSD - не понимаю.
Оооох. Сильное заявление. Расходимся тогда. Тушу весь свой десяток AFA стораджей c парой тысяч виртуалок и идём домой. "Не нужон он ваш этот, инторнэт ваш"
ССД диски хоть и имеют прогнозированное время работы, но отказы и баги фирмвары никто не отменял. 40к часов например. Я например, не готов терять 50 тб клиентских данных просто потому что 1 из дисков решил command таймаутов выдать и вычихнулся из контроллера. Также не готов терять данные, если контроллер (а я сомневаюсь, что кто-то пилит синхронную репликацию LVMов и прочего) чихнулся и выпал, 500-1000 виртуалок. Или просто рядом с сервером кто-то рядом чихнул. Чтобы потом не сидеть судорожно в поисках еще такого кол-ва места, чтобы навалить снапшот всего этого и попытаться собрать воедино с учетом целостности.
Для этого люди и покупают AFA массивы за 20-50-100к. А внутри что там: "олдскульный" рейд на базе DDF (Disk Data Format), который жрёт все диски. Динамический рейд, как у Compellent-а, который сам перекидывает данные даже в пределах одного тира между RAID типами. Или какая-нибудь надстройка, как у Синолоджей. Или ZFS, или <insert your (не)RAID type> на базе хардварного решения. Мне уже не сильно интересно. Суппорт контракт на 5 лет = все проблемы решены.
Все колхозные решения круто и клёво. Пока они не отваливаются. Есть немножко разница между HW решением готовым (Dell, HPE, Pure, Netapp, да просигосподи даже убогий Synology, некрасиво кнчн над больными смеяться), над которым поработало пара сотен людей и продолжают пилить к ним FW. И между тем, что я соберу на коленке.
Оооох. Сильное заявление. Расходимся тогда. Тушу весь свой десяток AFA стораджей c парой тысяч виртуалок и идём домой. "Не нужон он ваш этот, инторнэт ваш"
Дома что ль?
А нет ли, случайно, на плАтке NVMe SSD контроллера 3DNAND/TLC, с функционалом RAID5/6/0?
И потоков у нынешних контроллеров SSD - 8/16.
А ведь в домашний NAS можно вместо 4-х SSD - купить один в четыре раза более ёмкий. Без потери функциональности.
И два HDD в зеркале "для объема".
Будет примерно то же самое по скорости и отказоустойчивости.
А геморроя - в разы меньше.
"инторнэт" Ваш не готов обсуждать.
Что там у Вас за клудж - хз.
Но, наверное, кто-то типовое обкатанное решение смонтировал, где инструкции на каждый чих расписаны?
А Вы похваляетесь как своим достижением...
Дома что ль
Нет конечно. Зачем мне оно дома? Бакэпы нужного сделал дома и забыл, положив на диск под бэкапы и какой нибудь S3 ультра холодный
где инструкции на каждый чих расписаны
Пока не видел грамотно собранной инфры при условии "инструкций под каждый чих". Ни одного нормально сконфиганного стораджа, ни одного сконфиганного кластера, про синхронные реплики стораджей между локами вообще промолчу. Зато как ни посмотри, все бегают мамкины MCSA-MCSEшники с горой сертов, да доморощенные стораджисты и вмварщики., все думают сэкономить и собрать из говна и палок имбу. А собрать чо-то с учетом нормальных инструкций не могут ничего. Даже в разные линии БП воткнуть в ДЦ не получается у них. Ладно не в один ПДУ пихнули, и то хорошо.
четыре раза более ёмкий
Можно. Какой DWPD/TBW у такого диска? 1.0? Или меньше? Куда бэкапить все это? Что делать если диск сдохнет внезано? Или ссд не умирают? Ведь есть женеее резеееервные блооооки в нааанде. Это конечно же спасет.
У меня тут с работы лежат веселые PM861 (или похожие): один просто не определяется. Белый дым наверное вышел. Второй перестает работать после 15 минут работы. Также просто дохлые ссд из стораджа есть. Ну сдохли. С кем не бывает. Запас эндуранса был в районе 85% еще за 5 лет работы. Рейд не нужен ж.
Прикольно конечно такое читать, тесты из разряда «а давайте посмотрим что будет» 🙂
А вот если бы был нормальный raid-контроллер с кэшем, то и 15K SAS диски заиграли новыми красками. А так конечно 300гб SAS диски это старье шумное и горячее, доя домашнего сервера такой себе вариант.
Подскажите лучше, что из таких дисков можно сделать? Есть запасец на 10К оборотов и на 15К. Все проекты, что я нашел — сделать точилку, но для этого и 7200 за глаза хватает.
Здравствуйте, это клуб домохозяек? С хабры звонили.
Итак, начнём
Гонять диски не в нормальном PERC контроллере с 4-8 гб кэша с writeback-ом - сильно (Ладно, хоть с 1 ГБ был бы)
Измерять скорость в мегабайтах, а не IOPS-ах, хотя CrystalDiskMark это умеет - еще лучше
Тестить гиговым семплом - mapping файлов в RAM тестите? Или у вас у ВМки 1 ГБ RAM?
Не использовать IOMeter в 2025 году. 20 лет прошло с момента релиза версии 2006.07.27. Проведите наконец интернет уже. 2 кнопки нажать. 10 секунд семплы создать один раз нужные.
Диски с интерфейсом 3 gbit/s. Ок. Вот, я вам друга нашел Promise Vess 1840i: https://i.imgur.com/0dTQWdf.png
Говно мамонта тех же времен. Тоже на 3 gbe интерфейсах. Жрёт sas и sata.
Какого-то непонятного ляда всё еще не сдох с момента релиза
Но даже у этого есть кэш на 512 МБ и батарейка
Ну и насколько мне не изменяет память, вмвара + passthough диски - плохо. Аргументов не дам. Никогда не использовал.
Что померить то хотели этим бананатестом? Розовых попугаев в сферическом вакууме?
Сравнить NVME диски, которые спокойно кладут любой writeback той же MSA-шки или Compellent-а и делают cache ботлнэком (ладно, бывают исключения, когда при крайне уж большой нагрузке writecache спасает от слишком высоко латенси)?
Цель сего какая? PM863 тех же, в текущих реалиях - 100е, если очень уж совсем дешего хочется.
Ценник SAS 10К HDD на 1.2ТБ - вообще 60е. С нормальным контроллером и/или гибридом, в каком-нибудь MSA2060 успешно живут и одни, и другие. Хранить на в AFA массиве, где диск на 4ТБ стоит 1.2к евро, бэкапы и всяких хлам - немножко глупо. Как и пытаться из 7.2к дисков собрать RAID10 под 500 вмкок на одном сторадже.
Тест 12 HDD 15k SAS в RAID0 и актуальность использования