Комментарии 100
Спасибо, интересное решение по габаритам. Я правильно понимаю что у вас достаточно активное использование подразумевается? Иначе проблема надежности и долговечности сильно хромает.
Если смотреть на корпус, то габариты не сказать чтобы маленькие, это что то вроде книги или учебника, которую раньше с собой люди таскали по дороге читать.
Не очень понятно, что за проблемы с надежностью и долговечностью? Комп был расчитан на применение за пределами уютного дома.
Также уже дроп тесты проводили, случайно правда. Падал на офисный бетонный пол без какого либо покрытия декоративного во время работы, из-за того, что ногами провода некоторые ходят цепляют. Так вот он никаких сбоев, работает без проблем.
Долговечность чего? Если компонентов, то в принципе компоненты достаточно надежные для данного применения. Если про диски речь, то опять же есть TBW на диски, у современных дисков большого объема этот показатель очень высокий.
Если смотреть на корпус, то габариты не сказать чтобы маленькие
Ну возьмите бутерброд из HDD и сравните.
Так вот он никаких сбоев, работает без проблем
Ну если чипы не оторвёт то почему дроп-тест вообще должен на что-то повлиять, там же нет HDD?
Долговечность чего?
Конечно SSD.
Если про диски речь, то опять же есть TBW на диски
Проблема у SSD в том, что они умирают моментально, в том числе из-за проблем с контроллером и прошивкой, у HDD такие проблемы практически отсутствуют как класс. В конфигурации RAID 5 это весьма опасное сочетание.
Так же в случае необходимости восстановление такого массива, если материнка умерла, вам потребуется или такая же материнка или какой-то колхоз, чтобы понять сразу все железки, у SATA HDD всё сильно проще.
Пока, для себя, я вижу только плюс в габаритах, который рождает еще один плюс - мобильность.
У RAID5 выход из строя одного диска допустим. Можно и RAID6 еще накатить, у которого даже два диска могут выйти из строя без потери данных. Что касается в принципе SSD, то так или иначе системы хранения на SSD уже существуют, есть как плюсы так и минусы по сравнению с HDD.
По поводу восстановления массива при замене SSD, RAID то программный, никак не привязан к контроллеру.
У RAID5 выход из строя одного диска допустим
это я знаю, просто вы видимо мало дохлых ssd в своей жизни видели и крокодильи слезы владельцев.
так или иначе системы хранения на SSD уже существуют
Любое СХД - это компромиссы, в данном случае я вижу небольшие габариты за счет понижения надежности. Гугловские СХД в расчёт не берём, они для другого.
RAID то программный, никак не привязан к контроллеру.
Не в этом дело, вам нужно устройство которое сразу имеет 4 порта M.2 на борту, у SATA это обычная материнка любого лохматого года, я восстанавливал на 945 чипсете, все 4 sata под Raid, в USB убунту и вперёд.
Просто отрада для любителей техноп....но, залип и любовался!
https://gadgetversus.com/processor/rockchip-rk3588-vs-intel-celeron-n5105/ тут выходит, что +- потребление и производительность у сравниваемого в статье n5105 и старшего брата rk3568, rk3588. 4xA76 +-мощно.
Вам бы сразу про версию на rk3588 и тп выкатить, но там цены кусачие на мощные последние arm модули и тп. Но 10Гигабитную сеть только старшие ядра и потянут. С другой стороны, старшие ядра были нужны и для серверов умного дома и тп, эти Home assistant 4 ядра и 4гига старых i7 выжирали в стоке без подключенных модулей. (Давно смотрел и не интересовался пока, м.быть что и изменилось, но это жесть. HA потянут, похоже (надо загуглить, кстати), только топовые diy конструкторы, аля последние апельсинки в версии плюс и тп. Почти не знаю топовых роутеров с таким кол-вом оперативки. Мтк 6e выпускали же недавно, (а сейчас еще и 7 с мощными ядрами!) и кругом в днс 6e redmi ax6000 недорогой появился (но там ни портов, ни модов/тюнинга с распайкой хотя бы usb. Хотя openwrt внутри позволяет, вроде бы, что угодно...) и прочие аналоги менее распространенные тут. Ядра мощные там бывают (хотя чаще не мтк, и тогда почти не будет кастомных прошивок, а потом и обнов(!). Нагуглил буквально пару тройку исключений, и там, наверное, детективные истории), а вот оперативки ТАК много почти ВСЕ жлобят.
Я думаю, что 3588 сделает 5105. Конкурентом по производительности для 3588 только 6005 вроде как может быть. При этом TDP у 3588 будет ниже и общее потребление тоже.
Также у 3588 есть встроенный NPU на порядок более производительный чем в 3568, можно использовать для поддержки доп сервисов разных.
Зато у 3568 есть поддержка ECC, уникальная фича в этом сегменте процессоров. Так что можно заменой модуля очень серъезно увеличить надежность NAS
Про Медиатек не скажу, другие мобильные процессоры тоже в руках не держал.
Если говорить про перспективы, то NAS на 3568 был и остается очень важным шагом. Да, он не очень подходит для мультигигабитных сетей, но прекрасно справляется со своими задачами в сетях с гигабитом. На 3588 процессор тоже есть планы, но на нем система будет более дорогой, это почти будет топовым продуктом как по характеристикам, так и по цене.
Что то вы путаете с требованиями HA к железу.
Вполне он работает на 2х ядрах и 2Гб озу. Есть даже готовые изделия с НА на борту с ARM и такими параметрами.
Чудесно работает на распбери 3 и даже тв приставках народ запускает. У самого на даче он работает на Celeron 3050 с 2Гб озу.
все это просто восхитительно. но сценарии применения так и не раскрыты
IOPS, равно 100. Низкий показатель для массива из SSD дисков, но сравнимый с массивом из производительных дисков SATA
Сотка иопсов на nvme (или пусть даже m.2 ssd)? Там каждый диск на порядКИ быстрее работать должен.
В свете этого вся затея выглядит как бесполезное нечто. Разве что проектировать платы научиться.
Берём minisforum hm90, 2 переходника sata ssd -> 2x m.2 ssd, работаем с нормальным IOPS и 3gbps per disk (что тоже немного, но явно лучше вашего).
Да, IOPS низкий, но сравнимый с IOPS отличного HDD, который в каждом настольном NAS стоит. Мы же все таки мобильный NAS делаем. Он получился по производительности не хуже чем NAS на HDD. Чем это плохо?
Только вот 8-террабайтный диск для домашнего NAS-а стоит 13 тысяч, а nvme за эти деньги в лучшем случае будет на 2ТБ.
Все верно и iops как у HDD, и цена у sdd выше. Но есть пара моментов когда это не имеет значения. Первое, пять дисков HDD в пять раз больше PixelNAS по габаритам, тяжелее его в разы и это даже не учитывая компа. Таскать с собой стационарный NAS такое себе. Второе, сетка гигабит не даст выигрыша SSD дискам против HDD. Вот если бы поставить мультигигабитный контроллер, тогда ещё может быть. Но это тянет за собой проц помощнее, цена растет и мы попадаем туда, где проще уже взять NAS раза в три дороже.
где проще уже взять NAS раза в три дороже.
Цена 5 nvme нормального объёма против дисков уже сжирает всю вашу экономию - 1 диск будет в пять раз дешевле при том же объёме, не нужно таскать 5 дисков.
Повторюсь, на 5 NVME проще взять HM90 и переходники - разница в цене с вашим решением будет 100-150 евро, это цена одного nvme.
Весь ваш массив не покрывает даже одну гигабитную карточку (не говоря о том, что их там две).
А если вы собираетесь строить массив из террабайтных nvme - то 1 диск hdd с малиной места займёт столько же при том же объёме и иопсах. Какой-нибудь TerraPi Xtreme duo, например + парочка ST4000LM024 - и это 4 ТБ в raid1 уже будут.
Ну а если вы собираетесь делать массив на 512 nvme, чтобы "оправдать" экономию, то можно вообще использовать 2Т диски 2.5, которые в каждой подворотне доступны. Малина, 2 USB и скотч - скорость будет той же, размеры будут те же.
А если у вас 5 дисков по 2ТБ+ - то уже неважно, сколько стоит сам комп, это уже от тысячи евро за нормальные диски.
Честно говоря, уже немного запутался. Есть готовое устройство PixelNAS, размером меньше чем внешний бокс для 3.5" HDD, но при этом поддерживает до 5 дисков SSD SATA и один диск NVME. Итого шесть дисков.
С каким устройством сравниваем в итоге PixelNAS?
Вот посмотрел на TerraPi Xtreme duo:
Выглядит прикольно, но я не очень понимаю, тут всего два диска HDD, открытый конструктив, который явно в сумку не кинуть просто так, размер уже больше чем бокс для одного HDD. Если к этому добавить еще дисков внешних, то это будет уже здоровый ящик все также без корпуса.
вздох
Первое, пять дисков HDD в пять раз больше PixelNAS по габаритам, тяжелее его в разы и это даже не учитывая компа
Не нужно покупать 5 HDD, чтобы заменить весь PixelNAS. Достаточно одного HDD - он будет в 5-9 раз дешевле при равном объёме, а работать будет с той же скоростью.
Если при этом нужна отказоустойчивость данных - готовых мини-пк с 2х2.5 слотами на рынке хватает.
Второе, сетка гигабит не даст выигрыша SSD дискам против HDD.
Зато ОС поверх дисков с тысячАМИ (или даже десятками тысяч, если мы про NVMe) будет работать намного быстрее и выполнять свои задачи вовремя, а не в следующем году. Можно будет поставить пакет и не состариться за это время.
Вы тратите 100 евро за террабайт, чтобы операционка лагала при работе с данными.
Вот если бы поставить мультигигабитный контроллер, тогда ещё может быть. Но это тянет за собой проц помощнее
Не тянет, уже малина отдаёт 2 гигабита по wireguard без проблем, а мы тут про обычную локалку.
Есть готовое устройство PixelNAS
Готовое - это когда мы идём его и покупаем.
С каким устройством сравниваем в итоге PixelNAS?
Сравнивайте с любым mini pc, в котором есть 2хSATA 2.5 и 1 или 2 nvme, в моём случае это Minisforum HM90.
В sata 2.5 ставятся переходники sata -> 2xm.2 ssd, в сумме получается 5 дисков с нормальной скоростью работы (6 gbps на пару ssd) и без потери иопсов в два-три порядка.
Сравнивайте с AD650I - там 6 NVMe в miniATX (корпусов компактных полно). Где купить - другой вопрос, но если и делать pixelnas - то подобный AD650I, а не вот это.
Сравнивайте с AOOSTAR Mini PC, если нужен огромный объём дисков с низкой скоростью - можно воткнуть 2 HDD и 2 nvme. И я уверен, что есть версия с одним диском поменьше по размерам.
А можно и вообще найти некий "SSD OWC Express 4M2 4-Slot M.2 NVMe SSD Enclosure SoftRaid XT" или аналог, воткнуть его по type c во что угодно микроскопическое - всё равно будет лучше.
Покупать в сторадж диски за 900 евро, чтобы он работал потом по цене одного диска того же объёма за 150 евро - это ппц, а не "готовое устройство".
И даже если так уж упарываться по мобильности NAS-а - тогда можно просто взять любой ноутбук с 3x NVMe/SSD и купить в него х2 диски по размеру (а SATA 2.5, как я уже писал, легко превращается в 2х m.2 SSD - так что можно получить те же 5 дисков). А мобильнее обычного ноутбука вы ничего на коленке не сделаете.
До дисков размерами по 16 террабайт рост цены за террабайт почти линеен. Да и не будет никто собирать в вашем устройстве 5 дисков по 8 террабайт за 5к евро, чтобы оно потом 100 иопсов выдавало.
Первое что предлагает сделать - это вместо одного корпуса размером с коробку для HDD, носить два три устройства. Это явно не пример для сравнения.
PixelNAS можно купить, кстати говоря. Есть что нибудь в таком же размере, что будет соизмеримо по размерам и функционалу?
это вместо одного корпуса размером с коробку для HDD, носить два три устройства
Чего? В каком варианте я это предложил, кроме внешнего бокса под 4 nvme?
Also - 99.9999% людей устроить таскать 2 коробки, чтобы не выкидывать в помойку отвратительного контроллера сотни евро стораджа. А кого не устроит - всегда есть Thinkpad P53, в который в конфиге с T1000 можно воткнуть 4 диска (2 nvme, 2 m2. ssd) - куда более универсальный для задачи "мобильный NAS".
PixelNAS можно купить, кстати говоря.
Где? За сколько?
Было бы реально интересно посмотреть на NAS размером с PixelNAS, у которого будут шесть дисков 2280. Я знаю только Asus Flashstor и Qnap TBS, но они все существенно больше и дороже, к тому же не очень то и доступны в РФ.
Купить действительно можно, хотя бы для того чтобы проект наш поддержать. Есть планы и дальше развивать это направление. Нам оно интересно, стараемся также с нашими подписчиками делиться инфой. Хотим сделать проект открытым и доступным.
у которого будут шесть дисков 2280
А зачем мне, как потребителю, нужно ставить строго шесть 2280? Возьмите любое устройство с 3 nvme, поставьте туда диски х2 по размеру, конец истории. И диски в нём не будут лагать.
Либо возьмите любое устройство с 4 m.2 ssd + 1 nvme. Будет пять, не шесть.
6 nvme имели бы смысл, если есть деньги забить их 4-8 террабайтниками, но никто не будет втыкать диски по тысяче евро каждый в устройство с подобным уровнем производительности, а условные 6 террабайт nvme одинаково стоят и 3 по 2, и 6 по 1.
Так в PixelNAS можно поставить до шести дисков, не обязательно все шесть ставить.
Все таки можете пример привести любого устройства с поддержкой шести дисков размером с бокс HDD 3.5?
Вы опять почему-то упорно игнорируете факт того, что все ваши 6 дисков работают со скоростью одного USB-диска.
А 5 дисков в HM90 работают с суммарной скоростью двух SATA и одного PCIe.
И в свете этого нет никакого сакрального смысла в ваших шести дисках, когда альтернатива выдаёт сотни тысяч IOPS-ов, пусть у неё и на 1 диск меньше.
"Давайте купим 6 дисков по 8 террабайт за 5 тысяч евро и воткнём их в 1 USB"
Вы предлагаете подключать диски с помощью USB интерфейса?
Нет, это у вас все диски работают медленее одного USB-порта
Как можно сравнивать работу хранилища со скоростью USB ?
Встречный вопрос - каким образом хранилище из 5 дорогих дисков может быть медленнее USB-порта, и зачем оно такое нужно?
Почему дорогих, мы для тестирования специально покупали самые доступные диски Exegate, котороые на самом деле даже не их
Даже они стоят 65 евро за террабайт (что много для NAS с такой производительностью) - и могут выдавать сотню тысяч iops.
Сотню тысяч IOPS это в каком NAS размером с бокс HDD?
Проще дождаться, когда парни из https://www.jeffgeerling.com/blog/2023/building-tiny-6-drive-m2-nas-rock-5-model-b решат проблемы с питанием (у них тоже не хватает питания на 6 дисков под нагрузкой но в отличии от вас они эту проблему хотя бы планируют пытаться решить), чем вам что-то доказывать.
Как минимум, у них уже до 2 гигабит в секунду по сети, а у вас FIO на локальной ФС меньше гигабита выдаёт.
Сотню тысяч IOPS выдаёт вообще любое устройство, в котором диски подключены по m.2. Включая, например, USB3-m.2 переходники.
Можете взять за ориентир этот вариант, если так уж нужна конкретная ссылка, 5 дисков, каждый из них подключен напрямую и работает быстрее, чем весь ваш массив (при этом минимум в 4 раза).
Да, устройств на 6 m.2 SSD в ровно таком же размере нет, даже у silvertips labs габариты другие - но связано это с тем, что люди в реальном мире решают реальную проблему "получить Х места, чтобы влезло в сумку", а не ищут устройство строго ваших габаритов строго за вашу цену (сколько, кстати?), строго на 6 дисков, строго m.2 ssd.
За 450 евро можно купить Flashstore - ужасающе огромные 200-250 евро переплаты (при стоимости одних только дисков в 750-1500 и до бесконечности евро) позволят подключить 6 дисков по миллиону IOPS с каждого вместо трёх тысяч со всех. Ни на что не намекаю, кстати, но блок питания у них на 65W, из которых процессор потребляет только 10.
Хотя про Flashstore я может и зря быканул, тестов нет, а распаян он очень странно. Про него известно только то, что он 10 гигабит может отдавать, а вот локальный FIO ему никто толком не запускал.
Буду считать, что Flashstore выдаёт не миллионы, а всё же 3 сотни тысяч IOPS (3 сотни 4k randread он выдаст точно, больше нужно смотреть тестом - скорее всего, упрётся в 4 гигабайта в секунду (на 8 он не распаян точно), что даст миллион IOPS только в идеальных условиях, если вся нагрузка распределится по дискам идеально так, как того требует распайка, а этого, конечно, никогда не случится).
Кстати, о каких вы чипах по 250 баксов для PCIe-коммутатора вы рассказываете - тоже непонятно (хотя допускаю, что конкретно PLX стоит именно столько, но альтернативы-то ему вы не поискали - хотя и утверждаете, что сделать устройство быстрее вашего в том же размере невозможно, не добавив к его цене 250 баксов).
ASUS, например, построили свой PCIe-коммутатор на чипах, которые стоят 30 баксов в розницу
Это AD650I. Вот с этим предлагается PixelNAS сравнивать?
Блок питания, корпус, тут ничего этого нет, память тоже отдельно надо будет докупить. При этом цена 400 баксов и это где то там, у нас будет порядка 700
У меня Lenovo P52, не знаю может P53 меньше и удобней наверное, но по мне использовать ноут как NAS то еще предложение. Стоит P53 сейчас порядка 2к баксов минимум.
ноут как NAS то еще предложение
Повторюсь, ваше текущее предложение ещё хреновее. Ещё я могу спокойно утверждать, что к вашему устройству нужно таскать монитор, а к ноутбуку - не нужно. И батарейка у ноутбука сильно лучше, да и запитать можно много от чего, не только от розетки.
Добейтесь нормальной производительности дисков, а не на 2-3 порядка хуже "терпимой" - тогда pixelnas будет толковой штукой.
Стоит P53 сейчас порядка 2к баксов минимум.
400-500 евро бушный он стоит, как примерно и все остальные ноутбуки на 3-5 дисков.
Вы серъезно предлагаете использовать "бушный" ноутбук вместо NAS?
Я серьёзно использую БУшный ноутбук в качестве "мобильного NAS" и это охренеть как удобно, поверьте.
Никаких проблем с "ой, нужен монитор", никаких проблем с питанием (павербанки и погнали), wifi есть, всё есть, никаких проблем нет, положить можно в чистом поле без розетки и 3g-роутер от него там же зарядить.
Дома, конечно, оно нафиг не нужно, хоть и порываюсь и дома поставить ноут, чтобы не страдать с ИБП
Те же thinkpad десятилетиями работают в качестве серверов и не чихают.
Честно говоря, никогда не встречал ноутбуков даже не на пять, а хотя бы на три диска. Реально такие бывают?
Бывают ноутбуки на 2x2.5 SATA + 1 nvme
2 SATA == 4x2280 ssd (не nvme) через переходники
В сумме - 5 дисков.
Навскидку помню gl553vd, но наверняка есть более старые дешёвые.
Но оптимально брать именно P53 бушный с T1000 - дисков 4, зато безотказный и противоударный до определённой степени (что важно "в поле").
https://www.servethehome.com/lenovo-thinkcentre-m90q-tiny-review-10-cores-in-a-1l-pc/3/
Вот, кстати, литровый миникомп на 4 диска (2 nvme + 2x2280 ssd)
А в Acer Veriton N4680GT вроде бы можно воткнуть PCIe x16 карту (а это минимум 4+ nvme, а то и все 8, пусть и в 1 PCIe - плюс ещё сколько-то встроенных в саму материнку nvme) - не уверен, не тестил, но судя по гуглу всё так.
Размер - ~20х20х3 см
По ссылке ленововский комп на два М2 и один SATA
Вы почему-то игнорируете факт того, что у него есть PCIe, в который можно воткнуть карту 16х7см ещё на 2 nvme.
А может и на +4 nvme, если друзья-китайцы соизволят карту сделать в таком размере - будет 6 nvme. Физически на 16х7 4х 2280 разместить можно.
Там точно есть поддержка PCIe bifurcation ?
Не требуется, если найти карту с PLX соответствующего размера
Но люди собирают туда 4 nvme другим способом
Тут человек даже 5 дисков умудрился поставить, правда, 2.5 '' видимо будет просто на скотче, а не на болтах.
PCIe коммутатор PLX, который теперь Broadcom. Я делал на 48 портовом PCIe коммутаторе карту для оптики. Там чип только стоил порядка 250 баксов, плата слоев 16 была и это был коммутатор Gen3, цена коммутатора Gen4 даже не знаю сколько сейчас
250 баксов - это цена одного nvme на 4ТБ, самого-самого дешманского в РФ.
Kingston уже 300+ будет, там хоть какая-то гарантия и сервис (впрочем, сами диски отвратительные).
И вы опять проигнорировали большую часть комментария - по ссылке можно посмотреть на фото, как в Lenovo tiny поставили 4 nvme и +1 2.5'' ssd без PLX-контроллера.
Большая часть комментов относится к ноутбуками, причем в большинстве своем бушным. Если есть, что конкретно обсудить или вы хотите что-то предложить, то я готов
Уф, устал.
Большая часть комментов состоит в следующем:
Разберитесь, почему в вашем устройстве диски работают в 500 раз медленнее _любых_ других устройств, закрывающих те же задачи, а потом уже заявляйте, что вы сделали готовое решение.
В качестве "упрощения" для переносного устройства допустимо потерять пусть даже 80% производительности дисков, но не 99,8%.
А читателю, который мимо проходил почитать, я рекомендую взять Lenovo tiny mini pc и получить 4-5 дисков в 1 литре с суммарной производительностью выше миллиона IOPS.
До свидания, и так много времени потратил.
Результат тестирования PixelNAS утилитой fio
Тем временем, реальный NAS на 5 nvme, seq 512, iodepth=16:
read: IOPS=74.9k, BW=36.6GiB/s (39.3GB/s)(160GiB/4372msec)
write: IOPS=31.8k, BW=15.5GiB/s (16.7GB/s)(160GiB/10294msec); 0 zone resets
NAS на 5 nvme, random 4k, iodepth=16:
read: IOPS=1304k, BW=5093MiB/s (5340MB/s)(160GiB/32172msec)
write: IOPS=513k, BW=2005MiB/s (2103MB/s)(117GiB/60002msec); 0 zone resets
Миллион триста тысяч iops. Разница в приблизительно 479 раз на rand write 4k
Окей, собрать такой NAS стоит недёшево, одни диски 5 тысяч евро.
Сравним с купленным в позапрошлом десятилетии OCZ vertex 2, подключенным в USB переходником за 3 евро:
OCZ vertex 2 по USB, seq 512, iodepth=16:
read: IOPS=294, BW=147MiB/s (154MB/s)(8844MiB/60095msec)
write: IOPS=115, BW=57.9MiB/s (60.7MB/s)(3483MiB/60158msec); 0 zone resets
OCZ vertex 2 по USB, random 4k, iodepth=16:
read: IOPS=14.7k, BW=57.5MiB/s (60.3MB/s)(3448MiB/60002msec)
write: IOPS=12.3k, BW=47.9MiB/s (50.2MB/s)(2872MiB/60002msec); 0 zone resets
И вот она интересная картина. Блоки по 512 килобайт вполне себе упираются в интерфейс и на одном диске, и на вашем массиве.
Но вот блоки по 4К ваш массив отдаёт внезапно в 4 раза хуже одного 15 летнего диска - а должен выдать ~38500 IOPS.
В общем, бесспорно проект интересный с точки зрения образования, компоновка интересная, но реализация "все диски в 1 USB" - шлак. Делайте хотя бы m.2 nvme контроллер в PCI - тем более готовые такие платы продаются, райзеры продаются, всё это можно поставить на поток из запчастей у китайцев. Даже в PCI x2 оно будет на порядки лучше работать.
https://www.youtube.com/watch?v=NofFPbNIXfo - вот первая попавшаяся карта на 4 nvme (а я встречал и на 21 nvme, но там махина огромная, конечно), сняли планку, спаяли райзер под ваш миникомп, развлекаетесь. Это уже будет на голову круче вашей реализации, и, вполне возможно, такое устройство я бы уже подумал купить (хотя для дома пора бы уже NAS-ы на ryzen делать, материнки для минипк с рязанями уже <200 евро попадаются).
За сим предлагаю закончить, практического смысла (а уж тем более - коммерческого) текущая реализация не имеет. В качестве "я умею вот так" - повторюсь, круто.
С каким NAS все таки вы сравнивает результаты?
Почему постоянно про USB пишете тоже непонятно. Такое впечатление, что вы говорите про что-то свое на USB, что не имеет отношения к PixelNAS
С каким NAS все таки вы сравнивает результаты?
Результаты PixelNAS на данный момент хуже, чем результаты одного старого SSD, подключенного по USB3.
Любой all-NVMe NAS с полноценными m.2 и питанием на 4+ диска выдаст больше миллиона IOPS-ов блоками по 4k, конкретная конфигурация неважна.
Например, упомянутый выше Lenovo Tiny даст похожие цифры с хорошими дисками. Да, их будет 4. Зато работать будет в сотни раз быстрее.
У вас там пропускная способность 40Гб/с (гигабит в секунду) получилась. Учитывая что даже у PCIe3 пропускная по 4 лэйнам всего 32Гб/с, получается, что это нефиговая такая система была выбрана в качестве сравнения. Я не понимаю зачем пытаться сравнивать решения, которые отличаются по цене даже не в два-три раза, а тут целый порядок разницы
Заметил, что обсуждение началось со сравнения с RPi4, а в результате ставки повышались постоянно и мы пришли уже к полноценным проф решениям явно стоечного исполнения
Эм.
NVMe для того и придуманы, чтобы каждый втыкался в отдельный PCIe.
И кто сказал, что там PCIe 3, а не PCIe 5?
обсуждение началось со сравнения
Обсуждение началось с того, что вы берёте дисков на миллион IOPS (например, дешманский intel / soligim 760p уже выдаёт 250+ тысяч с одного диска по спекам), и превращаете их в устройство, работающее со скоростью одного USB, при этом из-за питания под нагрузкой не можете добиться даже этой скорости.
И да - ваша система работает со скоростью одного HDD, подключенного к малине по USB, можете сравнивать.
а тут целый порядок разницы
Порядок разницы в чём? Диски стоят 90%+ системы.
PCIe5 железо и диски стоят других денег и вряд ли на нем делают мобильные NAS. Можете ссылку кинуть на решение PCIe5 с аналогичными дисками?
*sigh*
Lenovo tiny на 4 nvme даст больше миллиона iops
Lenovo p53 на 3 nvme даст больше миллиона iops.
Аргумент "в PixelNAS диски работают в 500 раз медленнее, зато их шесть" не состоятелен.
Более того, я вам привёл пример, как в устройстве вашего форм-фактора получить более миллиона IOPS - да, готового нет, но и платить замедлением скорости работы дисков в 500 раз, используя ваше устройство, тоже нет никакого смысла, когда есть возможность добиться того же объёма на трёх-четырёх дисках в мобильном варианте, которые будут работать с нормальной скоростью.
Собирать устройство, работающее со скоростью текущей версии PixelNAS на твердотельных дисках банально нет смысла, вся экономия улетит в трубу при покупке дисков.
Делайте m2 nvme-версию, в которой диски подключены через нормальный PCI (хотя бы все через один - уже будет в сотни раз быстрее)
Переходите на одноплатник с нормальным процессором, а не армом.
Добавьте питание от type c через 2 порта, если делаете "мобильный" NAS - чтобы использовать power-банки.
Добейтесь хотя бы ста тысяч IOPS со всех дисков
Тогда можно задумываться о том, что это "готовый мобильный NAS".
Опять сравнение с ноутбуком стоимостью свыше 2к баксов, который вдобавок в РФ не очень то и купить можно. Также с дисками, что за диски? Можете дать ссылку на результаты тестирования конфигурации, с которой вы постоянно сравнение делаете
400-450 евро на авито он стоит, у меня в ЕС ещё дешевле будет.
Lenovo tiny refub будет <200 стоить, ещё переходников на сотню евро с али.
Оба варианта можно пойти и купить, а цену на своё устройство вы и вовсе не озвучили. Судя по цене готовых устройств на Rk3568 - не меньше 250 евро, если вы его планируете продавать и хоть сколько-то зарабатывать с одного устройства.
с которой вы постоянно сравнение делаете
Я сравниваю с разными конфигурациями, а не с одной - и ни в одной нет 500-кратной потери производительности дисков. Даже в варианте, когда диск подключен по USB.
"Отказаться от ARM, делать на нормальном NVME" - я немного сократил, но слова и смысл Ваши оставил. Не хочу комментировать это заявление
Насчёт питания, PixelNAS можно запитать от Type-C PD Power Bank. Также можно запитать от PoE+, стандартного адаптера на 12В и ещё есть возможность разместить внутри две батареи LFP, которые обеспечат до одного часа работы. Я об этом в статье рассказал.
пришли уже к полноценным проф решениям явно стоечного исполнения
Каким, к чёрту, стоечным исполнениям?
read: IOPS=507k, BW=1979MiB/s (2075MB/s)(116GiB/60001msec) - 4k randread, iodepth=16
Вот IOPS одного (!) диска m.2, подключенного в ноутбук Lenovo. Одного (!). При этом какого-то noname дерьма, KIOXIA XG8 Series.
SSD накопители XG8-серии достигают скорости последовательного чтения/записи 7000 МБ/с и 5800 МБ/с соответственно, и обеспечивают до 900 тыс. IOPS при произвольном чтении и 620 тыс. IOPS при произвольной записи.
Производитель заявляет почти миллион IOPS на чтение с одного диска, о каких стоечные решениях вы тут взялись рассуждать?
У вас будет 3 тысячи с 6 таких.
В ноутбуке будет 500 тысяч с одного такого - и миллион с трёх в raid5.
Это обычный десктопный m.2 nvme для пользователей, 100 евро за террабайт, не какой-то профессиональный nvme для стоек в u.2 исполнении.
Samsung 990 Pro обещает полтора миллиона 4k блоками уже с одного диска - это больше, чем весь мой NAS. Конечно, 1.5 он вряд ли выдаст в реальных условиях, но вот миллион с одного диска - легко:
"Сравнение полученных чисел с представленными в спецификации выглядит явно не в пользу Samsung. Реальная скорость линейного чтения оказывается на уровне 7,1, а не 7,45 Гбайт/с, аналогичная картина и при записи — 6,8 реальных вместо 6,9 обещанных Гбайт/с. Ещё хуже соотношение реальных и паспортных показателей при мелкоблочной записи — в этом случае измеренная производительность равна 1,1 млн вместо обещанных 1,5 млн IOPS"
Наплевать, сколько стоит ваша железка, насколько она мобильная и так далее, если диски в ней работают в 500 раз медленнее, чем должны.
Но вот блоки по 4К ваш массив отдаёт внезапно в 4 раза хуже одного 15 летнего диска - а должен выдать ~38500 IOPS.
А, ну покурить 2 сигареты, сделать 2 запроса в гугл, и всё становится понятным.
"USB 3.0 and 3.1 allow 5V at 900 mA (4.5W)" - и даже в идеальном случае там 7.5W на порт.
"M. 2 PCI-Express NVMe SSDs: These devices consume around 0.50-3 watts when idle, and 2-8 watts and 3-10 watts when reading and writing, respectively."
Диски тупо троттлятся по вольтажу и не могут нормально работать - им питания не хватает от одного порта. Хорошо, что в m.2 есть троттлинг (правда, он нужен в первую очередь для температуры, но и на недостаток питания срабатывает), иначе бы у вас диски тупо вываливались из массива под нагрузкой.
Кх. Ну зато их шесть, а не пять.
Не очень понятно причем здесь USB интерфейс. Троттлинг по вольтажу это что за технология такая?
Не очень понятно причем здесь USB интерфейс
Скорость работы вашего PixelNAS (точнее, части из 5 дисков) соответсвует скорости работы одного USB-диска, а не одного SATA-диска.
Троттлинг по вольтажу это что за технология такая
Если диску не хватает питания - он работает медленнее, чем мог бы. Скорость работы при этом ограничивается через тот же механизм, который используется при thermal throttling.
Например, Lenovo в ноутбуках достаточно активно ограничивает вольтаж m.2 портов, поэтому в их ноутах часто m.2 nvme работают сильно медленнее, чем тот же m.2 nvme в другой системе.
Скорость PixelNAS ограничена производительностью 1GbE, в режиме DAS пока не проверяли, но собираемся это сделать в ближайшее время
Никогда не слышал про то, что диску может питания не хватать и он при этом нормально будет жить. В спеках на диски обычно указывается разброс рабочих значений напряженй. Для M.2 это порядка 3% и это свзяано только с разбросом величин компонентов, входящих в состав преобразователей.
Скорость PixelNAS ограничена производительностью 1GbE
У вас FIO показал 3 тысячи, при чём тут 1GbE? NAS занимается не только тем, что отдаёт-принимает данные по сети.
Например, после перезапуска торрент-клиента PixelNAS будет переиндексировать локальные 20 террабайт торрентов (6 дисков по 4 террабайта в raid5) на протяжении... эээ... 4.5 дней блоками по 512к и 19 дней блоками по 4к, если я нигде не ошибся.
В спеках на диски обычно указывается разброс рабочих значений напряженй.
А так же в спеках на диски указаны idle power и потребление под нагрузкой. Для idle у вас питания хватает, диски запускаются, а дальше в полную скорость работать не могут - это, конечно, теория, её нужно проверять, но я не вижу, откуда у вас взяться 40-50 ваттам питания на вашей плате в любом случае.
Каждый диск по отдельности видит достаточно питания, но когда все они пытаются употребить электричества по максимуму - его не хватает.
Как верно замечено, PixelNAS может быть не только сетевым хранилищем, но и выполнять функции медиа центра. Не вижу в этом ничего плохого, а насчет расчетов я не очень доверяю результатам, полученным на бушных ноутбуках
Про потребление дисков, тоже как то странно, откуда берутся 50Вт питания, такое впечатление, что вы опять говорите про что то своё
не очень доверяю результатам, полученным на бушных ноутбуках
Ага, на новом ноутбуке рассчёты будут хуже, да?
откуда берутся 50Вт питания
Вот специально выделил.
Конкретные цифры ищите в спеках своего диска, вряд ли кто-то публиковал power-тесты для noname-дисков.
При этом чем больше объёма диски используются, тем выше потребление:
The power consumption of the 990 Pro while writing is between 5.0 W and 5.1W depending on the drive’s capacity, and the read varies from 5.4W on the 1TB option to 5.8W on the 2TB model.
У террабайтных на 0.4 ниже двушек.
А у "энтерпрайз" линеек всё ещё веселее, там до 40 ватт в пиках с одного диска. Но там u.2 все.
Вы откуда данные берете? Вот спека Самсунга
90 тысяч IOPS?
этому диску 10 лет?
Современный самсунг в спеках обещает более миллиона IOPS с диска и потребление 8.1
Можете дать ссылку на диск SATA, который вы считаете современным?
Мои любимые intel 670p вне троттлинга в нулевом power state хотят 5.5W.
WD Black SN850 без троттлинга в PS0 заявляют 9W.
И на примере Corsair MP400 можно посмотреть на рост потребления в зависимости от размера диска - 4W для 1TB версии и уже 6.5W для 4/8TB версий.
Реальное потребление тестировали у Samsung 990 Pro - The power consumption of the 990 Pro while writing is between 5.0 W and 5.1W depending on the drive’s capacity, and the read varies from 5.4W on the 1TB option to 5.8W on the 2TB model. А вот тут даже с картинками для того же 990 Pro в зависимости от iodepth.
Сами же Сосунги пишут про потребление своего диска так:
Average: 5.4 W
Maximum: 7.8 W (Burst mode)
Конечно, реальное потребление несколько ниже (я бы закладывался на PS1 в реальном мире - или на минус 2W, как у самсунга), но как только диски "увидят" что они не получили достаточно вольтажа по требованию - они вольны деградировать до любых минимальных значений.
Вообще же спеки NVMe рекомендуют стабильные 12W+ на каждый девайс. Это, конечно, цифры именно для NVMe, а не m.2 ssd, но в качестве пищи для размышления тоже стоит оставить эту информацию для ваших последователей.
В любом случае, вы не первый, кто пытается припаять 6х дисков к армовой плате, и проблемы с питанием у них возникали. Вот вам ещё раз ссылка, у них питания на 3 диска хватило.
Скорее всего, у вас 30W питания во всём устройстве, процентов 20 улетает на нагрев, из 24 оставшихся где-то 7 уходит на SoC под нагрузкой (который пыжится, пытаясь что-то сделать с raid5), 4-5 уходит на m.2 в основном слоте, ещё сколько-то на всякие wifi-модемы-плашку памяти. Сколько там остаётся пяти дискам? Точно ли всё, что остаётся, подаётся на их плату?
Либо, как вариант, диски отжирают всё питание, а троттлится из-за недостатка питания наоборот процессор - и не справляется с математикой для raid5
В PixelNAS установлены SATA диски для RAID и только один диск системный NVME
Остальные догадки о якобы проблеме с питанием, комментировать не буду, достаточно так называемого "вольтажного троттлинга" и других не менее удивительных историй про производительность бушных ноутбуков
Это, конечно, цифры именно для NVMe, а не m.2 ssd
Да, всё так.
Thermal throttling есть и в m.2 sata, и в 2.5'' SATA
При недостатке питания диски переходят в idle. Они способны делать это множество раз в секунду - как m.2 sata, так и m.2 nvme.
Это один и тот же механизм - при thermal throttling диск так же переходит в состояние idle на короткие промежутки времени, что повышает latency диска и снижает количество IOPS.
Искать точные цифры для никому не нужных m.2 sata - затруднительно, поэтому в пример приведены именно NVMe - цифры всё равно схожие.
про производительность бушных ноутбуков
Производительность которых превышает производительность вашего устройства в сотни раз, тем не менее. Этот комментарий написан с "бушного ноутбука" с 500к IOPS с диска.
Кстати, вы можете провести простой тест, чтобы узнать, насколько массив в вашей плате медленнее ожидаемых значений конкретно в вашем устройстве.
Просто прогоните FIO сначала на том диске, который стоит в m.2 на материнской плате, а потом прогоните такой же тест на одном диске в вашей собственной плате. Выньте по очереди их из raid-а и запустите FIO на отдельных дисках.
mdadm --fail /dev/md0 /dev/nvme0n1p2
mdadm --remove /dev/md0 /dev/nvme0n1p2
... fio tests ...
mdadm --add /dev/md0 /dev/nvme0n1p2
Само собой, md0 и nvme0n1p2 нужно заменить на девайсы вашей системы (вероятно, sda2 какой-нибудь), и FIO нужно запускать при отсутствии другой нагрузки на проц/диски.
Тогда не придётся сравнивать эти цифры с какими-то другими мифическими устройствами, которые не подходят под ваши требования, всё будет честно, мы узнаем точную разницу. А уж посчитать ожидаемую скорость raid5 из дисков с известными характеристиками можно вообще без проблем.
@mdevaevне хотите, кстати, в PiKVM community что-то похожее сделать на 4 диска в ваших корпусах? (сорри, что личный mention, больше никого на хабре не видел)
Здесь ещё подобное делают, может с ними совместно попробовать (они, правда, целятся в 6 дисков, но тоже уже хлебнули с питанием, хватает только на 3 от одного порта).
Ещё бы на ASM2806 и на nvme вместо мертворождённых m.2 ssd
Идея-то хорошая, только проблем у данной реализации много - питания всем дискам не хватает, проца под raid5 не хватает.
А в корпус V4 Plus как раз на глазок 4х2280 влезут на плате с двух сторон >_>
Может быть сделаем.
/me записался в виртуальный waitlist -)
Спасибо!
О, pikvm. Как дела на Плюке?
Это что то вроде скрытой рекламы продукта в комментариях чужой статьи? Во-первых, это не по-джентельменски вот так в комментах чужой статьи обсуждать свой бизнес, во-вторых, это можно расценить реально как скрытую рекламу
Отправил жалобу
А ко мне-то какие претензии? Меня пинганули - я ответил. Вы видите заговор там, где его нет. Не говоря уже о том, что я не веду бизнес в РФ и не активен на хабре.
"К счастью для компании" (с) здесь не ваш личный блог, где правила устанавливаются лично вами для всех комментаторов.
Здесь не запрещено обсуждать существующие и потенциальные альтернативы продукту, который вы описываете/рекламируете.
PiKVM - самое известное и крутое сообщество, которое занимается подобными проектами, все их проекты есть на github и могут быть названы "готовыми DIY-проектами".
Ещё есть Jeff, но его на Хабре нет, но он тоже подобное уже пилит.
(и да - обратите внимание на часть предложения "их проекты").
https://github.com/will127534/CM4-Nvme-NAS?tab=readme-ov-file
https://www.willwhang.dev/CM4-Nvme-NAS/
Вот в этом проекте человек получил вполне терпимые 200-400 мегабайт на чтение при iodepth 8 и дальше (50-100k iops 4k read).
Как раз на 4 NVMe на малине.
Не представляю правда, достаточно ли этого, чтобы сделать готовую схему для людей с паяльником (ну и понятно, что может это вообще никому не интересно дальше), так что надеюсь, пригодится, ну а если нет - то сорри)
Ура, 3 дня поисков, и у меня есть хоть какие-то цифры по тестам 5 SATA (правда, 2.5'', но хоть такие) на ARM (малине), чтобы делать выводы не опускаясь в глубокие теории и не пытаясь вытащить хоть какие-то крохи информации из автора (например, цена до сих пор неизвестна).
1) raid5 на запись упирается в ARM‑процессор (как и любой raid, требующий математики) - не знаю, из-за троттлинга CPU или вообще.
2) raidz1 будет работать, пока есть память, потом будет работать не лучше raid5
3) PixelNAS проигрывает по скорости Taco*, с которым они должны находиться на одном уровне. Не в 500 раз, конечно, но в 2-20 или около того в зависимости от конкретного типа нагрузки
4) вся эта затея "напихать 6 ssd/nvme в ARM-железку" в целом бестолковая, не решает реальных задач (помимо "зырь как могу"), и не стоит своей экономии в 50-150 евро.
5) для построения кастомного продукта с поддержкой лучше использовать платы на N100, чтобы покупатель такого устройства не плакал кровавыми слезами, пытаясь использовать данное устройство в качестве NAS дома
6) для выполнения описанных задач в посте лучше купить Morefine S500+, minisforum HM90 или любое аналогичное устройство, переплатив 100-150 долларов, поставить туда 3 диска большего х2 размера и получить полноценное готовое устройство в том же форм-факторе, способное на любые задачи. Для "энтузиастов" тоже лучше собрать что-то на х86, вариантов полно.
7) если готовы паять самостоятельно, а не покупать готовое - могло бы выйти достаточно недорого, но тогда нужно ждать решения от Jeff-а, или ещё кого-нибудь - здесь не опенсорс.
8) у PixelNAS есть бесспорные плюсы с точки зрения конкурентов по форм-фактору (модем, универсальность подключения на месте, PoE, размеры, радиатор), но шести дискам там делать нечего
В качестве не-NAS (назовите как хотите - он даже близко не справится с задачами, которые выполняют актуальные модели готовых NAS), просто отдавать файлики по сети через SMB/FTP (не SFTP) - сойдёт, конечно, но альтернатив слишком много, чтобы задумываться о покупке устройства из разряда "цена в личку".
Можно, конечно, утверждать, что NAS - это "network attached storage" и ничего более, но пользователи давно хотят большего от устройств с таким названием. Данная точка зрения существовать может, но устройство продать не поможет.
И да, спасибо, очень много новых устройств нагуглил, пока пытался что-то до вас донести. Пригодится для следующей статьи.
*да, я понимаю, что Taco мягко говоря нифига не мобилен - зато по спекам ближе него ничего не спаяли.
**ѣ...
Оказывается, я сижу и сравниваю производительность голых дисков в интерфейсах, с FIO, который ходит по сети (ещё и не через блочное сетевое устройство наверняка, а через SMB/NFS какой-нибудь). А чтобы понять это - было необходимо найти другое устройство с похожими параметрами и его тесты - и поспать.
Монолог на тему "Инженер, создатель устройства" и "потенциальный пользователь задаёт интересующие его вопросы". Вот так маркетологи инженеров и победили.
Ну ладно, хотя бы много нового узнал.
Интересное решение, современное. Давно искал нечто подобное. Как автор видит ценовой диапазон для продажи? Сколько это решение может стоить? Без SSD конечно. Я вижу сильное преимущество в компактности.
PixelNAS — результат переделки мини компьютера в мобильный NAS