Pull to refresh
82
0.1
Владислав Животнев @inkvizitor68sl

User

Send message

Встречный вопрос - каким образом хранилище из 5 дорогих дисков может быть медленнее USB-порта, и зачем оно такое нужно?

*sigh*

Lenovo tiny на 4 nvme даст больше миллиона iops

Lenovo p53 на 3 nvme даст больше миллиона iops.

Аргумент "в PixelNAS диски работают в 500 раз медленнее, зато их шесть" не состоятелен.

Более того, я вам привёл пример, как в устройстве вашего форм-фактора получить более миллиона IOPS - да, готового нет, но и платить замедлением скорости работы дисков в 500 раз, используя ваше устройство, тоже нет никакого смысла, когда есть возможность добиться того же объёма на трёх-четырёх дисках в мобильном варианте, которые будут работать с нормальной скоростью.

Собирать устройство, работающее со скоростью текущей версии PixelNAS на твердотельных дисках банально нет смысла, вся экономия улетит в трубу при покупке дисков.

Делайте m2 nvme-версию, в которой диски подключены через нормальный PCI (хотя бы все через один - уже будет в сотни раз быстрее)
Переходите на одноплатник с нормальным процессором, а не армом.
Добавьте питание от type c через 2 порта, если делаете "мобильный" NAS - чтобы использовать power-банки.
Добейтесь хотя бы ста тысяч IOPS со всех дисков
Тогда можно задумываться о том, что это "готовый мобильный NAS".

Скорость PixelNAS ограничена производительностью 1GbE

У вас FIO показал 3 тысячи, при чём тут 1GbE? NAS занимается не только тем, что отдаёт-принимает данные по сети.

Например, после перезапуска торрент-клиента PixelNAS будет переиндексировать локальные 20 террабайт торрентов (6 дисков по 4 террабайта в raid5) на протяжении... эээ... 4.5 дней блоками по 512к и 19 дней блоками по 4к, если я нигде не ошибся.

В спеках на диски обычно указывается разброс рабочих значений напряженй.

А так же в спеках на диски указаны idle power и потребление под нагрузкой. Для idle у вас питания хватает, диски запускаются, а дальше в полную скорость работать не могут - это, конечно, теория, её нужно проверять, но я не вижу, откуда у вас взяться 40-50 ваттам питания на вашей плате в любом случае.

Каждый диск по отдельности видит достаточно питания, но когда все они пытаются употребить электричества по максимуму - его не хватает.

А toshiba тоже никогда не делала очень уж быстрых ssd/nvme на моей памяти.

Не-noname - это intel/soligim, micron, samsung, у них быстрые диски. Остальные плетутся за ними.

С каким NAS все таки вы сравнивает результаты?

Результаты PixelNAS на данный момент хуже, чем результаты одного старого SSD, подключенного по USB3.

Любой all-NVMe NAS с полноценными m.2 и питанием на 4+ диска выдаст больше миллиона IOPS-ов блоками по 4k, конкретная конфигурация неважна.
Например, упомянутый выше Lenovo Tiny даст похожие цифры с хорошими дисками. Да, их будет 4. Зато работать будет в сотни раз быстрее.

пришли уже к полноценным проф решениям явно стоечного исполнения

Каким, к чёрту, стоечным исполнениям?

read: IOPS=507k, BW=1979MiB/s (2075MB/s)(116GiB/60001msec) - 4k randread, iodepth=16
Вот IOPS одного (!) диска m.2, подключенного в ноутбук Lenovo. Одного (!). При этом какого-то noname дерьма, KIOXIA XG8 Series.

SSD накопители XG8-серии достигают скорости последовательного чтения/записи 7000 МБ/с и 5800 МБ/с соответственно, и обеспечивают до 900 тыс. IOPS при произвольном чтении и 620 тыс. IOPS при произвольной записи.

Производитель заявляет почти миллион IOPS на чтение с одного диска, о каких стоечные решениях вы тут взялись рассуждать?

У вас будет 3 тысячи с 6 таких.
В ноутбуке будет 500 тысяч с одного такого - и миллион с трёх в raid5.

Это обычный десктопный m.2 nvme для пользователей, 100 евро за террабайт, не какой-то профессиональный nvme для стоек в u.2 исполнении.

Samsung 990 Pro обещает полтора миллиона 4k блоками уже с одного диска - это больше, чем весь мой NAS. Конечно, 1.5 он вряд ли выдаст в реальных условиях, но вот миллион с одного диска - легко:

"Сравнение полученных чисел с представленными в спецификации выглядит явно не в пользу Samsung. Реальная скорость линейного чтения оказывается на уровне 7,1, а не 7,45 Гбайт/с, аналогичная картина и при записи — 6,8 реальных вместо 6,9 обещанных Гбайт/с. Ещё хуже соотношение реальных и паспортных показателей при мелкоблочной записи — в этом случае измеренная производительность равна 1,1 млн вместо обещанных 1,5 млн IOPS"

Наплевать, сколько стоит ваша железка, насколько она мобильная и так далее, если диски в ней работают в 500 раз медленнее, чем должны.

Не очень понятно причем здесь USB интерфейс

Скорость работы вашего PixelNAS (точнее, части из 5 дисков) соответсвует скорости работы одного USB-диска, а не одного SATA-диска.

Троттлинг по вольтажу это что за технология такая

Если диску не хватает питания - он работает медленнее, чем мог бы. Скорость работы при этом ограничивается через тот же механизм, который используется при thermal throttling.
Например, Lenovo в ноутбуках достаточно активно ограничивает вольтаж m.2 портов, поэтому в их ноутах часто m.2 nvme работают сильно медленнее, чем тот же m.2 nvme в другой системе.

Вы почему-то игнорируете факт того, что у него есть PCIe, в который можно воткнуть карту 16х7см ещё на 2 nvme.

А может и на +4 nvme, если друзья-китайцы соизволят карту сделать в таком размере - будет 6 nvme. Физически на 16х7 4х 2280 разместить можно.

Нет, это у вас все диски работают медленее одного USB-порта

Эм.

NVMe для того и придуманы, чтобы каждый втыкался в отдельный PCIe.
И кто сказал, что там PCIe 3, а не PCIe 5?

обсуждение началось со сравнения

Обсуждение началось с того, что вы берёте дисков на миллион IOPS (например, дешманский intel / soligim 760p уже выдаёт 250+ тысяч с одного диска по спекам), и превращаете их в устройство, работающее со скоростью одного USB, при этом из-за питания под нагрузкой не можете добиться даже этой скорости.

И да - ваша система работает со скоростью одного HDD, подключенного к малине по USB, можете сравнивать.

 а тут целый порядок разницы

Порядок разницы в чём? Диски стоят 90%+ системы.

Но вот блоки по 4К ваш массив отдаёт внезапно в 4 раза хуже одного 15 летнего диска - а должен выдать ~38500 IOPS.

А, ну покурить 2 сигареты, сделать 2 запроса в гугл, и всё становится понятным.

"USB 3.0 and 3.1 allow 5V at 900 mA (4.5W)" - и даже в идеальном случае там 7.5W на порт.
"M. 2 PCI-Express NVMe SSDs: These devices consume around 0.50-3 watts when idle, and 2-8 watts and 3-10 watts when reading and writing, respectively."

Диски тупо троттлятся по вольтажу и не могут нормально работать - им питания не хватает от одного порта. Хорошо, что в m.2 есть троттлинг (правда, он нужен в первую очередь для температуры, но и на недостаток питания срабатывает), иначе бы у вас диски тупо вываливались из массива под нагрузкой.

Кх. Ну зато их шесть, а не пять.

Вы опять почему-то упорно игнорируете факт того, что все ваши 6 дисков работают со скоростью одного USB-диска.

А 5 дисков в HM90 работают с суммарной скоростью двух SATA и одного PCIe.

И в свете этого нет никакого сакрального смысла в ваших шести дисках, когда альтернатива выдаёт сотни тысяч IOPS-ов, пусть у неё и на 1 диск меньше.


"Давайте купим 6 дисков по 8 террабайт за 5 тысяч евро и воткнём их в 1 USB"

https://www.servethehome.com/lenovo-thinkcentre-m90q-tiny-review-10-cores-in-a-1l-pc/3/
Вот, кстати, литровый миникомп на 4 диска (2 nvme + 2x2280 ssd)

А в Acer Veriton N4680GT вроде бы можно воткнуть PCIe x16 карту (а это минимум 4+ nvme, а то и все 8, пусть и в 1 PCIe - плюс ещё сколько-то встроенных в саму материнку nvme) - не уверен, не тестил, но судя по гуглу всё так.
Размер - ~20х20х3 см

Бывают ноутбуки на 2x2.5 SATA + 1 nvme
2 SATA == 4x2280 ssd (не nvme) через переходники
В сумме - 5 дисков.

Навскидку помню gl553vd, но наверняка есть более старые дешёвые.

Но оптимально брать именно P53 бушный с T1000 - дисков 4, зато безотказный и противоударный до определённой степени (что важно "в поле").

Я серьёзно использую БУшный ноутбук в качестве "мобильного NAS" и это охренеть как удобно, поверьте.
Никаких проблем с "ой, нужен монитор", никаких проблем с питанием (павербанки и погнали), wifi есть, всё есть, никаких проблем нет, положить можно в чистом поле без розетки и 3g-роутер от него там же зарядить.

Дома, конечно, оно нафиг не нужно, хоть и порываюсь и дома поставить ноут, чтобы не страдать с ИБП

Те же thinkpad десятилетиями работают в качестве серверов и не чихают.

Тем временем, реальный NAS на 5 nvme, seq 512, iodepth=16:
read: IOPS=74.9k, BW=36.6GiB/s (39.3GB/s)(160GiB/4372msec)
write: IOPS=31.8k, BW=15.5GiB/s (16.7GB/s)(160GiB/10294msec); 0 zone resets

NAS на 5 nvme, random 4k, iodepth=16:
read: IOPS=1304k, BW=5093MiB/s (5340MB/s)(160GiB/32172msec)
write: IOPS=513k, BW=2005MiB/s (2103MB/s)(117GiB/60002msec); 0 zone resets

Миллион триста тысяч iops. Разница в приблизительно 479 раз на rand write 4k

Окей, собрать такой NAS стоит недёшево, одни диски 5 тысяч евро.
Сравним с купленным в позапрошлом десятилетии OCZ vertex 2, подключенным в USB переходником за 3 евро:

OCZ vertex 2 по USB, seq 512, iodepth=16:
read: IOPS=294, BW=147MiB/s (154MB/s)(8844MiB/60095msec)
write: IOPS=115, BW=57.9MiB/s (60.7MB/s)(3483MiB/60158msec); 0 zone resets

OCZ vertex 2 по USB, random 4k, iodepth=16:
read: IOPS=14.7k, BW=57.5MiB/s (60.3MB/s)(3448MiB/60002msec)
write: IOPS=12.3k, BW=47.9MiB/s (50.2MB/s)(2872MiB/60002msec); 0 zone resets

И вот она интересная картина. Блоки по 512 килобайт вполне себе упираются в интерфейс и на одном диске, и на вашем массиве.
Но вот блоки по 4К ваш массив отдаёт внезапно в 4 раза хуже одного 15 летнего диска - а должен выдать ~38500 IOPS.

В общем, бесспорно проект интересный с точки зрения образования, компоновка интересная, но реализация "все диски в 1 USB" - шлак. Делайте хотя бы m.2 nvme контроллер в PCI - тем более готовые такие платы продаются, райзеры продаются, всё это можно поставить на поток из запчастей у китайцев. Даже в PCI x2 оно будет на порядки лучше работать.
https://www.youtube.com/watch?v=NofFPbNIXfo - вот первая попавшаяся карта на 4 nvme (а я встречал и на 21 nvme, но там махина огромная, конечно), сняли планку, спаяли райзер под ваш миникомп, развлекаетесь. Это уже будет на голову круче вашей реализации, и, вполне возможно, такое устройство я бы уже подумал купить (хотя для дома пора бы уже NAS-ы на ryzen делать, материнки для минипк с рязанями уже <200 евро попадаются).


За сим предлагаю закончить, практического смысла (а уж тем более - коммерческого) текущая реализация не имеет. В качестве "я умею вот так" - повторюсь, круто.

ноут как NAS то еще предложение

Повторюсь, ваше текущее предложение ещё хреновее. Ещё я могу спокойно утверждать, что к вашему устройству нужно таскать монитор, а к ноутбуку - не нужно. И батарейка у ноутбука сильно лучше, да и запитать можно много от чего, не только от розетки.


Добейтесь нормальной производительности дисков, а не на 2-3 порядка хуже "терпимой" - тогда pixelnas будет толковой штукой.

Стоит P53 сейчас порядка 2к баксов минимум.

400-500 евро бушный он стоит, как примерно и все остальные ноутбуки на 3-5 дисков.

у которого будут шесть дисков 2280

А зачем мне, как потребителю, нужно ставить строго шесть 2280? Возьмите любое устройство с 3 nvme, поставьте туда диски х2 по размеру, конец истории. И диски в нём не будут лагать.

Либо возьмите любое устройство с 4 m.2 ssd + 1 nvme. Будет пять, не шесть.

6 nvme имели бы смысл, если есть деньги забить их 4-8 террабайтниками, но никто не будет втыкать диски по тысяче евро каждый в устройство с подобным уровнем производительности, а условные 6 террабайт nvme одинаково стоят и 3 по 2, и 6 по 1.

 это вместо одного корпуса размером с коробку для HDD, носить два три устройства

Чего? В каком варианте я это предложил, кроме внешнего бокса под 4 nvme?

Also - 99.9999% людей устроить таскать 2 коробки, чтобы не выкидывать в помойку отвратительного контроллера сотни евро стораджа. А кого не устроит - всегда есть Thinkpad P53, в который в конфиге с T1000 можно воткнуть 4 диска (2 nvme, 2 m2. ssd) - куда более универсальный для задачи "мобильный NAS".

PixelNAS можно купить, кстати говоря.

Где? За сколько?

вздох

 Первое, пять дисков HDD в пять раз больше PixelNAS по габаритам, тяжелее его в разы и это даже не учитывая компа

Не нужно покупать 5 HDD, чтобы заменить весь PixelNAS. Достаточно одного HDD - он будет в 5-9 раз дешевле при равном объёме, а работать будет с той же скоростью.

Если при этом нужна отказоустойчивость данных - готовых мини-пк с 2х2.5 слотами на рынке хватает.

Второе, сетка гигабит не даст выигрыша SSD дискам против HDD.

Зато ОС поверх дисков с тысячАМИ (или даже десятками тысяч, если мы про NVMe) будет работать намного быстрее и выполнять свои задачи вовремя, а не в следующем году. Можно будет поставить пакет и не состариться за это время.
Вы тратите 100 евро за террабайт, чтобы операционка лагала при работе с данными.

Вот если бы поставить мультигигабитный контроллер, тогда ещё может быть. Но это тянет за собой проц помощнее

Не тянет, уже малина отдаёт 2 гигабита по wireguard без проблем, а мы тут про обычную локалку.

 Есть готовое устройство PixelNAS

Готовое - это когда мы идём его и покупаем.

С каким устройством сравниваем в итоге PixelNAS?

Сравнивайте с любым mini pc, в котором есть 2хSATA 2.5 и 1 или 2 nvme, в моём случае это Minisforum HM90.
В sata 2.5 ставятся переходники sata -> 2xm.2 ssd, в сумме получается 5 дисков с нормальной скоростью работы (6 gbps на пару ssd) и без потери иопсов в два-три порядка.

Сравнивайте с AD650I - там 6 NVMe в miniATX (корпусов компактных полно). Где купить - другой вопрос, но если и делать pixelnas - то подобный AD650I, а не вот это.

Сравнивайте с AOOSTAR Mini PC, если нужен огромный объём дисков с низкой скоростью - можно воткнуть 2 HDD и 2 nvme. И я уверен, что есть версия с одним диском поменьше по размерам.

А можно и вообще найти некий "SSD OWC Express 4M2 4-Slot M.2 NVMe SSD Enclosure SoftRaid XT" или аналог, воткнуть его по type c во что угодно микроскопическое - всё равно будет лучше.

Покупать в сторадж диски за 900 евро, чтобы он работал потом по цене одного диска того же объёма за 150 евро - это ппц, а не "готовое устройство".

И даже если так уж упарываться по мобильности NAS-а - тогда можно просто взять любой ноутбук с 3x NVMe/SSD и купить в него х2 диски по размеру (а SATA 2.5, как я уже писал, легко превращается в 2х m.2 SSD - так что можно получить те же 5 дисков). А мобильнее обычного ноутбука вы ничего на коленке не сделаете.

До дисков размерами по 16 террабайт рост цены за террабайт почти линеен. Да и не будет никто собирать в вашем устройстве 5 дисков по 8 террабайт за 5к евро, чтобы оно потом 100 иопсов выдавало.

Information

Rating
3,088-th
Location
Москва, Москва и Московская обл., Россия
Registered
Activity