Проще дождаться, когда парни из https://www.jeffgeerling.com/blog/2023/building-tiny-6-drive-m2-nas-rock-5-model-b решат проблемы с питанием (у них тоже не хватает питания на 6 дисков под нагрузкой но в отличии от вас они эту проблему хотя бы планируют пытаться решить), чем вам что-то доказывать. Как минимум, у них уже до 2 гигабит в секунду по сети, а у вас FIO на локальной ФС меньше гигабита выдаёт.
Сотню тысяч IOPS выдаёт вообще любое устройство, в котором диски подключены по m.2. Включая, например, USB3-m.2 переходники.
Можете взять за ориентир этот вариант, если так уж нужна конкретная ссылка, 5 дисков, каждый из них подключен напрямую и работает быстрее, чем весь ваш массив (при этом минимум в 4 раза).
Да, устройств на 6 m.2 SSD в ровно таком же размере нет, даже у silvertips labs габариты другие - но связано это с тем, что люди в реальном мире решают реальную проблему "получить Х места, чтобы влезло в сумку", а не ищут устройство строго ваших габаритов строго за вашу цену (сколько, кстати?), строго на 6 дисков, строго m.2 ssd.
За 450 евро можно купить Flashstore - ужасающе огромные 200-250 евро переплаты (при стоимости одних только дисков в 750-1500 и до бесконечности евро) позволят подключить 6 дисков по миллиону IOPS с каждого вместо трёх тысяч со всех. Ни на что не намекаю, кстати, но блок питания у них на 65W, из которых процессор потребляет только 10.
Уф, устал. Большая часть комментов состоит в следующем:
Разберитесь, почему в вашем устройстве диски работают в 500 раз медленнее _любых_ других устройств, закрывающих те же задачи, а потом уже заявляйте, что вы сделали готовое решение.
В качестве "упрощения" для переносного устройства допустимо потерять пусть даже 80% производительности дисков, но не 99,8%.
А читателю, который мимо проходил почитать, я рекомендую взять Lenovo tiny mini pc и получить 4-5 дисков в 1 литре с суммарной производительностью выше миллиона IOPS.
250 баксов - это цена одного nvme на 4ТБ, самого-самого дешманского в РФ. Kingston уже 300+ будет, там хоть какая-то гарантия и сервис (впрочем, сами диски отвратительные).
И вы опять проигнорировали большую часть комментария - по ссылке можно посмотреть на фото, как в Lenovo tiny поставили 4 nvme и +1 2.5'' ssd без PLX-контроллера.
не очень доверяю результатам, полученным на бушных ноутбуках
Ага, на новом ноутбуке рассчёты будут хуже, да?
откуда берутся 50Вт питания
Вот специально выделил. Конкретные цифры ищите в спеках своего диска, вряд ли кто-то публиковал power-тесты для noname-дисков.
При этом чем больше объёма диски используются, тем выше потребление:
The power consumption of the 990 Pro while writing is between 5.0 W and 5.1W depending on the drive’s capacity, and the read varies from 5.4W on the 1TB option to 5.8W on the 2TB model.
400-450 евро на авито он стоит, у меня в ЕС ещё дешевле будет. Lenovo tiny refub будет <200 стоить, ещё переходников на сотню евро с али.
Оба варианта можно пойти и купить, а цену на своё устройство вы и вовсе не озвучили. Судя по цене готовых устройств на Rk3568 - не меньше 250 евро, если вы его планируете продавать и хоть сколько-то зарабатывать с одного устройства.
с которой вы постоянно сравнение делаете
Я сравниваю с разными конфигурациями, а не с одной - и ни в одной нет 500-кратной потери производительности дисков. Даже в варианте, когда диск подключен по USB.
Не требуется, если найти карту с PLX соответствующего размера
Но люди собирают туда 4 nvme другим способом Тут человек даже 5 дисков умудрился поставить, правда, 2.5 '' видимо будет просто на скотче, а не на болтах.
Аргумент "в PixelNAS диски работают в 500 раз медленнее, зато их шесть" не состоятелен.
Более того, я вам привёл пример, как в устройстве вашего форм-фактора получить более миллиона IOPS - да, готового нет, но и платить замедлением скорости работы дисков в 500 раз, используя ваше устройство, тоже нет никакого смысла, когда есть возможность добиться того же объёма на трёх-четырёх дисках в мобильном варианте, которые будут работать с нормальной скоростью.
Собирать устройство, работающее со скоростью текущей версии PixelNAS на твердотельных дисках банально нет смысла, вся экономия улетит в трубу при покупке дисков.
Делайте m2 nvme-версию, в которой диски подключены через нормальный PCI (хотя бы все через один - уже будет в сотни раз быстрее) Переходите на одноплатник с нормальным процессором, а не армом. Добавьте питание от type c через 2 порта, если делаете "мобильный" NAS - чтобы использовать power-банки. Добейтесь хотя бы ста тысяч IOPS со всех дисков Тогда можно задумываться о том, что это "готовый мобильный NAS".
Скорость PixelNAS ограничена производительностью 1GbE
У вас FIO показал 3 тысячи, при чём тут 1GbE? NAS занимается не только тем, что отдаёт-принимает данные по сети.
Например, после перезапуска торрент-клиента PixelNAS будет переиндексировать локальные 20 террабайт торрентов (6 дисков по 4 террабайта в raid5) на протяжении... эээ... 4.5 дней блоками по 512к и 19 дней блоками по 4к, если я нигде не ошибся.
В спеках на диски обычно указывается разброс рабочих значений напряженй.
А так же в спеках на диски указаны idle power и потребление под нагрузкой. Для idle у вас питания хватает, диски запускаются, а дальше в полную скорость работать не могут - это, конечно, теория, её нужно проверять, но я не вижу, откуда у вас взяться 40-50 ваттам питания на вашей плате в любом случае.
Каждый диск по отдельности видит достаточно питания, но когда все они пытаются употребить электричества по максимуму - его не хватает.
Результаты PixelNAS на данный момент хуже, чем результаты одного старого SSD, подключенного по USB3.
Любой all-NVMe NAS с полноценными m.2 и питанием на 4+ диска выдаст больше миллиона IOPS-ов блоками по 4k, конкретная конфигурация неважна. Например, упомянутый выше Lenovo Tiny даст похожие цифры с хорошими дисками. Да, их будет 4. Зато работать будет в сотни раз быстрее.
пришли уже к полноценным проф решениям явно стоечного исполнения
Каким, к чёрту, стоечным исполнениям?
read: IOPS=507k, BW=1979MiB/s (2075MB/s)(116GiB/60001msec) - 4k randread, iodepth=16 Вот IOPS одного (!) диска m.2, подключенного в ноутбук Lenovo. Одного (!). При этом какого-то noname дерьма, KIOXIA XG8 Series.
SSD накопители XG8-серии достигают скорости последовательного чтения/записи 7000 МБ/с и 5800 МБ/с соответственно, и обеспечивают до 900 тыс. IOPS при произвольном чтении и 620 тыс. IOPS при произвольной записи.
Производитель заявляет почти миллион IOPS на чтение с одного диска, о каких стоечные решениях вы тут взялись рассуждать?
У вас будет 3 тысячи с 6 таких. В ноутбуке будет 500 тысяч с одного такого - и миллион с трёх в raid5.
Это обычный десктопный m.2 nvme для пользователей, 100 евро за террабайт, не какой-то профессиональный nvme для стоек в u.2 исполнении.
Samsung 990 Pro обещает полтора миллиона 4k блоками уже с одного диска - это больше, чем весь мой NAS. Конечно, 1.5 он вряд ли выдаст в реальных условиях, но вот миллион с одного диска - легко:
"Сравнение полученных чисел с представленными в спецификации выглядит явно не в пользу Samsung. Реальная скорость линейного чтения оказывается на уровне 7,1, а не 7,45 Гбайт/с, аналогичная картина и при записи — 6,8 реальных вместо 6,9 обещанных Гбайт/с. Ещё хуже соотношение реальных и паспортных показателей при мелкоблочной записи — в этом случае измеренная производительность равна 1,1 млн вместо обещанных 1,5 млн IOPS"
Наплевать, сколько стоит ваша железка, насколько она мобильная и так далее, если диски в ней работают в 500 раз медленнее, чем должны.
Скорость работы вашего PixelNAS (точнее, части из 5 дисков) соответсвует скорости работы одного USB-диска, а не одного SATA-диска.
Троттлинг по вольтажу это что за технология такая
Если диску не хватает питания - он работает медленнее, чем мог бы. Скорость работы при этом ограничивается через тот же механизм, который используется при thermal throttling. Например, Lenovo в ноутбуках достаточно активно ограничивает вольтаж m.2 портов, поэтому в их ноутах часто m.2 nvme работают сильно медленнее, чем тот же m.2 nvme в другой системе.
NVMe для того и придуманы, чтобы каждый втыкался в отдельный PCIe. И кто сказал, что там PCIe 3, а не PCIe 5?
обсуждение началось со сравнения
Обсуждение началось с того, что вы берёте дисков на миллион IOPS (например, дешманский intel / soligim 760p уже выдаёт 250+ тысяч с одного диска по спекам), и превращаете их в устройство, работающее со скоростью одного USB, при этом из-за питания под нагрузкой не можете добиться даже этой скорости.
И да - ваша система работает со скоростью одного HDD, подключенного к малине по USB, можете сравнивать.
Проще дождаться, когда парни из https://www.jeffgeerling.com/blog/2023/building-tiny-6-drive-m2-nas-rock-5-model-b решат проблемы с питанием (у них тоже не хватает питания на 6 дисков под нагрузкой но в отличии от вас они эту проблему хотя бы планируют пытаться решить), чем вам что-то доказывать.
Как минимум, у них уже до 2 гигабит в секунду по сети, а у вас FIO на локальной ФС меньше гигабита выдаёт.
Сотню тысяч IOPS выдаёт вообще любое устройство, в котором диски подключены по m.2. Включая, например, USB3-m.2 переходники.
Можете взять за ориентир этот вариант, если так уж нужна конкретная ссылка, 5 дисков, каждый из них подключен напрямую и работает быстрее, чем весь ваш массив (при этом минимум в 4 раза).
Да, устройств на 6 m.2 SSD в ровно таком же размере нет, даже у silvertips labs габариты другие - но связано это с тем, что люди в реальном мире решают реальную проблему "получить Х места, чтобы влезло в сумку", а не ищут устройство строго ваших габаритов строго за вашу цену (сколько, кстати?), строго на 6 дисков, строго m.2 ssd.
За 450 евро можно купить Flashstore - ужасающе огромные 200-250 евро переплаты (при стоимости одних только дисков в 750-1500 и до бесконечности евро) позволят подключить 6 дисков по миллиону IOPS с каждого вместо трёх тысяч со всех. Ни на что не намекаю, кстати, но блок питания у них на 65W, из которых процессор потребляет только 10.
Ага, на рутрекере есть готовая сборка с вшитым вайном
Вот только, к сожалению, игра недостаточно отбалансирована и влёт проходится мечником без любых заклинаний и технологий -(
Хотя всё равно она при этом остаётся любимой игра, мда -)
Уф, устал.
Большая часть комментов состоит в следующем:
Разберитесь, почему в вашем устройстве диски работают в 500 раз медленнее _любых_ других устройств, закрывающих те же задачи, а потом уже заявляйте, что вы сделали готовое решение.
В качестве "упрощения" для переносного устройства допустимо потерять пусть даже 80% производительности дисков, но не 99,8%.
А читателю, который мимо проходил почитать, я рекомендую взять Lenovo tiny mini pc и получить 4-5 дисков в 1 литре с суммарной производительностью выше миллиона IOPS.
До свидания, и так много времени потратил.
90 тысяч IOPS?
этому диску 10 лет?
Современный самсунг в спеках обещает более миллиона IOPS с диска и потребление 8.1
250 баксов - это цена одного nvme на 4ТБ, самого-самого дешманского в РФ.
Kingston уже 300+ будет, там хоть какая-то гарантия и сервис (впрочем, сами диски отвратительные).
И вы опять проигнорировали большую часть комментария - по ссылке можно посмотреть на фото, как в Lenovo tiny поставили 4 nvme и +1 2.5'' ssd без PLX-контроллера.
Ага, на новом ноутбуке рассчёты будут хуже, да?
Вот специально выделил.
Конкретные цифры ищите в спеках своего диска, вряд ли кто-то публиковал power-тесты для noname-дисков.
При этом чем больше объёма диски используются, тем выше потребление:
У террабайтных на 0.4 ниже двушек.
А у "энтерпрайз" линеек всё ещё веселее, там до 40 ватт в пиках с одного диска. Но там u.2 все.
400-450 евро на авито он стоит, у меня в ЕС ещё дешевле будет.
Lenovo tiny refub будет <200 стоить, ещё переходников на сотню евро с али.
Оба варианта можно пойти и купить, а цену на своё устройство вы и вовсе не озвучили. Судя по цене готовых устройств на Rk3568 - не меньше 250 евро, если вы его планируете продавать и хоть сколько-то зарабатывать с одного устройства.
Я сравниваю с разными конфигурациями, а не с одной - и ни в одной нет 500-кратной потери производительности дисков. Даже в варианте, когда диск подключен по USB.
Даже они стоят 65 евро за террабайт (что много для NAS с такой производительностью) - и могут выдавать сотню тысяч iops.
Не требуется, если найти карту с PLX соответствующего размера
Но люди собирают туда 4 nvme другим способом
Тут человек даже 5 дисков умудрился поставить, правда, 2.5 '' видимо будет просто на скотче, а не на болтах.
Встречный вопрос - каким образом хранилище из 5 дорогих дисков может быть медленнее USB-порта, и зачем оно такое нужно?
*sigh*
Lenovo tiny на 4 nvme даст больше миллиона iops
Lenovo p53 на 3 nvme даст больше миллиона iops.
Аргумент "в PixelNAS диски работают в 500 раз медленнее, зато их шесть" не состоятелен.
Более того, я вам привёл пример, как в устройстве вашего форм-фактора получить более миллиона IOPS - да, готового нет, но и платить замедлением скорости работы дисков в 500 раз, используя ваше устройство, тоже нет никакого смысла, когда есть возможность добиться того же объёма на трёх-четырёх дисках в мобильном варианте, которые будут работать с нормальной скоростью.
Собирать устройство, работающее со скоростью текущей версии PixelNAS на твердотельных дисках банально нет смысла, вся экономия улетит в трубу при покупке дисков.
Делайте m2 nvme-версию, в которой диски подключены через нормальный PCI (хотя бы все через один - уже будет в сотни раз быстрее)
Переходите на одноплатник с нормальным процессором, а не армом.
Добавьте питание от type c через 2 порта, если делаете "мобильный" NAS - чтобы использовать power-банки.
Добейтесь хотя бы ста тысяч IOPS со всех дисков
Тогда можно задумываться о том, что это "готовый мобильный NAS".
У вас FIO показал 3 тысячи, при чём тут 1GbE? NAS занимается не только тем, что отдаёт-принимает данные по сети.
Например, после перезапуска торрент-клиента PixelNAS будет переиндексировать локальные 20 террабайт торрентов (6 дисков по 4 террабайта в raid5) на протяжении... эээ... 4.5 дней блоками по 512к и 19 дней блоками по 4к, если я нигде не ошибся.
А так же в спеках на диски указаны idle power и потребление под нагрузкой. Для idle у вас питания хватает, диски запускаются, а дальше в полную скорость работать не могут - это, конечно, теория, её нужно проверять, но я не вижу, откуда у вас взяться 40-50 ваттам питания на вашей плате в любом случае.
Каждый диск по отдельности видит достаточно питания, но когда все они пытаются употребить электричества по максимуму - его не хватает.
А toshiba тоже никогда не делала очень уж быстрых ssd/nvme на моей памяти.
Не-noname - это intel/soligim, micron, samsung, у них быстрые диски. Остальные плетутся за ними.
Результаты PixelNAS на данный момент хуже, чем результаты одного старого SSD, подключенного по USB3.
Любой all-NVMe NAS с полноценными m.2 и питанием на 4+ диска выдаст больше миллиона IOPS-ов блоками по 4k, конкретная конфигурация неважна.
Например, упомянутый выше Lenovo Tiny даст похожие цифры с хорошими дисками. Да, их будет 4. Зато работать будет в сотни раз быстрее.
Каким, к чёрту, стоечным исполнениям?
read: IOPS=507k, BW=1979MiB/s (2075MB/s)(116GiB/60001msec) - 4k randread, iodepth=16
Вот IOPS одного (!) диска m.2, подключенного в ноутбук Lenovo. Одного (!). При этом какого-то noname дерьма, KIOXIA XG8 Series.
Производитель заявляет почти миллион IOPS на чтение с одного диска, о каких стоечные решениях вы тут взялись рассуждать?
У вас будет 3 тысячи с 6 таких.
В ноутбуке будет 500 тысяч с одного такого - и миллион с трёх в raid5.
Это обычный десктопный m.2 nvme для пользователей, 100 евро за террабайт, не какой-то профессиональный nvme для стоек в u.2 исполнении.
Samsung 990 Pro обещает полтора миллиона 4k блоками уже с одного диска - это больше, чем весь мой NAS. Конечно, 1.5 он вряд ли выдаст в реальных условиях, но вот миллион с одного диска - легко:
Наплевать, сколько стоит ваша железка, насколько она мобильная и так далее, если диски в ней работают в 500 раз медленнее, чем должны.
Скорость работы вашего PixelNAS (точнее, части из 5 дисков) соответсвует скорости работы одного USB-диска, а не одного SATA-диска.
Если диску не хватает питания - он работает медленнее, чем мог бы. Скорость работы при этом ограничивается через тот же механизм, который используется при thermal throttling.
Например, Lenovo в ноутбуках достаточно активно ограничивает вольтаж m.2 портов, поэтому в их ноутах часто m.2 nvme работают сильно медленнее, чем тот же m.2 nvme в другой системе.
Вы почему-то игнорируете факт того, что у него есть PCIe, в который можно воткнуть карту 16х7см ещё на 2 nvme.
А может и на +4 nvme, если друзья-китайцы соизволят карту сделать в таком размере - будет 6 nvme. Физически на 16х7 4х 2280 разместить можно.
Нет, это у вас все диски работают медленее одного USB-порта
Эм.
NVMe для того и придуманы, чтобы каждый втыкался в отдельный PCIe.
И кто сказал, что там PCIe 3, а не PCIe 5?
Обсуждение началось с того, что вы берёте дисков на миллион IOPS (например, дешманский intel / soligim 760p уже выдаёт 250+ тысяч с одного диска по спекам), и превращаете их в устройство, работающее со скоростью одного USB, при этом из-за питания под нагрузкой не можете добиться даже этой скорости.
И да - ваша система работает со скоростью одного HDD, подключенного к малине по USB, можете сравнивать.
Порядок разницы в чём? Диски стоят 90%+ системы.