Корпус чёрных T-шек - не пластиковый, а магниевый. Из пластика сделана внутренняя часть - палмрест и пластик вокруг клавиатуры (и не возьмусь утверждать, что там нет магниевой рамы, впрочем). Крышка экрана где как (были удешевлённые), но на моём она явно из металла.
Ну и серия Carbon, соответственно, обычно сделана из карбона.
Оказывается, я сижу и сравниваю производительность голых дисков в интерфейсах, с FIO, который ходит по сети (ещё и не через блочное сетевое устройство наверняка, а через SMB/NFS какой-нибудь). А чтобы понять это - было необходимо найти другое устройство с похожими параметрами и его тесты - и поспать.
Монолог на тему "Инженер, создатель устройства" и "потенциальный пользователь задаёт интересующие его вопросы". Вот так маркетологи инженеров и победили.
Ура, 3 дня поисков, и у меня есть хоть какие-то цифры по тестам 5 SATA (правда, 2.5'', но хоть такие) на ARM (малине), чтобы делать выводы не опускаясь в глубокие теории и не пытаясь вытащить хоть какие-то крохи информации из автора (например, цена до сих пор неизвестна).
1) raid5 на запись упирается в ARM‑процессор (как и любой raid, требующий математики) - не знаю, из-за троттлинга CPU или вообще. 2) raidz1 будет работать, пока есть память, потом будет работать не лучше raid5 3) PixelNAS проигрывает по скорости Taco*, с которым они должны находиться на одном уровне. Не в 500 раз, конечно, но в 2-20 или около того в зависимости от конкретного типа нагрузки 4) вся эта затея "напихать 6 ssd/nvme в ARM-железку" в целом бестолковая, не решает реальных задач (помимо "зырь как могу"), и не стоит своей экономии в 50-150 евро. 5) для построения кастомного продукта с поддержкой лучше использовать платы на N100, чтобы покупатель такого устройства не плакал кровавыми слезами, пытаясь использовать данное устройство в качестве NAS дома 6) для выполнения описанных задач в посте лучше купить Morefine S500+, minisforum HM90 или любое аналогичное устройство, переплатив 100-150 долларов, поставить туда 3 диска большего х2 размера и получить полноценное готовое устройство в том же форм-факторе, способное на любые задачи. Для "энтузиастов" тоже лучше собрать что-то на х86, вариантов полно. 7) если готовы паять самостоятельно, а не покупать готовое - могло бы выйти достаточно недорого, но тогда нужно ждать решения от Jeff-а, или ещё кого-нибудь - здесь не опенсорс. 8) у PixelNAS есть бесспорные плюсы с точки зрения конкурентов по форм-фактору (модем, универсальность подключения на месте, PoE, размеры, радиатор), но шести дискам там делать нечего
В качестве не-NAS (назовите как хотите - он даже близко не справится с задачами, которые выполняют актуальные модели готовых NAS), просто отдавать файлики по сети через SMB/FTP (не SFTP) - сойдёт, конечно, но альтернатив слишком много, чтобы задумываться о покупке устройства из разряда "цена в личку". Можно, конечно, утверждать, что NAS - это "network attached storage" и ничего более, но пользователи давно хотят большего от устройств с таким названием. Данная точка зрения существовать может, но устройство продать не поможет.
И да, спасибо, очень много новых устройств нагуглил, пока пытался что-то до вас донести. Пригодится для следующей статьи.
*да, я понимаю, что Taco мягко говоря нифига не мобилен - зато по спекам ближе него ничего не спаяли.
"К счастью для компании" (с) здесь не ваш личный блог, где правила устанавливаются лично вами для всех комментаторов. Здесь не запрещено обсуждать существующие и потенциальные альтернативы продукту, который вы описываете/рекламируете.
PiKVM - самое известное и крутое сообщество, которое занимается подобными проектами, все их проекты есть на github и могут быть названы "готовыми DIY-проектами". Ещё есть Jeff, но его на Хабре нет, но он тоже подобное уже пилит.
(и да - обратите внимание на часть предложения "их проекты").
Вот в этом проекте человек получил вполне терпимые 200-400 мегабайт на чтение при iodepth 8 и дальше (50-100k iops 4k read). Как раз на 4 NVMe на малине.
Не представляю правда, достаточно ли этого, чтобы сделать готовую схему для людей с паяльником (ну и понятно, что может это вообще никому не интересно дальше), так что надеюсь, пригодится, ну а если нет - то сорри)
Да, всё так. Thermal throttling есть и в m.2 sata, и в 2.5'' SATA При недостатке питания диски переходят в idle. Они способны делать это множество раз в секунду - как m.2 sata, так и m.2 nvme. Это один и тот же механизм - при thermal throttling диск так же переходит в состояние idle на короткие промежутки времени, что повышает latency диска и снижает количество IOPS.
Искать точные цифры для никому не нужных m.2 sata - затруднительно, поэтому в пример приведены именно NVMe - цифры всё равно схожие.
про производительность бушных ноутбуков
Производительность которых превышает производительность вашего устройства в сотни раз, тем не менее. Этот комментарий написан с "бушного ноутбука" с 500к IOPS с диска.
Хорошо, подождём аналогов вашего устройства от людей, имеющих успешный опыт доведения DIY-устройства до состояния "скачал инструкцию и сделал", а не будем пытаться понять, что не так с вашим.
Кстати, вы можете провести простой тест, чтобы узнать, насколько массив в вашей плате медленнее ожидаемых значений конкретно в вашем устройстве. Просто прогоните FIO сначала на том диске, который стоит в m.2 на материнской плате, а потом прогоните такой же тест на одном диске в вашей собственной плате. Выньте по очереди их из raid-а и запустите FIO на отдельных дисках.
Само собой, md0 и nvme0n1p2 нужно заменить на девайсы вашей системы (вероятно, sda2 какой-нибудь), и FIO нужно запускать при отсутствии другой нагрузки на проц/диски.
Тогда не придётся сравнивать эти цифры с какими-то другими мифическими устройствами, которые не подходят под ваши требования, всё будет честно, мы узнаем точную разницу. А уж посчитать ожидаемую скорость raid5 из дисков с известными характеристиками можно вообще без проблем.
Мои любимые intel 670p вне троттлинга в нулевом power state хотят 5.5W. WD Black SN850 без троттлинга в PS0 заявляют 9W. И на примере Corsair MP400 можно посмотреть на рост потребления в зависимости от размера диска - 4W для 1TB версии и уже 6.5W для 4/8TB версий.
Реальное потребление тестировали у Samsung 990 Pro - The power consumption of the 990 Pro while writing is between 5.0 W and 5.1W depending on the drive’s capacity, and the read varies from 5.4W on the 1TB option to 5.8W on the 2TB model. А вот тут даже с картинками для того же 990 Pro в зависимости от iodepth.
Сами же Сосунги пишут про потребление своего диска так: Average: 5.4 W Maximum: 7.8 W (Burst mode)
Конечно, реальное потребление несколько ниже (я бы закладывался на PS1 в реальном мире - или на минус 2W, как у самсунга), но как только диски "увидят" что они не получили достаточно вольтажа по требованию - они вольны деградировать до любых минимальных значений.
Вообще же спеки NVMe рекомендуют стабильные 12W+ на каждый девайс. Это, конечно, цифры именно для NVMe, а не m.2 ssd, но в качестве пищи для размышления тоже стоит оставить эту информацию для ваших последователей.
В любом случае, вы не первый, кто пытается припаять 6х дисков к армовой плате, и проблемы с питанием у них возникали. Вот вам ещё раз ссылка, у них питания на 3 диска хватило.
Скорее всего, у вас 30W питания во всём устройстве, процентов 20 улетает на нагрев, из 24 оставшихся где-то 7 уходит на SoC под нагрузкой (который пыжится, пытаясь что-то сделать с raid5), 4-5 уходит на m.2 в основном слоте, ещё сколько-то на всякие wifi-модемы-плашку памяти. Сколько там остаётся пяти дискам? Точно ли всё, что остаётся, подаётся на их плату?
Либо, как вариант, диски отжирают всё питание, а троттлится из-за недостатка питания наоборот процессор - и не справляется с математикой для raid5
А что если я вам скажу, что у них в те же 8х на том же процессоре есть версия на 12 nvme -) ?
В общем, у них распаяно не 1 lane == 1 nvme, к сожалению. Используются PCIe-бриджи, и как оно там внутри - без даташита не разберёшься. Очень кажется, что часть дисков у них сильно меньше получает BW, чем другие.
ЗЫ - сам восхитился, потянулся покупать, а потом посмотрел реальные тесты -(
@mdevaevне хотите, кстати, в PiKVM community что-то похожее сделать на 4 диска в ваших корпусах? (сорри, что личный mention, больше никого на хабре не видел)
Здесь ещё подобное делают, может с ними совместно попробовать (они, правда, целятся в 6 дисков, но тоже уже хлебнули с питанием, хватает только на 3 от одного порта).
Ещё бы на ASM2806 и на nvme вместо мертворождённых m.2 ssd
Идея-то хорошая, только проблем у данной реализации много - питания всем дискам не хватает, проца под raid5 не хватает.
А в корпус V4 Plus как раз на глазок 4х2280 влезут на плате с двух сторон >_>
Хотя про Flashstore я может и зря быканул, тестов нет, а распаян он очень странно. Про него известно только то, что он 10 гигабит может отдавать, а вот локальный FIO ему никто толком не запускал.
Буду считать, что Flashstore выдаёт не миллионы, а всё же 3 сотни тысяч IOPS (3 сотни 4k randread он выдаст точно, больше нужно смотреть тестом - скорее всего, упрётся в 4 гигабайта в секунду (на 8 он не распаян точно), что даст миллион IOPS только в идеальных условиях, если вся нагрузка распределится по дискам идеально так, как того требует распайка, а этого, конечно, никогда не случится).
Кстати, о каких вы чипах по 250 баксов для PCIe-коммутатора вы рассказываете - тоже непонятно (хотя допускаю, что конкретно PLX стоит именно столько, но альтернативы-то ему вы не поискали - хотя и утверждаете, что сделать устройство быстрее вашего в том же размере невозможно, не добавив к его цене 250 баксов).
ASUS, например, построили свой PCIe-коммутатор на чипах, которые стоят 30 баксов в розницу
И mellanox такой "ну да, ну да..."
За каждого такого "умника" можно получить промокод, а водитель, вероятно, получит штраф, равный промокоду.
Детское кресло можно возить с собой (а тем более в 7 лет уже и бустер можно обычно). Проверено в трёх странах, в том числе и в РФ.
В примерно девяносто-каком-то году -)
Корпус чёрных T-шек - не пластиковый, а магниевый. Из пластика сделана внутренняя часть - палмрест и пластик вокруг клавиатуры (и не возьмусь утверждать, что там нет магниевой рамы, впрочем).
Крышка экрана где как (были удешевлённые), но на моём она явно из металла.
Ну и серия Carbon, соответственно, обычно сделана из карбона.
Да, перепутал, в наличии нет Huawei из статьи - https://www.xcom-shop.ru/huawei_matebook_d15_bode-wdh9_1012100.html?utm_source=habr&utm_medium=pr&utm_campaign=10laptop
Название скопировал из статьи, а фразу про наличие - со страницы в магазине, не проверив, название какого ноута скопировал
спасибо!
Удобно -)
**ѣ...
Оказывается, я сижу и сравниваю производительность голых дисков в интерфейсах, с FIO, который ходит по сети (ещё и не через блочное сетевое устройство наверняка, а через SMB/NFS какой-нибудь). А чтобы понять это - было необходимо найти другое устройство с похожими параметрами и его тесты - и поспать.
Монолог на тему "Инженер, создатель устройства" и "потенциальный пользователь задаёт интересующие его вопросы". Вот так маркетологи инженеров и победили.
Ну ладно, хотя бы много нового узнал.
Ура, 3 дня поисков, и у меня есть хоть какие-то цифры по тестам 5 SATA (правда, 2.5'', но хоть такие) на ARM (малине), чтобы делать выводы не опускаясь в глубокие теории и не пытаясь вытащить хоть какие-то крохи информации из автора (например, цена до сих пор неизвестна).
1) raid5 на запись упирается в ARM‑процессор (как и любой raid, требующий математики) - не знаю, из-за троттлинга CPU или вообще.
2) raidz1 будет работать, пока есть память, потом будет работать не лучше raid5
3) PixelNAS проигрывает по скорости Taco*, с которым они должны находиться на одном уровне. Не в 500 раз, конечно, но в 2-20 или около того в зависимости от конкретного типа нагрузки
4) вся эта затея "напихать 6 ssd/nvme в ARM-железку" в целом бестолковая, не решает реальных задач (помимо "зырь как могу"), и не стоит своей экономии в 50-150 евро.
5) для построения кастомного продукта с поддержкой лучше использовать платы на N100, чтобы покупатель такого устройства не плакал кровавыми слезами, пытаясь использовать данное устройство в качестве NAS дома
6) для выполнения описанных задач в посте лучше купить Morefine S500+, minisforum HM90 или любое аналогичное устройство, переплатив 100-150 долларов, поставить туда 3 диска большего х2 размера и получить полноценное готовое устройство в том же форм-факторе, способное на любые задачи. Для "энтузиастов" тоже лучше собрать что-то на х86, вариантов полно.
7) если готовы паять самостоятельно, а не покупать готовое - могло бы выйти достаточно недорого, но тогда нужно ждать решения от Jeff-а, или ещё кого-нибудь - здесь не опенсорс.
8) у PixelNAS есть бесспорные плюсы с точки зрения конкурентов по форм-фактору (модем, универсальность подключения на месте, PoE, размеры, радиатор), но шести дискам там делать нечего
В качестве не-NAS (назовите как хотите - он даже близко не справится с задачами, которые выполняют актуальные модели готовых NAS), просто отдавать файлики по сети через SMB/FTP (не SFTP) - сойдёт, конечно, но альтернатив слишком много, чтобы задумываться о покупке устройства из разряда "цена в личку".
Можно, конечно, утверждать, что NAS - это "network attached storage" и ничего более, но пользователи давно хотят большего от устройств с таким названием. Данная точка зрения существовать может, но устройство продать не поможет.
И да, спасибо, очень много новых устройств нагуглил, пока пытался что-то до вас донести. Пригодится для следующей статьи.
*да, я понимаю, что Taco мягко говоря нифига не мобилен - зато по спекам ближе него ничего не спаяли.
"К счастью для компании" (с) здесь не ваш личный блог, где правила устанавливаются лично вами для всех комментаторов.
Здесь не запрещено обсуждать существующие и потенциальные альтернативы продукту, который вы описываете/рекламируете.
PiKVM - самое известное и крутое сообщество, которое занимается подобными проектами, все их проекты есть на github и могут быть названы "готовыми DIY-проектами".
Ещё есть Jeff, но его на Хабре нет, но он тоже подобное уже пилит.
(и да - обратите внимание на часть предложения "их проекты").
https://github.com/will127534/CM4-Nvme-NAS?tab=readme-ov-file
https://www.willwhang.dev/CM4-Nvme-NAS/
Вот в этом проекте человек получил вполне терпимые 200-400 мегабайт на чтение при iodepth 8 и дальше (50-100k iops 4k read).
Как раз на 4 NVMe на малине.
Не представляю правда, достаточно ли этого, чтобы сделать готовую схему для людей с паяльником (ну и понятно, что может это вообще никому не интересно дальше), так что надеюсь, пригодится, ну а если нет - то сорри)
А, вы меня поймали на том, что я опять m.2 sata ssd называю "m.2 ssd", а m.2 nvme называю правильно.
Ну бывает.
Да, всё так.
Thermal throttling есть и в m.2 sata, и в 2.5'' SATA
При недостатке питания диски переходят в idle. Они способны делать это множество раз в секунду - как m.2 sata, так и m.2 nvme.
Это один и тот же механизм - при thermal throttling диск так же переходит в состояние idle на короткие промежутки времени, что повышает latency диска и снижает количество IOPS.
Искать точные цифры для никому не нужных m.2 sata - затруднительно, поэтому в пример приведены именно NVMe - цифры всё равно схожие.
Производительность которых превышает производительность вашего устройства в сотни раз, тем не менее. Этот комментарий написан с "бушного ноутбука" с 500к IOPS с диска.
Хорошо, подождём аналогов вашего устройства от людей, имеющих успешный опыт доведения DIY-устройства до состояния "скачал инструкцию и сделал", а не будем пытаться понять, что не так с вашим.
Ваша позиция ясна.
Кстати, вы можете провести простой тест, чтобы узнать, насколько массив в вашей плате медленнее ожидаемых значений конкретно в вашем устройстве.
Просто прогоните FIO сначала на том диске, который стоит в m.2 на материнской плате, а потом прогоните такой же тест на одном диске в вашей собственной плате. Выньте по очереди их из raid-а и запустите FIO на отдельных дисках.
mdadm --fail /dev/md0 /dev/nvme0n1p2
mdadm --remove /dev/md0 /dev/nvme0n1p2
... fio tests ...
mdadm --add /dev/md0 /dev/nvme0n1p2
Само собой, md0 и nvme0n1p2 нужно заменить на девайсы вашей системы (вероятно, sda2 какой-нибудь), и FIO нужно запускать при отсутствии другой нагрузки на проц/диски.
Тогда не придётся сравнивать эти цифры с какими-то другими мифическими устройствами, которые не подходят под ваши требования, всё будет честно, мы узнаем точную разницу. А уж посчитать ожидаемую скорость raid5 из дисков с известными характеристиками можно вообще без проблем.
Мои любимые intel 670p вне троттлинга в нулевом power state хотят 5.5W.
WD Black SN850 без троттлинга в PS0 заявляют 9W.
И на примере Corsair MP400 можно посмотреть на рост потребления в зависимости от размера диска - 4W для 1TB версии и уже 6.5W для 4/8TB версий.
Реальное потребление тестировали у Samsung 990 Pro - The power consumption of the 990 Pro while writing is between 5.0 W and 5.1W depending on the drive’s capacity, and the read varies from 5.4W on the 1TB option to 5.8W on the 2TB model. А вот тут даже с картинками для того же 990 Pro в зависимости от iodepth.
Сами же Сосунги пишут про потребление своего диска так:
Average: 5.4 W
Maximum: 7.8 W (Burst mode)
Конечно, реальное потребление несколько ниже (я бы закладывался на PS1 в реальном мире - или на минус 2W, как у самсунга), но как только диски "увидят" что они не получили достаточно вольтажа по требованию - они вольны деградировать до любых минимальных значений.
Вообще же спеки NVMe рекомендуют стабильные 12W+ на каждый девайс. Это, конечно, цифры именно для NVMe, а не m.2 ssd, но в качестве пищи для размышления тоже стоит оставить эту информацию для ваших последователей.
В любом случае, вы не первый, кто пытается припаять 6х дисков к армовой плате, и проблемы с питанием у них возникали. Вот вам ещё раз ссылка, у них питания на 3 диска хватило.
Скорее всего, у вас 30W питания во всём устройстве, процентов 20 улетает на нагрев, из 24 оставшихся где-то 7 уходит на SoC под нагрузкой (который пыжится, пытаясь что-то сделать с raid5), 4-5 уходит на m.2 в основном слоте, ещё сколько-то на всякие wifi-модемы-плашку памяти. Сколько там остаётся пяти дискам? Точно ли всё, что остаётся, подаётся на их плату?
Либо, как вариант, диски отжирают всё питание, а троттлится из-за недостатка питания наоборот процессор - и не справляется с математикой для raid5
/me записался в виртуальный waitlist -)
Спасибо!
Любой не любой, но попробовать на телефоне с OTG можно
А что если я вам скажу, что у них в те же 8х на том же процессоре есть версия на 12 nvme -) ?
В общем, у них распаяно не 1 lane == 1 nvme, к сожалению. Используются PCIe-бриджи, и как оно там внутри - без даташита не разберёшься. Очень кажется, что часть дисков у них сильно меньше получает BW, чем другие.
ЗЫ - сам восхитился, потянулся покупать, а потом посмотрел реальные тесты -(
@mdevaevне хотите, кстати, в PiKVM community что-то похожее сделать на 4 диска в ваших корпусах? (сорри, что личный mention, больше никого на хабре не видел)
Здесь ещё подобное делают, может с ними совместно попробовать (они, правда, целятся в 6 дисков, но тоже уже хлебнули с питанием, хватает только на 3 от одного порта).
Ещё бы на ASM2806 и на nvme вместо мертворождённых m.2 ssd
Идея-то хорошая, только проблем у данной реализации много - питания всем дискам не хватает, проца под raid5 не хватает.
А в корпус V4 Plus как раз на глазок 4х2280 влезут на плате с двух сторон >_>
Хотя про Flashstore я может и зря быканул, тестов нет, а распаян он очень странно. Про него известно только то, что он 10 гигабит может отдавать, а вот локальный FIO ему никто толком не запускал.
Буду считать, что Flashstore выдаёт не миллионы, а всё же 3 сотни тысяч IOPS (3 сотни 4k randread он выдаст точно, больше нужно смотреть тестом - скорее всего, упрётся в 4 гигабайта в секунду (на 8 он не распаян точно), что даст миллион IOPS только в идеальных условиях, если вся нагрузка распределится по дискам идеально так, как того требует распайка, а этого, конечно, никогда не случится).
Кстати, о каких вы чипах по 250 баксов для PCIe-коммутатора вы рассказываете - тоже непонятно (хотя допускаю, что конкретно PLX стоит именно столько, но альтернативы-то ему вы не поискали - хотя и утверждаете, что сделать устройство быстрее вашего в том же размере невозможно, не добавив к его цене 250 баксов).
ASUS, например, построили свой PCIe-коммутатор на чипах, которые стоят 30 баксов в розницу