Comments 94
Сборка
Вот сразу после этого что за фото? Что за плата?
Если речь про разработку своей платы то очень странно что про это ни слова.
Здорово
Размещайте в следующей версии диски в ряд по три
123
456
789
и т.д.
Есть ещё один момент.
Гелиевый на 18ТБ диск будет потреблять меньше, чем набрать 18ТБ ноутбучными.
Потому советую v2 делать для 3,5 дюймовых.
PCIex отлично можно подключать IPass кабелями
Я так понимаю автор почему-то не хотел делать питач VBAT-12v. Хотя по идее для человека разведшего PCIE, SATA сделать SEPIC не должно быть проблемой.
Да верно 12 В не хотел, много ноутбуковских БП лежат..
А в чем проблема? Ноутбучные бп почти все на 19в. Сделать ещё одну понижайку 19->12в и всё... не?
Возможно, на жестких он хотел RAID массив сделать, чтобы данные надежнее хранились
Для справки: по спецификации 3.5" гелиевые диски потребляют от 6 до 10 Вт во время операций чтения/записи, диски 2.5" 1.9 - 2.1 Вт.
По моим замерам гелиевый Seagate Exos X18 на 12TB потреблял где-то 10Вт из розетки после того, как раскрутится. Старенький портативный WD My Passport на 1TB потреблял 2Вт из usb порта.
А не думали сделать подключение NVMe напрямую на шину PCI ?
Как всегда в статьях про NAS задаю вопрос: какая максимальная скорость чтения/записи через SMB шару через сеть получилась? Можете померить?
С таким процессором — скорость будет ограничена гигабитной сетью. Т.е. 110-120МБ/с.
Замерю, выложу.
Добавил тесты с Samba
Очень здорово, спасибо!
Добавил копирование под Windows того же файла
Интересно, под Linux как добиться выше скорости...
Отказаться от самбы в пользу например nfs или sftp (а лучше и того и того)
Первый не имеет ничего для секурности, но он шустрый по ряду причин.
Если же важна именно самба можно попробовать реализацию сабы в ядре а не в юзерспейсе (должно быть шустрее)
Используйте распберри. Я цеплял к распберри nvme диск и имел по самбе всегда максимальную скорость в 1гигабит на виндовую и с виндовой машины, при этом сам процесс самбы отжирал близко к 100% проца распберри.
Я думаю у вас она проседает, ибо что-то перегревается и троттлит.
На счёт 2.5" — большая их часть сегодня черепичные, что не даёт их использовать в RAID'ах и прочих zfs. CMR осталось только в мелких дисках.
Не то, чтобы это запрещает делать NAS на таких дисках, просто надо учитывать.
Да с черепичной записью на сегодня проблема, как по мне для всех жестких дисков..
@timflookeОтличная статья, спасибо. Вопрос всего один, а не хотите с сообществом поделиться файлами для печати плат, да и если гитхаб проекта откроете, по любому найдутся желающие помочь с развитием проекта.
Вопрос по JMB575, не увидил в статье откуда фирмварь взяли для чипа.
С готового контроллера скопировали флэшку или нашли образ?
usb + usb hub с внешним питанием + usb-hdd проходил, стабильность удовлетворительная...
https://yorique.ru
cockpit от редхат для контроля
торрент на кубитторент-нокс
облако+контакты+календарь на некстклоуд
ну, пхпмайадмин - для удовольствия но можно и нет
видеонаблюдение на зонемайндер
опдс каталог бекапа флибусты с рутракер для читалки
редмайн для работы
ну что-нибудь еще если не лень когда-нибудь.
ни для чего из этого не нужно что-то сложное и специализируемое, любой древний говнокомп с кучей винтов стянутых пластиковыми стяжками и бу lsi hba с алиекспресса на мдрайд райд6.
ps. стабильность - 3 квартиры и ~7 лет. Автор чота СЛЕГКА переусложняет :)
> б\у роутер с usb + usb hub с внешним питанием + usb-hdd 2.0
И будет у вас скорость доступа к такому NAS как к старой флешке.
Как эксперимент - отлично.
Но практике я бы такое не использовал.
1) Один 10tb 3.5" диск будет потреблять меньше, чем 10шт 1tb 2.5". И шуметь также 10шт будут больше.
Экономия энергии это конечно хорошо, но куда важней сохранность данных...
2) Постоянные вкл/выкл - это хуже, чем если диски просто работают постоянно.
3) Жесткая связь между дисками - плохо. Они будут убивать друг друга вибрациями.
Из 2.5" ssd еще можно бы было допустить, но в этом мало смысла если больше 1гбит сеть сделать нет возможности.
Сам собирал ни один nas/роутер/сервер домашний и сейчас конечно использую (однажды напишу статью). И могу сказать, что nas'остроение это как аудиофилия или кофемания. Стоит только начать и остановиться будет трудно... В итоге будет и сеть по оптике, и виброразвязка, и шумоизоляция, и долгие торги с самим собой, что нет нужно домашнему роутеру больше 1 xeon'а...
В моем случае есть очень много файлов которые реже чем раз в месяц использую, поэтому у меня постоянно работают только 2 диска в raid1
Тут согласен, если часто это делать
На данный момент связки жёсткой вовсе нет т.к. корпуса пока нет. Но по этому вопросу тоже придумываю на будущее
Это первый вариант замены nas на базе ПК ;-)
К фоткам выше, прикольно...
Крепеж дисков заценил!
Но производительность требует больше электропотребления, и размеры. Для меня столько не нужно)
Маловато - "У кого-то щи пустые, а у кого-то жемчуг мелкий" :) Тут нет одного решения для всех. Дисков было долгое время 2шт, сейчас 3шт. 4 слота в самый раз, но чисто для меня. Кому и 1 за глаза, а кому и 10 маловато будет.
Там идея чтобы дуть снизу вверх. На входе автомобильный воздушный фильтр, идеальной площади под 3шт 140мм вентилятора. И вся эта площадь идеальна для 4шт hdd.
Дальше вентилятор на радиаторе процессора и в самом верху отверстие в корпусе с оконечным вентилятором, за которым вентканал с сеткой и выходом наружу в вентиляцию.
Все это висит на стене в кладовке.
Интересное решение! Плюсанул! А расскажите про спеки и крепеж дисков, если не секрет. Желтые вставки - что то виброгасящее? Фильтр на дне помогает или не очень?
Расскажу однажды в статье. Там от начала его создания 10 раз многое менялось. И еще будет меняться :)
Если чуть окунуться в тему шумоизоляции квартиры, то легко найдем множество вариантов всевозможных виброподвесов:
https://www.acoustic.ru/productions/brands/vibroflex/
Можно изобрести что-угодно свое, не обязательно повторять. У меня также было много вариантов как реализовать, выбрал такой т.к. на руках оказались именно эти подвесы.
Фильтр конечно помогает, это не "поролонка". Но и препятствует потоку также прилично. На лето убирал его. Но то было когда верхняя сетка была очень мелкая. Недавно заменил на более пропускающую и сейчас меня все устраивает при таких оборотах вентилей (выше скрин). Но пока и прохладно, как оно будет летом поглядим.
Это бесконечный конструктор, можно постоянно что-то модифицировать.
Есть мнение/предположение что нужно не (вибро)изолировать диски, а гасить вибрации. Для самих дисков, вибрирующих как не в себя на изолированных подвесах, тоже мало хорошего от такой жизни.
Мнение не лишено смысла, но реализовать как? Если сделать корпус из свинца, то может быть :)
Вот к примеру один из дисков. 5 лет пробег, из которых 3 - в этом подвесе.
Второй такой же - 6 лет и также без нареканий с smart'е.
Это всяко лучше, чем когда диски жестко прикручены к легкому корпусу и плюс когда их много рядом. Я прямо слышу боль, когда вижу корпуса типа таких:
Справедливости ради, если кто-то может позволить себе себе такую железку(как на картинке) и может позволить себе забить её серверного грейда дисками, то заменить на один диск в год больше(на один больше чем если бы они, условно, висели каждый на своем подвесе и возможно шанс выхода из строя стал бы меньше) для него не проблема. И это на самом деле еще предположение что серверного грейда дискам не пофигу на эти вибрации(а производители дисков как раз пишут что им на них пофигу, точнее что можно неограниченное количество дисков ставить в один шасси).
У меня для дома попроще железка, и то 10 было. Ну а для надёжности обклеил виброизоляцией, шума и дребезга с ней намного меньше.
К разговору о вибродемпфирующих материалах, собрал себе не так давно новый NAS в корпусе Fractal Design MESHIFY 2 XL(16-18 дисков 3.5" влазит) со стеклянной дверцей(не было в наличии с металлическими), засунул туда пачку WD Ultrastar DC HC550 и был крайне удивлен что стеклянная дверца начала практически звенеть. В итоге нашел нормальный вибродемпфирующий материал, который не пачкает все вокруг как обычные с черным битумным слоем, обклеил им внутри все что можно было обклеить, стало гораздо лучше.
Но ведь по факту вы избавились не от проблемы (вибрации дисков), а от её проявления (дребезга конструкции)?
Жесткая фиксация к массивному корпусу. И всё дребезжащее должно быть так же притянуто. А вы просто от звука избавляетесь, получается.
За виброподвесы однозначно плюс.)
" 1) Один 10tb 3.5" диск будет потреблять меньше, чем 10шт 1tb 2.5". И шуметь также 10шт будут больше. "
да, это так.
Но как игрушка и эксперимент микроплата с 10 дисками смотрится впечатляюще, в отличие от просто хорошо работающего NAS с 2-3 "большими" дисками.
одноплаточника
Речь же не о платОчках, а об одноплатнике же ;)
Поделитесь исходниками платы. Народ пропитается благодарность
Таки не я один такую больную идею имею, чай автору
Сам думаю в сторону ROCKPro64 + HBA и сборки всего этого в стандартном (почти), покупном компьютером корпусе под два 3.5 диска
У меня нечто подобное (ROCKPro64 + ASMedia ASM1166 + 6х2,5") работает с октября 2019 года, в родном корпусе ROCKPro64 Metal Desktop/NAS Casing. Меня вполне устраивает данная сборка: потребляет мало, греется не сильно, производительности вполне достаточно (с учетом, что диски SMR). Каких либо проблем за время работы - не было совсем.
Самая ценность статьи - гербер платы и прошивка с хардварными подробностями про PCI-e и SATA почему-то опущена :(
Автор, дайте народу плату и фирмварю!
Рискну предположить, что автор не может дать народу фирмварю, поскольку есть определенные обстоятельства (см. выше). А нет фирмвари, то с платой возникает больше вопросов.
Вопрос по JMB575, не увидил в статье откуда фирмварь взяли для чипа.
С готового контроллера скопировали флэшку или нашли образ?Долгая переписка с производителем...
Как развлечение, а также как показатель "могу спроектировать воот такое" - это хорошо, но как NAS - несерьёзно.
Пачка из 10 дисков, кое-как закреплённые, без корпуса.
Ненужные, при таких объёмах, и потенциально сбойные мультиплексоры.
Всё это прекрасно заменяется мини-nas с 2-3 дисками по 12...18 Tb, с бОльшими скоростью и надёжностью, значительно более простым обслуживанием.
Кстати, плановая замена через Х лет дисков это тоже плановое обслуживание, теперь сравните, менять 2 или менять 10.
Да, полноценный х86 мини-nas это ещё и возможность использовать zfs, что даёт о другой, более высокий, уровень сервиса и надёжности, особенно если дисков больше 2.
Мультиплексоры работают без нареканий, перемещал много файлов уже не раз по 500Гб за раз. Как между мультиплексорами так и в пределах одного. Глюков не было!
Ну а корпус еще не сделан, выше было написано...
zfs это поддержка ОС, а не конкретно x86...
Ну и последнее количество дисков которые можно подключить это только плюс, а не минус...
не совсем так, для zfs желательны надёжная память, и побольше, процессор не совсем дохлый, и стабильный модуль в ядре.
В случае микроплаты на arm всего этого, пока что, нету, а мини-серверов на arm по разумным ценам, да ещё и чтобы были в розницу, я не знаю. Оптом, в датацентрах, да, такие сервера (и совсем не мини-) есть.
Диски 2.5 дюйма нынче это 1-2 терабайта с SMR. CMR только подержанные. На 4 терабайта есть, но дорогие и двойной толщины. Вместо 10 таких инвалидов лучше взять один-два 3,5 дюймовых терабайт по 20.
Насчёт самбы. У меня такие настройки:
socket options = SO_RCVBUF=10485760 SO_SNDBUF=10485760 IPTOS_THROUGHPUT TCP_NODELAY
large readwrite = yes
max xmit = 65536
min receivefile size = 65536
use sendfile = true
aio readsize = 65536
aio writesize = 65536
guest account = nobody
read raw = yes
write raw = yesЕщё парочка параметров:
sysctl net.core.wmem_max=33554432 net.core.rmem_max=33554432По гигабитной сетке оно даёт стабильный 100 MB/s в обе стороны на файле размером в 100G (сами диски умеют около 150 MB/s) на Windows 11 без дополнительных настроек. Даже на 10 гбит сетке скорость была близка к 1 GB/s (при записи/чтении на NVME диск).
И насчёт проверки скорости. dd в чистом виде не покажет скорость диска, нужно добавлять oflag=direct (при записи на диск) или iflag=direct (при чтении), но лучше всего для этой цели использовать fio (есть в пакетах) примерно так:
fio --filename=fio-test.bin --size=10G --rw=write --bs=1m --eta-newline=1 --direct=1 --name=write--filename нужно указать путь к файлу на диске, размер по желанию но лучше не менее гигабайта (чтобы обойти кэш самого диска, если он назойливый). Параметр --direct=1 не даст системе кэшировать операции. Для теста на чтение соответственно использовать --rw=read.
Этот тест покажет реальную производительность диска при записи/чтении больших файлов последовательно (обычно то для чего и используется NAS).
Чтобы исключить потенциальные проблемы с самой сеткой - можно использовать тулзу типа iperf3 (есть и для Windows тоже) - померять скорость в обе стороны и посмотреть на загрузку процессора на NAS - если сетка даёт весь гигабит и процессор не сильно грузится - значит должно получится и с самбой.
socket options = SO_RCVBUF=10485760 SO_SNDBUF=10485760 IPTOS_THROUGHPUT TCP_NODELAY large readwrite = yes max xmit = 65536 min receivefile size = 65536 use sendfile = true aio readsize = 65536 aio writesize = 65536 guest account = nobody read raw = yes write raw = yes
Эти настройки на стороне клиента под линухами?
И разве их актуальность уже не устареля?
На счет утилиты fio, согласен позже нужно будет поганять, так для себя..
Это для сервера на стороне NAS в /etc/samba/smb.conf.
А вот насчёт устаревания - может что-то из этого уже и стало оптимальным по умолчанию (кроме разве что socket options), но и в этом случае хуже быть не должно.
sysctlпо любому нужно, умолчания там просто никакие.
Вы же упомянули что по самбе получаете всего 50% - так что вероятно что что-то недокручено.
Добавил в статью тесты утилитой fio
И немного доработал менеджер питания, так чтобы было как у обычного компьютера, если его включаешь в сеть, он не включится сам, пока не нажмешь на кнопку питания.
у меня нас умеет сам включаца после сбоя по питанию, зачем ограничивать себя?
Может кто подскажет ссылка на плату расширения для raspberry 3 для 3.5 дисков? А то везде для 2.5 только нахожу.
Ребят, может слегка офтоп, но нужен совет. Как бы замутить нечто подобное, но для SAS-дисков? Или может кто знает где поискать готовое решение. Осталось много серверных дисков SAS, выбросить жалко, а куда применить я не знаю. В принципе и сервер есть, но шумный и большой, гад.
Будучи радиолюбителем с более чем 20-летним стажем сижу я сейчас смотрю на плату и мысль думаю. Раньше такие платы достать было сродни чуду. Радиолюбители мучились с хлорным железом, лаками. А сейчас нарисовал разводку, заказал плату в Китае - и сиди себе паяй. Что хочешь собирай, хоть свою материнскую плату. Здорово же, правда?
Домашний NAS сервер