Comments 261
Как видим, скорость отличная, но, честно говоря, апгрейд до 10 гигабит для сервера с парой жёстких дисков и без какого-либо продвинутого кеширования или больших объёмов оперативной памяти — бесполезен.
Почему бесполезен? ZFS поддерживает дополнительные накопители в качестве кеширования. Можно поставить дополнительный SSD в качестве кеширующего.
В следующей статье как раз будет ссд но под приложений. Для кеша тут нужен хороший износостойкий ссд хорошего обьема, а они не дешевые.
Я использовал под кеши серверные интелы б\у с авито - 128 стоит копьё. 2 штуки в зеркало. Работало отлично.
Когда собирался то ничего интересного ниже 2-3к за 128гб не нашел. Рассматривал вариант с 64гб оперативной памяти (около 10к-13к за 2 планки по 32гб), но пока пришел к выводам что текущего конфига хватает.
бу sata можно посмотреть не только интел, есть другие варианты по запросу "SSD MLC". Масса дисков ~6-10летней давности ssd была на MLC (вопрос какая там скорость записи). Kingston KC400 терабайтный у меня с 2016 года около 5 лет использовался в ноуте как единственный диск (система+данные) и до сих пор показывает 100% живости. Подозреваю обманывает :-)
Intel DC в современных спеках указывают уже 3d TLC. Из новых интересно узнать про Micron, по TBW он схож с интелом при более низкой цене. TBW разительно растёт с ростом объёма диска.
Недавно на хабре была статья как из MLC-диска сделать SLC. Износостойкость увеличится.
https://habr.com/ru/companies/ruvds/articles/816463/
нужен хороший износостойкий ссд
Зачем износостойкий? Если потеря диска чревата потерей некритичных данных за небольшое время, то этим риском можно пренебречь.
Как показывает практика, для вменяемой работы кеширующего SSD нужно выделить еще больше оперативной памяти, чем для работы без него.
Вот здесь есть расчеты:
When should I use L2ARC?
For most users, the answer to this question is simple—you shouldn’t. The L2ARC needs system RAM to index it—which means that L2ARC comes at the expense of ARC. Since ARC is an order of magnitude or so faster than L2ARC and uses a much better caching algorithm, you need a rather large and hot working set for L2ARC to become worth having.
Но TL;DR в том, что на деньги, что вы потратите на SSD, лучше докупить ОЗУ. SSD под кеш начинает приносить пользу примерно после 64ГБ ОЗУ под основной ARC.
Л2АРК начинает приносить пользу когда рабочий объем сильно превышает размер оперативки. У меня дома хранилка на 170тб на трунас кор, л2арк на 256гб, оперативы 64. Размер данных с которыми работаю в проекте примерно 1-4 тб. Хитрейт в л2 около 50% (но после тюнинга чтобы туда выгружало данные быстрее).
В общем, надо статью тоже пилить как собрал очень-очень задешево нас из говна, палок, поддержанных винтов после chia, дисковой полки с алиэкспресса и тумбочки из икеи.
У меня на 100ТБ, я подключил 1ТБ L2ARC SSD, и не увидел вообще никакой разницы в скорости доступа. Оперативки (из 64ГБ) оно сожрало при этом больше... Поэтому склонен согласиться с выводами в статье выше, но возможно все зависит от данных.
Это зависит еще и от размера блока. Оно держит в оперативке еще и таблицу на л2, и чем больше блоков тем она больше. У меня стоит 1мб размер блока (тупо максимальный что доступен в гуи) - таблица размещений где-то 200мб примерно занимает.
Но у меня именно данные такие (большинство их) что большие блоки лучше всего: футаж с видеокамер blackmagic, по 500-800гб одним файлом. Ну или равки фоток или файлы фотошопа - там по 1гб на файл легко.
Аналогично. В чем же смысл их сгружать в L2ARC? Для монтажа? Есть ощутимая разница?
Да, но было не заметно на гигабитной сети. Как сделал 10гбит сразу стало лучше.
Хммм, а есть техническая возможность прогнать какой-нибудь Pudget Bench в Premiere с L2ARC и без? Я не уверен, что он покажет разницу в производительности дисков, но если она будет, то наверняка из-за наличия или отсутствия L2ARC.
Есть идея записать ETW трейс или с ProcessMonitor по I/O всего процесса. Потом с помощью скрипта воспроизводить эту нагрузку на диск. Думаю так PCMark и некоторые другие и делают. То есть сложности две: парсинг и подготовка свободного места под "тестируемые" файлы (не блочным же доступом к диску обращаться?).
Потестить не могу, тк не хочу рисковать целостностью массива с невосстановимыми данными удаляя л2 девайс из пула: где-то пишут что это не поддерживается в трунасе, где-то пишут что можно из консоли, где-то пишут что опензфс начиная с какой-то версии не даёт так делать.
Но могу сказать свои наблюдения: я когда поставил л2 заметил разницу только после тюнинга (причем сильную) - там по дефолту стоит лимит на скорость заполнения (feed rate) типа 20мб/с, большой порог на горячесть данных и что-то ещё.
Сейчас пытался найти гайд по которому тюнил, не получается. Если буду делать отдельный пост про свой сервак то попробую в истории найти, ну и свой конфиг выложу.
Так и знал, что это Вы) Будем ждать стаьтью)
многа букав, не читал
jonsbo n2
itx/slim itx
truenas/freenas
диски на выбор
А во сколько обойдётся ваш вариант?
В названии статьи присутствует слово "бюджетный", а это не про ваш вариант где один jonsbo n2 стоит от 13к. Но это не много на фоне ITX материнок с ценами от 6-8к даже за старые сокеты.
N4 на сегодня стоит 10,5К и в него встаёт обычная mATX. По сравнению с "корпусом" из статьи - своих денег явно стоит, если не упарываться в RM корпуса.
Сначала тоже смотрел в сторону ITX но понял что нет смысла. Выбор материнок под мои хотелки никакой, а выигрыш в габаритах минимальный. Если уж прям совсем экономить габариты, то покупать коробочки на N100 как ниже привели.
а еще в названии статьи не присутствую слова "диски хрен пойми откуда". но ты такие поставил.
На фоне стоимости дисков это бюджетно.
К тому же есть n4 и анонсированный n5. Они под matx, а n5 даже под atx-овый БП. Atx-овую мать и БП, можно условно "на помойке" взять.
Другой вопрос, что совсем не стоечные и не совсем тихие (виброшайбы не сильно спасают в n4).
В принципе, всё от поставленной задачи зависит. Вам видимо Ваш вариант больше подходит. Меня, мой с N4 пока тоже устраивает.
Если нужна совсем тишина, надо ставить тихие харды и пассивное охлаждение. Тихие харды еще и жрут меньше и соответственно меньше греются, но работают медленней.
Упарываться в звукоизоляцию - тупиковый путь. N4 как по мне вполне разумный баланс между затратами и эффективностью. Приглушает самые неприятные высокие частоты - и ладно.
Вообще решение с салазками там мне понравилось своей оригинальностью и дешевизной. Хотя это больше на прибыль производителя влияет чем на потребительские свойства, но тем не менее.
Хех. Лично мне больше понравился n1, как-то он для дома выглядит покомпактнее. Хотя если нужен хотсвап дисков - n2 конечно лучше. И если честно - не вижу смысла в спец ОС для NAS, по крайней мере в приложении к домашней хранилке. Обычный дебиан справится не хуже.
а мне n1 не понравился от слова совсем. n3 неплохой, но 8 дисков оверхед + неудачное охлаждение (имхо).
n2 идеален во всем. компактные размеры, pcie слот, sfx бп устанавливается вентом наружу, охлаждение, заточенное под топ флоу кулера (перфорация сверху). хотсвап особо преимуществом не считаю, редкая операция для меня. единственное - заменил задний вентилятор на 25мм от be quiet. из за выпирающего молекса влез впритирку. но и шум несравнимый, по сравнению с шумом дисков.
И если честно - не вижу смысла в спец ОС для NAS
ну мб кому то чисто под нас - наверное проще. у меня же это фактически резервный пк, поэтому обычный дистр.
Очень хорошая статья, единственное, на мой скромный взгляд зеркало из дисков на 14Тб, даже с ZFS, не очень быстро. Могу сказать что 10-й рейд на старых серверных seagate constellation + два samsung 860 pro по 1Тб, в качестве кеширующего пула, работает куда живее. Кстати, система стоит на m10, как и у автора статьи. Очень удачная штука, для подобных кейсов.
А, ещё я напрочь проигнорировал рекоммендацию с ECC, посадив это всё на b150 с 7700 и 32Гб рам. Года уже как три точно, получившаяся шайтан коробка, бесперебойно радует домашних.
Спасибо за статью.
Вставлю свои 5 копеек, готовый бюджетный вариант
2 LAN 2.5Гб\с, 1 m2 , 2 hdd
Можно найти такой же вариант с amd ryzen 7 5825u. В нем будет 2 m2, но и стоит он "пустой" под 40к.
На самом деле действительно хороший вариант для дома. Если бы не рэк то я бы такой Nas поставил.
Прикольная штука, тоже на неё смотрю. Хочется сделать два в одном - NAS плюс медиа плеер возле телевизора, пока не совсем понимаю, какую ос и софт ставить, чтобы решить эти две задачи
Linux + Plex.
Вместо плекса можно использовать minidlna.
1 Ставим proxmox ve на m2 + собираем из вебки прокса zfs raid1 из 2х hdd.
2 На проксе ставим lxc с alpine linux и в нем в докере:
https://blog.kye.dev/proxmox-series
Разделы:
Setting up the Servarr stack
Configuring GPU passthrough 
медиаплеер сильно улучшает качество видео, нежели вы будете то же самое видео напрямую смотреть с дисков, соединив через usb или еще как нибудь?
К слову, неделю назад на али заказывал себе такое ведерко с 5825u за 25к.
У китайцев ещё можно купить AOOSTAR WTR Pro на 4 HDD. Есть модели так же на n100 и 5825u. Характеристики, цена ± такая же, но неизвестно сколько будет стоить доставка.
Интересное, но на али.ру не нашел (
Выглядит интересно, но на ру алике также не нашел.
Вообще хотел бы прикупить что-нибудь такое компактное и энергосберегающее, но смущает ограничение в количестве дисков и охлаждение, четыре харда в стеке друг друга прилично греют на 40-43 градуса точно. Да и систему привык ставить отдельно от основного массива хранения.
С другой стороны моя домашняя хранилка на 6 дисков RAID6 из обычной старой пекарни так жрет электричество, что я её почти перестал включать, и использую больше как склад файлов на черный день включения полного Чебурнета. Но ATX пекарни хороши тем, что они расширяемые и легкообслуживаемые.
Мини-ПК на два диска в качестве NAS это смешно и не понятно для чего заморачиваться тогда. На 4 уже имеет смысл.
Можете ли дать ссылку на этот девайс на али?
Ищите по названию в поисковике. С официального сайта AOOSTAR они отправляют в Россию (почти во все страны, исключения там же указаны). На сайте всё распродано, но уже было 3 волны предзаказов, и можно в поддержке спросить будет ли ещё одна волна.
Я сделал предзаказ в августе и жду, когда отправят (обещают с 5 по 10 сентября).
Оно прям полноценный комп? С UEFI и развлекайся-как-хочешь с ОС?
о! знакомая железяка, купил себе такую в варианте с 300U, докинул 32 памяти, полёт нормальный, вполне доволен
.
Интересно, возьму на заметку
Недавно тоже собирал себе бюджетный (для своих целей) NAS/домашний сервер и получилось подороже чем у вас, конечно, но тоже дешевле покупных вариантов.
Хотелось красивенько, так что пошёл с ITX корпусом KCMconmey 4, который обошёлся мне в 11606 йен.
Поскольку для домашнего сервера нужны определённые мускулы (гонять медиасервер, кучу виртуалок и т.д.), то решил пойти с AM4 сокетом, а как процессор выбрал Ryzen 5700g (встроенного графического ядра должно хватать на плюс-минус адекватный по скорости декодинг). Мать же взял самую дешёвую какую смог найти в сетевом магазине вторичных товаров. В результате вышло
ASRock B550M-ITX - 14450 йен
Ryzen 5700g - 23000 йен
Для виртуалок нужно много оперативки, поэтому взял Patriot Viper (2x32GB) за 17300 йен.
В корпусе ну о-о-о-очень мало место под кулер и на рынке буквально один кулер на АМ4 сокет подходит - Noctua NH-L9a AM4. Он обошёлся в 6300 йен.
И наконец БП. Для копуса нужен либо Flex, либо 1U БП и я взял SilverStone FX350-G 80PLUS за 10081 йену. Это единственный компонент где я немного был неправ, поскольку плашка под БП на корпусе не предполагала кнопку включения. В результате я не очень красиво откусил середину плашки плоскогубцами.
По итогу без учёта накопителей вышло 82737 йен, или 52 тысячи рублей в переводе.
Как жесткие диски взял 4 б/ушные красные ВДшки на 4 tb с хорошими SMART - это обошлось в 7000 йен по 4 раза, то есть 28 тысяч йен. Как диск под систему - дешевенькую m2 ADATA на 512gb за 5 тысяч йен. 117737 йен в сумме, или 74 тысячи рублей в переводе.
Как систему конечно поставил TrueNAS Scale - сочетание удобства, простоты и функциональности у него получше, чем у OMV.
Результатом доволен как слон. На будущее ещё остался свободный PCIe слот под сетевую карту, если захочется, например, ещё и роутер виртуализировать.
Неплохо! У меня кроме NAS есть основной сервер на 13600к, он уже занимается тяжелыми задачами виртуализации, поэтому на NAS было решено экономить.
приветствую! подскажите пожалуйста, вы случаем на свой сервер не ставили Plex Media Server? просто на офф.странице дистрибутива TrueNAS Scale к данному приложению указано что "(Требуется подписка на Plex Pass) "...
Plex работает и без подписки, но, к примеру, если Plex-клиент установлен на телевизоре, то может возникнуть проблема с неподдерживаемой кодировкой видеофайла. Если исходная кодировка файла не поддерживается, Plex может декодировать файл, но для этого потребуется эта самая подписка. При использовании клиента Plex на пк таких проблем у меня, к примеру, не возникает даже без подписки.
Плекс декодирует и без подписки. Но тогда там декодинг софтовый.
Plex бесплатно не конвертирует цветовое пространство HDR в SDR, если клиент не умеет HDR.
А Jellyfin в качестве более свободной альтернативы не рассматривали?
Я пробовал.оказалось он все время лагает.на форуме пишут, что лечится только покупкой премиума.дальше не стал разбираться и вернулся на плекс
лечится только покупкой премиума
Звучит как типичная история Plex и Emby. Вы с последним не перепутали? У Jellyfin аппаратное кодирование бесплатно, что собственно и является его основным преимуществом.
Jellyfin is descended from Emby's 3.5.2 release and ported to the .NET Core framework to enable full cross-platform support. There are no strings attached, no premium licenses or features, and no hidden agendas: just a team who want to build something better and work together to achieve it.
Плексу нужна подписка для аппаратного транскодинга на GPU и для того, чтобы не покупать клиентский софт на каждого клиента.
Если у вас достаточно мощный процессор и смотрите видео через браузер - можно и бесплатным плексом спокойно пользоваться.
А я под домашний NAS/сервер беру б/у сервера, они и стоят не дорого.
У меня сейчас под основной сервер Lenovo ST550, год назад брал его за 30000 йен.
Поменял ЦП на Xeon Gold 6230 +30000 йен
и добавил памяти 4 планки по 32ГБ (всего стало 6 планок по 32ГБ) +15000 йен
Бесплатным бонусом идет удаленное управление и хотсвап корзинки.
Так же энергоэффективный БП уровня platinum.
Итог 75т йен (~50т. руб).
Диски я вынимал из внешних коробок WD, покупал новыми раньше, выходило 20000 йен за 10ТБ диск.
Недавно еще Dell Poweredge T440 купил за 20000 йен.
У Dell мне импонирует, то что я все диски смогу разместить в пределах корпуса.
У Lenovo часть (3 диска) пришлось размещать снаружи, что мне не очень нравится.
Это все с Али или вы в другом месте покупаете?
Сервера на местной барахолке.
ЦП, память ebay/aliexpress (по возможности с местной барахолки, если цена низкая).
Корзинки, кабели, обычно это разные mini-sas кабеля или коннекторы для переходников куллеров.
mini-sas хоть и стандарты, но почти для каждого сервера свой набор.
Штатная корзина обычно уже подключена к своему контроллеру и тут менять обычно не надо.
А вот коннекторы на материнской плате бывают самими разнообразными, вот мой список:
Lenovo Thinksystem ST550 - SFF-8087.
Dell PowerEdget T440 - SFF-8611.
Dell PowerEdget T350 - SFF-8654-4i.
Почти в каждом сервере я меняю штатные куллеры на тихие.
Единственный сервер где такой замены не было это Dell PowerEdge T350 он оказался самым тихим и со штатным.
Спасибо. Тоже подумываю своими руками собрать NAS. Почему-то готовые решения стоят дико дорого.
минимум шума
Выбор дисков на самом деле не стоял
Если не хочется SSD, то в категории "минимум шума" хорошим вариантом являются WD Red (Plus) на 12 и 14 Тб (WD120EFAX, WD120EFBX, WD140EFFX, WD140EFGX).
В даташитах прямо заявлен более низкий уровень шума (29dB) относительно других моделей, и на практике в сравнении с большинством других дисков объемом от 12 Тб это, пожалуй, самые тихие диски.
Ага читал про wd на реддите, но их в продаже почти небыло, а сигейты хоть и шумные (звук будто за стенкой сосет в розетку пытается что то воткнуть), но очень дешевые 26к/28тб, и цена была большим приоритетом чем шум.
Внимание! Диски hdd брать только с CMR - с SMR не брать. Поискать почему.
В магазине и 3-х букв это выглядит так:
Ладно, я хоть и уважаю "задачки пытливым чтецам", но чтобы не было безмозглого "веруем, что SMR - плохо" расскажу в двух словах: при SMR при записи пересекаются дорожки, потому они ведут себя как TLC/QLC SSD. А именно, когда исчерпается место под кэш (обычная запись), то запись продолжается в SMR области и медленно. Потому что для записи 1 дорожки приходится, условно, перезаписывать еще 2. У меня это выливалось в 10-30 МБ/с (вроде как на "не-SMR" White label, но другого логичного объяснения не найду, при минимальной read нагрузке).
То есть если SMR у вас как read-only - без проблем. В RAID избегать как огня.
С "условно новыми" дисками я был бы осторожнее. Откуда их берут, большой вопрос - модели новые, в серверах в ынтерпрайзе в среднем 5 лет диски ходят, совсем новые до 7 - вот и загадка, кто же в таком безумном количестве списывает свежие рабочие диски огромных размеров? Мелочь до 3-5 терабайт да, списывают все подряд, но не 15-30ТБ никак - а рынок просто завален "новыми" большими сигейтами. ИЧСХ, ни одного нет с несброшеным смартом, несмотря на то, что рабочий б\у и псевдоновый ценой не отличаются, спрос на них тоже одинаковый - казалось бы, смысл морочить голову с процедурой сброса...
Есть мысль, что сигейт где-то крупно косякнул, и наделал тонну бракованых ынтейпрайзных дисков - ну и скинул их по себестоимости на китайский рынок неофициальным каналом.
Я согласен что с бу дисками не все так гладко, но как ни крути а цена слишком решающий фактор. Особенно на фоне дисков из крупного ритейла (днс) которые как оказалось тоже не совсем новые и не совсем белые. В идеале конечно собрать более замороченный рейд с возможностью потери двух дисков.
На счет сигейта и брака ничего сказать не могу, судя по гарантии на их сайте, диски все же разобраны из какой то системы и год минимум уже поработали. Я долго изучал лоты и отзывы и изредка попадались люди которым приходили диски с целым смартом и пробегом 7-12к часов в среднем.
Сколько они проработают я не знаю но как и обещал, отпишу если что то с ними произойдет.
Всякие облачные хостеры, видеохранилища с уличных камер и т.п. списывают по ресурсу превентивно. Допустим знают что после 100 перезаписей начинает сыпаться - на 90 списывают. В домашнем NAS он за 10 лет 2-3 цикла записи только наработает. Там это меньше погрешности, только если очень не повезёт.
Откуда их берут, большой вопрос - модели новые, в серверах в ынтерпрайзе в среднем 5 лет диски ходят, совсем новые до 7.
В кровавом ынтерпрайзе неважно сколько диск ходит, важен гарантийный срок / срок обслуживания, когда вам вендор NBD замену предоставит.
кто же в таком безумном количестве списывает свежие рабочие диски огромных размеров?
Мне как-то в партии попался один незатертый с чиевскими плотами. И это в 2024!
сигейт где-то крупно косякнул, и наделал тонну бракованых ынтейпрайзных дисков
Не только сигейт, все вендоры есть есть в продаже. Не могли же они все разом накосячить.
А еще несколько лет назад все авито было завалено 4/6/8/10 терабайтными тошибами, но там хоть смарт не нулили, честно говорили что бу, но пробеги тоже небольшие. По слухам, и по наклеенному ДСП штрихкоду с буквой Я - сливались из Яндекса
когда вам вендор NBD замену предоставит.
С какого-то момента, и довольно давно, старые диски у крупных клиентов тот же сигейт стал выкупать назад, давая скидку на новые. Они старье восстанавливают и продают подешевке - но там жирно написано на наклейке, что восстановленный - лично видел такие. Клиенту это выгодно - утилизация стоит денег всё-таки...
Хотя, чел выше верно сказал - могли снимать с видеонаблюдения китайского - аналитика шагнула вперед, и хранить весь поток стало просто не нужно... Датацентры там были колоссальные, диски списывают, взамен ставят уже ссд местного разлива...
Скрытый текст
Stop hard drive shredding. Shift to a mindset of sustainability. Despite modern state-of-the-art sanitization techniques, data security remains the biggest concern in adopting drive circularity. This leads to widespread hard drive shredding, with over 200 million devices disposed yearly. We're enabling the circular economy by providing a trusted and certified level of erasure.
https://www.seagate.com/gb/en/innovation/circularity/ может быть это оно и есть. Рециркуляция рабочих дисков.
Бывает что партия готового решения с диском всего на пару баксов дороже такого же решения, но без диска (©Маркетинг). Если есть канал куда диски сбыть хотя бы за треть цены, то берется вариант с дисками.
Который раз беру б/у диски на авито, с пробегом в год-два, предварительно отобрав модели по backblaze. Все живы, смарт в норме, не затерт, битых секторов нет, живут годами. Но конечно, такое только в зеркало.
Прямо чувство дежавю :) Optane, Mellanox оптика
Мой нынешний конфиг:
Тоже недавно обновил свою 10g оптику на 25g от Мелланокс. Старое на авито выставил, но судя по просмотрам наверное и за год не продам :(
Intel X520-DA2 и Mellanox ConnectX-2
Был стремный момент по поводу неоригинальности новых 25g карт. На ebay нашел по хорошей цене, но Dell. Однако все прошло нормально, вставились и заработали идеально сразу.
Mellanox ConnectX-4 Lx
Столкнулся правда с проблемой нагрева. X520 тоже была довольно горяча, но на новых температура 70+
Пришлось срочно приколхозить дополнительный обдув
Стало в среднем 55 градусов
2шт 16ки стоят в Raid-0 и вот что на 10г сети замерял:
5g сети для 500+ мб/сек (это может быть и 1 sata ssd например) достаточно
Т.е. даже 10г даже для raid-0 выше крыши. Но всеж в планах позже добавить и nvme дисков сюда.
Пока лишь с RAM-диском загрузить удалось на полную 25g
Чуть сдулась скорость когда записывал видео т.к. перегрелось все после тестов
25гбит в домашней лабе, завидую белой завистью! Для себя решил что таких нагрузок у меня нет и не предвидится поэтому пока остановился на 10 гигабит, но конкретно NAS скорее всего даунгрейднется до 2,5гбит дабы еще пару ватт срезать и занимать дешевый эзернет порт на свиче (из этой статьи https://habr.com/ru/companies/ruvds/articles/798813/ ) вместо боле дорогого sfp+. Ради интереса сделал бы такую сеть но дешевых свичей просто не существует (дешевле взять ATX мамку на z390 чипсете и напихать в нее 4 меланоксов, выйдет сильно дешевле готового бу свича).
Меланокс 4lx у меня тоже есть но версия на 10гбит с Sfp+ портами (MCX4121A-ACAT) на вид почти как ваши но между портами больше места и стоит какая то мелкая микруха. На 10гбит она не перегревается без активного обдува, но в целом ест по ощущениям даже больше чем тройка. Брал такую на 2 порта за 43$
Меланоксы под 25гбит на али сейчас стоят около 55$
Больше места - это у вас "оригинал" 4121A. У меня просто Dell 4121C и они самую малость отличаются.
В вашу тоже можно вставить 25g трансиверы.
Чтоб совсем слюнями захлебнуться, покажу за сколько взял:
Это за 2 карты и 4 трансивера
Год назад затеял апгрейд домашнего серверного парка, сервер для виртуализации/приложений и NAS. На 10Гбит смотрел но SoHo коммутаторов с 4 SFP+ и 8 PoE в настольном корпусе пока никто не делает, так что этот вопрос подвешен. Но вот для NAS у меня вышло вот такое:
Очень хотелось чтоб было тихо и холодно. Вроде эта цель достигнута. Да и в остальном тоже нормально. На убунте - Samba с виндовыми шарами, Jellyfin, Immich, ну и по мелочам. Ну и дисков добавилось. Ультрастары хорошо идут
ФПСУ-IP
Мне кажется, или корпус нестандартный еще и по ширине? Глубина понятно, вы обозначали, но ширина на глаз тоже не 19".
И опять х86 и даже с вентиляторами. Ну зачем? Для таких целей есть более подходящие архитектуры. Отдавать/принимать 10гбит это не та задача для которой надо х86 брать.
Диски просто лёжа на столе уже больше 40 греются без обдува. Ну и одноплатников с sfp+ Я не припомню (как минимум по адекватной цене).
Кроме того в следующей статье расскажу побольше о работе приложений в трунас, а это докер и x86
40 градусов это вообще не температура для железа. Не надо ее обдувать.
10гбит с двух hdd дисков никак не выжать. Даже гигабит в более-менее реальных сценариях не выжать. 10гбит ставят туда где оно надо. Под десяток дисков или около того. Таких решений сколько угодно на рынке.
Вы точно статью читали ?
Да и 40 градусов в бездействии для жёстких дисков это вообще не нормально...
40 градусов это абсолютно нормально. Рабочие температуры дисков в типичных серверах гораздо выше. И они там работают по много лет без особых проблем. Где-то до 60 градусов можно вообще про температуру не думать. Чуть дальше стоит подумать про радиатор. Его хватит чтобы снизить температуру до тех же 60 градусов.
Тесты делаются не так. Но это не важно. Реальные скорости hdd дисков при реальной нагрузке в общем известны и не меняются уже много лет. Производители в курсе типичных скоростей. И гигабита хватает.
Минусовать карму это универсальный аргумент, понимаю.
Я не знаю, где вы видели такие температуры дисков. Наверное в "псевдо дата центрах", в которых нет нормально охлаждения.
В нормальных датацентрах температура дисков обычно не превышает 30-35 градусов.
В нормальных датацентрах обычно есть кондиционирование до температуры плюс 15-17. Соответственно, перегрев сочтавляет ~20 градусов относительно среды. Если у вас комнатная температура 25-30 градусов, то с тем же перегревом диск нагреется до 45-50 градусов. Если еще и с обдувом плохо, то 55-60 будет.
60 для ссд это вполне нормально, 60 для hdd Это верхняя планка, работа на предельной температуре никогда в плюс диску не будет. (даташит сигейта, 60 это предел https://www.seagate.com/www-content/datasheets/pdfs/exos-7-e8-data-sheet-DS1957-2-1904US-en_US.pdf ).
Не знаю какие производители в курсе, но если бы вы прочитали статью то узнали бы что тут 2 диска в зеркале + ZFS. Они без проблем работают на скорости 2,2гбит/сек на запиь и в районе 2,4гбит на чтение по сети.
Производители в курсе типичных скоростей. И гигабита хватает.
Гигабита "хватает", но ZRAID из 4 WD Red (5400) дисков легко забивает на чтение 2.5Г сеть. Помышляю о 10Г и выше дома уже. Пока лень разбираться, плюс производители десктопного железа экономят линии PCI-E, а значит сеть будет работать в ущерб 4090 (или что там после нее будет)...
На видеокарту (и первый M.2) обычно идут отдельные линии, так что можете не беспокоиться по этому поводу. Всё остальное на десктопах чаще всего идёт через чипсет, соответственно не помешает играм/рендерингу/ИИ.
На видеокарту (и первый M.2) обычно идут отдельные линии, так что можете не беспокоиться по этому поводу.
Это действительно так. Но есть нюанс: эти линии опционально работают либо как 1х16, либо как 2х8.
Я нагуглил инфографику о линиях на Zen 4...
...и 8 линий там можно выбить только если ужать GPU до x8. А сетевушки на 25Г это гарантированно х8, как я понимаю. Даже 10-гиговые SFP обычно уже используют 8, хотя в основном на "уставшем" PCI-E 2. Получается некрасиво... Если только не искать сетевушку на PCI-E 4 или 5. Но что-то мне подсказывает, что они стоят дороже всего остального моего железа вместе взятого. Надо изучить вопрос.
Microsoft выпускали (давно) paper о темп. дисков и проценте отказов. По памяти: идеально макс. 25 градусов, до 34 терпимо, дальше выше, лучше выше 40 не держать, (если не обкатанный RAID, где юзеру понятно и просто поменять). Но, понятно, это было до гелия и новых технологий wear levelling.
Вот данные за последние пару месяцев с моего домашнего NAS:
Тут даже близко нет 60 градусов
Он точно статью читал. )) И я с ним абсолютно согласен, 10 гигабит с зеркала на HDD оно смешно. 8-10 дисков в 6-м массиве, да тогда имеет смысл. Если что, у меня стоит тоже самое что вы делали, только правильно сделанное. 8х4Тб 6-й массив, 10Gbe и очевидно что на серверной матери с нормальным SAS контроллером и в нормальном серверном кейсе от супермикро.
А может и не читал)) Все же ZFS кеш никто не отменял, а в моем случае на данный момент это +-12гб. Для мелких файлов пока хватает. В следующей статье про софт возможно как раз закину апгрейд до 32/64гб в бюджет.
Но да, как и писал 10 гигабит тут не сильно нужно пока, можно остановиться на 2,5.
На однопоточном копировании мелких файлах узкое горло - это производительность сети и производительность операционной системы. От сети мало что зависит, и на мелких 4к файлах она примерно одинакова что на 1G, что на 10G. Samba тоже имеет свои особенности при работе с мелкими файлами в один поток.
Скрытый текст
Вот максимум что получалось вытянуть при работе через samba. Массив из нескольких SSD, кэш 32 Гб, 10 vCPU.
По сетке 1G:
И по сетке 10G:
К сожалению, такие хорошие скорости получены за счёт качественной работы ZFS кэша.
И да, у вас скорости не соответствуют тем что должны быть при работе через кэш. Вот здесь все хорошо расписано как работает ZFS: Основы ZFS: система хранения и производительность / Хабр (habr.com)
И как по шуму? Купил недавно китайский сервер на зионах, так что бы уровень шума опустить на уровень "в соседней комнате не слышно в простое", пришлось заменить вентиляторы на тихие и снять переднюю панель для накопителей, потому что потоку воздуха мешала и добавляла температуры (мне 2х 2.5 ссд в зеркале для серверных задач хватает, остальное на +- таком же что и у автора NAS хранится). Если частный дом, то завидую, но в квартиру с мини-серверной в коридоре ставить полноценный сервер и запихивать туда диски... Слишком шумно, хотя максимальными оборотами стоковыми 30Вт вертушками можно соседей призывать ;)
Пожалуй, соглашусь. А есть конкретные решения на примете?
И опять х86 и даже с вентиляторами. Ну зачем?
Дешево и совместимо со всем, с чем может быть совместимо. Легко масштабируется, легко заменять \ апгрейдить компоненты.
И опять х86 и даже с вентиляторами. Ну зачем? Для таких целей есть более подходящие архитектуры.
Так может поделитесь конкретными моделями?
А почему в сторону одноплатников не смотрели? Тот же Banana Pi BPI-R2 вроде вполне в бюджет попал бы.
А смысл в truenas если фактически ничего из его возможностей не используется?
Ещё из интересного отмечу Ugreen NASync серию.
В сторону Ugreen не смотри, только если решишь накатывать trueNas или что-то другое. Операцинка от Ugreen очень сырая. Плюс надо будет делать моддиг(менять термопасту, менять кулер) говорю по опыту, у самого dxp4800plus
Есть в хозяйстве дома такой корпус, годное приобретение, если вентиляторы в те-же самые отверстия поставить с наружной стороны (а не с внутренней), то на заднюю стенку можно приделать в вертикальном положении ВАГОН С ТЕЛЕЖКОЙ дисков 2.5 дюйма (в том числе SSD MICRON душевного объема и ресурса). Не жертвуя при этом ценнейшим внутренним пространством под слоты.
Диски на 14ТВ ведь с черепичной записью? Если да - не стремновато ее сочетать с ZFS?
Откуда эти сплетни?
https://www.seagate.com/gb/en/products/cmr-smr-list/
Exos - это верхний (enterprise) уровень, их не бывает SMR
Хотя я бы в целом не доверял никакому Seagate :) но это уже вопрос религии.
Мой самый старый на данный момент диск. Может кто похвастать таким же пожилым Seagate?
Я как минимум не особо верю в CMR на 20ТВ, поэтому не верю и в остальное
Мы тут вроде не в церкви чтобы верить во что-то. На конкретные диски есть конкретные даташиты. Если даташитов мало, то тот факт что диск не CMR всплыл бы буквально в течение пары дней после выхода диска на рынок как только покупатели начали бы их грузить.
P.S. У меня в использовании CMR диски WD на 8, 10, 14, 16 и 20 тб.
Там не совсем дураки сидят все-таки: диски таких размеров без RAID не особо жизнеспособны, а SMR (условно) несовместим с RAID. У меня 3 TOSHIBA MG09ACA1 на 18ТБ - CMR. Найти SMR такого объема сложнее, чем CMR - они никому не нужны.
У моего Seagate, который стал моим последним hdd, счётчик power_on_hours обнулился - видимо, по достижении 65536 часов (хз, почему так). Вообще, из всех винтов у меня только Seagate не сдыхали, в отличие от WD и Toshiba. Такой вот опыт.
за 20 лет имею опыт созерцания примерно 300 мёртвых seagate, пара wd и ни одного samsung. Тот sams что у меня еще остался, на 1 Тб, наработал ~65000 часов и трудится дальше. У wd знаю точно умирают часто в ноутах, но они там и крутятся в беспощадных температурах, просто регулярно такие меняю людям на ssd. Такие я не считаю, так как 7-10 лет при температурах за 60С это очень неплохо.
На работе собираю в БД смарты у дисков на всех АРМ самописной утилитой. И тоже заметил, что у некоторых Сигейтов аттрибут часов наработки обнуляется после какого-то значения. Но не у всех. У данного диска переполнение произошло после ~78000 часов.
А у этого нет, несмотря на более чем почтенную наработку.
Взял с полки и подключил снова тот Сигейт. Сейчас в смарте показывает следующее:
9 Power_On_Hours 0x0032 093 011 000 Old_age Always - 6317Но по другому параметру понятно, какой у харда реальный стаж:
240 Head_Flying_Hours 0x0000 100 253 000 Old_age Offline - 89985P.S. Блин, какой же он шумный и тормозной на фоне SSD. И как мы раньше жили без твердотельников?)
бюджетный, $400, 14Tb - несочетаемые слова. Если конечны взять бентли, то тойота камри будет несомненно бюджетным авто.
Цена до 400$ (вместе с дисками).
10+ ТБ свободного места с возможностью потери одного диска.
Сетевое соединение на скорости 2,5–10 Гбит.
Низкое энергопотребление.
Низкий уровень шума.
Желательно 1–2U корпус для установки в стойку с глубиной до 30–35 см.
Возможность расширения дисков/оперативной памяти.
Начал читать, уже и 10 гигабит и стойка в наличии и расширение дисков и тишина - с такими запросами бюджетный нас вы не соберете, что и понятно.
Кто-то за эти бабки умудряется продать коробку без дисков на 4 ядра и 2 гига оперативы... Важно знать, что есть альтернативы.
не вижу связи со статьёй. моя претензия основана на том, что 400уе это нифига не бюджетно, это раз, а небюджетно это и потому что 14Тб диск (-и) по своей сути вообще не про бюджетность. вот если бы статья изучала цены, а потом рассказывала как собрать такое за 3000 руб, это бюджетно. А новое и дорогое за те же деньги - ну в жизни всякое бывает.
автор вон селерон 19 года забраковал, а потом пентиум 4400 купил, в общем много странного.
вот если бы статья изучала цены, а потом рассказывала как собрать такое за 3000 руб, это бюджетно.
Вы просто рубли в доллары переводите и сразу поймете безнадежность такой затеи. :)
NAS - это по-определению коробка с дисками, а дисков за 3000 не бывает, только утиль. На 3000 можно купить себе флешку, максимум.
так в том и будет ценность статьи, а взять 400уе и купить б/у железки разве проблема?
Ценности у такой статьи не будет, потому что купить хоть что-то на 100 уе - это просто удача, повторяемость у такого результата будет околонулевая, скорее просто хвастовство без практической пользы.
вы придумываете, а я говорю о соответствии названию. Если бы автор написал "Как с собрал NAS на 14Тб за 400уе", то вопроса к названию не было бы вообще.
NAS на 14ТБ за 400$ - бюджетный. Это полтора новых диска из магазина по текущим ценам (ST14000VE0008 на 14ТБ - 19 тысяч рублей). Реальность такова, что по цене ниже... Ну, скажем, 30 тысяч рублей, в 2024 нельзя собрать ничего полезного (на 10ТБ и выше). Если целиться в ниже 10ТБ, то непонятно, зачем тогда вообще NAS - логичнее просто купить диск и поставить его в компьютер.
Это полтора новых диска
Цена дисков тут не имеет значения, так как диски могут быть любые. В конкретно этом случае раз диски куплены не новые, то как по мне - куплены они дорого, так как средняя цена не дороже 20К за два диска, что уже <200уе, остальные железки вообще нет смысла считать просто потому что у всех разные запросы, но даже если посчитать, то он еще 20К влупил в то, что можно собрать за 5000 - мы же б/у собираем, а там цены очень разные. У меня есть комплект - корпус на 2 диска и мини-ITX мать с miniPCI SATA для системы, с ноутбучной ОЗУ. На вторичке такого полно. У меня получится NAS на 14Тб за 25000, а не за 37000 как у автора, что в 1.5 раза дешевле. Отсюда мы и видим что заголовок не соответствует содержимому статьи.
Главная проблема с дисками из статьи это то, что они непонятно сколько прослужили и какие данные фиксировал смарт. Если брать объемные диски, то предполагается, что на них будут долгосрочно храниться хоть сколько-нибудь ценные данные, а в этом случае даже примерно не предсказать, когда такие диски прикажут долго жить.
400 баксов за системник с 2*14ТБ - это бюджетно, учитывая то, что там только диски 600 будут стоить, если их новые брать.
представьте статью "покупаем бюджетный автомобиль" и там вам предлагают из США заказать Бентли за 18 млн, а новый стоит 36 - бюджетненько же получилось.
В статье самое главное это NAS как таковой, диски туда можно ставить любые и автор собрал совсем не бюджетный вариант изначально, об этом и речь.
Только статья называется не "покупаем бюджетный автомобиль", а "покупаем бюджетный бентли". Бюджетность - это понятие относительное, а не абсолютное.
самое главное это NAS как таковой, диски туда можно ставить любые
Я лично пришел в статью смотреть, как он два диска по 14 терабайт в бюджет засунул, да ещё так, чтобы на сам NAS осталось. Если бы статья называлась "собираем бюджетный nas за 100 баксов", то я бы и не дёргался, наверное.
Я лично пришел в статью смотреть, как он два диска по 14 терабайт в бюджет засунул
Ну тут была уже статья тоже про что-то бюджетное, где у автора просто "лежало в шкафу" 90% от необходимого. И ничё, всем зашло. Так что как он приобрёл два 14 Тб диска было абсолютно неинтересно, чудес не бывает. Куда интереснее были требования к самому NAS, которые не являются признаком бюджетности.
Бюджетность - это понятие относительное, а не абсолютное.
Добро пожаловать на Грамота.ру:
БЮДЖЕТНЫЙ, -ая, -ое. 1. к Бюджет. Б-ые расходы. Б-ая политика. Работник бюджетной сферы. Б. год (годовой срок действия бюджета государства, предприятия). 2. Имеющий лишь самое необходимое для использования; предназначенный для лиц с ограниченным достатком. Б. автомобиль. Б-ое жильё. Б-ая ценовая категория товаров.
Смотрим второе и видим, что автор ничего бюджетного в NAS не поставил, за исключением б/у дисков непонятного качества.
Если статья про NAS как таковой, то он нифига не бюджетный, если в название вставить обязательное условие например в 10 гигабит, то тоже не бюджетный и т.д. Сам по себе нас из статьи не бюджетный совсем. Диски вообще дело десятое. Вот если бы он умудрился NAS собрать за копейки, но с оптимальными характеристиками, то и был бы интерес. А так только охлаждения озотом не хватает для звание самого бюджетного NAS.
Так что как он приобрёл два 14 Тб диска было абсолютно неинтересно, чудес не бывает.
Вам может и не интересно, а мне было интересно. После того, как прочитал, что это диски со стёртым смартом с барахолки, стало не интересно.
предназначенный для лиц с ограниченным достатком
"Ограниченный достаток" - это тоже субъективное определение. Для кого-то какой-то автомобиль может быть "бюджетным", а для кого-то любой автомобиль будет роскошью.
если в название вставить обязательное условие например в 10 гигабит, то тоже не бюджетный
Он будет бюджетным в заявленной категории.
Вам может и не интересно, а мне было интересно. После того, как прочитал, что это диски со стёртым смартом с барахолки, стало не интересно.
И что вы ожидали там прочитать? Адрес в Москве где раздают диски даром?
"Ограниченный достаток" - это тоже субъективное определение
Как бэ - нет.
Он будет бюджетным в заявленной категории.
Нет, потому что автор помимо 10 Гб туда понапихал всякого.
И что вы ожидали там прочитать? Адрес в Москве где раздают диски даром?
Узнать про какие-нибудь скидки, допустим. Или про очередной вариант "доставать диски из usb-коробок". Мало ли вариантов бывает.
Как бэ - нет.
Да. Достаток у людей разный и понятие дорого/дёшево тоже будет разное.
Нет, потому что автор помимо 10 Гб туда понапихал всякого.
А что, не имел права?
После того, как прочитал, что это диски со стёртым смартом с барахолки, стало не интересно.
Или не читали? Диски с озона а не с барахолки, обещан 1 год гарантии, на озоне она кстати вполне работает.
А на озоне они откуда? С барахолки. Или, думаете, что это manufacturer refurbished?
А вы знаете откуда? Мы можем только предполагать что это бу или рефаб. И если вы читали статью то заметите что даже новые диски из DNS на практике уже и не новые.
Ну и к вопросу интересно/неинтересно. Я провел опыт на себе купив такие диски а не просто взяв готовые с магазина, это уже опыт, который в интернете никто не делал, не знаю кому как а мне было бы интересно узнать о таком опыте, особенно спустя N времени.
А вы знаете откуда?
Ниоткуда. Но у того же сигейта этикетки были другие на восстановленных дисках, к примеру, отличающиеся от новых.
новые диски из DNS на практике уже и не новые.
То, что они OEM'ные, ничего не говорит про то, что они не новые.
не знаю кому как а мне было бы интересно узнать о таком опыте, особенно спустя N времени.
Один случай ничего не скажет. Диски могут вылетать любые - как новые, так и бэушные. Потому в них главное - гарантия. Да, статистика по отказам поможет выбрать потенциально более надёжную модель, но не застрахует от того, что диск вылетит через полтора года.
То, что они OEM'ные, ничего не говорит про то, что они не новые.
Они OEM с разборки, ехали не просто в трее а в готовом сервере который уже разобрали (на дисках с днса есть следы установки прямо с магазина), и гарантия уже не для рф.
Сама гарантия так же всего год.
Один случай ничего не скажет. Диски могут вылетать любые - как новые, так и бэушные. Потому в них главное - гарантия. Да, статистика по отказам поможет выбрать потенциально более надёжную модель, но не застрахует от того, что диск вылетит через полтора года.
1 случай лучше чем 0 случаев, но на деле покупателей там было море, просто мой случай теперь задокументирован и будет иметь логи. Считаю уже Win на фоне нулевых отчетах о этой ситуации.
Собственно так же как и вы, я буду еще писать о своей серверной дома.
и гарантия уже не для рф.
"Для РФ" сегодня гарантии нет ни у кого из производителей дисков. Сейчас вся гарантия на продавце.
Считаю уже Win на фоне нулевых отчетах о этой ситуации.
Но всё равно отчёт особо полезной информации нести не будет. Ну выжил у вас диски или не выжил - это всё равно рэндом был. Как с тем динозавром из анекдота.
Собственно так же как и вы, я буду еще писать о своей серверной дома.
Пишите, я что, возражаю? Про сеть, к примеру, было интересно почитать. Я себе всё пытаюсь сделать бюджетные десять гигабит, но что-то пока не придумывается, как это лучше сделать.
А бюджетно - это сколько нынче?
И какие требования?
Вы про 10 гигабит? Ну вот в магазине самая дешевая сетевушка стоит где-то 5000, за свитч хотят полтинник, sfp-модули - 3-4 тысячи. Ладно хоть кабель есть, говорят, что 10 гигабит должен потянуть. То есть чтобы два компа соединить, мне надо по магазинным ценам порядка 70 тысяч. Так что бюджетно, на мой взгляд, будет тысяч 10-15.
Китайский свитчик взял за 4к с копейками, вроде более-менее нормально себя ведёт. По сетевушкам и sfp пока не решил, после отпуска заниматься буду.
Проблема как всегда в свитчах. Но для двух (и трёх и даже четырёх компов) - зачем свитч? Я вот дома за копейки 40G завёл и на все 10/25G смотрю с легким недоумением ;)
PS: а что за китайчатина за 4к?
Свитч чтобы компы соединять. Если они у вас на одном столе стоят - то да, можно и прямым кабелем. Но если у вас между ними триста метров, то лучше всё же через свитчи.
Плюс у меня компы будут 2.5 - они 10 не потянут, но вот между точками хочется иметь десять, потому что имеющийся гигабит забивается моментально.
Китайчатина за 4к - китайцы сейчас очень много дешевых свитчей на тему 4*2.5+2*10 стали делать. Даже от 3к могут начинаться, если неуправляемые. Имён полно, на моём XikeStor написано. Но они вообще все одинаковые. Ну и портов разное количество бывает.
Оттуда, что озон завален хламом вроде Snapdragon 888+ M2 MTK5785/12GB/1TB/Android12, на деле оказывающимися перешитой древностью с API level 24
Это бесконтрольная помойка, по определению и сути
Разве есть смысл брать одинаковые диски для raid1? Логика подсказывает, что брать нужно разные модели от разных производителей. А полностью одинаковые теоретически могут и накрыться одновременно.
тут скорее вопрос в вероятности попасть на бракованную партию/модель, тут вероятности складываются. А вот накроются ли одновременно диски из одной партии (у автора партии разные)? Думаю это никак не посчитать.
Мы для универа за год закупали классы по 500 ПК, там из одной партии диски были чаще всего, вот из тех самых 500 умирали 1-2 за ближайший год-два, как правило в рамках гарантии.
В теории - да. На практике всегда парами брал диски из одной партии и никаких проблем с массовым вылетом дисков не было. Один раз был случай когда из двух взятых 3ТБ дисков один помер где-то через 3 месяца. Второй уже лет 10 живет.
Про proxmox, zfs, pfsense etc
https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-%D0%B8-%D0%B2%D1%81%D0%B5-%D0%B2%D1%81%D0%B5-%D0%B2%D1%81%D0%B5-%D1%87%D0%B0%D1%81%D1%82%D1%8C-2/
Занялся этим вопросом в прошлом году. Во главу угла ставил эстетику и низкий уровень шума, так как единственное пригодное место для установки постоянно работающей железки было в туалете на виду. За примерно 30-35 тысяч собрал себе Jonsbo N1 + i7-3770 + 16Gb RAM + два красных WD на 3Tb под рейд с фотками и (пока) один фиолетовый на 6 терабайт под плекс, файлопомойку, торренты и прочее. Все, кроме корпуса, брал на барахолке.
Результатом доволен, жалею только о том, что при ремонте новостройки не заложил ethernet в санузел, но кто же знал, что он там понадобится.
А как решили вопрос с интернетом в санузле? Или пока в процессе/проработке?
Очень изящное решение для туалета))
С влажностью проблем нет? У меня в сан узле датчик стоит, показывает до 90% влажности если в душе мыться. Боюсь с такими показателями NAS у меня покрылся бы ржавчиной за год.
а почему вентилятор у вас вниз воздух гонит?
Видимо что бы пылесосом не подрабатывал
пыль не растёт на полу, она на пол падает сверху, по вашей логике фильтры для очистки воздуха вообще никогда не забьются, они вообще на стене висят далеко от пола?
Падает на пол и там копится. А если есть домашние животные, кошки, например, то фильтр БП компа, стоящего на полу забивается за неделю. Такого не происходит, если ПК поставить на стол, например.
Падает на пол и там копится
ну и пусть копится, у вас зона под NASом никогда не будет с пылью, она же вся скопилась на крыше.
не переоценивайте тягу кулеров, они не в состоянии затягивать в корпус пыль с пола, они тянут только пыль из воздуха.
А если есть домашние животные, кошки, например, то фильтр БП компа, стоящего на полу забивается за неделю
А причем тут ПК на полу, если мы говорим про NAS на столе в туалете???
Такого не происходит, если ПК поставить на стол, например
Потому что шерсть не летает по воздуху в товарных количествах, а на полу вы и кошка пинаете эту шерсть, вот и запинываете её к ПК. В любом случае это к теме не относится, мы же говорим про железку автора, который поставил её в туалете на стол и зачем-то вентилятором вниз дует на HDD, хотя логичнее прохладный воздух снизу протягивать через корпус и выбрасывать вверх, а не нагнетать теплый воздух сверху.
А причем тут ПК на полу, если мы говорим про NAS на столе в туалете???
Потому что пример наглядный
Говоря о хранилке в туалете - тут больше стоит вопрос как влажность в комнате будет влиять на железки. Вряд ли критично, но местами может начать ржаветь
Это если СУ совмещенный
Впрочем, в таком случае и выпадение конденсата на плату — вопрос времени
Потому что пример наглядный
Наглядный в чём? Я поинтересовался тем, как автор разместил кулер. Вспомнили и пылесос и шерсть и пыль на полу, теперь вот влажность приплели - это всё не имеет к вопросу никакого отношения.
Наглядный в том, как ПК может работать пылесосом на полу лучше, чем на столе. Про пыль на полу вы начали. И я ваш вопрос отбираю у вас что ли? Зачем так нервничать.
А причем тут ПК на полу, если мы говорим про NAS на столе в туалете???
С чего вы взяли, что у автора коммента хранилка на столе, где он об этом говорил? Судя по фото она всё-таки на полу.
С чего вы взяли, что у автора коммента хранилка на столе
Это не пол
Наглядный в том, как ПК может работать пылесосом на полу лучше, чем на столе. Про пыль на полу вы начали. И я ваш вопрос отбираю у вас что ли? Зачем так нервничать.
Следите за беседой, вот вам хронология сообщений, раз уж вы сами не в состоянии это делать:
Я: а почему вентилятор у вас вниз воздух гонит?
AiR_WiZArDвчера в 05:34: Видимо что бы пылесосом не подрабатывал
Я: пыль не растёт на полу
Итого - Про пылесос написал не я. Или у вас пылесосы на полках пыль сосут?
Вы, похоже, не в состоянии буквы на экране читать. Только что вы сами доказали, что про пыль на полу вы начали.
Пылесосы не только на полу сосут пыль, представляете, при помощи нехитрых манипуляций можно и полки обрабатывать. Фундаментальные ограничения есть только у самоходных пылесосов, разве что, но о них речи не было.
В общем, мне надоела эта игра в слова. Что я хотел сказать это то, что компы на полу тянут в себя грязь лучше, чем стоя на столе, только и всего.
С вашим утверждением про положение вентилятора соглашусь, лучше тянуть снизу
Стоит на столешнице, высота примерно 900мм от пола. По поводу пыли: она есть, налетает немного бентонитовой в процессе подсыпки наполнителя котам. К сожалению, от этого никуда не деться. Но ее немного и чистка раз в год вполне решает проблему. Изначально планировал разместить на полке над входной дверью, заодно обеспечив прямое подключение к роутеру. Однако полка под него была бы достаточно громоздкой и супруга запротестовала. Но так как по прямой между роутером и nas только одна хлипкая дверь и 5 метров расстояния, а сеть только 5ГГц, то никаких различий с подключением кабелем не заметил.
Штатное крепление в корпусе. По температуре ок, даже когда йокта шуршит всеми 8 ядрами, не поднимается выше 60. В свободном режиме около 30
Я у него железку эту с морды снял, без нее охлаждение на порядок лучше.
А под 10" стойку кто-нить видел корпуса? Есть вариант колхозить из бескулерных железок на N-серии (с прикручиванием либо ушей либо установке на лоток), но вдруг что-то под ITX уже годное вышло? И тихое.
А кто-нибудь может что-то плохое/хорошее сказать о USB DAS? Например Orico - насколько это допустимый вариант для домашнего зеркала (сливать туда бекапы, фотки, торренты)?
Есть такие, работают, но использовать их нативные функции рейда я бы не стал так как его восстановление не будет простым.
Если же подключить к пк то можно юзать диски отдельно, но делать софтовый виндовый рейд я бы тоже не стал, он медленный и майки на него давно забили.
Спасибо за ответ! Но если рейд не виндовый делать? Например есть интел нюк, на нем можно поднять нужную ось (нативно или в виртуалке, например proxmox) и к нему по usb можно подцепить такую штуку, пробросить оба диска и софтовый рейд запустить - не будет ли корнем проблемы сам по себе USB?
Я с таким вопросом общался на форуме 4pda около месяца назад, в целом народ высказывался негативно. Скоростные ограничения USB для двух дисков меня не очень беспокоят)
Более оптимальный вариант был бы какую-нибудь Б/У SAS коробку внешнюю прикупить. Но тут два нюанса - не знаю есть ли такие на малое количество дисков и нужна pci-e SAS карта с внешним разъемом, а такое не куда засовывать в NUC.
Лучше все же софтовый рейд но более современный типа ZFS. Его хоть восстановить можно легко в отличии от hba с рейдом, где придется искать такую же в случае проблем
Так SAS карта это просто интерфейс для подключения дисков. Переключить/перешить ее в IT режим и делать с этим можно что хочется.
А вот это уже смотря что за плата. Не все можно прошить.
С USB В целом все нормально, главное взять проверенные боксы, и что бы питания/охлаждения хватало.
да, про это я как раз смотрел отзывы. В обсуждении на 4pda была мысль, что могут быть критические "против", но никто особо ничего не смог придумать, изредка проскакивали неуверенные сомнения (например - по USB будет постоянно отваливаться софт рейд). Поэтому читая статью, решил еще и тут спросить, больше шансов встретить человека с релевантным опытом)
У меня вопрос схожий возникает, пока единственный минус USB: более высокая нагрузка на проц (в kernel space). Оно-то и на Linux NTFS на SATA не весело, но при 8 ядрах можно подзабить. Собственно, видно должно быть и при обычном USB диске под нагрузкой.
Если речь про винду, то там в настройках диска (через Disk Management удобнее добраться) надо повключать кэши для конкретного USB диска при наличии ИБП.
Кстати, по поводу нагрузки на ЦП.
У меня есть мини ПК с ЦП i5-5200U к которому подключен диск 8ТБ через USB.
Используется для бэкапов. И сам мини ПК используется только для миграции на него роутера и нескольких других контейнеров на время обслуживания основного сервера.
Так вот во время scrub этого диска (читаются все записанные данные и проверяется контрольная сумма) нагрузка на ЦП выглядит так (см. прикрепленную картинку).
scrub начался в 00:00 и закончился в ~14:00
Думаю для современных ЦП цифры будут еще меньше.
Думаю для современных ЦП цифры будут еще меньше.
По USB скорости маленькие чтобы что то загрузить на процессоре.
Скрытый текст
Ну в моем случае на диске занято около 4ТБ, скраб продолжался примерно 14 часов. Средняя скорость чтения около 80 МБ/сек.
К сожалению именно для этого диска у меня мониторинг не настроен, так он проброшен в виртуалку proxmox backup.
SATA диски, конечно пободрее себя ведут (особенно SSD).
Конечно использовать диск по USB как основной массив это не очень идея, для бекапов вполне норм.
※А почему такой странный вывод графиков?
Имею ввиду что оси не синхронизированы.
Не путает при просмотре?
А почему такой странный вывод графиков?Имею ввиду что оси не синхронизированы.Не путает при просмотре?
Без понятия. Это в TrueNAS вывод графиков в Netdata. Я им редко пользуюсь, в основном чтобы графики посмотреть за определенный период, т.к. встроенный в этом плане не удобен.
Но у него есть и минус, проц грузит сильно. В конце видно загрузку user под 10% - это все он.
Да, для ssd только с поддержкой UASP - в ней trim реализован.
Это ОЧ важно для ssd.
У меня такой стоит. Производства некоего MAIWO с алика. Там 3х2Гб WD purple в btrfs raid5. Управляется старым лаптопом от тошибы. 4 года, полёт нормальный.
Спасибо! значит в целом схема рабочая.
пс: для меня как раз Orico был как будто ноунейм из китая, но кто-то сказал, что это достаточно известный производитель в заинтересованных кругах.
Основные сомнения были высказаны (их и тут в треде высказали) касаемо встренных инструментов рейда, но так же были замечания касаемо USB как такового
не совсем бюджетное решение, стойка в кладовке, вместе со стиральной машиной стоит. По поводу корпуса на фото под пультом от кондиционера, тоже искал короткий корпус до 480мм, взял такой от chenbro rm252, чем он хорош, первое это габариты( но тут и минус салазки я так и не смог к нему подобрать для моей стойки), второе обратная сторона корпуса имеет 4ре вертушки и два блока, на фронтальной корзина на 6дисков, сетевая меланокс 25г, и стоит 4 pcie диска samsung. Проц xeon 2680v4 x2, озу 256. Охлаждается корпус шикарно (но тут еще и заслуга кондиционера в кладовке). Минусы: ни документации, ни маломальски понятного наполнения корпусов, ни-че-го, даже у самого производителя запрашивал документацию на бекплейн (прислали, но информации там кот наплакал), найти комплектующие с каждым днем все труднее и труднее, качество родных кабелей отвратительное( ооочень тонкие кабеля передней панели), пришлось покупать их отдельно от другой серии корпусов
Имхо, оно жрет как не в себя (
Картинку на ТИХУЮ железку с МОЩНЫМ цпу (амд райзен 5825U ) давал выше.
Сейчас железка эта с 2 хдд по 14 ТБ у знакомого стоит. На ней проксмокс, в нем все, что для жизни надо, мощности более чем хватает.
стойка в кладовке, вместе со стиральной машиной стоит
У меня одного бутерброд выпал? Там же вибрация передается на диски, если вы не смонтировали все на вибро подвесы - и рэк и стиралку.
Стойка стоит на полу( не на стиралке), стиралка стоит в 40см от стойки, на резиновых опорах, вибраций никаких нет
А что за опоры?
Я постарался отдалить hdd от любых вибраций - и от стиралки и от 3х полосных полочников / сабвуфера. Всетаки нежная технология.
опоры состоят из квадратов 10х10х5см резиновых плашках, по центру квадрата место под ножки стиралки, я не мерил прибором на наличие вибраций, но тактильно, ни на стойку и даже рядом (вибраций нет) кроме звука вибрации не ощущаются. В моем конкретном случае, даже если и есть какие-то вибрации воспринимаемые анализатором, самое меньшее из зол, так как рядом со стойкой в 30см проходят трубы канализации и водоснабжения)))
рядом со стойкой в 30см проходят трубы канализации и водоснабжения
Все, расходимся, этот парень просто любит риск жизнь, во всех ее аспектах))
рядом со стойкой в 30см проходят трубы канализации и водоснабжения
Напомнило абзац про коммуникации в В информационных технологиях есть своя особая атмосфера
Раз тут все хвастаются, то и я похвастаюсь.
Не бюджетно, зато второе R в Reduce, Reuse, Recycle.
Все 13 HDD влезли во вполне себе консьюмерский корпус, а поскольку это Fractal Design, то шум от них даже не мешает спать.
Начал путь с ASUS E2KM1I-DELUXE со встроенным процессором в корпусе Node 304, потом понял, что расти буду дальше безудержно.
Сейчас засматриваюсь на стойку и перенос всех компьютеров и сервера в рэковые корпуса, но что-то все стоечные решения мне не нравятся пока... И стоят как крыло от самолета, если компактные.
AMD Ryzen 9 3900X, ASUS X570-PRO, 64ГБ ECC RAM, GeForce RTX 3060, Intel 82599ES 10-Gigabit SFI/SFP+ и целый зоопарк WD Red:
raidz2-0 из 5 дисков по 8ТБ
raidz1-0 из 5 дисков по 3ТБ
raidz1-0 из 3 дисков по 18ТБ
Дилетантский вопрос: скажите, пожалуйста, а как определить, что SMART затёрт?
Только косвенно.
Еще до сво я брал диски для разных задач и ни разу небыло такого что смарт просто по нулям. Всегда даже у дисков с большой гарантией и в запаянных упаковках, в смарте уже были часы наработки.
Кроме того у этих сигейтов были следы устаовки, мелкие потертости на корпусе, контакты явно не раз перетыкали. В общем как то много движухи для нового диска.
Только по следам эксплуатации на самом диске.
Не доверяю я таким дискам. В дисках главное - это гарантия.
Но, к сожалению, у магазинных дисков сейчас гарантии год. :(
Отдельное спасибо за рекомендацию проверить диски из DNS по серийному номеру. Два WD Ultrastar HC310 6Tb, купленные мной год назад в домашний NAS и пришедшие в явно заводской установке, тоже оказались со статусом NO LIMITED WARRANTY, что было расшифровано как "диск для сборщика готовых систем, к которому и надо обращаться за получением гарантии".
Кстати, этот домашний NAS, собранный на основе простейшей материнской платы AM4 и процессора Ryzen 3 4100, в простое потреблял чуть более 20 Вт, правда измерялось это при единственном установленном SSD под систему, до установки серверных HDD, и с откровенно второсортным блоком питания. Мощность мерялась внешним ваттметром. Но зато этот процессор достаточно бодрый, пригодный для виртуализации и поддерживающий ECC-память.
тоже оказались со статусом NO LIMITED WARRANTY, что было расшифровано как "диск для сборщика готовых систем, к которому и надо обращаться за получением гарантии".
Учитывая то, что в России сейчас гарантия и так на магазинах, ничего особо страшного в таком статусе нет. Хуже то, что в 12 месяцев гарантии сегодня у винтов стало.
домашний NAS, собранный на основе простейшей материнской платы AM4 и процессора Ryzen 3 4100, в простое потреблял чуть более 20 Вт
Ryzen 7 3700 с шестью крутящимися винтами на холостом ходу - порядка 50 ватт. Впрочем, даже при текущих ценах на электричество я ещё не вижу смысла бороться за каждый ватт.
По моим прикидкам, мне сервер обходится порядка 5000 рублей в год (из расчёта средней потребляемой мощности в 100 ватт). На деле, скорее всего, поменьше.
Ryzen 7 3700 с шестью крутящимися винтами на холостом ходу - порядка 50 ватт. Впрочем, даже при текущих ценах на электричество я ещё не вижу смысла бороться за каждый ватт.
Я тут вклинюсь.
Вообще ватты для меня в статье это не про деньги которые я отдам за свет, а про нагрев и шум. Зимой ладно бонус хороший, но летом грелка 100вт 24/7 вносит приличный импакт в климат квартиры.
Интересно, но ради 2х диском, я бы так не заморачивался. Первый мой NAS был DLink 325. Сначала в нём умерло 2 Сигейт Барракуды, причём практически одновременно, за что я теперь их очень не люблю. Потом, пока занимался вопросами здоровья жены, и не отключил ΝΑS, прилетел CR1PT0R. А DLink просто положио на пользователей, ведь дыра была оставлена DLink в виде статичных кредов, которые они оставили для тестирования в продакшен версии прошивки. За что теперь я не люблю DLink. Но даже так идея уменьшать ёмкость в 2 раза рейдом мне не сильно нравилась и тогда я просто настроил автоматическое копирование критических данных как фотографии, фильмотеку и видео я не копировал, чтобы не забивать этим пространство. На следующий раз после шифровальщика - я купил AsusTOR 6404 потому что уже хотел миниму 4 диска. Тогда уже можно и пожертвовать 1м в пользу рейда. Тоже прилетал какой-то шифровальщик, но мне в этот раз повезло, NAS был выключен и я закончил игры с выбрасынием доступа к нему. Теперь только доступ в локальную сеть через VPN. Ну и поддержка BTRFS тоже радует. Единственное, что не радует политика всех вендоров против KODI(XBMC). Это был один из аргументов покупки данного вендора, но потом поддержку KODI выпилили с кривой аргументацией по настоянию правообладателей контента, якобы KODI активно используется в пиратстве. Я же подозреваю, что по настоянию Plex, чтобы ничего бесплатного людям не давать и подсаживать на подписки.
В общем ΤrueNAS - определённо плюс к безопасности и управлению. Но зачем мастерить стоечный NAS аж на 2 диска - я не очень понял.
Точно такой же NAS уже пару лет работает, в точно таком же корпусе, но у меня получилось впихнуть 4 ЖД, повернув их на 90*, никой PCI карты не влезет, но зато места больше, а для торрентов много скорости и не надо
Почему не ARM? Raspberry Pi 5 + SATA-шильд позволит NAS очень компактным и экономичным по питанию сделать (что рефреном идет по статье). Понятно что полно применений где вычислительной мощности на весь спектр задач (даже домашних) может и не хавтить, x86 все -же имеет право на жизнь в домашнем NAS, но хотелось бы попобробнее. З.Ы. Вопрос не праздный, на зиму озадачился сборкой своего хранилища, пока звезды сходятся на Raspberry Pi-5 + Шильд на M2. Иными словами - ультракомпактный full-ssd накопитель. Понятно что 14 терабайт не получу, за вменяемые деньги, но цели такой и не ставлю. Поделитесь задачами, может быть будет полезно.
Проблема в том, что если вы захотите расширяться, добавлять еще диски или мощностей - ARM такое не умеет. Будете менять "мозги" целиком и полностью.
У б\у зеона за копейки мало того, что оперативы огромный обьем, так и поставить можно хоть SAS в PCI-E, хоть SATA, хоть быструю сеть, хоть видеокарту (мало ли решите аппаратное кодирование видео или типа того).
Плюсы ARM непонятны. Шум? Шумят все равно диски. Энергопотребление? В РФ не особо актуально. Форм-фактор разве что, но лично я не увлекаюсь компактностью.
Так в том то вопрос и был - что еще по вашему опыту в домашних условиях может потребовать большей вычислительной мощности. Опять же низкое подребление ARM вкупе с SSD дисками позволит сильно снизить шум, и запихнуть NAS в шкаф.
Мощности: аппаратное кодирование видео (Plex), ML для распознавания объектов и лиц на изображениях в домашнем облаке (Immich), выделенные игровые серверы, виртуалки \ Docker
Платформа x86: большое количество ОЗУ для кеша ZFS, возможность воткнуть целый зоопарк плат PCI-E (а следовательно и большое количество дисков, потому что диски дешевле добавлять, чем менять).
Потому что ARM это не так дешево, не быстро, и костыльно.
Предложенная вами RPI5 на 8гб начинается от 7 тысяч рублей, почти как весь мой сервер без дисков. Rpi sata hat еще 6 тысяч на али, и вот мы уже далеко за рамками бюджета с учетом дисков, при этом все еще слабый ARM, слотов расширения нет, памяти всего 8гб (zfs ее для кеша использует), и список для покупок еще далеко не пуст.
Если бы брал что то компактное то наверное смотрел бы Zimaboard, там хотя бы пара sata нативно есть.
Малина нынче стоит как х86.
Лучше ПОЛНОЦЕННЫЙ бокс на N100 - сам цпу 6 Ватт кушает только.
Куда катится мир. Радиинтереса сконфигурировал стартовый набор для NAS на новых деталях за 40k. На Raspberry Pi в 34k вышло. Тут, конечно если повнимательнее по рынку пошарить можно разницу еще уменьшить. Так что выбор в пользу x86, похоже.
топовые поколения одноплатников совсем не бюджетные.
Есть ещё такое на M2 SSD https://habr.com/ru/articles/823814/
Так и есть. Сборки на n100 или столько же или дешевле, но ГОРАЗДО мощнее и универсальнее.
Лучше корпуса чем Fractal Design Node 304 до сих пор не встречал, трудится верой и правдой как NAS уже несколько лет, материнка с авито за 1000 рублей, 16 гигов оперативки, старенький Core i3, для файлопомойки-торрентокачалки с Plex и несколькими контейнерами Docker хватает за глаза. В качестве хост-системы OMV, по сути Debian с удобной нашлепкой в виде web-админки, 6 hdd WD Red по 3 tb через raid-контроллер и один ssd под систему на 240 gb. А рядом малыш-nuc с home assistant ))) Раньше жил на NAS в виртуалке, но потом отпочковался в отдельное устройство.
Привествую!
Тоже подсел на OMV, но волнуют пара вопросов.
1/ Уже умирали диски? Каково было менять?
В качесве хаос тестирования, попробовал (на холодную) отсоединить один винт, форматнуть (что б был новый uid) и вставить, система крашилась, даже в рид-онли уходила. В каком то бреду смог дотянуться до их главного xml файла и подчистить от старого винта, но все равно были какие то затупы до полной переустановки.
2/ А чего home assistant отселили?
С той же целью избыток оперативы прикупил, но до сих пор не дошли руки почитать про разницу инсталяции в виртуалке и в докер-стеке.
Отличное сочетание статьи и переписи NASоводов в комментах. :D
Отличный обмен опытом на самом деле, единственное не пойму желание некоторых дома серверную устроить, меня бы жена выгнала из квартиры если бы в тумбочке пара юнитов стояла. Поэтому при сборке было обращено особое внимание на эстетичный внешний вид и отсутствие шума.
Весь вопрос в выборе сочетания жены/сервера. Совместимость важна везде. :)
Моя серверная полка выполнена из массива березы с приятными ножками из стали. Проводов минимум что сзади что спереди. В итоге выглядит как футуристичный вполне себе уютный куб. За счет тихих вентиляторов и настройки, он почти не издает звуков во время работы, спать рядом с ним можно без проблем.
Есть вопрос по поводу серверных корпусов.
Если взять 4U корпус, то в будущем можно у него заменить корзину на бОльшее кол-во дисков?
Например в таком корпусе
Заменить корзину на такую или более объемную
При помощи напильника 100% можно. Но готовых корпусов где вот так просто корзины меняются лично я не знаю.
Спасибо.
Тогда скорее всего буду искать более компактный корпус и отдельно корзину. Будет стоять/лежать в шкафу, поэтому эстетического вида не требуется.
Думаю достаточно найти компактный сервер + сервер с корзинами. Всегда можно отпилить ему морду с корзинами, повесить выше/ниже основного сервера, и подключить через HBA с длинными кабелями.
Мой основной пк живет в 4U серверном корпусе изготовленном путем распила какого то майнинг корпуса до 30см глубины. Охлаждение в нем просто прекрасное за счет 3х120мм вертушек.
Собираем бюджетный домашний NAS на 14 ТБ