Комментарии 71
Эх, как было бы круто если бы протоколы обмена данных, доступные для винды, умели быстрее, чем 160Mbyte/sec. Это чуть быстрее 1 GB и сильно медленнее NVME. Выходит, смысла в NAS с SSD пока мы имеем лишь samba w/o rdma на клиентах всё это, увы, не работает.
Это вы о чем? Вот сейчас специально попробовал между двумя виндовыми компами, 700МБ/сек без проблем через обычный Проводник, без попыток что-то оптимизировать и однопотоком.
А какие там ограничения и где? У меня был тест сети 25гигабит - https://habr.com/ru/companies/ruvds/articles/864742/ Там удалось развить 2,4гигабайт/сек по SMB между Windows 11 пк и Truenas шарой.
UPD.
А вот так выглядит копирование с двух HDD с Ram кэшем и слабеньким пентиумом в Nas,
Блин, что-то я делаю не так. У меня выше 160 не поднимается с NVME на NVME
Явно что то не то делаете.
TrueNAS, ZFS из нескольких обычных SATA дисков, 10гигабит в легкую выжимает. Может у вас процессора не хватает, samba довольно капризная к этому делу.
и на основе этого было решено что проблемма в ограничении протоколов, однако....
Вот, если интересна производительность на более мелких фрагментах. Все чтение ушло в кэш конечно же, так что у него чуть выше показатели.
за 65к можно купить говно-ксеон на помойке, 64 гб рам, с корпусом и прочей обвязкой, без пропиетарщины. тут выигрыш только в потреблении разве что.
Ага, будет прям один в один, ведь говноксион он по габаритам как раз 14х6х18см
Это плюс или минус?
В говноксеон можно запихать нормальные диски ТБ на 40-50. А в такие вот габариты - нет.
в эту игру можно играть вдвоем. "а хрен ты в эту срань мелкую засунешь HDD"
понятно, что и габариты и потребление разные, но, как показала практика, ОС общего назначения лучше справляется с широким спектром задач, нежели узко файлопомоечная, на которую сову пытаются натянуть.
очередной сторонник самосбора? вы на своем феррари не сможете увезти два мешка картошки с дачи...
Никто не спорит, что при желании и наличии времени и старого барахла можно собрать в стандартном корпусе нечто отдалённо похожее на файловый сервер. Вот только зачем, если по условиям задачи требуется NAS на 4-8 SSD дисках.
Если условия задачи другие, например, нужно использовать стандартные 3,5" HDD на 50TB (ну мало ли у вас завалялась пачка), то конечно представленное решение не подойдёт.
Объясните эти условия задачи. из текста я понял - габариты и отсутствие шума. Какие ещё задачи можно решать дома на этом NAS на 8 дисков и с какими не справится NAS на HDD
из текста я понял - габариты и отсутствие шума.
ну в общем правильно поняли, автор прямо пишет, что NAS на HDD у него есть.
Ещё я так понял, важен вопрос быстродействия.
Ну и минимальная сложность решения, т.е. "вставил и готово", чтобы не надо было иметь сертификат сетевого инженера и десять лет опыта настройки *nix серверов.
Вставил, настроил и готово. Даже в synology так. А там во весь рост домашние пользователи.
По поводу быстродействия - я не пойму. Все равно bottleneck - это сеть. ну и останов дисков в NAS у автора ).
В общем я так и не понял зачем эта железка нужна. SOHO? Там другие нормальные решения есть. Дома? Чтобы вжух и синк - rpi5 + raid1 ssd)
Но рад за автора что он в такие игрушки играет.
За 65к покупается стоечный hp gen9 в неплохой комплектации. Размеры и потребление конечно не те, но во всех смыслах железяка куда более полезная
Раз уж вы писали про SSH - а что там внутри? Линукс или что-то совсем своё? Можно ли ставить линуксовый софт (типа apcupsd)?
Ага, там линукс, но лично я не до конца разобрался как там устанавливать обычные программы. Например, когда я попробовал поставить вим то получит такую вот ошибку
E: Could not open lock file /var/lib/dpkg/lock-frontend - open (13: Permission denied)
E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), are you root?
А с sudo не пробовали? А какие SSD вы в него ставили и что там реально с температурой при копировании например 300 гиг за один раз? Ис IOWait если оно где-то это показывает?
можете на ютубе посмотреть видео, я его тоже записывал, не буду кидать ссылку, но оно с таким же названием, там есть показываю температуры и показываю как выглядит админка
это и есть команда с судо
По дискам ставил те что были) это уже немного старые самсунги 980 про
И им хватает этих вентиляторов при перекачке больших обьемов? Я к чему - я тут игрался с китайской железкой на 4 диска, там правда по 2 линии PCIe на диск. У меня самсунги 990. Так мне штатных вентиляторов не хватило даже после приклеивания медных 6мм "шоколадок" - темпиратура дисков была выше 90. Пришлось убрать крышку отсека и поставить 80мм вентилятор сверху на всё.
Да, хватает. Я же выше написал про видео, можете сами глянуть, там я перекидываю около терабайта.
Я лично не знаю от чего это зависит, и интересно было бы узнать, может быть кто-то подскажет.
На этом девайсе перегрева у меня нет. Но у меня есть еще один девайс где всего два NVME диска. И там когда начинаешь скачивать большие обьемы данных так он безумно нагревается до такого состояние что даже перезагружается.
У вас в видео вроде 1 показатель температуры диска, а не 8. Хотелось бы понять, откуда он его берет. У меня тоже без вентилятора безумно грелось. И с приклеенными радиаторами не перегружалась, только температура дисков до 95 доходила (по Smart). А где 2 диска у вас - может быть больше линий Pcie, соответственно и греться сильнее будет.
10гигабитная сеть построена на SFP+. И подключить этот девайс к десяти гигабитам я не могу
Непонятен логический переход от одного утверждения к другому.
На самом деле, даже и первое утверждение не очень понятно. Что такое "Сеть построена на SFP+"? Эстетическая концепция не позволяет использовать другие (какие?) PHY-окончания?
Нужен специальный трансивер. Раньше их вообще не было, а сейчас бывают редко и недёшево, например, https://shop.nag.ru/catalog/01891.moduli-sfp/23654.snr-sfpt
За эти деньги можно 10 оптических купить (б.у. оптом)
P.S.: и ещё они греются, как черти.
Именно это я и хотел сказать, но предварительно решил уточнить: вдруг душа автора действительно не может допустить, чтобы десятка была воткнута хоть куда-нибудь (в данном случае, в NAS) без использования SFP+?
За эти деньги можно 10 оптических купить (б.у. оптом)
P.S.: и ещё они греются, как черти.
Это очень далеко от "не могу", правда?
А практическая применимость данного устройства в домашнем окружении? 63k + 80k на какие-нибудь Gigabyte PCIe3-2Tb-диски и 12Tb под капотом (raid6)?
Ну и лучше конечно строить на той платформе, где есть зрелое коммьюнити.
Я что-то поставил, внутри какие-то ошибки при установке сторонних пакетов, но ничего. Откуда-то что-то поставилось, пустой RAID-массив довольно быстро собрался после потери диска. Можно и Plex поставит и ffmpeg, а вот как работает - не знаю. Вообще поставить много можно и без GUI - никуда.
Жаль что весь продукт получился уровня домашнего использования, даже для малово бизнеса нет задатков.
"У процессора тут PCI Express Gen3 (9 линий). И это радует, так как один из них уходит на видеоядро, а остальные 8 как раз уходят на каждый из дисков." - а сетевая карта как без линий обходится?
У меня террамастеры, правда хардовые. Ставлю NVME диск, на него фряху, и выкидываю их проприетарщину. Полёт отличный.
А вот на 8 дисков я даже и конкурентов не знаю
12 - это, конечно, не 8, но asus flashstor.
Я конечно не шарю, но вот это на arm cm3588 nas kit, не дешевле будет?
Таких девайсов на самом деле не так уж и много. Есть некоторые модели на 4 диска. А вот на 8 дисков я даже и конкурентов не знаю.
Asus Flashstore до 12 дисков. Кто-то из совсем китайцев, толи ugreen толи orico собирались делать аналог, не знаю, доделали или все еще в процессе.
Из другой лиги, для маков был какой-то производитель тоже флэш-насов, там и фарш побогаче ну и ценник не для дома (мне казалось что это был owc, но сейчас на сайте ничего такого не нашел). Вроде у синолоджи в рэковом исполнении флэш-нас был.
QNAP ровно посередине - для дома максимум пять дисков нашел, остальное уже в серверных линейках (ну и там до 24), что выглядит имхо довольно логичным
В целом идея домашнего чисто флэш-стора увы довольно специфичная. Полностью разогнать много nvme-дисков - надо очень сильно постараться с железом. Единственный очевидно рабочий аргумент в их пользу - габариты, масса и энергопотребление. Что для насов обычно не самая первостепенная задача (хотя есть сценарии, когда это может быть важным)
Даже у вас. Целых 8 NVME - ожидаешь чего-то космического... Но потом начинается: pci-e 3x1 на диск, тоесть это сразу делим лимиты распространенных сейчас дисков на восемь (а топовых так и на 16..). И тут уже 10Gbps порт выглядит даже не так странно, хотя в целом, парочка pci-e 4 дисков могли бы его забить полностью на линейной отдаче, а уж pci-e 5 и в одиночку перекроет...
Ну и ценник довольно быстро начинает улетать в небеса, что со стороны дисков, что со стороны остального железа
Вот и выходит, что может пока ограничиваться комбо-насами - где один-два флеша и остальное на hdd?
И очень бы хотелось увидеть тесты в обзоре, а то как-то почти распаковка получилась (
Вообще у меня дома есть еще и NAS на обычных жестких дисках. Там, конечно, есть и плюсы и минусы. Плюсы в том, что дешевле хранить гигабайт данных, и сам нас можно сделать большого обьема.
Но минусы тоже напрягают. Совсем не приятно работать с этим насом напрямую. Прям чувствуется насколько он медленный. Особенно если надо вдруг скачать или закачать большое количество мелких файлов. Ну и не нравится, что все-таки он шумный, так как эти диски постоянно раскручиваются.
Ну и если места дома не очень то и много, то такие вот компактные решения тоже сразу ценишь. Но если места много, то, наверное, не принципиально.
А зачем в NAS диски останавливать? А каким образом скачиваются и закачиваются множество мелких файлов? А если tar применить?
Ты меня пытаешься все равно уговорить использовать nas на дисках?)
нет, просто стараюсь понять применимость именно такого решения, т.е. те плюсы, которые ты видишь.
Пока только габариты/нет шума.
ps: а в NAS диск всё-таки лучше не останавливать.
ps: а в NAS диск всё-таки лучше не останавливать.
Если в NAS диски используются как холодное хранилище и данные с ним синхронизируются раз в несколько дней, то почему бы и не останавливать.
NAS это всё таки сервер и у него есть разные фоновые задачи по проверке хранилища/smart итд, поэтому диск будет все время прходить циклы стоп-старт, что по моему мнению для диска не совсем полезно. ну и для обслуживания клиентов не совсем хорошо - будут постоянные затупы при копировании на раскрутку дисков, возможно даже и по очереди.
В целом идея домашнего чисто флэш-стора увы довольно специфичная. Полностью разогнать много nvme-дисков - надо очень сильно постараться с железом.
Их не надо разгонять полностью, просто нет такой задачи. Сеть насыщают, время отклика минимально, и ладно. И 8xNVMe там не для производительности, а для объема. Да, это дороже HDD, но быстрее, компактнее и экономичнее. Тут практически же история, как с SSD на ПК - один раз попробовав, обратно на HDD не захочешь.
А никого не удивляет наличие по 1 линии PCIe3 на каждый диск? Можно хоть 20 установить, но при наличии всего 8 свободных медленных линий это не даст ровным счетом никакого плюса по сравнению с простым NAS-ом на hdd с кэшем из парочки sata m2.
В чем крамольный смысл ставить nvme?
Цена сильно завышена, мITX плата с питанием 19в, а не АТХ стоит менее 15, можно сразу с процессором, памяти 8 гиг за глаза. В pci-e x16 ставится райзер под nvme и вот у вас рабочая система без корпуса. Райзер стоит 1к, если хитрый, со180 градусов переходником, то 2. Остаётся корпус. Мне кажется, цена готового решения тут очень сильно завышена. Скмосьор получается мощнее и дешевле при тех же габаритах.
1к стоит пассивный райзер х16 => 4х х4.
Для его использования необходима поддержка такого разделения процессором. Не уверен что дешевые и простые так умеют.
А активный райзер с коммутатором стоит 10к+
При тех же батаритах? А есть у вас фотка того о чем вы говорите? хочется посмотреть на габариты и как оно все впишется в размер 14х6х18см
Вот похожая штука тестировалась и итог таков, что это нежизнеспособно - все жарится как в духовке.
Миниатюрность это всегда интересно конечно, но надо понимать, что NAS - это про надежность в первую очередь. Иначе можно просто подключаемые внешние диски использовать. NAS же должен работать круглосуточно и при этом тихо и холодно, что с миниатюрностью сложно вяжется.
По-мне так домашний сервер/nas должен начинаться с корпуса, а вовсе не с начинки.
Компактный ssd-only тема интересная конечно еще и потому, что в отличии от hdd тут не нужно ломать голову с виброразвязкой.
На авито встречал залипательные варианты самодельных корпусов, которые целиком один здоровенный радиатор.
Скрытый текст
Вот такого плана - да! Когда сам корпус теплоотводом является и плюс продумать движение воздуха, многослойную фильтрацию пыли и вентиляторы крупные тихоходные. А все эти китайские пластиковые поделки с микрожужжалками ... это чушь.
Да плюс еще продумать тему с бесперебойником на суперконденсаторах. Не ради того чтобы оно работало без электричества, а чтоб при отключении в операционку приходила как-то комманда, по которой все срочно, но правильно завершало работу.
Скрытый текст
Ну и естественно только полноценная открытая ОС должна быть
Да плюс еще продумать тему с бесперебойником на суперконденсаторах.
Суперконденсаторы имеют очень низкую удельную емкость чтобы использовать их в бесперебойнике. Есть куча вариантов низковольтных бесперебойников на обычных аккумуляторах.
чтоб при отключении в операционку приходила как-то комманда, по которой все срочно, но правильно завершало работу
Так не должно происходить, иначе при каждом моргании света она будет завершать работу. Операционка должна следить за зарядом бесперебойника и рассчитывать предполагаемое время работы, чтобы максимально продлить время работы с последующим завершением работы.
Смотря конечно что ими питать. И повторю, задача их продержаться хоть секунд 10 чтобы записалось все прокэшированное и ОС нормально завершила работу.
Существуют же ssd с конденсаторами встроенными - ровно для этой же задачи.
И напоминаю, что задача тут - компактность... ну какие еще обычные аккумуляторы. Можно конечно литий, но не хочется еще и за него переживать. Большинство плат управления зарядом изначально расчитаны на полную зарядку. Нам же тут такого не надо, я бы выше 3.9-4в в бесперебойнике не заряжал, а это уже наверняка потянет какое-то самодельное решение, а не готовое. Конденсаторы выглядят сильно безопасней и проще.
В моем представлении этот "ups" ставится не между розеткой и сервером, а уже внутри после блока питания. Т.е. моргания света должен выдерживать блок питания, а вот уже дальше, чуть более длительное пропадание питания должен небольшое время продержать блок конденсаторов, который успеет сообщить в ОС, что электричество пропало и надо срочно все сохранять и выключаться.
в продолжение вышеупомянутого видео:
Скрытый текст
Странная конечно у вас логика. Вы нашли какой-то девайс который перегревается и делаете вывод о том, что значит в все другие тоже будут перегреваться.
Отвечу коротко - нет, девайс про который я писал не перегревается.
Логика простая - не перегревается то, что не напрягается. Не перегревается у вас видимо потому что диски далеко не на полную работают и все остальное. Т.к. даже просто сетевая карта 10г жарится значительно.
Ну и смотря конечно что понимать под "не перегревается". 50 градусов в простое на сколько вижу по скрину - это не так уж и не перегревается.
Так а какая должна быть температура у дисков? 36.6 как у человека? Все что вам кажется горячим не имеет права работать при этой температуре?
Может быть надо смотреть на спецификацию диска? Вот у моего диска в спеке написано что он может спокойно работать до 70 градусов, после 85 он уходит в тротлинг.
Можно как-то раскрыть почему 50 градусов считается плохой температурой?
Это просто мое мнение, оно не обязано совпадать с чьим-то еще. Если вас в вашей ситуации устраивает, то отлично. Я на юге и тут летом особенно приходится посматривать за температурами, потому может чуть искаженное отношение имею.
И да, в моем вот сейчас глянул действительно 37 градусов температура :]
Первый - nvme диск, потом 4шт hdd и ниже с материнки температуры. Где самое горячее 55гр - сетевая карта 25гбит. Но еще и не лето... дальше знаю, что точно будет горячей и потому 50 градусов сейчас в простое для меня точно перебор.
Я увидел что из всех моих восьми дисков создался RAID5 (который тут называется TRAID) с файловой системой BTRFS.
Меня это выбор устроил. Но если что, то сам этот рейд можно удалить и создать новый с любыми другими параметрами.
А вы смелый товарищ ) Вы спецификацию на btrfs почитайте насчет стабильности RAID5/6, чтобы когда ваш пул отправится на радугу - удивления не случилось...
Идеальный NAS на 8 NVME дисков. Обзор Terramaster F8 Plus