Комментарии 289
Тут недавно поставили задачу, может подскажите, есть ли у готовых решений возможность включить full audit в самбе?
ЗЫ. Мне freenas как-то не зашел, поэтому остановился на nas4free.
Тут недавно поставили задачу, может подскажите, есть ли у готовых решений возможность включить full audit в самбе?
По этому вопросу я не могу подсказать: SAMBA мне хотя и может потребоваться, но она далеко не в первом приоритете.
Кроме того, это зависит от конкретного NAS: надо искать для каждого решения отдельно.
Однако, я могу предположить, что в большинстве он включен по умолчанию. Например в руководстве по Synology нет ничего про full_audit, зато возможно включить отладочные логи, что позволяет предположить: логирование уровнем ниже отладочного включено (в т.ч. и отдельные модули логирования).
Тем не менее, лучше всё-таки уточнить на форумах производителя конкретного NAS, который вас интересует.
Если же вопрос в том, возможно ли править конфиг самбы вручную, чтобы подключить модули, которые хочется, то обычно нет: конфигурирование производится через Web-интерфейс, и если разработчики не предусмотрели, штатными средствами, очевидно, никак.
ЗЫ. full audit соответственно включил
Вставлю свои 5 копеек, так как занимаюсь «строительством» NAS уже достаточно давно и пока успешно (пока не было ситуаций, когда приходилось от построенного руками решения отказываться в пользу готового).
Цена: Если Вы собираете NAS на «много ТБ» — то диски и будут основной статьей бюджета. За вычетом стоимости дисков «самосбор» и «готовый NAS» будут сопоставимы при условии, что все запчасти мы покупаем новые. Самосбор начинает выигрывать, когда у нас уже что-то есть либо мы изначально берем что-то Б/У (например, китайский Huanan + Б/У Xeon + Б/У DDR3 планки). Тут уже новое однозначно по цене будет проигрывать, причем возможно в несколько раз. НО — новое по идее должно работать дольше (тут как повезет — не 100% утверждение). В общем каждый сам решает.
Софт: Увы, пока универсальный швейцарский NAS помоему еще не создан. Чтобы все было, и ничего за это не было )))) Вот если посмотреть на рынок сетевых роутеров — то тут Mikrotik может претендовать на это звание (швейцарский роутер )))). Но с NAS-ами пока «серебряной пули нет». И лично мне пока проще и быстрее решить задачу на FreeBSD + ZFS + CBSD, чем изучать очередной черный ящик, который приготовили за меня. Любезно «заминировав» неожиданные места.
Я так скажу — опыт решает. Когда уже сделаешь штук 15-20 таких типовых коробочек (все вдоль и поперек излазив), время на поднятие NAS — это несколько часов. Так как все кейсы давно пройдены, документированы в WiKi, есть которые инструкции и шаблоны контейнеров. И работает оно потом годами, и обновлять его можно без особых неожиданностей, и обновлять уязвимое ПО просто (pkg audit то штатный).
Если опыта нет — то «готовый NAS» кажется манной небесной. И только потом понимаешь, что оно «ограничено» знаниями и желаниями разработчика. И либо придется с этим мириться, либо делать самому.
Увы, пока универсальный швейцарский NAS помоему еще не создан.
Контейнеризация очень сильно в этом помогает.
Да и в современных NAS "из коробки" есть почти всё.
Вплоть до станции видеонаблюдения.
Самосбор начинает выигрывать, когда у нас уже что-то есть либо мы изначально берем что-то Б/У (например, китайский Huanan + Б/У Xeon + Б/У DDR3 планки).
Да, этот пункт у меня есть.
Я так скажу — опыт решает. Когда уже сделаешь штук 15-20 таких типовых коробочек (все вдоль и поперек излазив), время на поднятие NAS — это несколько часов.
Это уже подход производителя NAS, пусть и в мелкой серии. В этом случае, условия другие, в том числе налажены цепочки поставки компонентов. Я данный вариант не рассматривал.
ЗЫ а можете поподробней почему именно ZFS? У меня с ней ка кто не складываются
отношения.
Там стоимость некоторых NAS указана с дисками.
Про ZFS уже комментировал здесь. Много возможностей предоставляет, которые не предоставляют другие ФС, меньше сущностей, всё в одном. Выше надёжность.
Нигде не было ситуаций, что пришлось бы от использования ZFS отказываться в пользу другой файловой системы.
Исключительно надежная, гибкая и удобная технология.
Как-то был бекап, который стал забывать удалять файлы после себя. В итоге 20ТБ хранилось на 1ом ТБ. Размер дедап таблицы был примерно 18-20гб. При этом в системе было 56гб памяти. В момент удаления файлов все к чертям зависло. Перезагрузили, запустили дестрой всего датасета с дедапом — завис полностью сервер. Перезагрузили и продолжили в single user mode.
Учтите датасет будет говорить что он удален, но на самом деле данные не будут освобождены! За этим надо следить через пуловый сеттинг freeing.
В итоге 12 часов спустя дедупленный датасет удалился и освободился.
Короче в ZFS дедуп таблица общая на весь пул, соответственно если удаляется целый датасет даже и с последними блоками то ZFS будет проверять каждый dedup блок.
Чуток получилось увеличить скорость засчет metadata limit, который маловат по умолчанию, но все равно все висело пока происходил бекграундный дестрой.
Про ZFS уже комментировал здесь.
Как бы это еще найти.
Много возможностей предоставляет
А можно для примера килер-фичу?
Это все вместо рейда или поверх рейда? у меня живут рейд6 как аппаратные так и софтварные.
Зы спасибо 8)
Это все вместо рейда или поверх рейда? у меня живут рейд6 как аппаратные так и софтварные.
ZFS — не файловая система. Это комплексное решение для организации хранения данных.
Он сам реализует RAID и может предоставлять, как файловые системы, так и "сырые" тома.
Поверх массива ставить ZFS крайне не рекомендуется.
RAIDZ — нижний уровень, как физический том LVM.
ZFS вам может либо «файловые системы» создавать на нём, либо предоставлять блочные устройства (zvol).
Да.
https://docs.oracle.com/cd/E18752_01/html/819-5461/gaypm.html
https://docs.oracle.com/cd/E18752_01/html/819-5461/gaypf.html
с любой другой файловой системой
На которое возможно записать произвольные данные.
Да, ещё. Дедап там сильно жрёт память.
Насчёт добавления дисков в пул. Насколько я помню, добавить их в пул просто так было нельзя. Может, уже реализовали это.
- If performance isn't critical, and if you expect to save more than 20% of storage capacity through deduplication, then go for it but add at least 5GB of L2ARC SSD capacity per TB of pool data to store the dedup table in.
- If performance is important, wait until you expect at least a 2:1 reduction in storage space through deduplication, and add 30GB of RAM to your system for every TB of disk capacity to make sure that the dedup table is always in memory so optimal write performance is ensured.
А можно для примера килер-фичу?
Я не искал киллер-фичей. Почти всё возможно сделать иными средствами.
Снэпшоты через LVM (они будут тяжелее, чем ZFS), RAID через md, контрольные суммы файлов рядом с ними хранить.
Но зачем, когда уже всё это реализовано лучше и работает?
Ну, если хотите, ZFS установленный на голый диск, определит оптимальный размер сектора, сам включить кэш записи и т.п..
С 2006 года эксплуатирую дома под холодильником сервер (поначалу на VMWare Server for Linux, с 11 года ESXi), прошедший долгий путь мутаций. Поначалу это был обычный минотавр от INWIN на каком-то Athlon 5400, который в дальнейшем мигрировал на i5-2500K в ящике CFI-A2059 с двумя хардами в RAID-1, затем в ящик CFI-A7X79 с четырьмя хардами в RAID-10 на LSI 9260-4i, и вот на новый год переселил все это хозяйство в Norco ITX-S8 с контроллером LSI 9265-8i, на данный момент 8 дисков в RAID-10. Все извращения вызваны к жизни доступным местом под холодильником :)
Так вот с 32 гигами DDR-3 и на стареньком i5-2500K эта железка нормально тянет четыре активных виртуалки — файлопомойку под линуксом (гигабит она нормально загружает), виндовый сервер для Veeam, семерку для бухгалтерии, рабочий виртуализованный линукс десктоп и какие-то экспериментальные сервисы, причем на данный момент все упирается в память, а не в процессор. На NASе, пусть даже самом навороченном, ничего такого сделать не выйдет, потому как там будет Atom, или в лучшем случае какой-нибудь Celeron.
Что такое ящики от FreeNAS? Они вроде как баребоны продают, а не ящики? Взял Norco ITX-S8 исключительно из соображений нормального охлаждения — там два вентилятора 80мм (стоковые ужасно жужжат, заменил на Noctua без PWM от 12в) продувают корзину насквозь спереди назад, температура при ребилде где-то 44 градуса, в простое падает до 37, винты 4 и 6 Tb от HGST. Ну и подключение корзины к контроллеру двумя проводами SFF-8087 — SFF-8087 очень сильно способствует порядку внутри.
Есть еще неплохой корпус от Supermicro www.supermicro.com/products/chassis/tower/721/SC721TQ-250B но по нему есть нарекания на длину проводов передней панели, подходящих только к платам от Supermicro :).
Сейчас я бы поменял плату и процессор, думаю дождаться выхода восьмиядерных интеловских камней и потом уже что-то думать на эту тему, есть платы от той же Supermicro с Xeon D SoC, с 10G и поддержкой до 128Gb RAM, но с довольно негуманным ценником.
Резюмируя — если нужен именно NAS, то лучше купить железный NAS. Но если фантазии простираются несколько дальше простого перемещения файлов по сети, то железный NAS за те же деньги сильно проигрывает в итоговой производительности серверу похожего форм-фактора.
Тут бонус в том, что в итоге, если не упираться во FreeNAS как панацею, получается годный сервер общего назначения, чего из заводского NASа не получится никогда.
Да ну почему? Если вы внимательно посмотрите обзор, то заметите несколько NAS, которые не только по железу сильно похожи на сервер, но и позиционируются, как сервер. Да и вообще большинство современных NAS являются именно сервером, а не исключительно сетевым хранилищем.
В Вашем случае железо для FreeNAS не то, чтобы избыточное, но с таким количеством шпинделей и кэшом оно явно избыточное для гигабитной сети.
- В плате, которую я использовал, есть слот PCI Express, на крайний случай.
- Я использую бондинг, так что фактически, у меня канал 2 Гбит/с.
- При организации CI на NAS и сборки проектов, кэш и "лишние" диски сразу видятся в ином свете.
На NASе, пусть даже самом навороченном, ничего такого сделать не выйдет, потому как там будет Atom, или в лучшем случае какой-нибудь Celeron.
Опять же: есть решения на Core i, на Xeon и на Avoton (это весьма мощный многоядерный Atom).
Что такое ящики от FreeNAS? Они вроде как баребоны продают, а не ящики?
Пепепроверил. Тут действительно мой недосмотр. Отдельно корпусов нет: если покупать, то вместе с их железом.
Описание корпусов из вашего опыта могу добавить в статью.
Да ну почему? Если вы внимательно посмотрите обзор, то заметите несколько NAS, которые не только по железу сильно похожи на сервер, но и позиционируются, как сервер
Если не рассматривать железо совсем высокого конца, устанавливаемое в 19" рэки, то вырисовывается такая картина — либо процессор шлак, либо памяти зачем-то 8 гиг, либо добавить память можно только какими-нибудь экзотичными SO-DIMM с ECC. И если что-то пошло не так, то всю железку как целое в сервис, который неизвестно есть ли.
Но это на самом деле цветочки, ягодки там в фирмвари, которую собирают люди с альтернативным видением мира, чем-то напоминающим RPMы для линукса образца 90х годов — выключенные стандартные опции в ядре и в сервисах, намеренная кастрация внешних eSATA-портов, совершенно убойные стартап-скрипты и так далее. Ну и на сладкое внезапный отказ от поддержки железки в новых прошивках без раскрытия сорцов старых.
У меня есть на хозяйстве четырехдисковый QNAP на i7, из которого сделали веб-сервер с LAMP на стандартной прошивке, но количество костылей к ней прикрученных уже зашкаливает за ресурсы моей памяти; каждый раз при выходе новой прошивки приходится пересобирать Apache и PHP, применять какие-то брутальные хаки и вообще насиловать себя.
В итоге, кстати, ради интереса у нас получилось на QNAP с атомом поставить Windows XP на харды, подключив к нему монитор по VGA и клавиатуру с мышью через USB-хаб, но чисто в качестве извращения.
Я использую бондинг, так что фактически, у меня канал 2 Гбит/с
Любой бондинг, кроме round-robin с тем же количеством активных портов на клиенте, что и на сервере (и при этом в разных вланах) между двумя точками будет ограничен скоростью одного интерфейса в бонде. То есть для самой полезной задачи, вроде скопировать терабайт видео с компа на файлопомойку, получится загрузить только один гигабит.
Но матери с 10G в форм-факторе mini-ITX уже есть от Supermicro, так что глядишь еще год-другой и все станет совсем с этим хорошо.
Если не рассматривать железо совсем высокого конца, устанавливаемое в 19" рэки
Из рассмотренных: QNAP TVS-871-i7-16G, Synology DS3617xs, Asustor и Thecus с натяжкой.
Стоечных вариантов там нет.
И если что-то пошло не так, то всю железку как целое в сервис, который неизвестно есть ли.
Две стороны: с одной конечно плохо, сам поправишь — конец гарантии (не могу сказать какова ремонтопригодность у всех железок), с другой — есть гарантии и производитель всё починит, если что (о сохранности данных не говорю, решается другими средствами).
Ну и на сладкое внезапный отказ от поддержки железки в новых прошивках без раскрытия сорцов старых.
Это известный факт. Потому, стоит смотреть лишь в сторону того, что использует опенсорсные ОС. Таких сейчас много (те же QNAP, например, или Synology).
каждый раз при выходе новой прошивки приходится пересобирать Apache и PHP, применять какие-то брутальные хаки и вообще насиловать себя.
Docker не спасает от костылей?
В итоге, кстати, ради интереса у нас получилось на QNAP с атомом поставить Windows XP на харды
Но зачем?
Не для таких ли случаев там сделана виртуализация?
с этим хорошо
Только не с ценой и поддержкой SAS.
Из рассмотренных: QNAP TVS-871-i7-16G, Synology DS3617xs, Asustor и Thecus с натяжкой
Из этого всего я готов рассматривать QNAP и Synology, потому что остальное за гранью на самом деле в плане прошивок. У меня на поддержке есть и мелкие и большие устройства обоих производителей, несколько стоечных железок от Synology, и даже дома есть QNAP, даже два. И когда меня спрашивают за сервер под файлопомойку я их рекомендую без зазрения совести.
Но вот эти все фишечки, типа виртуализации, нативного докера, видео-транскодинга и проч — они для них вторичны и пользуется ими дай бог 2% пользователей, поэтому я скептически отношусь к их использованию даже в домашнем продакшене. И перед последним апгрейдом железа я всерьез посчитал цены этих железок с нормальными процами и от 32 гиг памяти и жаба меня просто съела.
Потому, стоит смотреть лишь в сторону того, что использует опенсорсные ОС. Таких сейчас много (те же QNAP, например, или Synology).
Так-то да, но нет (с). Вот дома стоит QNAP 239 Pro II под локальные бэкапы. Отличный девайс, там QNAP в стоковой прошивке сделал так, что шары NFS по дефолту монтируются с async, даже если просят об обратном, поэтому из-под ESXi выдает как внешнее хранилище честные 110 MB/sec без битья в бубен. И внутри там линукс. И ныне он unsupported, чисто из маркетинговых соображений, так как внутри там x86.
И что мы имеем? Сорцов прошивки нет, неофициальных прошивок тоже нет, но можно поставить дебиан, лол. Можно туда DSM от Synology впилить путем нетривиальных манипуляций, но вряд ли это принесет радость. Ну или долго пинать QNAP на предмет GPL, да.
Docker не спасает от костылей?
Там простые менеджеры по продажам, им мил родной гуй, в который они могут кликнуть и создать себе сайт. Ну и в маркете было написано — можно создавать сайты, значит нужно создавать сайты :).
Вообще будущее ближайшее однозначно за 10G, а насчет SAS — 9265-8i на амазоне можно взять за $50 новый, с модулем flash-cache на гиг и я не шучу. Да, к нему нету IT фирмвари и он не поддерживает JBOD, так что для чистого ZFS это плохой выбор, но это полноценный SAS RAID даже с RAID 60. Так что от производителей матерей на самом деле нужно только 10G, желательно SFP+, и все :)
И перед последним апгрейдом железа я всерьез посчитал цены этих железок с нормальными процами и от 32 гиг памяти и жаба меня просто съела.
И всё-таки выходит ненамного дороже своего, причём это без учёта затрат личного времени.
Ну или долго пинать QNAP на предмет GPL, да.
Ну это да, печально, однако сейчас меняется к лучшему. Пинать, думаю, бесполезно. Далеко не факт, что у них остались исходники прошивок, снятых с поддержки.
Там простые менеджеры по продажам, им мил родной гуй, в который они могут кликнуть и создать себе сайт. Ну и в маркете было написано — можно создавать сайты, значит нужно создавать сайты :).
Не знаю для чего менеджерам по продажам создавать сайты. Но ладно.
Я про запуск Апача в докере, а то как в Web-интерфейсе реализуете, это уже вторично. Сразу часть проблем снимается. По крайней мере, с конфликтами версий пакетов.
Вообще будущее ближайшее однозначно за 10G, а насчет SAS — 9265-8i на амазоне можно взять за $50 новый, с модулем flash-cache на гиг и я не шучу.
Неплохо, но такое решение применимо не для всяких задач, а уж в свете последних блокировок адресов Amazon, стоит трижды задуматься.
И всё-таки выходит ненамного дороже своего, причём это без учёта затрат личного времени.Тут штука в чем (КМК) — если вы купили железку на 5 дисков, то в лучшем случае вы можете поставить еще плату расширения PCI (если повезет найти подходящую и если коробка позволяет это сделать) на пару дисков. При этом еще и останется вопрос куда эти диски физически девать.
Если же мне с моим самосборным NAS понадобится еще 5 дисков, то мне достаточно купить платы расширения (потому что слотов под них обычно на материнках несколько), в крайнем случае еще заменить материнскую плату, если слотов PCI недостаточно. То есть по необходимости я могу заменить любой компонент системы, если требования изменились. Зачастую даже всего лишь один, далеко не за цену нового NAS.
В случае с готовым NAS я могу только купить только новую (дополнительную?) коробку.
В случае же с покупным NAS возможно купить дисковый модуль расширения на n дисков (у некоторых предусмотрено).
Вот прямо сейчас для моей системы купить новую материнскую плату с 10 портами SATA вместо 6 будет стоить 18 тысяч. В ней также будет аж 5xPCI-E x16 (хотя беглый осмотр показал, что в лучшем случае режим будет 8-0-8-8-8, то есть 4 слота?..). Каждый из них — N количество дополнительных портов SATA. Предположим, два. Итого — 18 SATA портов?
Опять же, это новая плата из магазина — можно взять б\у. У меня есть большие сомнения, что готовые NAS можно так масштабировать. Дешевле 30 тысяч я вообще приемлемых вариантов не припоминаю. А уж на 18 дисков…
Ну это так, полет фантазии конечно. Хотя должно сработать.
Смотря что за железо в ней стоит. Обычно найти материнскую плату под тот же процессор и ту же память, но с большим количеством SATA портов и\или PCI слотов не сложно. И стоит далеко не как заменить все вместе.
- Не всегда. Плат с SAS мало.
- Это дорого, хотя и не так, как заменить всё, конечно.
- Если менять только плату, то вы ограничены конкретным сокетом, а это значит, что платами определённого года выпуска. Но необходимость замены, как правило, возникает из-за того, что мощностей не хватает, а на тот момент когда плата была куплена, лучше ничего не было (если покупалось с запасом и осознанием перспектив роста нагрузки).
Вот прямо сейчас для моей системы купить новую материнскую плату с 10 портами SATA вместо 6 будет стоить 18 тысяч. В ней также будет аж 5xPCI-E x16 (хотя беглый осмотр показал, что в лучшем случае режим будет 8-0-8-8-8, то есть 4 слота?..). Каждый из них — N количество дополнительных портов SATA. Предположим, два. Итого — 18 SATA портов?
Что-то мне подсказывает, что вы сейчас не о форм-факторе mini-ITX.
Тут да, несколько проще.
Далее. Заменили вы плату. Загрузится ли на ней существующая ОС?
Какие изменения вам придётся вносить в конфигурацию?
Если чипсет тот же и при этом не использовался WIFI, то все должно заработать. На голых дисках без ZFS, а может и с ним — не знаю, ZFS я еще банально не пробовал, как видно по моим вопросам. Вероятно, отвалится сеть — надо будет перенастроить.
Да, я не о mini-ITX, а об обычных ATX. Какого размера ставить коробку на шкаф, кмк, не очень принципиально. Сейчас стоит в корпусе mini-ITX, но чувствую, что рано или поздно придется менять и корпус. Все равно выйдет дешевле, чем менять все диски с X Тб на X+N Тб. Старые, опять же, продавать или что…
Но опять же, возвращаясь к тому, с чего все началось: если бы у меня был готовый NAS, то я бы сейчас думал не о замене корпуса и МП, а о покупке нового (дополнительного) NAS или (если бы мне очень повезло) о покупке дискового модуля расширения.
У меня есть знакомый с 3 NAS дома, мне кажется, что проще собрать один…
Тогда всё-таки замена платы уже не видится такой сильной необходимостью, и не сильно влияет на выбор покупного решения.
У меня есть знакомый с 3 NAS дома, мне кажется, что проще собрать один…
Подозреваю, что он живёт один. С тремя NAS. Либо, это свой дом, а NAS стоят в подвале: шум даже от тихих NAS с активным охлаждением будет постоянным и ощутимым.
Но у такого решения есть и плюс: возможно настроить между ними репликацию. Это повысит надёжность.
В принципе если выкинуть 10 гигабит (если он не нужен), то к любой метеринке через SAS контроллер и SAS Expander — можно подключить без проблемм примерно 32-40 дисков (можно и больше)
Проблемма в корпусе и блоке питания…
И для этого не нужно кучу PCI-E (но они очень не лишнии)
Было бы хорошо добавить в конце итоговую таблицу получившегося решения по железу и софту.
Какой RAIDZ, какие скорости чтения/записи, результаты тестов iozone и т.п.?
Кстати, есть люди, кто дома уже использует сетевухи 10Гбит/с.
На хоботе уже 13 часть NAS своими руками (часть 13)
Было бы хорошо добавить в конце итоговую таблицу получившегося решения по железу и софту.
По объективным причинам я не могу этого сделать: у меня нет лаборатории, которой производители предоставляют свои железки.
Материал я изначально собирал для себя, и уж не обессудьте, что накопал, то и есть.
Кроме того, обзор и так получился немаленький, и в таком случае написание статьи бы неслабо затянулось.
Какой RAIDZ, какие скорости чтения/записи, результаты тестов iozone и т.п.?
Не у всех же RAIDZ, а там где он есть, вы вольны выбирать любой, это ограничено только количеством дисков.
I/O сейчас определяется, в основном, дисками и кэшем (ну, либо прямой записью), так что не сильно зависит от продукта (считаю, что там DMA, а CPU почти не задействован для генерации трафика, который пишется и не обрабатывает то, что читается).
Да, возможно актуально для систем, которые используют гибридные технологии (перемещение часто используемых данных на SSD, к примеру).
Кстати, есть люди, кто дома уже использует сетевухи 10Гбит/с.
Это вопрос или утверждение?
Наверное есть. Лично мне это пока не требуется.
Про 10Гбит/с — это утверждение.
Я имел ввиду итоговую таблицу с тем, что вы выбрали, из чего собрали.
А, это я мерял. Как на железо, так и на ФС. Даже скидывал в рассылку, вроде. Но это в другой статье будет: сколько iops даёт голое железо мало кому интересно, а ФС и прочие наслоения к железу, которое здесь описано, в общем-то не относятся.
На хоботе уже 13 часть NAS своими руками (часть 13)
Статьи там я, кстати, читал. Тоже ими вдохновился. Но там пишут с излишним энтузиазмом и несколько умалчивают о подводных камнях.
И с докером проблем вроде бы особо не было. Ну кроме того что, кажется, не совсем себя адекватно ведут контейнеры после перезагрузки. (автоматически не стартуют и docker-composer up не видит старые контейнеры и орет что не может создать новый контейнер с таким именем) Пока еще нет времени и желания с этим разбираться.
Мало того что все что мне надо проще сделать на чистой системе, так еще и нет всяких сюрпризов, описанных в статье.
Вы про OMV? Мне он нужен, как система управления.
Я его не использовал, как дистрибутив. Он ставится пакетом на обычный Debian.
Первые же сюрпризы из-за того, что я не использовал штатный установщик ОС (ставил вручную) из-за желания сделать корень на ZFS.
И с докером проблем вроде бы особо не было.
Не столько с самим докером (там-то проблемам особо возникать неоткуда), сколько со связкой Docker+ZFS (и его ZFS бэкэнд) и с конфигурацией диспетчера.
Ну кроме того что, кажется, не совсем себя адекватно ведут контейнеры после перезагрузки. (автоматически не стартуют и docker-composer up не видит старые контейнеры и орет что не может создать новый контейнер с таким именем) Пока еще нет времени и желания с этим разбираться.
restart: always, я так понимаю, установлен?
Хоть и без GUI, но я поднял ZFS и Samba, скорость сейчас 80-90Мбит с той же конфигурацией, ошибок нет…
В общем мои претензии остались теми же: непонятно куда копать, если что-то ломается, и GUI в этот момент становится не помощником, а настоящим врагом. Крутить что-то под капотом мне совершенно не захотелось, я Ubuntu-то только недавно осилил…
Для начала:
1. Сколько было памяти?
2. Какие опции ZFS были включены?
3. Был ли SLOG вынесен на SSD?
Вопросы по сети в данном случае задать сложно. И, опять же, причём тут SAMBA?
Сначала надо померять дисковые IO, изолировать проблему, ведь пока не ясно вообще, в чём она заключалась.
1. 8 Гб
2. Сжатие LZ4 и noatime, больше ничего. Dedup и шифрование отключены.
3. Нет, потому что отдельного SSD нет, а про перемещение SLOG на SSD с системой начитался страшилок. Да и не нашел простого способа это сделать в любом случае. L2ARC не устанавливал, только голые диски (4 штуки) в RAIDZ1 — знаю, что не оптимально.
Я бы даже смирился с низкой скоростью, но ошибки — это перебор. Про SAMBA вспомнил, потому что вроде бы год назад я подобную проблему лечил ее конфигом, вроде что-то связанное с Opportunistic Locks, точно не вспомню. По стандартному пути smb.conf я конечно же не нашел, на чем и остановился.
(Каюсь, везде где раньше писал МБит, были МБ)
GUI в этот момент становится не помощником, а настоящим врагом
Не знаю, как во FreeNAS (после общения с их сообществом и разработчиками я и свалил на OMV), но в случае OMV с GUI проблем нет: он работает параллельно.
Urbackup'ом только винду бэкапите?
Пока только поднял его в контейнере. Ещё не бэкаплю. Из работающих сервисов сейчас контейнеры со LDAP, nginx-proxy, gitlab и локальным nginx (перенаправление на хостовый OMV).
Бэкапить собираюсь, в основном, Linux пофайлово. На моих личных машинах винды нет.
Там дальше, как пойдёт.
Образы на линуксе не работают из коробки
Нельзя выкачать бэкапы больше 4GB из web'a
Невозможность восстановиться из urbackup-livecd без образов
Хотя надо отметить, Urbackup порадовал позиционрированием себя как бэкапа «в один клик».
Спасибо, ваш комментарий учту. Бэкап у меня ещё в процессе разработки: есть несколько альтернативных инструментов, но из них пока Urbackup выглядел лучше остальных.
Политику и регламент ещё надо доработать.
Если интересует, по факту работы могу сделать статью на эту тему (хотя, их уже и так много).
Установщик FreeNAS не поддерживает даже пользовательское разбиение дисков.
Скорей всего, такое поведение представляет более общий шаблон использования, когда систему ставят на флешку, а диски объединяют в ZFS пулл. ZFS тем и хорош, что о разделах думать не нужно, это одна из самых ярких его характеристик, а система в NAS — это просто средство управления дисковым пространством, с основной целью «не мешать», потому настривать в системе особенно нечего, в частности разбиение системного диска (если там тоже ZFS то совсем можно не лезть). Кроме того если хочется понастраивать что-то в NAS-е, то нужен не NAS а сервер с обширным дисковым хранилищем, и странно в этом месте использовать узкоспециализированное ПО. Мой личный опыт работы с подобными системами, как с системами общего назначения, привёл к мысли, что можно просто поставить FreeBSD и не мучать ни себя, ни ПО, оно того не стоит.
И всё-таки хотелось бы более полного раскрытия темы в части более гибкой настройке linux, мне очень интересно в свете выбора платформ для собственного мини-сервера.
Скорей всего, такое поведение представляет более общий шаблон использования,
когда систему ставят на флешку, а диски объединяют в ZFS пулл.
Не обязательно на флешку, но да, шаблон именно такой.
ZFS тем и хорош, что о разделах думать не нужно, это одна из самых ярких его характеристик, а система в NAS — это просто средство управления дисковым пространством, с основной целью «не мешать», потому настривать в системе особенно нечего, в частности разбиение системного диска (если там тоже ZFS то совсем можно не лезть).
Там шёл вопрос не о настройке, а о установке.
И ответ мне запомнился: "FreeNAS is not operating system, FreeNAS is an appliance". :-/
Кроме того если хочется понастраивать что-то в NAS-е, то нужен не NAS а сервер с обширным дисковым хранилищем, и странно в этом месте использовать узкоспециализированное ПО. Мой личный опыт работы с подобными системами, как с системами общего назначения, привёл к мысли, что можно просто поставить FreeBSD и не мучать ни себя, ни ПО, оно того не стоит.
А как настраивать? Каждый раз заходить по SSH? Или использовать Web GUI для управления сервером?
Первое — слишком муторно, второе — избыточно. Именно для того, чтобы "среднюю" нишу заполнить, FreeNAS/OMV и подобные нужны.
И всё-таки хотелось бы более полного раскрытия темы в части более гибкой настройке linux, мне очень интересно в свете выбора платформ для собственного мини-сервера.
Посмотрите на объём статьи, вместе с обзором и картинками: порядка 80-ти страниц.
Однозначно, что данная тема, ещё более объёмная, для другой статьи.
Есть ли железные NAS с поддержкой Plex? Не так чтобы там рядом поставить как-то, а с нормальной поддержкой изначально.
В большинстве случаев, где есть «мультимедийный сервер с DLNA», стоит Plex.
В некоторых случаях Kodi или что-то проприетарное (есть более редкие вещи но их, соответственно, меньше).
Посмотрите на их сайте: https://support.plex.tv/articles/201373803-nas-compatibility-list/
HP Microserver Gen6 под Nas4Free, WD Red, 4Gb ECC
не энтерпрайз конечно, но мои потребности закрыты на ближайшие ххх лет
А с учетом того, что сам серверок я купил за 50 баксов (контора закрывалась и распродавалась) так совсем счастье.
Железка сделана наотлично, аптайм месяцами, останавливаю только пропылесосить
за 50 баксов
С дисками?
upd: посмотрел что 10й на amd, неудивительно, что он не очень. Тот первый из продаваемых в РФ (он, кажется, шестой или пятый) на amd тоже был не очень =) Я рассматриваю только те, что на интелах сделаны — у них есть какой-никакой ценовой диапазон по потребностям, в итоге есть и копеечные на пентиуме для дома, и толковые на LV-xeon для SMB.
Поэтому сейчас нет особого смысла покупать железку, с которой нужно возиться, если за ту же цену (а то и ощутимо дешевле) можно купить готовое решение, в котором изначально будет и само файлохранилище, и медиасервер, и принт-сервер, и торрентокачалка, и видеонаблюдение, и прочие вкусняшки
Я сейчас пересобираю свой старый NAS на базе HP Microserver gen7 на новом поколении Microserver gen10. Там обрезанный проц AMD, 4 слота под винты.
При желании можно туда воткнуть и аппаратный рейд Smartarray с ebay'я, если уж сильно хочется RAID5 без насилования CPU…
Ну и серверная плата, которая с SAS как-бы предполагает, что там сокет для Xeon.
Кроме того, мне требовалась поддержка ECC для ZFS.
И AES-NI, а также VT-X в перспективе.
У меня, кстати, конфиг после пересборки будет HP microserver gen7 + 250Gb система + smartarray Raid5 4x3Tb SATA на одной «площадке» и HP microserver gen10 + 256GB SSD система + ZFS 4x3Tb SATA на другой. Взаимная репликация через Syncthing внутри VPN-туннеля. Из фич: samba (локально), webdav (в инет), torrent, ldap, sms-tools, telegram-bot.
Или предполагается использовать реально SAS-диски (не NL-SAS и т.п.)?
HGST с 3 млн. часов MTBF похожи на SAS...
256GB SSD система
Я поставил на зеркало. И просто под систему — это слишком много.
ZFS 4x3Tb
Какой ZRAID и сколько процент потерь?
ldap
Потому, что его поддерживают приложения из коробки или из-за большого количества пользователей?
HGST с 3 млн. часов MTBF похожи на SAS...
А скорость вращения какая? Реальные SAS делают 10k или 15k RPM, SATA (NL-SAS) — 5,4k или 7,2k… Кстати, есть и переходники для подключения SATA в SAS…
У меня в рабочем компе так винты подключены на SAS RAID-контролллер.
Я поставил на зеркало. И просто под систему — это слишком много.
Сорри, 120Gb SSD, 256Gb действительно много… ;) Самый дешевый в ближайшем магазе взял. По цене, что самый дешевый шпиндель, что SSD — примерно одна цена. С учетом весьма неактивной нагрузки на загрузочный диск — риск выхода его из строя минимален. Даже если и сдохнет, то есть реплика на другой «площадке» :)
Какой ZRAID и сколько процент потерь?
Пока не определился. Собран тестовый том с десятком файлов, к концу мая планирую переехать уже на него, тогда и видно будет. Если результаты будут неудовлетворительные, то воткну Smartarray и RAID5.
Потому, что его поддерживают приложения из коробки или из-за большого количества пользователей?
В первую очередь приложения из коробки. Пользователей полтора ;)
А скорость вращения какая? Реальные SAS делают 10k или 15k RPM, SATA (NL-SAS) — 5,4k или 7,2k…
7.2. Но, я так понимаю, скорость вращения всё-таки ещё не говорит о том NL-SAS это или нет.
Плюс, SAS гарантирует сквозной контроль (самокорректирующийся код, исправление ошибок в канале, чего SATA не делает).
Кстати, есть и переходники для подключения SATA в SAS…
Использую для подключения SATA SSD: именно этот кабель пришлось дозаказывать.
В первую очередь приложения из коробки. Пользователей полтора ;)
Тогда всё-таки LDAP несколько избыточен. Разве что, для централизованной смены пароля.
Впрочем ИМХО sas уже практически не нужен. Есть sata для объёма и ссд (на nvme оптимально) для скорости, ну и конечно их комбинация при помощи технологий кеширования и многослойного хранения.
Впрочем ИМХО sas уже практически не нужен.
Он развивается быстрее SATA, и последний SAS-4, который до 24 Гб/с по сравнению с последней SATA-3, которая 6 Гб/с, выигрывает по всем показателям.
Есть sata для объёма и ссд (на nvme оптимально) для скорости, ну и конечно их комбинация при помощи технологий кеширования и многослойного хранения.
NVME — это костыль, который делают для того, чтобы обойти низкую скорость SATA (ok, в моём случае SAS 6 Гб/с, но это SAS, который всё-равно надёжнее, чем SATA).
И да, я выразился несовсем корректно. Sas как интерфейс — очень даже нужен, например для подключения тех же полок. А вот с дисками со шпинделем — ИМХО их время проходит.
Nmve как раз не костыль, а новый протокол, который не тянет набор команд scsi и прочую шнягу из далёкого легаси. Опять же ИМХО.
А вот с дисками со шпинделем — ИМХО их время проходит.
Ну куда же они денутся-то? В SSD столько недостатков, что с HDD никто уходить не собирается (кроме, специфичных приложений). А всякие новые технологии, типа мемристоров, ещё далековато, и неизвестно, какие там всплывут проблемы.
Так посмотрим конечно что будет дальше и как пойдет развитие, может действительно будут решать nl-sas для холодных данных… но лично я уже довольно давно перестал покупать sas для новых инсталляций. Sata ssd — да, nmve ssd — да, sata hdd — да.
NVME — это костыль, который делают для того, чтобы обойти низкую скорость SATA
А вы уверены, что это костыль?
«NVMe has data transfer performance characteristics of PCIe Gen 3 and therefore has bandwidth of around 1Gbps per lane – up to 16Gbps in a 16-lane configuration. PCIe Gen 4 will likely double that and is set for release in 2017.
At the same time, NVMe is built to handle more queues than SAS and SATA at the drive, with 65,000 queues and 65,000 command queue depths possible. This compares to one queue for SAS and SATA, and queue depths of 254 and 32 respectively.»
Я в курсе про скорость. И про цены на NVMe устройства (хотя, может сейчас к лучшему что-то поменялось).
Несколько коробит то, что при наличии отдельной шины для дисковой подсистемы, они используют общую шину PCI Express, для работы с ними.
Ну и с учётом SAS, который 24 Гб/с, 16 Гб/с кажется большим числом только относительно SATA.
Размер очереди команд, с точки зрения пользователя меня вообще не интересует.
Скорость же выше у SAS-4, при этом слоты PCI Express лишние не занимаются.
PCIe Gen 4 will likely double that and is set for release in 2017
Т.е. в Gen 4 — 16*2 == 32 Gb/s, быстрее, чем SAS-4.
Размер очереди команд, с точки зрения пользователя меня вообще не интересует.
Он повышает производительность. Особенно если много процессов параллельно работает (например, сервер с виртуалками). На сторадже — зависит от того, что хранится и от нагрузки.
7.2. Но, я так понимаю, скорость вращения всё-таки ещё не говорит о том NL-SAS это или нет.
Вот что пишут на амазоне про этот диск:
HGST Ultrastar™ 7K4000 is the world's first 4TB 7200 RPM hard drive with a 2.0 million hours MTBF specification and backed by a full 5-year warranty, originally offered with SATA 6Gb/s and now also available with a SAS interface.
Т.ч. точно NL-SAS…
Я бы с удовольствием почитал статью про Seafile. Или даже две статьи: первую — про то, чем оно лучше аналогов, а также про особенности версий и лицензирования (хватит ли Community Edition или для каких-то рутинных задач нужен именно Professional Edition (у него вроде как даже есть бесплатная лицензия на 3 юзеров)); а вторую — собственно, про сам процесс установки/настройки/подводные камни и лайфхаки всего этого хозяйства
Статей про то, "как он хорош" много. Про лицензии ничего не знаю, вы наверное имеете ввиду планы использования. Они актуальны только для покупки облака у них. Для того, чтобы установить и использовать Seafile у себя никаких лицензий не нужно, и он опенсорсный.
Настроек тоже почти не нужно.
Просто используете Docker образ seafileltd/seafile и настраиваете по инструкции, которая там есть (как на гитхабе, так и на докерхабе).
Откинем не-тру-way «купил-забыл-привет супорт» и рассмотрим привычный хэнд-мэйд со стороны ПО:
— идёшь в обитель XPEnology… железо совместимо? установил? всё работает? поздравляю, у тебя, %username, в руках приличный софт с кучей фич и возможностей, но не спеши его обновлять на самый свежий релиз.
— хренология — хрень? не завелась? загрузчик не загружает? на форуме не решили твои проблемы? ковыляешь в обитель FreeNAS и любителей всяческих
— фринас не пошла? мало ram? zfs не мил? фичей не хватает? — ну тогда погружайся во все тяжкие: OMV Nas4Free Rockstor и т.д. — все такие красивые и функциональные, прям душа поёт от релиза к релизу.
— не тру? ставь любимую ос и настраивай всё вручную, даже можешь свой гуй сделать с оповещениями и телегой, было бы желание.
фринас не пошла? мало ram? zfs не мил? фичей не хватает? — ну тогда погружайся во все тяжкие: OMV Nas4Free Rockstor и т.д. — все такие красивые и функциональные, прям душа поёт от релиза к релизу.
OMV поддерживает ZFS.
Я бы не сказал, что Nas4Free красивее и функциональнее FreeNAS: скорее, наоборот.
не тру? ставь любимую ос и настраивай всё вручную, даже можешь свой гуй сделать с оповещениями и телегой, было бы желание.
Не конфликтует с предыдущим пунктом. Я, например, ставлю OMV пакетом. Вполне нормально.
— «В смысле ещё ~100к на диски? В прошлом месяце же хранилище покупали...»
Давно планировал собрать нормальный NAS, до этого были:
1. Самосбор на Core2Duo с 2x1Tb дисками под данные + 320 Gb под систему. Жив и сейчас, но включается редко, только для копирования бекапов туда/оттуда
2. Однодисковый NAS WD My Cloud 3Tb. В какой-то момент прошивка в нём окирпичилась, а благодаря «подарку» от WD в виде Ext4 с размером кластера в 64Kb такую FS не видит ни один Linux (зато есть отличный софт под Windows, который с лёгкостью монтирует такие разделы в R/O). Процессор довольно тормозной, перезаливать в итоге не стал и использовал HDD отдельно от самого NAS'а
3. WD My Cloud 4Tb — более производительная версия NAS, уже с USB3.0 на борту.
Используется по сей день для торрентов и бекапов.
Долго думал на чём же можно запустить нормальный NAS и небольшой домашний сервер (для нескольких виртуалок, всяких экспериментов и т.д.), много думал о самосборе,… но в итоге выбор пал на HP Microserver Gen8.
Немного б/у микросервер с базовым процессором и 4Gb RAM (в планах апгрейдить и то и другое) был взят на Авито за 25 т.р., к нему добавлен SSD для системы (стоит вместо DVD привода) + 3 диска WD RED 6Tb, развёрнут RAIDZ-1, proxmox (для управления виртуалками).
Долгое время считал цену микросервера завышенной, пока не начал ставить систему.
Оказалось, что для установки системы не то, что не нужен монитор, но и вообще физический доступ к серверу не требуется. Все необходимые операции можно делать через iLo — он и KVM даёт и кнопку soft/hard перезагрузки и возможность подключить виртуальный DVD диск.
В общем, мечта админа для систем, которые стоят не совсем под рукой.
Из минусов:
1. Всего 4 диска под данные (+ один 2.5" под систему)
2. Только гигабитные порты (две штуки), 10G нет
3. Максимум 16Gb ECC, причём ещё и Unregistered памяти (она заметно дороже, плюс на рынке сейчас очень много дешевой б/у серверной ECC Registered памяти, а вот с Unregistered всё грустно)
Из плюсов:
1. Один слот PCI-E, в который можно:
1.1. Поставить 10G карту и получить 10 гигабит (вместо 2 гигабит, которые можно получить bonding'ом с родных карт), либо:
1.2. RAID контроллер с возможностью подключить внешнюю дисковую полку (тут уже явно б/у, т.к. новые SAS/SATA полки будут стоить как десяток микросерверов)
2. ECC память
3. Очень удобный iLo
благодаря «подарку» от WD в виде Ext4 с размером кластера в 64Kb такую FS не видит ни один Linux
Linux не видит ext4, а windows видит? o.O
proxmox
В моём случае не нужен: хватает плагина OMV (для докера).
Максимум 16Gb ECC
Маловато для ZFS (хватит, но маловато).
Linux не видит ext4, а windows видит? o.O
Ошибся, 64k это размер блока.
В линуксе у модуля ext4 максимальный размер блока = PAGE_SIZE.
NAS работал на PowerPC и если для x86_64 PAGE_SIZE = 4k, то для PowerPC PAGE_SIZE = 64kb.
Т.е. штатными средствами на x64 машине такую файловую систему не подмонтировать, а модуль для FUSE намертво подвисал при попытке обратиться к диску.
Маловато для ZFS (хватит, но маловато).
Понимаю, что маловато.
Но для малонагруженного домашнего NAS'а она даже на 8Gb вполне неплохо живёт (правда сейчас занято всего ~1.5Tb из 6Tb на RAIDZ, 3Tb+3Tb+3Tb).
NAS работал на PowerPC и если для x86_64 PAGE_SIZE = 4k, то для PowerPC PAGE_SIZE = 64kb.
Т.е. штатными средствами на x64 машине такую файловую систему не подмонтировать, а модуль для FUSE намертво подвисал при попытке обратиться к диску.
Любопытный выверт, ни разу с таким не сталкивался (и слава Богу).
RAIDZ
RAIDZ-1, судя по тому, что 30% издержек. Возможно было ещё один диск докинуть в массив.
Мз плюсов — он кастомизируется, например сдром меняется на ссд под систему/кэш, проц меняется на xeon и все такое. Радуюсь, что успел не одному клиенту gen8 поставить))
Долгое время считал цену микросервера завышенной
во времена, когда Gen8 только появился, уго цена была более чем вкусная. Сейчас его цена приемлемая, если рассматривать его именно как сервер для рабочих задач, но однозначно завышена, если сравнивать именно с «бытовым» NAS — за те же 25k можно взять новый Synology DS418j и радоваться жизни
2. Однодисковый NAS WD My Cloud 3Tb.На него можно поставить Clean Debian, что я вам и советую сделать. Именно после таких манипуляций я решил окончательно отказаться от коробок и собирать свой NAS. Потому что понял, что получится как минимум не хуже. Ну и масштабирование.
Кстати, никаких проблем с его монтированием у меня на десктопе не было. Я просто скачал загрузочный образ UBUNTU и производил все манипуляции их под него.
Другое дело, что я не ставил перед собой задачи сохранить данные, а сразу же форматнул диск по-нормальному.
Но смотришь на цену, считаешь цену с дисками и понимаешь что собрать «на коленке» выходит ощутимо дешевле, и при этом без геморроя с неведомыми глюками и совметимостью.
Hp microserver gen8 стоимостью 18к был настоящим подарком в качестве nas/soho сервера. На gen10 — без ilo и с распаяным процессором плеваться не перестаю.
По части интерфейсов — OMV хорош, но с zfs порой возникали траблы, в решениях на bsd оно более стабильно. Также в своё время порадовала nexenta (на базе солярки, хз жива ли она ещё).
и при этом без геморроя с неведомыми глюками и совметимостью
Ну это спорное утверждение: я их выловил достаточно.
OMV хорош, но с zfs порой возникали траблы
У меня возникли — пофиксил, но времени пришлось затратить ощутимо.
А какое отношение имеет скорость сетевого интерфейса к файловой системе?
Конечно использую: это базовые возможности ZFS.
Сжатие у меня включено, тома ZFS (кроме нижнего слоя, но это лишь потому, что в стабильном Linux ZFS не было шифрования), проверка целостности по хэшам там есть всегда, ZIL включен по умолчанию.
Бэкапить куда?
Есть пакет zfs-auto-snapshot, но к OMV он не относится.
Скорость это отдельная тема (нужно тюнить, нужен SSD кеш,...), но дома лично мне даже гигабита — за глаза.
И я правильно понимаю, что ZFS подходит только для «устоявшегося» набора дисков — 1 или 2 диска туда так просто не добавить?
Может. Но у меня он на отдельной SSD, которую возможно выбросить и заменить.
С выключенной дедупликацией порядка ~1 GB L2ARC на 1 TB данных, но определяется не только объёмом хранимых данных, а также интенсивностью ввода-вывода.
В общем, про объём L2ARC почитать лучше на профильных форумах: статей и обсуждений на эту тему много.
Кроме того, перед тем, как L2ARC задействовать, крайне желательно максимально расширить объём RAM.
У меня на диске с системой — SLOG, это не кэш, а журнал. Его надо выносить на отдельную SSD, чтобы не увеличивать количество обращений к HDD, при каждой записи.
Насчёт добавления диском в zpool — да, так просто сейчас не добавить. Есть возможности расширения объёма пула путём постепенной замены дисков на диски большего объёма, но просто добавить новые диски в уже созданный пул нельзя.
L2ARC это кеш только на чтение?
Какой объем оперативной памяти оптимален в nas сервере?
ZIL — это внутренняя структура, "буфер транзакций". Пишется туда же, где расположена ФС.
SLOG — это Separate zfs intention LOG, т.е. ZIL, отделённый от ФС.
См. здесь:
http://www.freenas.org/blog/zfs-zil-and-slog-demystified/
В случае SLOG, объём невелик (как правило, в типичных случаях 5-8 GB за глаза хватит).
Подробнее про объём ниже.
L2ARC это кеш только на чтение?
Да, если точнее — это кэш 2-го уровня, адаптивной замены. И скорее всего, он вам не нужен. Для его использования сначала надо, чтобы ARC выжрал всю доступную RAM и часто обновлялся. Это очень, очень много обращений к ФС в секунду (ну например, при 32-х GB RAM, ARC будет занимать оставшиеся свободными 19 GB (пусть 10 занято сервисами, 1 он оставит свободным), и этого недостаточно?)...
Про него см. здесь:
https://habr.com/sandbox/71332/
https://www.45drives.com/wiki/index.php?title=FreeNAS_-_What_is_ZIL_%26_L2ARC
Какой объем оперативной памяти оптимален в nas сервере?
Что лучше: КамАЗ или Феррари?
Сегодня у коллеги спросил, что он использует: FreeBSD, диск 1 TB, всё на нём, root на ZFS, Intel Atom, 2 GB RAM, сеть 1 Gb/s, качает торренты и параллельно раздаёт виде по квартире, что-то ещё делает.
Тоже сервер.
По его словам, всё работает быстро и без тормозов, аптайм более года.
FreeNAS рекомендует минимум 8 GB, лучше 16, а серьёзно так расширить до 32-х (до максимума) и только после этого выносить L2ARC.
С дедупликацией… Впрочем, понятно. Есть определённые правила расчёта объёма, но сказать числа, возможно лишь исходя из конкретных условий, в том числе критерия, по которому вы определяете оптимальность.
Правильно ли я понимаю:
— ZIL это буфер, который есть всегда и по умолчанию он расположен в пуле, куда происходит запись?
— SLOG это этот же ZIL буфер, но вынесенный на отдельный диск?
Ok.
Процитирую второй источник, указанный ниже, после чего вопросов о том "что это" остаться не должно:
The ZFS intent log (ZIL) is provided to satisfy POSIX requirements for synchronous transactions. For example, databases often require their transactions to be on stable storage devices when returning from a system call. NFS and other applications can also use fsync() to ensure data stability. By default, the ZIL is allocated from blocks within the main storage pool. In this Solaris release, you can decide if you want the ZIL blocks to continue to be allocated from the main storage pool or from a separate log device. Better performance might be possible by using separate intent log devices in your ZFS storage pool, such as with NVRAM or a dedicated disk.
Раз (с. 29):
https://www.opennet.ru/soft/fs/zfs_arch.pdf
Два:
https://docs.oracle.com/cd/E19253-01/819-5461/gfgaa/index.html
Три:
https://www.freebsd.org/doc/ru_RU.KOI8-R/books/faq/all-about-zfs.html
Вот еще хороший материал по теме нашел:
www.ixsystems.com/blog/o-slog-not-slog-best-configure-zfs-intent-log
А имеет ли смысл выносить SLOG на отдельный от системного диск? Может на ssd небольшого объема. Ведь запись на него, как я понимаю, будет происходить достаточно интенсивно.
Скажите, можно ли собрать более менее жизнеспособный NAS на платах с ARM? От него будет требоваться только сетевая шара и возможность синхронизации данных. Изучал платки, у многих sata порт работает через usb контроллер, что накладывает определённые ограничения по скорости.
Скажите, можно ли собрать более менее жизнеспособный NAS на платах с ARM? От него будет требоваться только сетевая шара и возможность синхронизации данных.
- Почему именно с ARM, а не с Atom?
- Некоторые NAS нижнего уровня делаются на ARM.
- Многие роутеры на ARM поддерживают подключение внешнего жёсткого по USB 3, возможно этого будет достаточно.
Изучал платки, у многих sata порт работает через usb контроллер, что накладывает определённые ограничения по скорости.
Тут есть поддержка SATA-2.
Но б/у сервера доступны не всем (к тому же, если это сервер, то он, как правило, для стойки).
Кстати, если говорить о "серьёзных" серверах, я вспоминаю старые HP Proliant: с ними пришлось году в 2012-м повозиться в серверной.
Отвратительно шумят (они были старее 2012-го).
Даже в серверной рядом с ними тяжело находиться, тем более, когда их больше двух.
Это не "домашнее" решение.
Раз уж вопрос именно о серверах.
Unraid кастомный дистрибутив slackware с проприетарным драйвером. Драйвер использует до двух дисков для хранения битов четности и распределяет файлы по дискам данных. Восстановление данных возможно при выходе из строя до двух дисков (в зависимости от количества дисков четности).
Из преимуществ для меня, для дисков данных используются штатные линуксовые файловые системы. Объединение для внешнего доступа делается драйвером по аналогии с unionfs. Поддерживаются диски разного размера. При желании можно развернуть драйвер хоть на дебиане. Благодаря минимально модифицированному линуху штатно поддерживается контейнеризация и виртуализация с управлением через вебморду. При доступе к данным раскручивает только тот диск, с которого нужно прочитать файл, остальные остяются спящими (когда дисков около десятка это приятно). По опыту эксплуатации с 2010 года вполне стабильно работает в режиме «настроил и забыл». С дисками пока везло, вышел из строя всего один, данные при замене восстановлены без потерь.
Из недостатков, лицензия платная в зависимости от количества дисков от $60 до $130. Разработку ведет всего два человека, автобусоустойчивость низкая. Под четность нужно отдавать диск равный по размеру наибольшему диску данных.
Так же не ковырял unraid досконально, но что-то мне подсказывает что разработчики не очень хотят, чтобы пользователь залезал внутрь системы, то есть уровень красноглазия для задач, которым не подходит docker/vm будет зашкаливать. Сюда же можно закинуть то что исходников системы нигде нет.
Собственно, основной минус: я не видел, где он продаётся.
Я написал письмо на info@qsan.ru, где попросил указать цену.
Никакого ответа. Меня просто проигнорировали.
С таким уровнем сервиса я бы поостерёгся его покупать: битый купишь, потом не обменяешь, потому что о покупателе тут не заботятся.
Ничего удивительного в этом нет, т.к. сайт производителя расположен в домене su, т.е. правильный адрес info@qsan.su. Соответственно, нет никакого секрета о том, где купить, как осуществляется техподдержка и гарантия.
Цены искал, не нашёл, собственно потому и задавал вам вопрос, на который мне не ответили.
Собственно, вот содержание письма от 22.04.18 в 14:09:22:
Здравствуйте.
Я пишу статью на Хабр, которая включает в себя краткий обзор рынка NAS.
Ваш XCubeNAS XN5008T показался мне очень любопытным, но я не смог найти
цену.
Почти все решения продаются на amazon, но вашей системы там нет.
Не могли бы вы сказать диапазон цен в долларах на ваше устройство?
Вопрос остаётся прежним.
Озвучьте пожалуйста цену на ваше решение, которое описано в статье.
Кроме того, я так понимаю, на Amazon XCubeNas не продаётся?
Только на постсоветском пространстве?
Так всё-таки, его может купить физическое лицо?
И если да, то по какой цене?
Вопрос, кажется, очевидный.
Ok.
Это цена именно на ту модель с Celeron?
Данную цену я могу добавлять в статью?
На всякий случай уточню: это цена без дисков?
Посмотрел спецификации. Действительно, сейчас есть селероны с поддержкой ECC памяти, как ни странно.
А Qsan-то здесь причём?
По микросерверам я не специалист, потому наличие линейки 10, я воспринял, как устаревание предыдущих.
Да и про поколение на Xeon сказано в обзоре.
Сообщение было к тому, что для вас стало сюрпризом, какие процы с ЕСС работают у интел
Да, потому что раньше селероны были процессорами нижнего уровня, и то что они вдруг стали поддерживать ECC, возможность нехарактерную для железа нижнего уровня, для меня было неожиданно.
для дома в основном брали с силером и ставили что-нибудь ещё при необходимости (под вируталочки) и выходило заметно дешевле.
В принципе, возможно добавить. Но надо ли?
Во-первых, сейчас 8-е поколение, я так понимаю, устаревает, найти такие микросерверы будет сложнее, потому цена на них вероятно будет задрана, несмотря на то, что это относительно старое железо.
Во-вторых, пока новой модели на Intel не предвидится.
В-третьих, по просьбам из комментариев я упомянул их в обзоре, так что их здесь увидев, всегда возможно пройти по ссылке и найти о них больше.
Во-первых, сейчас 8-е поколение, я так понимаю, устаревает, найти такие микросерверы будет сложнее, потому цена на них вероятно будет задрана, несмотря на то, что это относительно старое железо.Думается мне, что 8го поколения с запасом хватит для нужд домашнего NAS на много лет вперед.
Готовые решения, в том числе и перечисленные в в статье, на мой взгляд делятся на две категории (не считая полок и прочих нормальных серверов):
1. Кубическое нечто со специфическим процессором, зачастую слабосильным, память нерасширяема, прошивка от производителя. Сомнительная схема охлаждения (один вентилятор, стоящий за платой). Все работает хорошо (да и то не у всех), пока пользуешься функционалом, шедшим из коробки — просмотр фоточек и DLNA. Установка или запуск торрент-клиента, рекомендованного производителем, вызывает тормоза. Установка чего-либо, не предусмотренного производителем — страдания с бубном и тормоза. Запуск apache — обычно да. Запуск ownCloud — может быть. Запуск агента Swarm в вируталке, билдагента, Gitlab CE — обычно даже речи не идет.
Плюсы:
— Небольшие габариты.
— Шаринг файлов работает из коробки.
Минусы:
— Нерасширяемость даже в пределах возможностей железа — все задушено программно, политически.
— Почти всегда убогий интерфейс управления. То мобильное прилоожение, то веб-интерфейс, править конфиг руками — через бубен. Веб-интерфейс ладно бы, но практически всегда этот веб-интерфейс невыносимо отвратителен (скажем, у QNAP). Эта вот эмуляция рабочекго стола макоси — она зачем? Зачем мне платить за эти потуги маркетологов, от использовния которых браузер по швам трещит и потом еще страдать, совершая сотни излишних телодвижений со значками, мастерами, идиотскими вопросами, идиотской терминологией?
— Спорная цена. Железо уровня Raspberry PI стоит от $300. Да, корпус обычно хорош, но толку, если в него ничего нормального не вставить без изготовления новой материнской платы.
Диагноз — решение для домохозяек, при первом отказе или сбое — фтопку.
2. Более-менее толковые изделия с нормальным x86-процессором. Могут все, что я могу захотеть. Но не всегда. Иногда нормальная железка кастрирована опять же по политическим соображениям (не все устройства можно заставить загрузиться с диска в корзине, а не со своей флешки, со всеми вытекающими типа «есть xeon, но только через веб-интерфейс, пока не прицепился прошить через JTAG»).
Плюсы:
— Умеренные габариты.
— Зачастую это просто микросервер.
Минусы:
— Иногда все равно черный ящик с вебинтерфейсом без должной кастомизации.
— Дорого. Иногда просто дорого, как HP microserver (бытовое железо такой производиельности стоит в два раза дешевле, а сервером его я все равно считать не могу, пока там нет двух блоков питания и агрессивного охлаждения). Иногда неадекватно дорого, скажем, Thecus чего-то там из статьи. i3, 2гб памяти и корпус с двумя слотами pcie. $1700. Судя по форме корпуса и наличию этих самых слотов — это тупо писюк. В розницу мать, процессор и память стоят $200 (если просто купить в магазине у дома). Блок питания — $100 (пущай будет 600+ ватт, один раз живем). Корпус и опенсорсный софт — остальные $1400? Серьезно? Нет,
Поэтому всю эту лавочку я откладываю и иду в магазин (лето 2017).
День первый. MiniITX на 775 сокете, zotac, 6 sata + 2 esata, новая, в моем городе (центр мухосранской области) — 3,5к. Xeon X3380 с наклейкой — 2,5к там же. Скорей всего, б/у, это не принципиально для процессора. 8гб памяти DDR3 беру из коробочки (3к б/у, память тоже без проблем покупается бушной и служит годами, если на момент покупки тест прошла. Ну да ладно, пусть даже совсем новая за 4к). Блок питания TFX 300W — 2,5к новый. Сложили в кучку. Идем на авито. «сервер купить в мухосранске без смс.» Не то, преджлагают актуальные линейки. Расширяем на мухосранскую область. Ага. Серверы и Dell SFF, модели неизвестны, выбор из кучи в гараже, самовывоз с 20го километра шоссе на Урюпинск. Беру такси, еду. Корпус 2U Chenbro, спереди шесть корзин 3,5 и полноразммерный сидюк, внутри какое-то железо. Просят 6к. Дорого за это, ну да ладно. Такси 500р туда-сюда. Везу домой, блок питания мертвый, мать живая, но дрова с Pentium D. Мать с камнем и памятью — на авито за тыщу (забрали за 700). Три вентилятора ничотак, один засран. Два кладу в кучку к остальным покупкам. На корпусе рисую маркером линии вдоль внутренней перегородки с вентиляторами (остается где-то 40% глубины сервера), несу в автосервис (у самого руки кривые болгаркой резать). Через 20 минут отрезано, оставляю красить «в темный цвет». Дядя Вася почти всегда не против покрасить небольшую хреновину заодно с какой-нибудь дверью или бампером за малую мзду, просто кладет ее в боксе рядом с нормальной деталью, подобранная краска все равно пропадает.
День 2. Прихошу в себя после пьянки, забираю обрезанное и окрашенное изделие из сервиса. Денег даю тыщу. Несу домой. Впихиваю заглушку матери в слот сидюка (кто не в курсе — он короче заглушки платы на 3мм, достаточно ножницами эту заглушку обрезать) Под мать ставлю четыре стойки — вопрос высверливания 4х отверстий, резьбу можно не резать, и так сойдет. Блок питания за платой на термоклее, вентиляторы на родные места в перегородке, снаружи и внутри на них декоративные решетки 80мм (4х110р). Вывод силового кабеля на заднюю стенку через удлинитель мама-папа (единственное, что нужно было спаять, запчасти ну пусть 200р), остальные разъемы соединяю, закрываю крышку. Снизу приклеиваю мягкие ножки-кругляши из мебельного. Серверные вентиляторы шумные, подключил к матери, задушил PWM до состояния «обычный ПК». Бумажки к решеткам все равно присасываются. Время два часа второго дня. Ем-гуляю-фтыкаю в игры, вечером ставлю дебиан, настраиваю программное зеркало, ставлю самбу и gitlab для левака (раньше крутился gogs на eeepc b202, там задребезжал вентилятор). Все, я сделяль. Денег потрачено ~21к, ~$350 + времени часов 10-12. Имею 6 горячих корзин с индикаторами наличия диска в нешумном компактном корпусе из миллиметровой стали с двумя вентиляторами прямо за корзинами с дисками, достаточно мощный процессор (quad core extreme семилетней давности без проблем поспорит с текущими i3), достаточно много памяти, легко заменяемые компоненты, и какое-никакое развлечение на выходные. Для интереса смотрю интернет-магазин в данной ценовой категории: Synology DS214 [2x3.5", 1066 МГц, 512 Мб, USB 2.0 x 1, USB 3.0 x 2]. Прискорбно.
В статье было замечение «не у всех рядом продается корпус для NAS, а доставка составит полцены от стоимости корпуса» — ну так у этих людей скорей всего и 95% NAS, перечисленных в статье, рядом не продаются и их доставка чего-то будет стоить. И даже если доставка корпуса будет стоить в 2 раза дороже его самого, это скорей всего выйдет дешевле готового изделия.
Внёс в статью дополнение: если исключить диски, доставку, разборки с ОС и пакетами, выходит дешевле.
Если за две-четыре недели человек не может изучить линукс и гугл в объеме, достаточном для запуска RAID, samba и transmission — это немного пичалька.
Вводные вы, похоже, не дочитали.
Впрочем, бывает всякое, некоторые и дизайн рисуют в макоси, им это не близко. Окей, можно по-барски нанять на месяц толкового админа, который вам этот нас соберет и настроит в мелочах, и все равно будет дешевле.
Толковый админ, вам не пофиксит баги в OMV, админ же, способный поставить ОС "с нуля" (без инсталлятора и так, как надо), при этом решить все проблемы, будет стоить дорого, его сложно найти, да и не факт, что согласится на подработку.
Вводные вы, похоже, не дочитали.
Так а чего вводные? Как только в списке требований появился rsync и LDAP (не виндовый «контроллер домена», заметьте), круг пользователей и администраторов девайса сразу сузился до людей «в теме». И изучение линукса за месяц я привел не потому, что это все должны делать, а как пример того, что цена за предустановленную ос как-то великовата.
Толковый админ, вам не пофиксит баги в OMV, админ же, способный поставить ОС «с нуля» (без инсталлятора и так, как надо), при этом решить все проблемы, будет стоить дорого, его сложно найти, да и не факт, что согласится на подработку.
Так ведь и у корообочных решений багов обычно немерено. OMV хоть как-то поддерживается и обновляется и будет это делать в худо-бедно обозримом будущем, а производитель специфической сборки специфической ОС для специфического девайса может завтра забить на поддержку — покупай нашу новую модель или сам ковыряйся. У девайсов нижней ценовой категории ширпотребных брендов (врочем, вы их не затронули особоо) поддержка вообще призрачна.
ОС с нуля типа арча без пресетов, генты с правкой ебилдов или LFS — да, за тыщу такого админа не купишь. А нужен ли он, если нет задачи впихнуть побольше функций в немощное железо? Мы собираем нас на базе писюка, где можно поставить серверную убунту (а то и с иксами) и производительности почти не убудет. Ну будут в фоне 10 ненужных служб молотить и жрать 100 метров памяти — никто и не заметит.
Так а чего вводные? Как только в списке требований появился rsync и LDAP (не виндовый «контроллер домена», заметьте), круг пользователей и администраторов девайса сразу сузился до людей «в теме». И изучение линукса за месяц я привел не потому, что это все должны делать, а как пример того, что цена за предустановленную ос как-то великовата.
С точки зрения производителя есть ещё амортизация затрат на разработку. С точки зрения потребителя — это не только предустановленная ОС, но и поддержка разработчика, если что-то сломается, плюс меньшее количество багов. Кроме того, всё из коробки: это просто не надо досконально настраивать, и тратить время.
Так ведь и у корообочных решений багов обычно немерено. OMV хоть как-то поддерживается и обновляется и будет это делать в худо-бедно обозримом будущем, а производитель специфической сборки специфической ОС для специфического девайса может завтра забить на поддержку — покупай нашу новую модель или сам ковыряйся.
Да такой риск есть, но для серьёзных брендов он меньше.
ОС с нуля типа арча без пресетов, генты с правкой ебилдов или LFS — да, за тыщу такого админа не купишь. А нужен ли он, если нет задачи впихнуть побольше функций в немощное железо?
Не для этого, а для того, чтобы реализовать сложную конфигурацию, и сложность не обязательно следствие железных ограничений.
Но я что забыл спросить-то еще в первом посте — вы собрали сервер сами (да, я вижу именно сервер, на который поставили ориентированную на нас ось), а общественности рекомендуете все же брать готовый NAS. Почему? Только по стоимости (у вас вышло по сумме не сильно дешевле готового)? Есть ли готовая железка, которая вас устроила бы функционально, если не глядеть на стоимость? Эта железка должна именно как NAS позиционироваться, понятно, что серверов с таким железом пруд пруди.
а общественности рекомендуете все же брать готовый NAS. Почему?
Я подхожу в одну из упомянутых категорий: мне просто было интересно, и я собирал его во много, как исследовательский проект.
Идея зрела давно, а катализатором стало то, что у меня на стационарной машине сдох старый IDE диск, на который делались бэкапы.
После этого я решил: "Собираю". Изначальный обзор конкурентов, для себя, я делал не с целью выбрать себе NAS, а с целью изучить возможности, которые они предоставляют.
Собирая NAS, я отнял время у других проектов.
И если бы для меня это был бы исключительно инструмент, зная сколько времени и усилий это займёт, я бы купил готовый.
Только по стоимости (у вас вышло по сумме не сильно дешевле готового)?
Да, вышло так. Хотя, в комментариях Krey вы можете видеть, что он может собрать сходную конфигурацию в два раза дешевле. Тут бы я всё-таки сделал скидку на опыт: не знаю сколько NAS он уже собрал, но далеко не факт, что человек в теме новый достигнет подобной эффективности сразу.
В любом случае, то что я хотел, я получил.
Есть ли готовая железка, которая вас устроила бы функционально, если не глядеть на стоимость?
В обзоре написано. XCubeNas весьма неплох, если забыть, что он на Celeron и стоит $3000 без дисков.
Synology неплохая машинка по железу, да и ОС тоже, пусть и хотелось бы, чтобы там был ZFS, как в вышеупомянутом XCube.
FreeNAS вполне возможно было бы купить, и ставить туда что-угодно (я и сам задумывался над тем, не взять ли плату с Avoton).
Эта железка должна именно как NAS позиционироваться, понятно, что серверов с таким железом пруд пруди.
Да сейчас уже сложно разделить NAS и сервер. Что такое Synology 12-ти дисковый, который в обзоре? Это NAS с серверным железом или сервер с большим количеством дисков?
Да сейчас уже сложно разделить NAS и сервер. Что такое Synology 12-ти дисковый, который в обзоре? Это NAS с серверным железом или сервер с большим количеством дисков?
Для себя я делю по принципу «ориентировано на plug and play» или нет. Пластиковые коробочки на четыре диска — несомненно NAS. Стоечные железяки, если в них нет предустановленной ОС — несомненно, серверы, ориентированные на сторадж. А между этим — все размылось и непонятно ничего.
Так-то Network Attached Storage в приниципе и не означает наличие конкретной железки вообще, может и чисто программным решением быть. Испоользуется какойнить iSCSI — вот тебе и NAS.
А и да. Не холивара ради, но как только вы себе поставили на нас Gitlab — он перешел из категории NAS в «домашний сервер» :) Но сути не меняет, да.
Для себя я делю по принципу «ориентировано на plug and play» или нет. Пластиковые коробочки на четыре диска — несомненно NAS. Стоечные железяки, если в них нет предустановленной ОС — несомненно, серверы, ориентированные на сторадж. А между этим — все размылось и непонятно ничего.
А вот это: https://www.dellemc.com/ru-ru/storage/isilon/index.htm ?
Так-то Network Attached Storage в приниципе и не означает наличие конкретной железки вообще, может и чисто программным решением быть.
Испоользуется какойнить iSCSI — вот тебе и NAS.
Это уже ближе к SAN.
А и да. Не холивара ради, но как только вы себе поставили на нас Gitlab — он перешел из категории NAS в «домашний сервер» :) Но сути не меняет, да.
И, при этом, по крайней мере, для некоторых железок из обзора, которые NAS, гитлаб есть в их "магазине приложений", а где нет, там его возможно установить в контейнере.
А в обзор просили добавить (и я добавил) Microserver от HP.
Фактически, NAS и домашние сервера сейчас трудно отделить.
А вот это: www.dellemc.com/ru-ru/storage/isilon/index.htm ?
Ну это NAS, там же какая своя ось специализированная.
Это уже ближе к SAN.
Да, не совсем корректный пример привел, слишком низкий уровень.
Фактически, NAS и домашние сервера сейчас трудно отделить.
Да вообще сервер от «несервера» трудно отделить. Формфактор не показатель давно, железо — тоже. Половина Hetzner на десктопном железе крутится и ничо. Все плохо, ничего непонятно (
И так во всем. Зачем нужен микротик, который по сути оболочка над линуксом с его нетфильтром, при том что синтаксис nftables прост и компактен для восприятия по сравнению с веб-интерфейсом из миллиона вкладок и работает быстрее.
Люди, не разбрасывайте грабли, избегайте этих оболочек как огня. CLI\TUI это альфа и омега в плане владения компьютером. Если вам не подходят готовые НАСы с их веб интерфейсами, то в итоге всякие FreeNasы и OMV вам также не помогут, просто съедят ваше время и нервы.
Вот кстати про баги в OMV и прочее. Вот зачем самому себе рыть яму? ZFS управляется двумя простенькими командами в консоли.
Ну в общем-то не двумя. Да и не простенькими. Это сильное утрировано.
Люди, не разбрасывайте грабли, избегайте этих оболочек как огня. CLI\TUI это альфа и омега в плане владения компьютером. Если вам не подходят готовые НАСы с их веб интерфейсами, то в итоге всякие FreeNasы и OMV вам также не помогут, просто съедят ваше время и нервы.
Это вы к чему сейчас? Существуют разные типы интерфейсов, и у каждого своя ниша. Для визуализации данных и быстрого решения типовых задач подходит GUI, для обработки данных и пакетных задач CLI, для слепых людей и тех, которые плохо видят, делают интерфейсы Брайля и синтезаторы, ну и так далее.
К чему тут этот оффтопик?
Про zfs — это команды zpool и zfs. Других команд нет. Есть ряд настроек, должно быть общее понимание принципов работы этой ФС — это все безотносительно к типу интерфейса.
Вот вы пишите: «Основной плюс OpenMediaVault перед FreeNAS в том, что это Debian Linux»
Это что за сферический плюс такой в вакууме? Взять ОС у которой по вашим словам «ZFS в Linux недостаточно стабилен в настоящий момент», пришлепнуть в нее веб-костыли вроде OMV и назвать это плюсом? Да вы можете сделать это в собственной статье, так же как я могу указать на эту логическую ошибку в своем комментарии.
Оффтопик — это спор GUI vs CLI. Я на это уже ответил: одно не противоречит другому.
Хотите — заходите каждый раз по SSH, пишите
Вот вы пишите: «Основной плюс OpenMediaVault перед FreeNAS в том, что это Debian Linux»
Это что за сферический плюс такой в вакууме?
А, это из моей документации прилетело, не заметил. У меня все машины на Debian, потому и плюс. Убрал.
Взять ОС у которой по вашим словам «ZFS в Linux недостаточно стабилен в настоящий момент», пришлепнуть в нее веб-костыли вроде OMV и назвать это плюсом?
См. выше: это недосмотр.
Да вы можете сделать это в собственной статье, так же как я могу указать на эту логическую ошибку в своем комментарии.
У omv некоторый плюс действительно есть: он легко ставится из пакета на "голый" Debian.
Если придраться:
dpkg -L zfsutils-linux |grep "bin[^$]"
/sbin/fsck.zfs
/sbin/mount.zfs
/sbin/zdb
/sbin/zfs
/sbin/zhack
/sbin/zinject
/sbin/zpios
/sbin/zpool
/sbin/zstreamdump
/usr/bin/zgenhostid
/usr/sbin/arc_summary
/usr/sbin/arcstat
/usr/sbin/dbufstat
Ok, это основные команды, но каждая из них сложносоставная, а каждая подкоманда имеет свой набор опций.
ZFS достаточно сложная система и объём документации на неё большой.
Так я и делаю всё в консоли сейчас, а где-то фоном работает OMV.
Чем он удобен: я могу быстро посмотреть все пулы, ФС, снэпшоты, а также их параметры (там ещё докер понасоздавал).
Ну и через его интерфейс возможно легко, быстро и, в основном, безошибочно абсолютное большинство действий с ZFS выполнять.
Цена на ваш самосборный нас в итоге получилась ужасная. Возможно, если хочется купить еще вчера, да в одном американском магазине, заплатить посреднику, да со страховкой — может оно так и получается. Но если быть в теме, почитывать упомянутую выше темку на хоботе, то регулярно проскакивают выгодные предложения вроде серверной платы за 5к, серверного корпуса на 8 хотсвопов за те же 5к, короче примерный аналог вашего НАСа я собрал баксов за 500$.
Еще совет по шуму. Если НАС стоит в комнате, то ему совсем необязательно держать на вентилях постоянные обороты. Можно регулировать их в зависимости от температуры винтов, т.е. в итоге от нагрузки. Уже много лет как серверные платы отдают контроль всех вентиляторов по i2c через ipmi.
Сильно завысили мощность БП. На 8 дисков 250Вт выше крыши. Завышение мощности ведет к снижению эффективности, а при 50% завышении всякие рейтинги 80+Bronze можете смело игнорить. А ведь можно еще озаботиться последовательным стартом дисков.
На пиковых нагрузках не особенно "выше". Рейтинги, конечно: я же не попадаю в Мощность блока ± 10%. Ну разве что, он более стабильное напряжение даёт.
Цена на ваш самосборный нас в итоге получилась ужасная. Возможно, если хочется купить еще вчера, да в одном американском магазине, заплатить посреднику, да со страховкой — может оно так и получается.
Без амазона — мне сложно было бы найти серверное железо.
Без посредника — амазон не присылает в РФ.
Без страховки — "скупой платит дважды".
Но если быть в теме, почитывать упомянутую выше темку на хоботе, то регулярно проскакивают выгодные предложения вроде серверной платы за 5к, серверного корпуса на 8 хотсвопов за те же 5к, короче примерный аналог вашего НАСа я собрал баксов за 500$.
Вместе с дисками? Вопрос только когда, и насколько примерный. В таком случае, конечно, было бы выгодно.
Еще совет по шуму. Если НАС стоит в комнате, то ему совсем необязательно держать на вентилях постоянные обороты. Можно регулировать их в зависимости от температуры винтов, т.е. в итоге от нагрузки. Уже много лет как серверные платы отдают контроль всех вентиляторов по i2c через ipmi.
Да, там есть Smart fan, но сейчас я поставил на полные обороты, чтобы не грелось.
500$ без дисков естественно. Но возможно с системным ССД.
SmartFan — это не про винты. Он смотрит только на температуру процессора или внутри корпуса. Для NAS неприемлемо.
Пиковые нагрузки у HDD — только при старте, раскручивании шпинделя. И они укладываются в 250Вт с вашей системой и 8-ю шпинделями. В остальное время у вас и 150Вт не набирается, купите ваттметр и убедитесь.
Ток я могу замерить и сейчас. Блок брался в расчёте на пиковые нагрузки. По расчёту в 250 Вт не укладывается.
500$ без дисков естественно. Но возможно с системным ССД.
Плюс, диски $1000, в лучшем случае. Ну ok, $1500, в два раза дешевле.
SSD у меня — три.
SmartFan — это не про винты. Он смотрит только на температуру процессора или внутри корпуса. Для NAS неприемлемо.
Температуру платы. Но там есть только smart fan, а программно кулером управлять пока не получается: pwmconfig не видит его. Потом может разберусь, если руки дойдут. Сейчас на полной мощности, я шума не слышу (NAS в коридоре).
Привёл цены, за которые купил на Amazon. Asus брать не хотелось, а Supermicro вообще стоит каких-то нереальных денег. Собственно, ограничение по ОЗУ и нестандартный форм-фактор — это основные минусы данной платы, а так она крайне неплоха, пусть и 2014-й год.
Кроме них есть refubrished винты, тоже раза в два дешевле магазинной цены и тоже новые.
Тут много теорий, не буду вас загружать. Скорее всего просто слитие излишков без урона для основной линейки продуктов. Ну или просто маркетинг в диком мире копроэкономики.
Скорее уж слитие того что не прошло по качеству для того чтобы быть тру-red дисками.
Или такое только на 2.5" практикуется?
возможно видеть, что рынок сейчас достаточно насыщен
если бы так было на самом деле, то производители не накидывали бы к стоимости железа еще два-три раза по столько же за веб-интерфейс к линуксу
бу сервер на 25 корзин (2.5) или 12(3.5)- 400-500$
и никаких проблем с охлаждением, да шумно но сервер есть сервер
Диск нужно было брать еще 1 про запас — что-бы в случае вылета диска zfs могла его заменить
Да и на zfs гнать не нужно zfs = solaris и никаких проблем
И по поводу бекапа ОС — в соляре есть такая штука beadm)
бу сервер на 25 корзин (2.5) или 12(3.5)- 400-500$
и никаких проблем с охлаждением, да шумно но сервер есть сервер
И серверную впридачу.
Диск нужно было брать еще 1 про запас — что-бы в случае вылета диска zfs могла его заменить
Там ZRAID, хотя и 1-й. На вылет я проверял. Вытаскивал диск, пул оставался рабочим.
из опыта скажу — диски можно было взять подешевле, но добавить кеширующий на ссд + 1 резервный в случае вылета
Минус тут будет в том, что получу один диск, который будет простаивать, а даже с ZRAID1 у меня почти 40% издержек в моей конфигурации.
Что мне мешает, в таком случае, просто сделать ZRAID2?
Но возможно подробнее, как такая конфигурация реализуется?
из опыта скажу — диски можно было взять подешевле, но добавить кеширующий на ссд + 1
Кэширование на SSD есть (пока только SLOG, и ещё там swap, который я фактически не использую).
Немного оффтоп.
На собственном опыте проверял, что поддержка HGST по запросу (с указанием партномера и серийника диска) высылает для своих дисков новые прошивки и утилиты для их заливки (под Windows и Linux).
Вероятно, WD придерживается той же политики.
надежное хранение это когда инфу записываешь на 3 DVD, один прячешь на полочку для «быстрого доступа», второй прячешь в сейф для сохранности, а третий прячешь в сейф на удалении 2000 км от первого сейфа на случай ракетно-бомбового удара, хотя если по тебе нанесут ракетно-бомбовый удар вряд ли тебе будут важны твои файлики
Если уж следовать правилу 3-2-1 то данные должны быть минимум на 2 разных носителях.
Но на счет надежности тут не согласен… надежное хранение это когда инфу записываешь на 3 DVD
Степень избыточности диктуется требованиями. Если вы проживаете в Сирии, вам требуется защищать данные от ракетно-бомбового удара. В России, например, пока не требуется. Значит, например, оценив вероятность пожара или кражи, возможно обойтись и без этого или, условно, использовать огнеупорный сейф.
В качестве корпусов для NAS (даже не NAS, а гиперконвергентного решения) использовал красивые, на мой взгляд, корпуса от Fractal Design:
- NODE 804 вместимостью 8 x 3,5″, 4 x 2,5” или до 10 x 3,5”, 2 x 2,5″ жестких дисков и SSD
- NODE 304 вместимостью 6 х 3,5" или 2,5" жестких дисков/SSD. К этим 6 у меня получилось добавить еще по одному SSD и HDD.
Да, у них нет съемных корзин и нет защиты от физического доступа в внутрь, но для дома по мне этого и не надо. Внутрь залазил только два раза, когда собирал NODE 304 и когда переезжал из него в NODE 804. Работают тихо, температура дисков не превышает 40 градусов.
Добавил в статью.
Кулеры Noctua докупал тут, чтобы не заказывать:
www.coolera.ru
На их сайте, по крайней мере, возможно посмотреть, что есть.
Если интересует, могу подробнее впечатления расписать.
По кулерам есть «законодатели мод», это: Noctua, Scythe, с натяжкой сюда возможно припихнуть Zallman (хотя, они больше по радиаторам и процессорным кулерам).
Ещё мне очень понравился кулер от NoiseBlocker: и как сделано крепление (не эти резиновые стойки, которые в труднодоступных местах хирургическим зажимом приходится вытаскивать, а резиновые уголки и крепление на обычных металлических винтах), и низким уровнем шума, а уровень вибраций, по ощущениям, ниже, чем у Noctua.
Ещё момент: хотите хороший тихий и надёжный кулер, во-первых смотрите в спецификации, сколько децибел (или Сон) он даёт, во-вторых старайтесь не брать кулера с подшипниками скольжения — берите магнитные или масляные (вот тут Noctua обычно выигрывает).
По шумоизоляции, например вот: www.coolera.ru/tovar.php?tovar=12407
Я себе хотел ещё противовибрационный коврик взять, но пока не купил: плотный многослойный лист.
Если проблемы с охлаждением CPU, стоит изначально смотреть в сторону термоинтерфейса.
Жидкий металл (и Thermal Pad, соответственно, который тоже самое, однако проще наносится) тут бьёт все термопасты (и Arctic MX-4, которую я взял, тем более).
Ещё могу посоветовать обратить внимание на современные «водянки»: они малошумные, как правило, компактные, находятся внутри корпуса, да и теплоноситель там уже давно не вода.
Материнская плата: ASRock Z77 EXTREME 4-M, LGA1155
Процессор: Intel® Core™ i5-3570
Память: 4 x Corsair Vengeance CML8GX3M1 A1600C10 DDR3 PC3-12800 1600MHz/DDR3 8Gb
Жесткий диск под виртуальные машины: Western Digital WD5000AUDX
SSD под виртуальные машины: Samsung 850 EVO
HDD для хранилища: 6 x Western Digital WD30EFRX — 3 ТБайта RED
Cетевая карта: TP-LINK TG-3468
Контроллер жестких дисков: Orient J363SIR (чип JMicron JMB363). PCI-E 1x — пока без дела.
Вентилятор на процессор: Noctua NH-U12S — но по-моему это уже перебор был. Точные показатели не помню, но процессор точно не греется сильно.
Доп. вентилятор отсека HDD Noctua NF-A14 ULN
Загрузочная флешка NoName
Блок питания Corsair — не помню точно модель, на 500Вт по-моему. Шума больше всего именно от него. Мощность сейчас я бы пересчитал.
Шумоизоляцию не делал. Система стоит в закрытом шкафу. Рядом с шкафом ее не слышно.
Конфигурацию железа надо подбирать исходя из ваших требований и финансов.
Сейчас я бы собирал что-то на Xenon. Думаю скоро памяти будет не хватать. Пока присматриваюсь к Supermicro X11SPM-F.
По БП — неплохо работает be quiet! Straight Power 10 400W — не слышу от слова вообще 8))
Тут рассматриваются NAS верхней границы «домашнего» сегмента и начального бизнес-сегмента, позволяющие удовлетворить запросы взыскательного пользователя,либо офиса на 50-100 человек.
Прежде всего, NAS является точкой синхронизации между разными устройствами.И просматривая варианты начинается казаться, что ТС просто
Это может быть по файловая синхронизация (например, используя rsync или syncthing), облако, общие репозитории
При этом очень удивляет упор не на «хард», а на «софт». (Что выливается в завышенные требования к мощности CPU)
Почему бы не доверить контроль целостности файлов, например, хорошему рейд-контролеру?
PS:
Мой предыдущий NAS был собран
Почему бы не доверить контроль целостности файлов, например, хорошему рейд-контролеру?
Потому что, это слишком избыточное решение. Посмотрите цены на "хорошие рэйд-контроллеры". Это первое. О софт-контроллерах тоже много было говорено. А тут всё бесплатно.
Второе: известная проблема в том, что при выходе из строя рэйд-контроллера, вам придётся искать аналогичный, иначе данные на массиве потеряны. А это сложно и дорого (особенно, если компания-производитель закроется к тому моменту). Проблема описана неоднократно.
Третье: почти все (или все?) рэйд-контроллеры — это программно-аппаратные комплексы, и в них тоже есть говнокод баги.
Ну и четвёртое: есть интегрированное решение, которое, в целом, проще связки компонентов, вами предлагаемой, хорошо работает и ничего мне не стоит, — так если нет разницы, зачем платить больше?
При этом очень удивляет упор не на «хард», а на «софт». (Что выливается в завышенные требования к мощности CPU)
Где-то тут есть мой скриншот htop: нагрузка, которую даёт дисковая подсистема минимальна, порядка 0.5 — 2% (там ещё и гитлаб в это время работает). Кажущаяся избыточность нужна мне для других задач (например, для организации CI, в будущем).
Нашёл скриншот:
В итоге, я имею работающий NAS на серверном Xeon ценой чуть более $3000
А в комментарии:
А тут всё бесплатно.… хорошо работает и ничего мне не стоит
И логично возражение «постойте, но как же бесплатно и потраченные 3 килобакса».
Из чего я делаю вывод, что вместо NAS собран хороший сервер под несколько задач.
PS:
Стоит отметить, что:
* Софт-рейд я не рассматриваю и не предлагаю по понятным причинам.
* Проблема поломки аппаратного рейда имеет место быть, но сильно раздута. Мы знаем об этом, потому что есть статистика или возвраты. И решается использование пары одинаковых для пары массивов дисков. У меня где-то были пара PCI рейд контроллеров, ушедших в коробку из-за морального устаревания. Пара, как раз, чтоб восстановить, если один выйдет из строя. Но этого так и не случилось.
* Если допускать наличие багов, их можно ожидать и в ZFS и в костылях не используя солярку. Да-да, рейды тоже могут быть проверенными временем и надежны не менее ZFS
И логично возражение «постойте, но как же бесплатно и потраченные 3 килобакса».
Но не на RAID контроллер: с ним вышло бы дороже. И не вполне понятно, какие бы мне дало это плюсы (нагрузка на CPU сейчас низкая). А память с ECC явно не лишняя для любой ФС.
Из чего я делаю вывод, что вместо NAS собран хороший сервер под несколько задач.
Об этом тоже уже здесь говорили. Как и подавляющее большинство (все?) NAS сейчас (см. обзор).
Если допускать наличие багов, их можно ожидать и в ZFS и в костылях не используя солярку. Да-да, рейды тоже могут быть проверенными временем и надежны не менее ZFS
Да, без сомнения. Даже я бы сказал: в ZFS есть баги. Но правятся они наверняка активнее, чем баги в прошивке контроллера.
Второе: известная проблема в том, что при выходе из строя рэйд-контроллера, вам придётся искать аналогичный, иначе данные на массиве потеряны.
Я тут немножко вклинюсь в вашу беседу. А позвольте полюбопытствовать, на вашей памяти много данных потеряно по причини смерти raid-контроллеров? И вообще, много, собственно, контроллеров помэрло?
Сам вот неоднократно прыгал с бубном, выковыривая данные из всяких там развалившихся софтрейдов, поверх которых был еще накачен lvm и тому подобного. Хотя, если совсем откровенно, в большинстве тех случаев виновато грошовое железо, закупленное из-за дифицита бюджета, жадности закупщиков и ласторукости внедренцев по совокупности.
И не вполне понятно, какие бы мне дало это плюсы
Например, скорость перестроения при замене вылетевшего диска.
Я тут немножко вклинюсь в вашу беседу. А позвольте полюбопытствовать, на вашей памяти много данных потеряно по причини смерти raid-контроллеров? И вообще, много, собственно, контроллеров помэрло?
А причём тут моя память? Мой минимальный опыт прямого общения с "большим" серверным железом ещё ни о чём не говорит. Да, были рэйды, при мне не померло ни одного.
Опыт не мой.
Помимо этого, мне приходилось общаться с людьми, которые данные контроллеры разрабатывали, и они не агитировали за решение с аппаратным рэйдом: дорого и не даёт ощутимых преимуществ.
из всяких там развалившихся софтрейдов, поверх которых был еще накачен lvm и тому подобного
Не знаю для чего поверх софт-рейда накатывать LVM, если LVM может почти всё тоже самое сделать.
Например, скорость перестроения при замене вылетевшего диска.
Есть у меня подозрение, что и в том, и в другом случае скорость будет ограничена либо скоростью IO, либо скоростью интерфейса.
В любом случае: это дорого. Это самый первый и основной минус. В данном ценовом сегменте контроллер будет стоить, как половина этого NAS с дисками, и это неприемлемо.
на лезвии как бы встроенная сетка
Странно, мне говорили ровно обратное. Хотя, быть может, следовало их подпоить хорошенько и выведать всю подноготную (:
либо скоростью IO, либо скоростью интерфейса.
Если это простое зеркало, то да. Если какой-нибудь raid6 (и даже 5), до зависеть будет еще и от алгоритмов реализации.
В данном ценовом сегменте контроллер будет стоить, как половина этого NAS с дисками
Ну нет, что вы. Тот же хьюлетовский p222 или p420 с кэшем и батарейкой стоит на ебее в районе $80-100.
Ну нет, что вы. Тот же хьюлетовский p222 или p420 с кэшем и батарейкой стоит на ебее в районе $80-100.
Посмотрел. Ну вообще $130-$250, но всё-равно это не те контроллеры за $1000-$1500, на которые я натыкался.
Поскольку, в данной теме я не сведущ, спросил по их поводу, вот ответ:
Достоинства: таки рейд. Хранит конфигурацию рейда на дисках, т.е.
можно переткнуть диски в другой аналогичный контроллер и оно
поднимется.
Недостатки: тормоз в режиме рейда, что в raid5, что в raid6 (сейчас
используются те же контроллеры, те же диски, но рейд — через mdadm и
копирование упирается в сеть, а не в массив).
Так что… Привязка к аппаратуре, возможность её поломки, лишние 200 баксов, плюс ещё и тормоза.
А зачем, если откинуть, например то, что вы привыкли к тому, что диски должны управляться аппаратурой?
Вот ещё (из рассылки):
с p410/p420 вообще странно ведут себе с не HP дисками.
Так зачем мне такие сюрпризы?
Кроме того, думаю вы помните, что ZFS на массив ставить не надо?
И что, ото всех плюсов системы я буду отказываться из-за сомнительного аппаратного рэйда?
Тут стоит определиться, почему вы действительно за них агитируете: это плюсы перевешивают минусы или всё-таки привычка?
с p410/p420 вообще странно ведут себе с не HP дисками.
На p410 не сталкивался вообще ни с какими проблемами совместимости, на 420 в последней прошивке зачем-то (денег, видимо, хотят — покупайте только наших слонов) нашаманили с индикацией на неродных дисках (неродными оно считает диски и от g6/g7 перекрученные в g8)
Кроме того, думаю вы помните, что ZFS на массив ставить не надо?
Откровенно говоря, с ZFS я не особенно дружу, или даже, скорей, особенно не дружу. С FreeBSD знакомиться не стремился, так как задачи от и до покрывал Linux. Когда появилось в Linux, начинать знакомство и толкать в продакшн малознакомую конструкцию не хотелось.
Почему, кстати, не стоит ставить на ZFS на рейд-массив? Я понимаю, что она несет в себе нужный функционал, но, например, не лучше ли возложить логику IO на контроллер, а снапшотами пусть занимается система?
это плюсы перевешивают минусы или всё-таки привычка?
Сколько сталкивался с mdadm, он всегда оказывался тормознутее. Ну и, опять же, нормальная индикация и возможность сказать человеку «замени вон тот диск, что горит красным», а не «в четвертом столбце третий снизу» ( с возможными вариантами в духе «в четвертом ряду, считая слева, блин!!111»)
В общем, я сейчас запущу нагрузочное тестирование на 24х 450Gb 10K дисках Hitachi:
#cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sdy[23] sdx[22] sdw[21] sdv[20] sdu[19] sdt[18] sds[17] sdr[16] sdq[15] sdp[14] sdo[13] sdn[12] sdm[11] sdl[10] sdk[9] sdj[8] sdi[7] sdh[6] sdg[5] sdf[4] sde[3] sdd[2] sdc[1] sdb[0]
9667192832 blocks super 1.2 level 6, 512k chunk, algorithm 2 [24/24] [UUUUUUUUUUUUUUUUUUUUUUUU]
bitmap: 1/4 pages [4KB], 65536KB chunk
unused devices: <none>
Подключено это к hba'шке lsi sas2308. Погоняю случайное и последовательное чтение/запись с разной глубиной очереди, посмотрим, что получится, и напишу короткую заметку после праздников, все равно в другой контроллер переткнуть смогу только в понедельник.
Если приведете пример подходящего конфига ZFS для такого стенда, можно и для нее тесты погонять.
на 420 в последней прошивке зачем-то (денег, видимо, хотят — покупайте только наших слонов) нашаманили с индикацией на неродных дисках (неродными оно считает диски и от g6/g7 перекрученные в g8)
Чур меня, чур от таких проблем.
Однозначно: программное решение.
Откровенно говоря, с ZFS я не особенно дружу, или даже, скорей, особенно не дружу.
А попробуйте подружиться. Я тоже относился скептически: "Ну вот, очередная ФС, что снова не устраивает связка LVM (GEOM_RAID) + LUKS (GELI) + ext4 (ufs/xfs)?"
Потом смотрю: весьма интересная и неплохая разработка.
Действительно некоторые вещи она делает неплохо и многое упрощает, объединяя в себе (вспоминается systemd — там наоборот).
С FreeBSD знакомиться не стремился, так как задачи от и до покрывал Linux. Когда появилось в Linux, начинать знакомство и толкать в продакшн малознакомую конструкцию не хотелось.
Разумно. До сих пор пишут, что она stable, but not production ready. А если что случится, по башке первым получит админ, и потом хрен докажешь, что ты не верблюд, и поставил какую-то экспериментальную фигню вместо "надёжных и проверенных временем решений".
Однако, для себя уже вполне возможно использовать.
Почему, кстати, не стоит ставить на ZFS на рейд-массив? Я понимаю, что она несет в себе нужный функционал, но, например, не лучше ли возложить логику IO на контроллер, а снапшотами пусть занимается система?
Кстати, вопрос хороший, если вдуматься.
ZFS is used on top of hardware and software RAID in most cases, this is the standard deployment of it outside of massive Sparc architecture mini computers because anything that runs ZFS (FreeBSD, Ubuntu or Sparc AMD64) would all be expected to be VMs and not on bare metal, so ZFS' primary use and role is on top of other RAID.
Вот тут пишут, что это миф:
https://mangolassi.it/topic/12047/zfs-is-perfectly-safe-on-hardware-raid
А пошло это (в том числе и моё мнение) вот отсюда:
http://www.freenas.org/blog/freenas-worst-practices/
Ну и, собственно, причины всё-таки есть, вот список (некорректное определение ZFS размера сектора, добавление точки отказа, неопределённое поведение при перестроении массива и т.д.):
http://open-zfs.org/wiki/Hardware#Hardware_RAID_controllers
Подключено это к hba'шке lsi sas2308. Погоняю случайное и последовательное чтение/запись с разной глубиной очереди, посмотрим, что получится, и напишу короткую заметку после праздников, все равно в другой контроллер переткнуть смогу только в понедельник.
Хотелось бы посмотреть результаты.
Если приведете пример подходящего конфига ZFS для такого стенда, можно и для нее тесты погонять.
Попробуйте создать RAIDZ2 (это аналогия RAID6), если есть возможность, выделить из него том (zfs create -V) и потестить на нём (это будет блочное устройство).
Затем, было бы любопытно создать ФС (zfs create) и проверить, будет ли различаться скорость записи в файл.
Это первое, тут на те же диски пишется ZIL, и скорее всего будет медленнее. После этого неплохо было создать отдельный SLOG, чтобы ZIL писался на SSD. В этом случае производительность должна возрасти.
Да, я только что наткнулся на замеры.
Замеры по ссылке проглядел, мда, ZFS очень небыстрая штука, значительно медленнее чем mdadm — мне она вряд ли подойдет. Для дома, в принципе, нормально, но для чего-то большего… А если включить еще и встроенное шифрование ( с некотрых пор использую полнодисковое шифрование на всех своих персональных устройствах), то все будет, похоже, совсем печально.
В общем, попробую это все промерить. Спасибо за интересную беседу, поглядывайте в комментарии, оставлю здесь ссылку на результат.
Замеры по ссылке проглядел, мда, ZFS очень небыстрая штука, значительно медленнее чем mdadm — мне она вряд ли подойдет. Для дома, в принципе, нормально, но для чего-то большего…
Ну штука-то быстрая: в три раза быстрее mdadm (здесь про первую таблицу, где активно используется ARC). Небыстрая запись на диск. Но это синтетические тесты, и в реальности обычно не работают с ФС без кэша, синхронно и с прямой записью на диск.
А если включить еще и встроенное шифрование ( с некотрых пор использую полнодисковое шифрование на всех своих персональных устройствах), то все будет, похоже, совсем печально.
AES-NI если имеется, не сильно затормозит. Да и никто не мешает юзать штатный LUKS.
Ну штука-то быстрая: в три раза быстрее mdadm
Ну, операции последоательного доступа — это весьма оторванный от жизни показатель. При тестах обычно комбинирую 70/30 случайный к последовательному — это сколько-нибудь ближе к реальности. Ну и latency там везде просто конское, лучше тесты строить так, чтобы не превышало 20мс.
Вот ещё пишут про HP raid (разные люди):
По факту — HP делает вендор-локед шлак. Со всеми вытекающими из этого
плюшками для своего кармана — то батарейки по $100, то ключи для RAID5 (не,
ну мы конечно продали рэйд, но 0/1/10). Это хорошо для больших дядей с
контрактом на охреннилион баксов — поддержка, гарантия, все понты. А по
остатку — могут и диск не найти для горячей замены по контракту.
Для дома/для семьи — контроллеры HP смысла не имеют от слова совсем. Не для дома — только за откат/бумагу что виноват платный саппорт HP.
...
Dl180G6 сервант, с P210
родных дисков не было от родясь… стоит солянка из сиагейтов и wd.Всё > работает без видимых проблем уже более 5 лет.диски меняются по мере помирания.
...
Это который судя по картинкам с https://habr.com/post/330286/ больше 100Mb/s с батарейкой и SSD выдать не может? Так я тебя растрою — у меня в 2004 году LSI SATA 150-6 в 5м рейде из дисков SATA1 100 гигов на запись давал со свистом. При этом учитывая, что онный LSI в то время был самым дешевым и ничем сильно не выдающимся (в отличии от 3ware и areca).
Кстати, это надёжный ентерпрайз, есть аналоги попроще, для смертных, стоимостью 70-150$ с аналогичными технологиями.
При этом очень удивляет упор не на «хард», а на «софт». (Что выливается в завышенные требования к мощности CPU)
Тоже возникла такая мысль. Себе для дома собрал систему на базе хьюлета DL180 G6 с двумя e5540, 96Gb оперативочки, 12х2Tb дисками, поставил на вырост raid-контроллер с внешним портом (при необходимости еще полку или две добавлю) и запитал от APC SURT2000.
В качестве операционки любимый Debian с полнодисковым шифрованием, поверх чего накатил Proxmox, внутри которого теперь живет NAS под тем же Debian'ом, сервер синхронизации и отдачи отснятого и кучка разных виртуалок для опытов.
Плюсы: полноценный двухголовый сервкак, пусть начального уровня, есть ILO, хоть и довольно убогое (ilo100), большой объем оперативки, большой задел на расширение.
Минусы: шумит.
Ну и как выше верно заметили, проще настроить все с нуля, благо при наличии опыта это делается быстро, чем пробиваться через велосипеды из костылей, которые понастроили производители подобных коммерческих решений и радоваться как мане небесной наличию встроенного vpn-клиента и какой-нибудь torrent-качалки.
Сначала хотел найти что-то с пассивным охлаждением и всем готовым. Что бы купил, поставил, пользуйся. Но все, что более-менее подходило было с активной системой охлаждения.
В результате я взял mini-ITX плату с впаянным Intel Atom J1900 и пассивным радиатором, 8GB (меньше я не покупаю), маленький корпус с пассивным блоком питания, 2,5" HDD. Собрал это все до кучи, поставил Linux Debian (без Х), Transmissioin, Plex (кстати очень рекомендую). По прошествии времени могу сказать, что получилось очень удачное сочетание. Бесшумное и вполне производительное решение. Даже под burncpu не нагревалось больше 70 градусов. Нет возни с софтом. Доступно все, что есть под Linux. Клиенты для Transmission и Plex есть под все системы. Я пробовал смотреть с нескольких устройств разные источники. Тогда набралось 2 компа, 3 телефона и планшет. Все прошло как по маслу. Из приятных бонусов- привычный Linux Debian. Не нужно читать никакие доки что бы что-то завелось, не нужно переживать что твою железку забросит производитель потому, что она «старая», все комплектующие продаются во всех магазинах. Ну и не будем забывать, что электричество не бесплатное. Поэтому четырех ядерные процессор с TDP 10W (а в простое куда меньше) — это прекрасно.
PS: Резервные копии не делал. Для фильмов-сериалов не нужно. Да и на работе этого хватает. Дома хочется быть попроще. Git мне работодатель предоставляет, облака — Google (включая корпоративные), софт собираю локально. Для Android его куда-то гонять нет особенного смысла.
Но как помешанный на супермикро (не реклама) подобрал для себя оптимальный на сейчас комплект из:
Supermicro A2SDI-4C-HLN4F-B Intel Atom C3558
SuperMicro CSE-721TQ-250B Mini Tower Chassis (вариант для стойки SuperChassis 504-203B)
На момент покупки цена комплекта составила $400, все новое. Осталось только добавить память и 2-4 диска, скорее всего будут только SSD.
p.s. увидел, что написано 8, но разглядел только 4 разъёма…
К указанной выше плате таки можно подключить 8 дисков:
«The A2SDi-2C/4C-HLN4F supports up to eight SATA3.0 ports (4 via ports and 4 via miniSAS
HD header). Using the Flexible I/O feature, a user can select a total of eight SATA ports and/
or PCIE lanes on the expansion slot.»
p.s. да, именно h310
на эту статью сослались в обсуждении на ixbt, цитата резанула глаз:
В среднем, 3.5" диск потребляет 6 Ватт по спецификации и порядка, 20 Вт, с учётом тепловых потерь.
Достаточно считать, что диск не может потреблять более 25 Вт.
ИМХО написана ерунда. Так 6, 20 или 25Вт? Что за тепловые потери?!?
Часто производитель пишет в datasheet, например для Ultrastar 7K4000 максимальные стартовые — 6+24 = 30 Вт, при работе до 11.5 Вт, в простое 6-7 Вт. https://documents.westerndigital.com/content/dam/doc-library/en_us/assets/public/western-digital/product/data-center-drives/ultrastar-sata-series/data-sheet-ultrastar-7k4000.pdf
- Power Requirement +5 VDC (±5%); +12VDC (+10%/-8%)
- Startup current (A, max) 1.2 (+5V), 2.0 (+12V)
- Read/write (W) 11.4; 10.9
- Idle (W, avg) 6.9; 7.6
- Unload idle (W) 5.7; 6.2
Тепловые потери у автора странные и мне кажется все подсчеты мощности у автора не очень точные и лучше вернуться куда-нибудь на профильные сайты типа http://forum.ixbt.com/topic.cgi?id=49:13396.
Нужно ли собирать NAS?