Нужно ли собирать NAS?

    image


    Как в блогах, так и в журналах есть множество статей о том, как собрать NAS своими руками.
    И с первого взгляда кажется, что при наличии прямых рук, свой NAS по всем пунктам бьёт покупное решение.
    "Фигак, фигак и в продакшн", — и вот уже быстро, дёшево и качественно реализованное хранилище радует вас высокой производительностью и надёжностью.


    Если вы считаете, что всё так и есть, краткий ответ на вопрос в заголовке: нет, собирать NAS самостоятельно не нужно.


    Эта статья может быть полезна следующим категориям читателей:


    • Тем, кто ещё решает надо ли ему собирать свой NAS или всё-таки лучше обоснованно выбрать готовое решение.
    • Тем, кто выбирает готовый NAS для небольшого офиса. Им, прежде всего, может быть полезен краткий обзор под спойлером в разделе "Покупка NAS: что предлагает рынок", в качестве отправной точки. С удовольствием дал бы ссылку на полный, но я такого не нашёл.

    Тут рассматриваются NAS верхней границы "домашнего" сегмента и начального бизнес-сегмента, позволяющие удовлетворить запросы взыскательного пользователя, либо офиса на 50-100 человек.


    Рынок хранилищ очень большой, потому здесь сознательно не рассматриваются решения типа:


    • "NAS на Arduino" или "Диск + старый роутер".
    • "Dell EMC Isilon Scale-Out NAS Storage, Starting at US List Price: $42,552.00".
    • SAN.
    • Решения для стоек (т.к. стойки я в квартире не имею и не собираюсь).

    Также, DAS и подключаемые дисковые корзины лишь мельком упомянуты в обзоре.


    Цели, задачи, требования


    Я делал систему под конкретные задачи, которые могут не пересекаться с решаемыми вами, но являются достаточно общими для тех, кому требуется NAS.
    Здесь я хочу их очень кратко обрисовать.
    Если мне сообщат, что есть интерес, я могу описать данные темы в отдельных публикациях.


    Точка синхронизации


    Прежде всего, NAS является точкой синхронизации между разными устройствами.
    Это может быть пофайловая синхронизация (например, используя rsync или syncthing), облако, общие репозитории и т.п…
    В моём случае, в качестве сервисов обеспечивающих точку синхронизации, выступают:


    • Репозитории на базе Git.
    • Облачное хранилище.

    Git


    Первая основная задача.
    В качестве системы управления репозиториями, я выбрал Gtilab.
    Это решение может показаться спорным.
    Однако, Gitlab хорошо проработан, имеет очень широкий функционал и большие возможности для интеграции.


    Облако


    Мне требуется хранилище, в которое я и некоторые другие пользователи смогут безопасно (в том числе, не доверяя серверу) складывать свои файлы с разных устройств. С версионированием и возможностью ими поделиться.


    Есть разные решения, я изо всех претендентов выбрал Seafile.


    Резервное копирование


    Вторая основная задача.
    Очень большая тема. Здесь я говорю только о резервном копировании данных с "внешних" по отношению к NAS машин.
    В перспективе требуется поддержка репликации в облако.


    Приложение для резервного копирования, которое меня устраивает — UrBackup.


    Медиацентр


    Пока ещё не доделал. На роль приложений, которые будут мне предоставлять его функционал, претендуют: Plex, Kodi, MiniDLNA (возможно, что только DLNA сервера будет достаточно), Emby.


    В данном случае, я ещё не дошёл до выбора.


    Безопасность


    • Сохранность данных пользователя должна обеспечиваться дополнительной репликацией в облако.
    • Защита от НСД при физическом доступе должна обеспечиваться, в основном, дисковым шифрованием.
    • Должна обеспечиваться сетевая безопасность: моё устройство доступно из Интернета.
    • Должна обеспечиваться сохранность конфигурационных данных системы.

    В моём случае, сохранность данных системы обеспечивается путём:


    • Зеркалирования системных SSD средствами ZFS.
    • Копирования системных файлов на пул, используя плагин резервного копирования в Open Media Vault.

    Сетевая безопасность обеспечивается стандартным файрволлом и контейнеризацией.
    Контейнеризация — отдельное пожелание к системе, потому что это очень удобно.


    Синхронизация пользователей


    Мне нужно, чтобы я мог централизованно управлять пользователями.


    Большинство из вышеуказанных систем поддерживает LDAP, чем я и воспользовался.


    Покупка NAS: что предлагает рынок


    Итак, теперь стоит посмотреть, есть ли доступные на рынке решения, удовлетворяющие моим требованиям.
    Ведь NAS сейчас не делает только ленивый, и их ассортимент не ограничивается QNAP и Synology, которые у всех на слуху.


    Краткий обзор под спойлером.


    Краткий обзор готовых решений

    Asustor



    Я рассматриваю AS7008T, который считается сервером уровня предприятия (скорее, переходный вариант).


    Характеристики:


    • Intel i3 3.5GHz с AES-NI.
    • DDR3 2 ГБ, расширяется до 16 ГБ.
    • SATA-3, 8 дисков, максимум 96 ТБ (плюс, есть устройство расширения, с ним 240 ТБ) с JBOD, RAID 0, RAID 1, RAID 5, RAID 6, RAID 10. Горячая замена.
    • Дисковое шифрование AES-256.
    • Внутренняя ФС — ext4.
    • Поддерживаются FAT32, NTFS, EXT3, EXT4 и HFS+.
    • Ethernet 1 Гб/с x 2, возможно подключить карту на 10 Гб/с через PCI Express.
    • Слот PCI Express.
    • USB 3.
    • ОС — модифицированный Linux.
    • Максимальная мощность 250 Вт.

    Предоставляет:


    • Резервное копирование в облако. Поддерживается MS OneDrive, HiDrive, Dropbox, Google Drive, hubiC, Yandex Disk.
    • Резервное копирование посредством Rsync (сервер Rsync).
    • Резервное копирование одним касанием.
    • Поддержку виртуализации с VmWare и Citrix.
    • Поддержку VirtualBox (на нём из коробки возможно запускать ВМ).
    • Управление фотогалереей.
    • Управление музыкальной коллекцией (SoundsGood).
    • Медиасервер с DLNA.

    Особенности:


    • Есть ИК приёмник.
    • Ж/к экран.
    • S/PDIF выход.
    • Шумноват: 27.6 Дб с остановленными дисками.
    • Поддерживает iSCSI.
    • Настраиваемые страницы входа в систему.
    • Есть поддержка iTunes-сервера.
    • Предоставляет почтовый сервер.
    • VPN сервер и VPN клиент.

    Часть NAS Asustor делается на Celeron, часть на Core.
    За Core i3 с 2-4 Гб non-ECC RAM цена весьма немаленькая.
    Диски, из того, что я посмотрел, были только SATA.


    В качестве ОС там используется несколько модифицированный Linux, пусть и не самый свежий, но вполне себе пригодный к использованию.
    Возможно установить свой Linux отдельно и пробрасывать GUI по сети.
    Диски шифруются, AES-256, всё серьёзно.
    GUI, как и полагается, ориентирован на пользователя и представляет собой модный ныне "набор значков на рабочем столе", похожий на QNAP.
    В NAS уже включены сервисы, типа интегрированного DLNA, установки дополнительных приложений в один клик и т.п..


    NAS подходит для того, чтобы решить вышеописанные задачи: если чего-то не хватает, всегда возможно запустить это в виртуальной машине (пусть и с дополнительными расходами).


    $1300-$1600


    Buffalo



    Серьёзный американский NAS от серьёзного американского производителя.
    Интересующая линейка выглядит солидно и солидно же называется: Terastation.


    Позиционируется больше, как "бытовое устройство для хранения и распространения данных", чем как универсальный компьютер с расширяемой ОС.


    Характеристики:


    • Annapurna Labs Alpine Processor AL314 (похожий используется в некоторых моделях QNAP), ARM.
    • DDR3 с ECC, 4 ГБ.
    • SATA-3, максимум 8 дисков (Pre-tested NAS grade Hard drives included with RAID pre-configured), горячая замена.
    • Дисковое шифрование AES-256.
    • Ethernet 1 x 10 Гб/с, 2 x 1 Гб/с.
    • USB 3.
    • Про ОС ничего сказать нельзя, хотя вероятно это Linux.
    • Максимальная мощность 150 Вт.

    Предоставляет:


    • Персональное облако.
    • Медиасервер с DLNA.
    • Интеграцию с облачными хранилищами и возможность репликации в облако прямо с NAS (поддерживается Amazon S3).
    • Своя система резервного копирования NovaBackup.
    • Виртуализацию с Citrix или VmWare.

    Особенности:


    • Есть замок на дверцу.
    • Есть встроенный антивирус от TrendMicro (вряд ли он нормально что-то ловит).
    • Для управления используется программа NASNavigator2.
    • Есть возможность репликации между NAS.
    • При замене дисков, придётся покупать их у Buffalo (см. список поддерживаемых дисков в спецификации).

    Web GUI:


    Ну, и три года гарантии, как полагается.


    NAS подходит для того, чтобы решить вышеописанные задачи, но всё-таки я бы не стал его покупать: дорого, не так много возможностей даже по сравнению с Asustor, не слишком гибко.


    Цена порядка $1970.


    Cisco



    Конечно же, Cisco не мог остаться в стороне.


    Модель уже снята с производства, а выпущена была аж в 2012.
    Тем не менее, я не мог пропустить данную фирму.
    Да и купить её агрегат, при желании, ещё возможно.


    Характеристики:


    • Процессор Intel Atom D510 1.66 GHz (Dual Core).
    • DDR-2, 1 ГБ.
    • До 6 SATA дисков, которые могут быть аппаратно организованы в любой из типов RAID или представлены, как JBOD.
    • Дисковое шифрование по AES-256.
    • Внутренняя ФС — ext4.
    • 512 МБ флэш памяти.
    • Ethernet 1 Гб/с x 2.
    • ОС Linux, со старым даже для 2012-го, ядром 2.6.
    • Максимальная мощность 250 Вт.

    Предоставляет:


    • Поддержку бэкапа с Rsync.
    • Интегрированный on-line бэкап в Mozy.
    • Медиасервер с DLNA.
    • Возможность виртуализации с VmWare и Hyper-V.

    Особенности:


    • Поддерживает множество протоколов.
    • Имеет возможность предоставлять iSCSI-таргеты.
    • Поддерживает наблюдение за состоянием ИБП.
    • Есть пользовательские квоты.
    • Есть SMS-оповещения.
    • Есть ограничение на количество соединений (это не касается локального подключения): 10 Web или мобильных подключений за день, не более 30 минут подключения по Web, только одно Web соединение.

    Полную спецификацию возможно посмотреть на этой странице.


    Предоставлялась "Cisco Small Business Support Service" на три года.
    Я бы не стал покупать данный NAS, не только потому, что он несколько устарел, но ещё и по причине лимитов на количество подключений: как Web-сервер без доработки его не попользуешь.
    Не вполне понятно, с какими целями "эффективный менеджмент" Cisco ввёл такие ограничения.


    Цена впечатляет: $3300


    Drobo


    image


    Drobo представляет собой персональный DAS.
    На постсоветском пространстве и в Европе не популярен. Зато вполне известен в США.
    Работает он только с NTFS и HFS+.


    Здесь я его привёл, потому что он любопытен двумя вещами:


    • Он не имеет Web интерфейса. Управление производится через приложение, которое правда, работает только на MacOS и Windows.
    • Он использует свою технологию "BeyondRAID". Это RAID массив с избыточностью, но позволяющий использовать диски разных размеров. Кроме того, я так понял, что он пофайловый. Т.е. резервируются не блоки, а файлы, и при разрушении массива, всё равно возможно восстановить часть файлов с оставшихся носителей.

    Если нужны подробности, смотрите обзор 2017-го года на IXBT.


    Подходит оно для фотографов, но для моих задач не устраивает даже, как дисковая корзина.


    С 5-ю дисками на 4 ТБ стоит он порядка $1600.


    FreeNAS



    Это FreeNAS.


    Характеристики:


    • Intel Avoton, 8 ядер (он напаян, используется известная плата от ASRock).
    • 16 ГБ DDR3 с ECC, с возможностью расширения до 32-х (ограничение платы, в новых до 64-х).
    • 8 hot-swap SATA-3 дисков.
    • Поддержка ZRAID.
    • Всё на ZFS, включая корень.
    • XTS шифрование пула по AES-256.
    • Максимальная мощность 80 Вт.

    Предоставляет:


    • Во FreeNAS из коробки поддерживается контейнеризация.
    • Всё остальное, что поддерживает FreeNAS.

    Особенности:


    • Есть замок.
    • На корпус стоит обратить особое внимание: он действительно хорош и где-то я видел, что продаётся отдельно.

    У них всё хорошо.


    ПО в пояснениях и комментариях не сильно нуждается.
    Но есть минусы, относящиеся к самому FreeNAS: установщик системы примитивный, и соответственно, стоит ожидать, что ОС в данной системе установлена на один носитель без шифрования.
    Шифруется только пул.
    Впрочем, ничто не мешает установить на это железо что-угодно: данная плата и остальное железо очень хорошо поддерживаются, как Linux, так и различными BSD.


    Железо тоже не особенно нуждается в комментариях.
    В качестве платы используется одна из весьма известных в кругах строителей NAS плат ASRock:
    C2550D4I, либо C2750D4I.
    Своего железа "от FreeNas©" там нет, что не может не радовать.


    NAS подходит для того, чтобы решить вышеописанные задачи, скорее всего его бы я и выбрал, в случае покупки, несмотря на то, что железо меня не совсем устраивает.


    Цена без дисков: $1350-$1520
    На 48 ТБ: $3500.


    Helwet-Packard ProLiant Microserver



    Строго говоря, NAS не является, но может выполнять его функции.
    Я не особенно жалую продукцию HP, но его попросили включить в обзор.


    Обзор на IXBT (от 2017-го года).


    Это уже 10-е поколение Microserver.
    8-е поколение было с сокетом LGA1155, и поддерживало от Celeron в более дешевых конфигурациях до Xeon в дорогих, что позволяло достаточно дешево обновлять конфигурацию на более мощную, и стоило дороже, а теперь они зачем-то делают сервера на AMD.


    Характеристики:


    • AMD Opteron X3421 Processor (2.1-3.4GHz, 4 вычислительных ядра, 8 графических).
    • DDR4 с ECC, 8 ГБ с возможностью расширения до 32 ГБ.
    • SATA-3, 4 диска, без горячей замены, RAID контроллер
    • Ethernet 1 Гб/с x 2. Контроллер от Broadcom.
    • Слот PCI Express x4.
    • Слот PCI Express x8.
    • USB 3 x 2.
    • ОС — ClearOS на базе Linux, но возможно установить, как Windows, так и RHEL.
    • Максимальная мощность — 200 Вт.

    Предоставляет:


    • Поддержку резервного копирования через BackupPC и Rsync.
    • Виртуализацию "из коробки".
    • Персональное облако.
    • Синхронизацию с облаком: Dropbox.
    • Поддержку бэкапов в облако через Remote Data Backup.

    Особенности:


    • Есть два Display port.
    • Есть защита от malware и вирусов.
    • IDS/IPS.
    • OpenVPN.
    • Платная подписка на некоторые приложения.

    С полным списком приложений возможно ознакомиться на сайте ClearOS


    Web-интерфейс:


    Сервер на процессоре AMD и с сетевыми контроллерами Broadcom для меня однозначно — не вариант.


    Цена: $580


    Iomega/Lenovo



    Тут возможно посмотреть спецификацию.


    Когда-то, когда в ходу ещё были дискеты, я поражался огромной ёмкостью Iomega Zip в 100 МБ и больше (тогда ещё HDD были сотни мегабайт и гигабайты).
    И NAS от той же компании, пусть это и старое решение, которое снято с производства, вызвал ностальгию.
    Однако, компания же давно куплена китайцами в лице Lenovo.
    И NAS они более не производят.


    Поддержка окончилась в 2017.
    Обзор 2012-го года


    Характеристики:


    • Intel Atom D525 (2 ядра, 4 потока, 1,8 ГГц)
    • DDR2 2 ГБ, возможно расширить, установив второй модуль.
    • 6 x SATA-3 дисков, RAID 0, 1, 10, 5, 6 и JBOD, горячая замена.
    • Внутренняя ФС — XFS.
    • Ethernet 1 Гб/с x 2 (но контроллеры Realtek RTL8111E, не лучшие).
    • USB 3.0 один разъём.
    • PCIe 4x.
    • ОС установлена на USB flash Samsung объемом 1 ГБ.
    • ОС — Iomega Storage Manager на базе Linux.

    Предоставляет:


    • Бэкап через Rsync.
    • Поддержку Amazon S3 и Mozy.
    • Personal Cloud, но своё облако нужно регистрировать на серверах Iomega, так что вероятно, это уже не работает.
    • Поддержку репликации между NAS.
    • Медиасервер с DLNA.

    Особенности:


    • SMB отключить его нельзя.
    • Поддержка технологии Windows DFS для объединения нескольких внешних сетевых ресурсов в одной общей папке в px6-300d.
    • Поддерживает iSCSI.
    • Поддержка резервного копирования Time Machine.
    • Вентиляторы с PWM.

    WEB интерфейс симпатичный:


    Когда-то была неплохая система. Сейчас в обзоре этот NAS лишь для истории.
    Хотя, даже с ним возможно решить мои задачи.


    Б/у стоит порядка $980.00 (при изначальной цене $2000+).


    Netberg



    Весьма своеобразное решение, которое позиционируется не как NAS, а как сервер для малого офиса.
    Они делают его под ключ, так что даже сломанные диски заменят, если что, но самостоятельно лезть руками нельзя, даже чтобы заменить диск: сразу аннулируется гарантия.
    Уровень сервиса у них не очень: я связался с ними, мне ответили, но потом всё надолго затихло.
    Через неделю или две тот же менеджер мне написал, что у них была реорганизация.


    Характеристики:


    • Intel Xeon E5-2603 v3 6C/6T, 1.6GHz (15MB кэш, 6.4GT/s). В базовой комплектации указан E-3.
    • 8GB DDR3 ECC+REG, возможно расширить до 16 ГБ (цена указана с 8-ю).
    • SATA-3 4 ТБ x 2.
    • Ethernet 1 Гб/с x 2. Intel.
    • Слот PCI Express 3.
    • Стоит ли что-то в качестве ОС неясно: меня интересовало железо.
    • Максимальная мощность 250 Вт.

    Особенности:


    • Есть IPMI 2.0.
    • KVM over IP с выделенным Ethernet портом.

    Вообще, неплохое железо, по достаточно приемлемой цене.
    Хорошо совместимо с Linux и BSD.
    Если бы не особенности общения с клиентами, я бы задумался над его приобретением.


    Цена: $1372


    Netgear



    Характеристики:


    • Intel D-1508 2,2 ГГц.
    • 8 дисков, максимум поддерживается 130 ТБ, RAID.
    • DDR4 4 ГБ с ECC.
    • 2 x 10 ГБит Ethernet.
    • Есть iSCSI, DLNA.
    • ОС — ReadyNAS OS 6.9.
    • Максимальная мощность 250 Вт.

    Предоставляет:


    • Поддержку Amazon Cloud Drive, Dropbox, Google Диск, OneDrive и Azure.
    • Проприетарное облачное хранилище ReadyCLOUD.
    • Поддержку виртуализации на базе VmWare.

    Вроде как, неплохой NAS, но дальше я не интересовался: если у кого-то есть личные впечатления, допишу сюда.
    Мои задачи с помощью этого вполне возможно решить.
    Цена, правда, немалая.


    Цена порядка: $1600 без дисков.


    Promise technology



    Это DAS, но прежде чем я понял это (смотрел на цену), пришлось лезть в его мануал.


    Характеристики:


    • Процессор PMC Sierra 8067.
    • 1 ГБ DDR3-1866 SDRAM.
    • 8 SATA дисков, максимум 48 ТБ, RAID 0, 1, 5, 6, 10, 50, 60.
    • Максимум 250 Вт.

    Предоставляет:


    • ПО ChronoSync Pegasus Edition для резервного копирования.

    Особенности:


    • Поддержка Thunderbolt 3.

    На сайте Promise Technology много рекламных материалов, среди которых нет даже нормальных характеристик железа. Видимо, их менеджер по рекламе посчитал, что знать характеристики процессора для пользователей — лишнее.
    Пришлось искать.


    В качестве дисковой корзины этот DAS вполне себе может подойти: на его основе возможно строить NAS (хотя и дорого).


    Цена: $3400-$4500


    QNAP



    О QNAP написано и так много.


    Компактный корпус на 8 дисков, каждый из которых легко достать.
    Над каждым диском индикатор.
    Это их "фирменный стиль".
    У QNAP, наверное, самая широкая линейка NAS среди всех производителей, под большое количество рыночных сегментов, линейка CPU, соответственно также широкая: Atom, Core i3-i7, Xeon (обычно в стоечных моделях), даже AMD Ryzen с конца 2017-го.


    Изо всех моделей я рассматриваю TVS-871-i7-16G.
    Это модель 2015-го года, но сейчас она подойдёт для большинства применений.
    По ней есть обзор на PCGamer.


    Для разнообразия — обзор персонального NAS на IXBT (за 2017-й)


    Характеристики:


    • Intel Core i7-4790S 3,2 ГГц, 4 ядра.
    • DDR3, 16 ГБ.
    • SATA-3, 8 дисков, 96 ТБ максимум (576 ТБ с модулями расширения, например UX-800P или UX-500P), RAID 0/1/5/6/10, RAID 5/6/10, однодисковый том + резервный диск, горячая замена.
    • Дисковое шифрование AES-256.
    • 512 МБ флэш памяти.
    • Внутренняя ФС — ext4.
    • Ethernet 1 Гб/с x 4.
    • PCIe x8 x 2.
    • Аппаратное шифрование.
    • USB 3.0 x 3.
    • ОС — доработанный Linux, называемый QTS.
    • Максимальная мощность 350 Вт.

    Предоставляет:


    • Сервер удаленной репликации (на основе Rsync).
    • Поддержку бэкапа от сторонних производителей: Veeam Backup & Replication, Acronis True Image, ARCserve Backup, EMC Retrospect, Symantec Backup Exec, LaCie SilverKeeper и т.д.
    • Виртуализацию на базе KVM и позволяет установить, например, произвольный Linux не ломая прошивки NAS.
    • Поддержку виртуализации с VmWare, Citrix, etc..
    • Контейнеризацию из коробки.
    • VJBOD, позволяющий объединить несколько QNAP NAS.
    • Сервер и клиент LDAP, также есть RADIUS сервер.
    • Синхронизацию с облачными хранилищами: Amazon S3, ElephantDrive, Symform, Dropbox и Google Drive.
    • Персональное облако через myQNAPcloud.
    • Простую синхронизацию между несколькими устройствами, в т.ч. мобильными.
    • Медиасервер с DLNA, для чего надо отдельно установить приложение (в два клика).

    Особенности:


    • Модули расширения возможно подключать по SAS.
    • На каждый диск есть отдельный замок.
    • Система полнотекстового поиска Qsirch.
    • Есть множество приложений, адаптированных для QNAP.
    • Предоставляет iSCSI.
    • Есть бондинг портов (режимы: Balance-RR, Active Backup, Balance XOR, Broadcast, IEEE 802.3ad/Link Aggregation, Balance-TLB и Balance-ALB).
    • Поддержка DDNS.
    • Возможна привязка услуг к указанным сетевым интерфейсам.
    • Поддержка Apple Time Machine.
    • Встроенный антивирус.
    • Web GUI системы тоже очень проработан и удобен. Такие ошибки, как в OMV, тут пользователю даже в страшном сне не приснятся.
    • Из коробки организуется станция видеонаблюдения на 72 канала максимум.
    • Есть HDMI выход.

    Картинка с внутренним устройством QNAP "с высоты птичьего полёта":
    Виртуализация в QNAP


    Очень неплохой NAS по средней цене. Если же что-то не устраивает, есть модели "чуть ниже" и "чуть выше".
    Конечно же с использованием данной системы я могу решить все вышеуказанные задачи.


    Цена: $2000-2500


    QSAN



    Характеристики:


    • Процессор Intel Celeron 2.9 GHz Dual-Core.
    • RAM 8GB DDR4 SO-DIMM с ECC, расширяется до 32GB.
    • 8 дисков SATA 6Gb/s (максимальная сырая емкость 82TB), RAID 0, 1, 5, 6, 10, 50, 60 и JBOD.
    • SSD кэш на чтение и запись.
    • Flash 8GB USB DOM (видимо, сюда установлена ОС).
    • Дисковое шифрование AES-256, сертификация FIPS 140-2.
    • Внутренняя ФС — ZFS.
    • Ethernet 1 Gb x 4
    • Есть слот PCIe Gen3x8 для карт расширения 10/40 GbE / Thunderbolt 3.0/SAS.
    • USB 3.0 x 5.
    • ОС — QSM 3.0 (QSAN Storage Management 3.0) на основе Linux.

    Предоставляет:


    • Копирование в облако Amazon S3.
    • Синхронизация с облаком Google Drive, Windows OneDrive и Dropbox.
    • Бэкап через Rsync (работает, как rsync сервер).
    • Поддержку стороннего ПО резервного копирования: Acronis True Image, CA Brightstor ARCserve Backup, EMC Retrospect, Symantec Backup Exec, LaCie Silverkeeper, Snapshot replica, Time machine backup server.
    • Поддержку виртуальных машин (в том числе резервное копирование и снэпшоты). Пишут, что данный NAS сертифицирован по VMware Ready, Citrix Ready и Microsoft Hyper-V. Т.е. виртуализация и работа с известными гипервизорами поддерживается "из коробки".
    • Media библиотеку.
    • Медиасервер с DLNA.

    Особенности:


    • Отличный корпус и хорошая идея для смены дисков. Редкий случай, когда я вспоминаю про "дизайн". Просто он классно смотрится.
    • Широкий набор возможностей на все случаи жизни.
    • Поддерживает Thunderbolt.
    • Есть открытие ISO образов.
    • Возможность автоматической публикации в facebook, twitter, weibo.
    • Есть мобильное приложение для доступа к облаку.
    • Встроенный антивирус.
    • Есть "технология многоуровневого хранения". Наиболее часто запрашиваемые данные перемещаются на самый скоростной уровень, наименее востребованные, переносятся на медленный уровень.
    • Синхронизация данных между несколькими NAS: XMirror.
    • Поддержка дисков SED (это те, которые самошифрующиеся, и это в дополнение к AES шифрованию). Если владельцу необходимо перенести такие диски с данными в другой XCubeNAS, поддерживается экспорт ключа аутентификации.

    Они используют ZFS, которую они почему-то называют "собственной отлаженной" (по-моему, QSAN — не Sun, хотя и похоже по звучанию, но ZFS они не разрабатывали).


    XMirror поддерживает однонаправленное зеркалирование: данные, измененные на локальном NAS, будут изменены на удаленном NAS, но любые изменения данных на удаленном NAS будут проигнорированы.
    И двунаправленное зеркалирование: при любых изменениях данных на любом из NAS данные будут изменены и на другом NAS.
    Файлы версионируются (до 64-х версий).
    Возможно организовать геораспределённое хранилище.


    Web GUI чем-то напоминает QNAP:


    Я написал письмо на info@qsan.ru, где попросил указать цену.
    На письмо мне не ответили, но производитель отписал о цене в комментариях к данной статье.
    Есть нарекание к процессору: всё-таки двухядерный Celeron не самое лучшее решение.


    Купить данный NAS возможно связавшись с QSan: в магазинах пока что его ещё не найти.
    Рекомендуемая производителем розничная цена: $3000.


    Sans Digital


    Данные системы не являются NAS — это корзины-расширители, вмещающие несколько дисков.
    Они интересны прежде всего тем, что они единственные изо всех приведённых поддерживают не только SATA, но и SAS.
    Приведу здесь две разные модели: башню и "лежачий" корпус.


    Image
    На сайте производителя


    Характеристики:


    • 8 SAS/SATA дисков на 2.5", JBOD, максимум 16TB.
    • Максимальное потребление 300 Вт.

    $500


    Image


    Характеристики:


    • 12 SAS (12 Гб/с) или SATA (6 Гб/с) дисков 3.5" с горячей заменой (поддерживается максимум — 120 ТБ), JBOD, или опциональный RAID контроллер.
    • Максимальное потребление 300 Вт.
    • Есть также модель на 8 дисков.

    Быстрое подключение по SAS, цена средняя. Вполне приемлемое решение, как для расширения NAS, так и для построения хранилища на их основе.


    На сайте производителя
    Цена: $1100


    Synology


    О Synology написано также много, как и о QNAP, и не имеет смысла повторяться.
    Поэтому, очень кратко:


    • У них есть множество решений, ориентированных на разные рыночные сегменты.
    • Потому, линейка используемых CPU очень широка: от Atom до Xeon.
    • На данных NAS своя ОС на базе Linux.

    DS3617xs на 12 дисков



    Это мощный сервер, для которого заявлено, что он поддерживает до 4000 пользователей.


    Характеристики:


    • Intel Xeon D-1527, 2.2-2.7 ГГц, 4 ядра.
    • DDR4 ECC SO-DIMM 16 ГБ, с возможностью расширения до 48 ГБ.
    • SATA-3, 12 дисков 3.5"/2.5" (до 36 с устройством расширения) с горячей заменой, максимум 144 ТБ (432 с устройством расширения), Synology Hybrid RAID, Basic (видимо, имеется ввиду однодисковая конфигурация), JBOD, RAID 0, RAID 1, RAID 5, RAID 6, RAID 10.
    • Дисковое шифрование по AES-256.
    • ФС Btrfs или ext4.
    • Ethernet 1 Гб/с x 4.
    • Слот PCI Express x8 x 1.
    • USB 3 x 2.
    • ОС — Synology Disk Station Manager (DSM), открытый и основанный на Linux.
    • Максимальная мощность 500 Вт.

    Предоставляет:



    Особенности:


    • Три скорости вентилятора: максимальная, охлаждение, тихий.
    • Предоставляет iSCSI.
    • Есть проверка подлинности через Kerberos.
    • Антивирус от McAffee, правда Trial.
    • Из коробки поддерживается чат.
    • Есть Web-офис, в котом возможно организовать совместную работу.
    • Предоставляет VPN-сервер.
    • Почтовый сервер.
    • Может работать, как "станция слежения": возможно подключить до 40 IP-камер.
    • Поддерживает максимум 8 виртуальных машин.
    • Поддерживает технологию PetaSpace.
    • Возможна двухфакторная авторизация.
    • Есть замок на корзину.

    Цена без дисков: $2500-$3100.


    DS1817 на 8 дисков



    Характеристики:


    • Intel Atom C2538, 2.4 GHz, 4 ядра.
    • DDR3 2 ГБ с возможностью расширения до 16 ГБ.
    • SATA-3, 8 дисков 3.5"/2.5" (до 18 с устройством расширения) с горячей заменой, максимум 96 ТБ (216 с устройством расширения), Synology Hybrid RAID, Basic, JBOD, RAID 0, RAID 1, RAID 5, RAID 6, RAID 10.
    • ФС Btrfs или ext4.
    • Ethernet 1 Гб/с x 4.
    • Слот PCI Express x8 x 1.
    • USB 3 x 4.
    • Максимальная мощность 250 Вт.

    Максимальное количество виртуальных машин тут 4.
    И по характеристикам эта модель ближе к NAS, тогда как предыдущая ближе к серверу.
    В остальном, всё тоже.
    Также, есть похожее решение на 12 дисков, но с меньшим количеством RAM (2GB, расширить возможно только до 6GB).


    Цена без дисков: $950


    Вывод


    Хорошие NAS. Качественный корпус, большое количество сервисов, открытая ОС и множество доступных приложений.
    Несколько претит идея ограничивать лицензией количество подключений к VPN серверу и количество виртуальных машин.
    Но, в целом, вариант на Xeon вполне подошёл бы для решения моих задач без особых сложностей в настройке, даже без наличия серьёзных технических знаний.
    Стоит признать, что разработчики действительно сделали продукт грамотно, а также его верно позиционируют.


    Thecus


    На сайте производителя


    Характеристики:


    • Intel Core i3 2120 (3.3GHz Dual Core)
    • DDR3 4GB с возможностью увеличения до 32GB.
    • SATA III, 8 жёстких дисков, RAID 0, 1, 5, 6, 10, 50, 60 и JBOD.
    • Дисковое шифрование AES-256.
    • Из ФС поддерживаются EXT*, XFS, BtrFS.
    • Ethernet 1 Гб/c x 2.
    • Ethernet 10 Гб/с (возможно 2 штуки).
    • Два 8-полосных разъема PCI Express.
    • USB 3.
    • ОС — ThecusOS, на основе Linux (графика обеспечивается через X).
    • Максимальная мощность 400 Вт.

    Предоставляет:


    • Rsync сервер.
    • Резервное копирование утилитами от Thecus и от Acronis.
    • Поддержку DropBox, ElephantDriver, Amazon S3.
    • LDAP.
    • Синхронизацию между NAS.
    • Возможность объединения NAS в кластер.
    • Медиасервер с DLNA.
    • Фото сервер "Piczza!".

    Особенности:


    • Приятная особенность: сенсорный экран.
    • Поддерживает объединение каналов (Load balance, Failover, 802.3ad, Balance-XOR, Balance-TLB, Balance-ALB).
    • Много приложений.
    • Возможность установить модуль с антивирусом.
    • Возможность создания и записи ISO.
    • Поддержка iSCSI.
    • Возможно использовать, как сервер видеонаблюдения и подключить до 10 IP-камер.
    • Есть графика через выход HDMI.

    Обобщающая картинка с их сайта:


    Типичный NAS, не очень дорогой, средне производительный. Сенсорный экран — интересное решение. Про виртуализацию и контейнеризацию ничего не написано, но с учётом того, что ОС на основе Linux, с Docker или KVM проблем возникнуть не должно, а железо вполне себе поддержит несколько виртуальных машин.
    Возможно брать, если нравится, мои задачи он вполне решает.


    Цена: $1700


    Western Digital



    Конечно, Western Digital тоже не мог остаться в стороне от систем хранения данных.


    Характеристики:


    • Marvell ARMADA 388, 1,6 ГГц. ARMv7, 2 ядра.
    • DDR3 2 ГБ.
    • Максимум 4 диска, RAID 0, 1, 5, 10 или JBOD.
    • Ethernet 1 Гб/с x 2.
    • ОС — WD My Cloud OS 3.

    Предоставляет:


    • Резервное копирование.
    • Поддержку DLNA через "Twonky DLNA".
    • Поддержку облачных Dropbox, OneDrive и Google Drive.

    Позиционирование достаточно странное: исключительно домашний сегмент (и даже их NAS верхнего уровня явно не дотягивают), при этом — дорого.
    И смотреть тут особо нечего, я привожу их NAS только разве для порядка.


    С дисками на 32 ТБ цена порядка: $1450


    Zyxel



    Zyxel тоже отметился.


    Характеристики:


    • FreeScale Dual Core Cortex-A9 1.2 GHz.
    • DDR3 1 ГБ.
    • SATA II, 4 диска до 48 ТБ (2.5" или 3.5"), JBOD, RAID 0/1/5/6/10, RAID 5+ с горячей заменой.
    • На дисках ext4.
    • Ethernet 2 Гб/с x 2.
    • Максимальная мощность 36.5 Вт.

    Предоставляет:


    • Возможность резервного копирования.
    • Поддержку Google Drive, Dropbox, Memopal, ownCloud, SynBackupfree, NetDrive и свой myZyxelCloud.
    • Создание своего облака, используя Zyxel Drive, zCloud или ownCloud.
    • Репликацию между NAS (по шифрованному каналу, всё как полагается).
    • DLNA через Twonky media server с DLNA 1.5.
    • Поддержку iSCSI.
    • Поддержку фото-альбомов (галерею).

    Особенности:


    • Есть SDXC кард-ридер.
    • iTunes-сервер.
    • Есть клиент и сервер RSS.
    • Поддерживает Apple Time Machine.
    • Автозагрузка фоточек и видео на YouTube/Flickr/FTP server.
    • Возможно хостить свой сайт: встроен WordPress.
    • Есть предупреждение при превышении температуры (я так понял, звуковое).

    Обзор


    Решение не вполне подходящее под мои требования, однако как недорогой персональный NAS очень даже сгодится.


    Цена: $650.


    Выводы


    Исходя из данного обзора, возможно видеть, что рынок сейчас достаточно насыщен.
    Разными производителями представлены линейки систем, позволяющих решать почти любую задачу.
    Покрыт, как сегмент индивидуальных пользователей, так и крупных предприятий (сегмент дата-центров, естественно покрыт давным давно, но по условиям задачи я его не рассматривал), при этом почти каждый производитель предоставляет целый набор моделей для взыскательного пользователя (у них они позиционируются, как модели для малых и средних предприятий), которые меня интересуют.


    Производитель позаботился за вас о:


    • Интеграции железа и ПО. Вам не нужно настраивать софт так, чтобы он понимал железо, на котором работает. Всё уже сделано, все драйвера есть, всё работает "из коробки".
    • Отладке ПО. Вам не придётся находить баги, их отлаживать и самостоятельно публиковать патчи.
    • Необходимом наборе ПО. Производители предоставляют множество самописных, либо адаптированных приложений, которые удовлетворят запрос абсолютного большинства пользователей.
    • Дополнительных сервисах. Системы уже включают интеграцию с широко распространёнными облачными хранилищами. Часть производителей предоставляют свои private clouds. Есть репликация между NAS.
    • Исправлению поломок и замене неисправного оборудования. Вам предоставляется гарантия. Даже на диски.

    Отсюда вполне однозначный вывод: почти всегда лучше купить NAS, чем делать свой.


    Сборка своего NAS


    Зачем ты это сделал?


    Я руководствовался не только ценой железки и быстрым решением задач:


    • Мне просто хотелось собрать систему самостоятельно.
    • В процессе я глубже разобрался с некоторыми технологиями (LDAP и контейнеризация в их числе), что тоже планировалось.
    • Я хотел "более серверное" решение на базе SAS: на рынке таких я не нашёл.
    • Хотелось сделать всё "под себя", чего готовые решения не предоставляют.
    • Я набрал достаточно качественные компоненты, а то что предоставляют производители, ещё не факт, что самое лучшее.

    Программное обеспечение


    Требования:


    • Поддержка ZFS, на основе которой реализуется надёжное хранилище.
    • Возможность организации слоя прозрачного полнодискового шифрования.

    Операционная система


    В связи с тем, что существует большое количество качественных свободных ОС,
    ориентированных на работу с NAS, коммерческие решения не рассматриваются.
    По этой же причине не рассматриваются универсальные ОС.


    Список ОС
    • FreeNAS
      Наиболее распространённая ОС на базе FreeBSD. Удобный, современный и проработанный Web-интерфейс.
      Большое количество функций. Широко используется в коммерческих NAS.
      ZFS в поставке.
    • OpenMediaVault
      Вторая по распространённости ОС для NAS. Основана на Debian Linux.
      ZFS требуется устанавливать отдельно, есть плагин.
    • Nas4Free
      Форк FreeNAS.
      ZFS в поставке.
    • OpenFiler
      ZFS в поставке нет. Видимо, проект не развивается: последняя версия была в 2011 году.
    • XPEnology
      Synology DSM. Используется в коммерческих NAS от Synology.
      Простой Windows-подобный Web-интерфейс.
      Имеет большое количество подготовленных для NAS пакетов.
    • Amahi
      ZFS в поставке.
    • Rockstor
      Основан на CentOS. Интерфейс современный и удобный.
    • Nexenta CE
      ZFS в поставке.
      Свободная версия может поддерживать хранилища объёмом до 18ТБ, что неприемлемо.
    • CryptoNAS
      Система недостаточно проработана.
      Нет русскоязычного интерфейса.

    В качестве управляющей ОС используется OMV.


    Хотя ZFS в Linux недостаточно стабилен в настоящий момент (например, имеется баг с очисткой кэшэй), Linux более гибок, и его проще настроить под требуемые задачи.
    Установщик FreeNAS не поддерживает даже пользовательское разбиение дисков.
    Причём, если эта проблема решаема, проблема с шифрованным корнем не решается простыми средствами во FreeNAS, а в OMV такой вариант
    установки поддерживается инсталлятором.
    Выбран OpenMediaVault.


    Корпус


    Большинство корпусов рассчитано на 4-6 дисков. Корпусов на 8 дисков не так много.
    По крайней мере, на AliExpress были найдены корпуса только для 6 дисков.
    Цена доставки равна примерно половине стоимости корпуса.
    Кроме того, корпус не является основной статьёй расходов.
    Потому, имеет смысл брать корпус более высокого качества.


    По результатам исследования были выбраны корпуса SilverStone Case Storage DS380
    и SilverStone Case Storage CS280.


    Плюсы:


    • Дверца с замком.
    • 8 дисков горячей замены 3.5"/2.5".
    • Поддержка до 12 дисков.
    • Противопылевые фильтры на магнитных защёлках.
    • Поддержка блоков питания SFX.

    Silverstone DS380 выбран, как наиболее универсальный.
    Подобрать диски с требуемыми характеристиками на 2.5" крайне сложно.


    Альтернативные варианты:


    • Norco ITX-S8
      Корпус больше, чем корпуса SilverStone. Не имеет замка. Менее распространён.
      Нет противопылевых фильтров. Поддержка ATX блоков питания.
    • Модульные корпуса CaseLab
      Дороже монолитных корпусов и нет готовых отсеков под горячую замену 8 дисков.
      Есть противопылевые фильтры.

    Дополнение от PeterZha:


    • Norco ITX-S8 имеют исключительно хорошее охлаждение: корзина продувается насквозь спереди назад, температура при ребилде где-то 44 градуса, в простое падает до 37 на тех же дисках, что использовал я.
      Но два 80 мм вентилятора сильно жужжат, потому приходится их менять (например, на Noctua).
    • Есть неплохой корпус от Supermicro. По нему есть нарекания на длину проводов передней панели, подходящих только к платам от Supermicro.
    • FreeNAS не продаёт отдельно корпуса, они продают только готовые решения с железом внутри.

    Дополнение от ACooper:


    Стоит обратить внимание на шведские корпуса от Fractal Design:


    • NODE 804 — 8 x 3,5″, 4 x 2,5” или до 10 x 3,5”, 2 x 2,5″ жестких дисков и SSD.
    • NODE 304 — 6 х 3,5" или 2,5" жестких дисков/SSD.

    Съёмная корзина и, соответственно замок, отсутствуют, но корпуса неплохи.


    Цена Silverstone DS380: $155.37.


    Управляющий компьютер


    HDD


    Форм-фактор HDD — 3.5".
    У 2.5" в среднем ниже потребляемая мощность, чем у 3.5", но гораздо сложнее подобрать диск.


    Производитель: HGST или Toshiba, поскольку по статистике Backblaze у них самый низкий процент отказов.


    Различия между SATA и SAS
    • Статистика Backblaze есть только на SATA-диски 3.5".
    • Для SAS сложнее найти плату форм-фактора mini-ITX/mini-DTX.
    • В среднем, SAS-диски стоят дороже. Замена SAS диска, при его выходе из строя, обойдётся дороже.
    • Цена за мегабайт на SAS дисках выше ($0.06 на HGST 2.5" SATA3 1TB, 7200rpm и $0.08 на HGST 2.5" SAS 300GB, 10000rpm).
    • SAS более производительны вследствие (~300 iops против ~80 iops):
      • Более высокого числа оборотов (не применимо, поскольку выбраны диски на 7200 оборотов).
      • Полнодуплексного интерфейса (SATA полудуплексный).
      • Более быстрого восстановления после сбоя чтения/записи сектора (7-15 с. к 30+ с.).
      • Механизма multipath.
    • SAS более надёжны, вследствие (1.2 10^6 часов наработки на отказ против 7 10^5 у SATA):
      • Полной проверки целостности данных (включая данные, проходящие через интерфейс, чего нет у SATA).
      • Предельной рабочей температуры выше на ~20 C.
      • Наличия сенсоров для компенсации вибрации.
      • Механизма multipath.
    • К SAS контроллеру возможно подключать SATA-диски.

    В итоге, были выбраны диски SAS 3.5", 7200 rpm, HGST/Hitachi, с учётом статистики Backblaze для SATA дисков HGST.
    Объём дисков: 4 Тб.
    Вероятно, диски на 3 Тб получаются из отбраковки 4 Тб дисков. Значит, при их производстве
    уже был нарушен технологический процесс. Т.е., процент отказов должен быть выше.
    Статистика Backblaze, в основном, это подтверждает.
    У дисков на 4 Тб самый низкий процент отказов (кроме одной модели HGST на 3 Тб).


    HGST Ultrastar 7K4000 HUS724040ALS640 4 TB 3.5-Inch Internal Hard Drive:
    2 x $169.10.


    Дополнительно было докуплено ещё 2 диска с целью создания Z-RAID:
    2 x $167.99.


    Два диска на 4 TB, как результат ошибки магазина, приславшего диски на 6 TB:
    2 x $167.00.


    Системный носитель


    Для ОС использован SSD. Кроме того, SSD достаточной ёмкости может быть использован для того, чтобы хранить или кэшировать журнал ZFS.
    Имеет смысл покупать SSD на 500-250 Гб., поскольку у них наиболее оптимальная цена за Гб.
    При этом, хотя цена за Гб в SSD на 500 Гб, как правило меньше, чем на 250 Гб,
    стоят они почти в два раза дороже.
    Чтобы уложиться в бюджет был выбран SSD на 250 Гб.
    Дополнительно будет куплен второй SSD с целью зеркалирования первого.
    Третий носитель предназначен для кэша L2ARC.
    Итак, цены.


    Система и SLOG:


    • Micron mtfddak256tbn: $113
    • Samsung 850 Pro: $140.35

    L2ARC:


    • Samsung 850 EVO 250GB 2.5-Inch SATA III Internal SSD (MZ-75E250B/AM): $89.99

    Motherboard


    Требования и ограничения

    • Ограничение, накладываемое корпусом: форм-фактор mini-ITX/mini-DTX.
    • Желательна поддержка IPMI.
    • Энергопотребление CPU, поддерживаемого платой должно быть низким, особенно во время простоя.

    Варианты плат

    Были рассмотрены следующие платы
    • ASRock E3C224D4I-14S
      Плата с поддержкой 8 SAS портов от 2-х mini SAS коннекторов.
      Основной минус: форм-фактор Extended mini-ITX.
      Требует незначительных доработок корпуса. Дополнительно имеется 4 SATA III и 2 SATA II.
      USB 3.0 x 4, USB 2.0 x 5. 4 USB гнезда выведено на заднюю панель.
      DDR3/DDR3L с ECC 32GB max.
      1 GBit LAN x 2.
      Есть IPMI.
      Сокет 1150 под Xeon E3-1200 (4 ядра + HyperThreading).
      Есть WatchDog.
      Поддерживает FreeBSD 9.1, Debian.
    • ASRock C2750D4I
      Плата с поддержкой 12 SATA портов. CPU Intel Avoton (Atom) с 8 ядрами.
      Процессор впаян.
      Атом менее производителен, чем Xeon, хотя и более энергоэффективен и экономичен.
      Есть IPMI.
      Остальные характеристики сходны ASRock E3C224D4I-14S.
      Плата не рассматривается, т.к. в ней отсутствует поддержка SAS.
    • Asus P9A-I C2750
      2xSATA3.
      4 x MiniSAS connector(Marvell 88SE9485 x 2).
      USB 2.0.
      Сокет C2750 под Intel Atom.
      Нет IPMI, но есть "ASMB7-iKVM for KVM-over-Internet", совместимый с IPMI 2.0.
    • Asus P10S-I
      6 x SATA3 6Gb/s ports, ASUS PIKE II 3008-8i 8-port SAS 12G RAID card(Optional).
      USB 3.1 + USB 2.0 x 2
      Нет IPMI, но есть "ASMB7-iKVM for KVM-over-Internet", совместимый с IPMI 2.0.
    • Asus P9A-I C2550
      USB 2.0.
      Сокет C2550 под Intel Avoton (Atom).
      Нет IPMI, но есть "ASMB7-iKVM for KVM-over-Internet", совместимый с IPMI 2.0.
    • Платы Supermicro.
      Не имеют поддержки SAS, при этом в два-три раза дороже конкурентов.

    Также были рассмотрены китайские платы. Не было найдено ни одной китайской платы форм-фактора mini-ITX, соответствующей моим требованиям.
    Хорошо подходит плата ASRock E3C224D4I-14S под Xeon, но требует модификации корпуса.
    Плата относительно старая — 2014 года разработки, но зато она хорошо поддерживается, как Linux, так и FreeBSD.
    Она была выбрана, как наиболее приемлемый вариант.
    В итоге, корпус пришлось доработать напильником.
    В прямом смысле.


    ASRock Rack Motherboard E3C224D4I-14S стоила $330.78 (сейчас $360).


    CPU


    Одним из лучших (в том числе и по цене) CPU на LGA1150 является Core i7 4790K.
    Но он не имеет поддержки ECC, что не соответствует требованиям.
    Xeon 1276 более производителен, но стоит дороже ($404 vs $329), то не оправданно.


    Выбран Intel Xeon E3-1231V3B 3.4, socket LGA1150: $329.87.


    RAM


    Т.к. используется ZFS, требуется минимум 8 ГБ RAM с корректировкой ошибок.


    Выбрано DDR3L (1.35 Вольт) 2x8 GB ECC.
    Наиболее известными производителями, реализующими качественный RAM, являются Crucial и Kingston.
    По результатам исследования был выбран Crucial DDR3L 16GB kit (EUDIMM — память с ECC).
    По цене $245.07.
    Сейчас цены на память упали, и она стоит около $200.


    Блок питания


    В среднем, 3.5" диск потребляет 6 Ватт по спецификации и порядка, 20 Вт, с учётом тепловых потерь.
    Достаточно считать, что диск не может потреблять более 25 Вт.
    Корпус вмещает до 12 дисков.
    Итого, на диски достаточно максимум 300 Вт.
    Процессор потребляет максимум 95 Вт.
    Кулер потребляет не более 6 Ватт, итого 18 Вт.
    Память DDR3 потребляет 3 Ватт на планку, итого 6 Вт.
    Материнская плата потребляет от 25 до 40 Вт.
    P = 300 + 95 + 18 + 6 + 25 = 459 Вт.


    Это пиковая нагрузка, с округлением в большую сторону.
    Т.е., блока питания на 450 Вт достаточно для системы данной конфигурации, с учётом её расширения.


    Выбран блок питания Silverstone 450W SFX ST45SF-G.
    Цена: $93.99.


    Сетевые адаптеры


    В случае использования внешних сетевых адаптеров, согласно руководству по аппаратному обеспечению FreeNAS, желательно использовать адаптеры следующих производителей:


    • Chelsio (лучший выбор).
    • Intel.
    • Emulex.

    От Broadcom и Realtek следует воздерживаться.
    Выбранная плата ASRock имеет адаптеры от Intel.


    Прочее


    Кабели. $25.47.
    Фильтр. $7.99.
    Кулер (с TDP не ниже 80W для socket 1150 в mini-ITX) SilverStone Technology NT08-115X Low Profile 48mm 95W TDP LGA 115X: $20.99.
    Паста теплопроводная Arctic MX-4. $8.97


    ИБП


    Как FreeNAS, так и OMV имеют в своём составе демон NUT.
    Также, обе системы поддерживают UPS от APC.
    Список поддержки Nut


    По результатам анализа рынка был выбран ИБП Eaton 9130 700 ВА двойного преобразования,
    наилучший в рамках бюджета.


    Его цена не учтена в итоговой стоимости.


    Итого


    Цена компонентов без учёта доставки: $2580


    Доставка


    Все компоненты, кроме ИБП и двух SSD, были заказаны с Amazon и доставлялись через "Бандерольку" в виде пяти посылок со страховкой.
    Также, потом дополнительно пришлось заказать SAS to SATA кабель, чтобы подключить три SSD (в РФ найти не удалось), что здесь не учтено.


    Сумма доставки и упаковки (включая страховку): $470.87


    Что получилось


    В итоге, я имею работающий NAS на серверном Xeon ценой чуть более $3000 с 28 ТБ "сырого объёма" (из которых пока только 16 введено в строй) и 16 ГБ ECC памяти.
    По мощности он соответствует приведённым в обзоре рынка системам примерно того же сегмента.
    На него затрачено около трёх-пяти месяцев времени, причём в основном на программную часть.
    Хотя аппаратная тоже заставила походить за компонентами.
    Конечно, я занимался им, в основном на выходных, но времени ушло, как на полноценный проект, а не как на быстро реализуемое устройство.
    Я бы не сказал, что система вышла дешевле того, что продают.


    Какие были проблемы


    Проблемы с "Бандеролькой":


    • Сначала были известные "Новогодние праздники", когда они задерживали посылки на пару недель.
    • В другую посылку я ждал компонент (не для NAS), который заказывал, используя "помощь при покупке": посылка из-за этого задержалась на месяц, и ни техподдержка, ни "операторы" не могли даже объяснить почему (модуль был доставлен в "Бандерольку" за пару дней, и валялся там неизвестно где), а не то что чего-то сделать.

    В остальном, по качеству упаковки и доставки нареканий не было: компоненты пришли не битые.
    После того, как я начал рассылать письма на разные адреса "Бандерольки", посылка резко нашлась. Моё обращение со своего форума они удалили.
    В итоге, данным сервисом я стараюсь не пользоваться.


    Проблемы с железом:


    • Для меня было сложно найти серверные компоненты, даже нужные SSD. А кабели пришлось дозаказывать.
    • Компоновка получилась достаточно плотной. Сложно даже вентилятор установить, а для каждой манипуляции надо снимать основную корзину. Что тоже сложно.
    • Под плату придётся делать отдельную заднюю панель, отверстия в которой сдвинуты на 9 мм.

    Проблемы с охлаждением:


    • Рост температуры. Температура некоторых дисков превысила 52 C.
    • Шум. Вентиляторы шумят. Особенно, своими мощными вентиляторами славятся ИБП Eaton, который я использовал для питания NAS. Админы рвут волосы и выбегают из серверной после пяти минут нахождения там без наушников. Вентиляторы меняют, но грёбаный Eaton просто так не сдаётся: у него нестандартный вентилятор, средний провод которого идёт не на управление оборотами, а на датчик блокировки ротора.

    Сначала я насверлил дырок на противоположной стенке, напротив дисков, чтобы поток воздуха был сильнее.
    Затем, штатные вентиляторы я поменял на низкошумящие Noctua NF-S12A с PWM, установив их на антивибрационные болты. Температура дисков упала и сейчас держится на 47 C, при 900 оборотах. Шум стал меньше.


    В Eaton я заменил вентилятор на низкошумящий вентилятор Blacknoise M8-S1, на антивибрационных уголках.
    Разъём пришлось перепаивать, взяв его от старого вентилятора.
    Температура не растёт, шума серверной теперь нет.
    Но сейчас наблюдается проблема с тем, что блок периодически не видит вентилятор.
    Решается замыканием центрального вентилятора провода на его минус.
    В остальном, Eaton очень хороший ИБП за неплохую цену.


    Проблемы с ПО:


    • Как я указывал в своей предыдущей статье: в ОС далеко не всё, работает так, как нужно. Пришлось фиксить и отправлять патч.
    • OMV 4 глючноват. Пришлось фиксить плагин ZFS. Исправление приняли, но теперь вешают на меня дополнительную работу. Не все баги ещё исправлены (в частности, есть один злостный плавающий, о котором знают все, но не могу поправить уже более года).
    • Docker и статьи о нём типа, "как всё настроить по-быстрому" — это отдельная тема. Патчить не пришлось. Пока. Зато, с конфигами пришлось повозиться немало: это заслуживает отдельной статьи.
    • Docker с /var/lib/docker, вынесенным на пул ZFS, ломает загрузку. Это решилось через воркэароунд в виде симлинка, который подсказали разработчики OMV.
    • В OMV периодически что-то ломают. После очередного обновления сломался плагин бэкапа ОС. Надо бы завести баг...

    Чтобы я поменял


    • Корпус. Взял бы корпус от FreeNAS. В нём больше места и не потребовалось бы в нём ничего выпиливать.
    • Плату, при возможности найти такую же, я бы взял поновее: с поддержкой DDR4 и большего объёма RAM. Но, в целом, плата которую я использовал, меня устраивает.
    • Может взял бы диски с ещё большим объёмом кэша.
    • Память придётся добивать до 32 ГБ: много потребляет gitlab.

    Фото


    Фото под спойлером

    Внешний вид:




    Вид изнутри, основная дисковая корзина на месте:


    Вид изнутри, дисковые корзины сняты:



    Когда действительно стоит


    Есть несколько причин, когда сборка собственного NAS имеет смысл:


    • Когда вам это ничего не стоит. Если имеются лишние компьютеры и компоненты, действительно возможно сделать его дешевле. Также, если вы можете по низкой цене купить серверное оборудование, доставку которого вам не придётся оплачивать.
    • Рынок не предлагает решения для вас. Такую ситуацию представить сложно, но возможно. У вас может быть ограничен бюджет, список производителей, набор компонентов, использоваться высоко специфичная конфигурация, секретность и т.п..
    • У вас много свободного времени и денег, при этом нечем заняться. В таком случае ресурсы возможно потратить на что угодно, в том числе и на сборку NAS.
    • Вы энтузиаст и хотите собрать NAS самостоятельно. Всё понятно. Без комментариев.
    • Вы хотите разобраться в некоторых технологиях, изучить рынок, пропатчить операционную систему, понять "как это работает".

    Может быть ещё один вариант: вы хотите выйти на рынок со своим NAS. Хотя, вряд ли вы будете читать эту статью в таком случае. И, как я уже говорил, рынок NAS достаточно насыщен, потому я не вижу в этом особого смысла.


    Небольшое дополнение


    Диски в составе моего NAS стоят порядка $1000. В итоге, я получаю мощное серверное железо за чуть более, чем $2000. Synology на Intel Xeon D-1527 стоит от $2500 до $3100.
    Если же вычесть сумму доставки компонент — $470, я получаю NAS приблизительно за $1600.
    По такой цене возможно найти только решения на Atom или на ARM.


    Благодарности


    Хочу поблагодарить Власова Алексея и Ершова Сергея за анализ и проверку статьи, замечания по материалу и исправление ошибок.


    Отдельное спасибо пользователю PeterZha за ценные дополнения к статье.
    Спасибо ACooper за дополнение по корпусам.
    Am0ralist за то, что дополнил информацию по HP Microserver.
    За корректировки статьи благодарю reff .

    Поделиться публикацией

    Комментарии 285

      0
      Спасибо за обзор, познавательно!
      Тут недавно поставили задачу, может подскажите, есть ли у готовых решений возможность включить full audit в самбе?
      ЗЫ. Мне freenas как-то не зашел, поэтому остановился на nas4free.
        0
        Тут недавно поставили задачу, может подскажите, есть ли у готовых решений возможность включить full audit в самбе?

        По этому вопросу я не могу подсказать: SAMBA мне хотя и может потребоваться, но она далеко не в первом приоритете.
        Кроме того, это зависит от конкретного NAS: надо искать для каждого решения отдельно.
        Однако, я могу предположить, что в большинстве он включен по умолчанию. Например в руководстве по Synology нет ничего про full_audit, зато возможно включить отладочные логи, что позволяет предположить: логирование уровнем ниже отладочного включено (в т.ч. и отдельные модули логирования).


        Тем не менее, лучше всё-таки уточнить на форумах производителя конкретного NAS, который вас интересует.


        Если же вопрос в том, возможно ли править конфиг самбы вручную, чтобы подключить модули, которые хочется, то обычно нет: конфигурирование производится через Web-интерфейс, и если разработчики не предусмотрели, штатными средствами, очевидно, никак.

          0
          Связку nas4free + syslog сервер и авторизация пользователей из AD я поборол. Но хотелось бы готовое решение, думаю это было бы надежнее чем самосбор.
          ЗЫ. full audit соответственно включил
            +1
            Интересная статья, спасибо.
            Вставлю свои 5 копеек, так как занимаюсь «строительством» NAS уже достаточно давно и пока успешно (пока не было ситуаций, когда приходилось от построенного руками решения отказываться в пользу готового).

            Цена: Если Вы собираете NAS на «много ТБ» — то диски и будут основной статьей бюджета. За вычетом стоимости дисков «самосбор» и «готовый NAS» будут сопоставимы при условии, что все запчасти мы покупаем новые. Самосбор начинает выигрывать, когда у нас уже что-то есть либо мы изначально берем что-то Б/У (например, китайский Huanan + Б/У Xeon + Б/У DDR3 планки). Тут уже новое однозначно по цене будет проигрывать, причем возможно в несколько раз. НО — новое по идее должно работать дольше (тут как повезет — не 100% утверждение). В общем каждый сам решает.

            Софт: Увы, пока универсальный швейцарский NAS помоему еще не создан. Чтобы все было, и ничего за это не было )))) Вот если посмотреть на рынок сетевых роутеров — то тут Mikrotik может претендовать на это звание (швейцарский роутер )))). Но с NAS-ами пока «серебряной пули нет». И лично мне пока проще и быстрее решить задачу на FreeBSD + ZFS + CBSD, чем изучать очередной черный ящик, который приготовили за меня. Любезно «заминировав» неожиданные места.

            Я так скажу — опыт решает. Когда уже сделаешь штук 15-20 таких типовых коробочек (все вдоль и поперек излазив), время на поднятие NAS — это несколько часов. Так как все кейсы давно пройдены, документированы в WiKi, есть которые инструкции и шаблоны контейнеров. И работает оно потом годами, и обновлять его можно без особых неожиданностей, и обновлять уязвимое ПО просто (pkg audit то штатный).
            Если опыта нет — то «готовый NAS» кажется манной небесной. И только потом понимаешь, что оно «ограничено» знаниями и желаниями разработчика. И либо придется с этим мириться, либо делать самому.
              0
              Увы, пока универсальный швейцарский NAS помоему еще не создан.

              Контейнеризация очень сильно в этом помогает.
              Да и в современных NAS "из коробки" есть почти всё.
              Вплоть до станции видеонаблюдения.


              Самосбор начинает выигрывать, когда у нас уже что-то есть либо мы изначально берем что-то Б/У (например, китайский Huanan + Б/У Xeon + Б/У DDR3 планки).

              Да, этот пункт у меня есть.


              Я так скажу — опыт решает. Когда уже сделаешь штук 15-20 таких типовых коробочек (все вдоль и поперек излазив), время на поднятие NAS — это несколько часов.

              Это уже подход производителя NAS, пусть и в мелкой серии. В этом случае, условия другие, в том числе налажены цепочки поставки компонентов. Я данный вариант не рассматривал.

                0
                Мне кажецо готовые нас сильно как то много денег хотят. Почему даже новая комплектуха на матери супермикро оказывается вдвое дешевле? Да и собственно кроме диска все спокойно же можно брать бу

                ЗЫ а можете поподробней почему именно ZFS? У меня с ней ка кто не складываются
                отношения.
                  +2

                  Там стоимость некоторых NAS указана с дисками.


                  Про ZFS уже комментировал здесь. Много возможностей предоставляет, которые не предоставляют другие ФС, меньше сущностей, всё в одном. Выше надёжность.

                    +1
                    Полностью согласен — использую ZFS с 2009-го года (с FreeBSD версии 7.2-STABLE, с 13-й версии пула). Опыт инсталляций — под сотню самых разных конфигураций (и десктопное, и серверное железо, и память как с ECC так и без).
                    Нигде не было ситуаций, что пришлось бы от использования ZFS отказываться в пользу другой файловой системы.
                    Исключительно надежная, гибкая и удобная технология.
                      0
                      Весьма любопытно, надо попробовать. Несколько раз отказывался поскольку многие пишут, что ZFS дает хорошую нагрузку на цпу
                        0

                          0
                          ZFS на цпу не дает особой нагрузки. Вот память любит. И да дедуп не включайте. Он дохлый по умолчанию, т.к. удаление файлов вызывает лок всей системы.

                          Как-то был бекап, который стал забывать удалять файлы после себя. В итоге 20ТБ хранилось на 1ом ТБ. Размер дедап таблицы был примерно 18-20гб. При этом в системе было 56гб памяти. В момент удаления файлов все к чертям зависло. Перезагрузили, запустили дестрой всего датасета с дедапом — завис полностью сервер. Перезагрузили и продолжили в single user mode.

                          Учтите датасет будет говорить что он удален, но на самом деле данные не будут освобождены! За этим надо следить через пуловый сеттинг freeing.

                          В итоге 12 часов спустя дедупленный датасет удалился и освободился.

                          Короче в ZFS дедуп таблица общая на весь пул, соответственно если удаляется целый датасет даже и с последними блоками то ZFS будет проверять каждый dedup блок.

                          Чуток получилось увеличить скорость засчет metadata limit, который маловат по умолчанию, но все равно все висело пока происходил бекграундный дестрой.
                        0
                        Про ZFS уже комментировал здесь.

                        Как бы это еще найти.

                        Много возможностей предоставляет

                        А можно для примера килер-фичу?
                          +3
                          Снапшоты, компрессия, дедупликация (правда, это очень специфическая фича, дома не нужно использовать), возможность увеличения объёма пула на лету (путём добавления дисков или замены дисков на более ёмкие), возможность хранения блоков отдельных датасетов в нескольких местах (настраиваемый replica factor на уровне датасета), ARC, возможность организации тонких блочных хранилищ (это скорее в сценарии хранилища под виртуализацию).
                            0
                            ну для больших файловых хранилищ мб дедупликация и и увеличение объема интересны, они у меня как раз самые частые.

                            Это все вместо рейда или поверх рейда? у меня живут рейд6 как аппаратные так и софтварные.

                            Зы спасибо 8)
                              0
                              Это все вместо рейда или поверх рейда? у меня живут рейд6 как аппаратные так и софтварные.

                              ZFS — не файловая система. Это комплексное решение для организации хранения данных.
                              Он сам реализует RAID и может предоставлять, как файловые системы, так и "сырые" тома.


                              Поверх массива ставить ZFS крайне не рекомендуется.

                                0
                                То есть поверх Raidz пула нужно будет создавать логические диски с любой привычной файловой системой?
                                  0
                                  Зачем?
                                  RAIDZ — нижний уровень, как физический том LVM.
                                  ZFS вам может либо «файловые системы» создавать на нём, либо предоставлять блочные устройства (zvol).
                              0

                              Да, ещё. Дедап там сильно жрёт память.


                              Насчёт добавления дисков в пул. Насколько я помню, добавить их в пул просто так было нельзя. Может, уже реализовали это.

                                0
                                У дедупликации очень злостные требования к ОЗУ.
                                • If performance isn't critical, and if you expect to save more than 20% of storage capacity through deduplication, then go for it but add at least 5GB of L2ARC SSD capacity per TB of pool data to store the dedup table in.
                                • If performance is important, wait until you expect at least a 2:1 reduction in storage space through deduplication, and add 30GB of RAM to your system for every TB of disk capacity to make sure that the dedup table is always in memory so optimal write performance is ensured.
                              0
                              А можно запустить raidz из трех дисков с дальнейшим апгрейдом до пяти дисков без потери информации?
                                0
                                Нет. Надо разбивать vdev и собирать новый из 5 дисков.
                                  0
                                  Значит, чтобы произвести апгрейд, надо иметь куда забекапить много терабайт инфорамции? Неудобно, даже невозможно.
                                    0
                                    Можно увеличить размер пула, заменив один диск на больший по объёму, дождаться завершения ресильвера, потом так же другой диск, а потом и третий. После замены третьего диска — полезный объём увеличится (если autoexpand=on) или самому надо будет дать команду на экспорт/импорт.
                              0
                              А можно для примера килер-фичу?

                              Я не искал киллер-фичей. Почти всё возможно сделать иными средствами.
                              Снэпшоты через LVM (они будут тяжелее, чем ZFS), RAID через md, контрольные суммы файлов рядом с ними хранить.
                              Но зачем, когда уже всё это реализовано лучше и работает?


                              Ну, если хотите, ZFS установленный на голый диск, определит оптимальный размер сектора, сам включить кэш записи и т.п..

                                0
                                Ясно спс. Мне задать параметры для ext4 не очень лениво, снепшоты на файловых хранилищах мне не нужны, инкрементального бекапа вполне хватает.
                          +1
                          Цена: Если Вы собираете NAS на «много ТБ» — то диски и будут основной статьей бюджета. За вычетом стоимости дисков «самосбор» и «готовый NAS» будут сопоставимы при условии, что все запчасти мы покупаем новые. Самосбор начинает выигрывать, когда у нас уже что-то есть либо мы изначально берем что-то Б/У (например, китайский Huanan + Б/У Xeon + Б/У DDR3 планки). Тут уже новое однозначно по цене будет проигрывать, причем возможно в несколько раз. НО — новое по идее должно работать дольше (тут как повезет — не 100% утверждение). В общем каждый сам решает.

                          Тут вопрос скорее задач.
                          У меня самосборный NAS на 6x3Тб (собирал лет 5 назад на 4x1, потом менял диски) на Atom 330 и 4 гига памяти (было 2) на OMV. Висит на гигабитной сети.
                          Нужен под бекапы сайтов, виртуалок, хранение фоток и видео и работу с фотками по сети (SMB).
                          Уперся я в него только в прошлом году, когда провел интернет на 500Мбит — торренты качаются максимум на 150-200мбит — упираемся в процессор. На сотке соответственно вообще проблем ноль. 100Мбит торренты + 900Мбит во внутреннюю сеть — без вопросов.
                          Копирование по SMB — в полку.
                          rsync и прочее — в полку.
                          SFTP — 300+Мбит по интернету до сервера.
                          А самый кайф — тишина. На корзинах 2 вентиля 80мм на вдув + 120мм на БП на вдув. Выдув напротив процессора. С учетом «адских» 8Вт на процессоре — охлаждается пассивно самотеком.

                          Корпус Fractal Design с регулировкой скорости вентиляторов.
                          Удобно, что USB, кнопки, регулировка сверху — корпус стоит на полу и не жужжит)
                          Сейчас новая версия:
                          Fractal Design Define R5 White

                          +2
                          Тут бонус в том, что в итоге, если не упираться во FreeNAS как панацею, получается годный сервер общего назначения, чего из заводского NASа не получится никогда. В Вашем случае железо для FreeNAS не то, чтобы избыточное, но с таким количеством шпинделей и кэшом оно явно избыточное для гигабитной сети.
                          С 2006 года эксплуатирую дома под холодильником сервер (поначалу на VMWare Server for Linux, с 11 года ESXi), прошедший долгий путь мутаций. Поначалу это был обычный минотавр от INWIN на каком-то Athlon 5400, который в дальнейшем мигрировал на i5-2500K в ящике CFI-A2059 с двумя хардами в RAID-1, затем в ящик CFI-A7X79 с четырьмя хардами в RAID-10 на LSI 9260-4i, и вот на новый год переселил все это хозяйство в Norco ITX-S8 с контроллером LSI 9265-8i, на данный момент 8 дисков в RAID-10. Все извращения вызваны к жизни доступным местом под холодильником :)
                          Так вот с 32 гигами DDR-3 и на стареньком i5-2500K эта железка нормально тянет четыре активных виртуалки — файлопомойку под линуксом (гигабит она нормально загружает), виндовый сервер для Veeam, семерку для бухгалтерии, рабочий виртуализованный линукс десктоп и какие-то экспериментальные сервисы, причем на данный момент все упирается в память, а не в процессор. На NASе, пусть даже самом навороченном, ничего такого сделать не выйдет, потому как там будет Atom, или в лучшем случае какой-нибудь Celeron.
                          Что такое ящики от FreeNAS? Они вроде как баребоны продают, а не ящики? Взял Norco ITX-S8 исключительно из соображений нормального охлаждения — там два вентилятора 80мм (стоковые ужасно жужжат, заменил на Noctua без PWM от 12в) продувают корзину насквозь спереди назад, температура при ребилде где-то 44 градуса, в простое падает до 37, винты 4 и 6 Tb от HGST. Ну и подключение корзины к контроллеру двумя проводами SFF-8087 — SFF-8087 очень сильно способствует порядку внутри.
                          Есть еще неплохой корпус от Supermicro www.supermicro.com/products/chassis/tower/721/SC721TQ-250B но по нему есть нарекания на длину проводов передней панели, подходящих только к платам от Supermicro :).
                          Сейчас я бы поменял плату и процессор, думаю дождаться выхода восьмиядерных интеловских камней и потом уже что-то думать на эту тему, есть платы от той же Supermicro с Xeon D SoC, с 10G и поддержкой до 128Gb RAM, но с довольно негуманным ценником.
                          Резюмируя — если нужен именно NAS, то лучше купить железный NAS. Но если фантазии простираются несколько дальше простого перемещения файлов по сети, то железный NAS за те же деньги сильно проигрывает в итоговой производительности серверу похожего форм-фактора.
                            0
                            Тут бонус в том, что в итоге, если не упираться во FreeNAS как панацею, получается годный сервер общего назначения, чего из заводского NASа не получится никогда.

                            Да ну почему? Если вы внимательно посмотрите обзор, то заметите несколько NAS, которые не только по железу сильно похожи на сервер, но и позиционируются, как сервер. Да и вообще большинство современных NAS являются именно сервером, а не исключительно сетевым хранилищем.


                            В Вашем случае железо для FreeNAS не то, чтобы избыточное, но с таким количеством шпинделей и кэшом оно явно избыточное для гигабитной сети.

                            1. В плате, которую я использовал, есть слот PCI Express, на крайний случай.
                            2. Я использую бондинг, так что фактически, у меня канал 2 Гбит/с.
                            3. При организации CI на NAS и сборки проектов, кэш и "лишние" диски сразу видятся в ином свете.

                            На NASе, пусть даже самом навороченном, ничего такого сделать не выйдет, потому как там будет Atom, или в лучшем случае какой-нибудь Celeron.

                            Опять же: есть решения на Core i, на Xeon и на Avoton (это весьма мощный многоядерный Atom).


                            Что такое ящики от FreeNAS? Они вроде как баребоны продают, а не ящики?

                            Пепепроверил. Тут действительно мой недосмотр. Отдельно корпусов нет: если покупать, то вместе с их железом.


                            Описание корпусов из вашего опыта могу добавить в статью.

                              +4
                              Да ну почему? Если вы внимательно посмотрите обзор, то заметите несколько NAS, которые не только по железу сильно похожи на сервер, но и позиционируются, как сервер


                              Если не рассматривать железо совсем высокого конца, устанавливаемое в 19" рэки, то вырисовывается такая картина — либо процессор шлак, либо памяти зачем-то 8 гиг, либо добавить память можно только какими-нибудь экзотичными SO-DIMM с ECC. И если что-то пошло не так, то всю железку как целое в сервис, который неизвестно есть ли.
                              Но это на самом деле цветочки, ягодки там в фирмвари, которую собирают люди с альтернативным видением мира, чем-то напоминающим RPMы для линукса образца 90х годов — выключенные стандартные опции в ядре и в сервисах, намеренная кастрация внешних eSATA-портов, совершенно убойные стартап-скрипты и так далее. Ну и на сладкое внезапный отказ от поддержки железки в новых прошивках без раскрытия сорцов старых.
                              У меня есть на хозяйстве четырехдисковый QNAP на i7, из которого сделали веб-сервер с LAMP на стандартной прошивке, но количество костылей к ней прикрученных уже зашкаливает за ресурсы моей памяти; каждый раз при выходе новой прошивки приходится пересобирать Apache и PHP, применять какие-то брутальные хаки и вообще насиловать себя.
                              В итоге, кстати, ради интереса у нас получилось на QNAP с атомом поставить Windows XP на харды, подключив к нему монитор по VGA и клавиатуру с мышью через USB-хаб, но чисто в качестве извращения.

                              Я использую бондинг, так что фактически, у меня канал 2 Гбит/с


                              Любой бондинг, кроме round-robin с тем же количеством активных портов на клиенте, что и на сервере (и при этом в разных вланах) между двумя точками будет ограничен скоростью одного интерфейса в бонде. То есть для самой полезной задачи, вроде скопировать терабайт видео с компа на файлопомойку, получится загрузить только один гигабит.
                              Но матери с 10G в форм-факторе mini-ITX уже есть от Supermicro, так что глядишь еще год-другой и все станет совсем с этим хорошо.
                                0
                                Если не рассматривать железо совсем высокого конца, устанавливаемое в 19" рэки

                                Из рассмотренных: QNAP TVS-871-i7-16G, Synology DS3617xs, Asustor и Thecus с натяжкой.
                                Стоечных вариантов там нет.


                                И если что-то пошло не так, то всю железку как целое в сервис, который неизвестно есть ли.

                                Две стороны: с одной конечно плохо, сам поправишь — конец гарантии (не могу сказать какова ремонтопригодность у всех железок), с другой — есть гарантии и производитель всё починит, если что (о сохранности данных не говорю, решается другими средствами).


                                Ну и на сладкое внезапный отказ от поддержки железки в новых прошивках без раскрытия сорцов старых.

                                Это известный факт. Потому, стоит смотреть лишь в сторону того, что использует опенсорсные ОС. Таких сейчас много (те же QNAP, например, или Synology).


                                каждый раз при выходе новой прошивки приходится пересобирать Apache и PHP, применять какие-то брутальные хаки и вообще насиловать себя.

                                Docker не спасает от костылей?


                                В итоге, кстати, ради интереса у нас получилось на QNAP с атомом поставить Windows XP на харды

                                Но зачем?
                                Не для таких ли случаев там сделана виртуализация?


                                с этим хорошо

                                Только не с ценой и поддержкой SAS.

                                  +1
                                  Из рассмотренных: QNAP TVS-871-i7-16G, Synology DS3617xs, Asustor и Thecus с натяжкой

                                  Из этого всего я готов рассматривать QNAP и Synology, потому что остальное за гранью на самом деле в плане прошивок. У меня на поддержке есть и мелкие и большие устройства обоих производителей, несколько стоечных железок от Synology, и даже дома есть QNAP, даже два. И когда меня спрашивают за сервер под файлопомойку я их рекомендую без зазрения совести.
                                  Но вот эти все фишечки, типа виртуализации, нативного докера, видео-транскодинга и проч — они для них вторичны и пользуется ими дай бог 2% пользователей, поэтому я скептически отношусь к их использованию даже в домашнем продакшене. И перед последним апгрейдом железа я всерьез посчитал цены этих железок с нормальными процами и от 32 гиг памяти и жаба меня просто съела.

                                  Потому, стоит смотреть лишь в сторону того, что использует опенсорсные ОС. Таких сейчас много (те же QNAP, например, или Synology).

                                  Так-то да, но нет (с). Вот дома стоит QNAP 239 Pro II под локальные бэкапы. Отличный девайс, там QNAP в стоковой прошивке сделал так, что шары NFS по дефолту монтируются с async, даже если просят об обратном, поэтому из-под ESXi выдает как внешнее хранилище честные 110 MB/sec без битья в бубен. И внутри там линукс. И ныне он unsupported, чисто из маркетинговых соображений, так как внутри там x86.
                                  И что мы имеем? Сорцов прошивки нет, неофициальных прошивок тоже нет, но можно поставить дебиан, лол. Можно туда DSM от Synology впилить путем нетривиальных манипуляций, но вряд ли это принесет радость. Ну или долго пинать QNAP на предмет GPL, да.

                                  Docker не спасает от костылей?

                                  Там простые менеджеры по продажам, им мил родной гуй, в который они могут кликнуть и создать себе сайт. Ну и в маркете было написано — можно создавать сайты, значит нужно создавать сайты :).

                                  Вообще будущее ближайшее однозначно за 10G, а насчет SAS — 9265-8i на амазоне можно взять за $50 новый, с модулем flash-cache на гиг и я не шучу. Да, к нему нету IT фирмвари и он не поддерживает JBOD, так что для чистого ZFS это плохой выбор, но это полноценный SAS RAID даже с RAID 60. Так что от производителей матерей на самом деле нужно только 10G, желательно SFP+, и все :)
                                    0
                                    И перед последним апгрейдом железа я всерьез посчитал цены этих железок с нормальными процами и от 32 гиг памяти и жаба меня просто съела.

                                    И всё-таки выходит ненамного дороже своего, причём это без учёта затрат личного времени.


                                    Ну или долго пинать QNAP на предмет GPL, да.

                                    Ну это да, печально, однако сейчас меняется к лучшему. Пинать, думаю, бесполезно. Далеко не факт, что у них остались исходники прошивок, снятых с поддержки.


                                    Там простые менеджеры по продажам, им мил родной гуй, в который они могут кликнуть и создать себе сайт. Ну и в маркете было написано — можно создавать сайты, значит нужно создавать сайты :).

                                    Не знаю для чего менеджерам по продажам создавать сайты. Но ладно.
                                    Я про запуск Апача в докере, а то как в Web-интерфейсе реализуете, это уже вторично. Сразу часть проблем снимается. По крайней мере, с конфликтами версий пакетов.


                                    Вообще будущее ближайшее однозначно за 10G, а насчет SAS — 9265-8i на амазоне можно взять за $50 новый, с модулем flash-cache на гиг и я не шучу.

                                    Неплохо, но такое решение применимо не для всяких задач, а уж в свете последних блокировок адресов Amazon, стоит трижды задуматься.

                                      0
                                      И всё-таки выходит ненамного дороже своего, причём это без учёта затрат личного времени.
                                      Тут штука в чем (КМК) — если вы купили железку на 5 дисков, то в лучшем случае вы можете поставить еще плату расширения PCI (если повезет найти подходящую и если коробка позволяет это сделать) на пару дисков. При этом еще и останется вопрос куда эти диски физически девать.
                                      Если же мне с моим самосборным NAS понадобится еще 5 дисков, то мне достаточно купить платы расширения (потому что слотов под них обычно на материнках несколько), в крайнем случае еще заменить материнскую плату, если слотов PCI недостаточно. То есть по необходимости я могу заменить любой компонент системы, если требования изменились. Зачастую даже всего лишь один, далеко не за цену нового NAS.
                                      В случае с готовым NAS я могу только купить только новую (дополнительную?) коробку.
                                        0
                                        Ну у ASRock, которую я взял, один PCI Express (да и в корпусе, как у меня, туда не всякую плату засунешь), SAS каналы там все уже забиты (остался один незаполненный, который через SAS->SATA), заменить плату — это почти тоже самое, что поменять NAS.
                                        В случае же с покупным NAS возможно купить дисковый модуль расширения на n дисков (у некоторых предусмотрено).
                                          0
                                          Смотря что за железо в ней стоит. Обычно найти материнскую плату под тот же процессор и ту же память, но с большим количеством SATA портов и\или PCI слотов не сложно. И стоит далеко не как заменить все вместе.
                                          Вот прямо сейчас для моей системы купить новую материнскую плату с 10 портами SATA вместо 6 будет стоить 18 тысяч. В ней также будет аж 5xPCI-E x16 (хотя беглый осмотр показал, что в лучшем случае режим будет 8-0-8-8-8, то есть 4 слота?..). Каждый из них — N количество дополнительных портов SATA. Предположим, два. Итого — 18 SATA портов?
                                          Опять же, это новая плата из магазина — можно взять б\у. У меня есть большие сомнения, что готовые NAS можно так масштабировать. Дешевле 30 тысяч я вообще приемлемых вариантов не припоминаю. А уж на 18 дисков…
                                          Ну это так, полет фантазии конечно. Хотя должно сработать.
                                            0
                                            Смотря что за железо в ней стоит. Обычно найти материнскую плату под тот же процессор и ту же память, но с большим количеством SATA портов и\или PCI слотов не сложно. И стоит далеко не как заменить все вместе.

                                            1. Не всегда. Плат с SAS мало.
                                            2. Это дорого, хотя и не так, как заменить всё, конечно.
                                            3. Если менять только плату, то вы ограничены конкретным сокетом, а это значит, что платами определённого года выпуска. Но необходимость замены, как правило, возникает из-за того, что мощностей не хватает, а на тот момент когда плата была куплена, лучше ничего не было (если покупалось с запасом и осознанием перспектив роста нагрузки).

                                            Вот прямо сейчас для моей системы купить новую материнскую плату с 10 портами SATA вместо 6 будет стоить 18 тысяч. В ней также будет аж 5xPCI-E x16 (хотя беглый осмотр показал, что в лучшем случае режим будет 8-0-8-8-8, то есть 4 слота?..). Каждый из них — N количество дополнительных портов SATA. Предположим, два. Итого — 18 SATA портов?

                                            Что-то мне подсказывает, что вы сейчас не о форм-факторе mini-ITX.
                                            Тут да, несколько проще.


                                            Далее. Заменили вы плату. Загрузится ли на ней существующая ОС?
                                            Какие изменения вам придётся вносить в конфигурацию?

                                              0
                                              Я еще ничего не менял и не улучшал, только добавлял диски. Если так пойдет, то необходимость замены у меня появится когда будет больше некуда втыкать новые диски. Сначала корпус (тут уже придется скорее всего забыть про mini-ITX и компанию, хотя могут быть корпуса-исключения), потом материнская плата. Процессор и память, при этом, можно оставить — а это примерно 50% стоимости.

                                              Если чипсет тот же и при этом не использовался WIFI, то все должно заработать. На голых дисках без ZFS, а может и с ним — не знаю, ZFS я еще банально не пробовал, как видно по моим вопросам. Вероятно, отвалится сеть — надо будет перенастроить.
                                              Да, я не о mini-ITX, а об обычных ATX. Какого размера ставить коробку на шкаф, кмк, не очень принципиально. Сейчас стоит в корпусе mini-ITX, но чувствую, что рано или поздно придется менять и корпус. Все равно выйдет дешевле, чем менять все диски с X Тб на X+N Тб. Старые, опять же, продавать или что…
                                              Но опять же, возвращаясь к тому, с чего все началось: если бы у меня был готовый NAS, то я бы сейчас думал не о замене корпуса и МП, а о покупке нового (дополнительного) NAS или (если бы мне очень повезло) о покупке дискового модуля расширения.
                                              У меня есть знакомый с 3 NAS дома, мне кажется, что проще собрать один…
                                                0

                                                Тогда всё-таки замена платы уже не видится такой сильной необходимостью, и не сильно влияет на выбор покупного решения.

                                                  +1
                                                  У меня есть знакомый с 3 NAS дома, мне кажется, что проще собрать один…

                                                  Подозреваю, что он живёт один. С тремя NAS. Либо, это свой дом, а NAS стоят в подвале: шум даже от тихих NAS с активным охлаждением будет постоянным и ощутимым.


                                                  Но у такого решения есть и плюс: возможно настроить между ними репликацию. Это повысит надёжность.

                                                    0
                                                    Живет не один, но шума я от них не слышал. Может, спали.
                                                    Горизонтальные, дисков на 5-6 вроде как, подробности не узнавал.
                                                    Репликацию все же лучше делать совершенно в другое место, за пределами квартиры.
                                                      0
                                                      Однозначно — активное охлаждение. Странно. Я шум слышу даже от трёх 120 мм. вентиляторов Noctua, не на полных оборотах.
                                                0
                                                У меня стоит обычная материнка x8 занят 10гигабиткой, еще х8 контроллер SAS (8 SATA портов), на х4 (работает через DMI так процессор десктопный больше 16 линий не дает PCI-E) стоит еще 1 контроллер SAS — у него 4 порта используются локально как SATA (и того с предыдущим контроллером 12 портов локально), а еще 1 SAS порт (4 линка) уходит наружу — там подключается к SAS Expander на 16 портов (в дополнительной коробке еще 15 дисков) и того всего 27 дисков.
                                                В принципе если выкинуть 10 гигабит (если он не нужен), то к любой метеринке через SAS контроллер и SAS Expander — можно подключить без проблемм примерно 32-40 дисков (можно и больше)
                                                Проблемма в корпусе и блоке питания…
                                                И для этого не нужно кучу PCI-E (но они очень не лишнии)
                                0
                                Спасибо за статью.
                                Было бы хорошо добавить в конце итоговую таблицу получившегося решения по железу и софту.
                                Какой RAIDZ, какие скорости чтения/записи, результаты тестов iozone и т.п.?
                                Кстати, есть люди, кто дома уже использует сетевухи 10Гбит/с.
                                На хоботе уже 13 часть NAS своими руками (часть 13)
                                  0
                                  Было бы хорошо добавить в конце итоговую таблицу получившегося решения по железу и софту.

                                  По объективным причинам я не могу этого сделать: у меня нет лаборатории, которой производители предоставляют свои железки.
                                  Материал я изначально собирал для себя, и уж не обессудьте, что накопал, то и есть.
                                  Кроме того, обзор и так получился немаленький, и в таком случае написание статьи бы неслабо затянулось.


                                  Какой RAIDZ, какие скорости чтения/записи, результаты тестов iozone и т.п.?

                                  Не у всех же RAIDZ, а там где он есть, вы вольны выбирать любой, это ограничено только количеством дисков.
                                  I/O сейчас определяется, в основном, дисками и кэшем (ну, либо прямой записью), так что не сильно зависит от продукта (считаю, что там DMA, а CPU почти не задействован для генерации трафика, который пишется и не обрабатывает то, что читается).
                                  Да, возможно актуально для систем, которые используют гибридные технологии (перемещение часто используемых данных на SSD, к примеру).


                                  Кстати, есть люди, кто дома уже использует сетевухи 10Гбит/с.

                                  Это вопрос или утверждение?
                                  Наверное есть. Лично мне это пока не требуется.

                                    0
                                    Я имел ввиду итоговую таблицу с тем, что вы выбрали, из чего собрали.
                                    Про 10Гбит/с — это утверждение.
                                      0
                                      Я имел ввиду итоговую таблицу с тем, что вы выбрали, из чего собрали.

                                      А, это я мерял. Как на железо, так и на ФС. Даже скидывал в рассылку, вроде. Но это в другой статье будет: сколько iops даёт голое железо мало кому интересно, а ФС и прочие наслоения к железу, которое здесь описано, в общем-то не относятся.

                                    0
                                    На хоботе уже 13 часть NAS своими руками (часть 13)

                                    Статьи там я, кстати, читал. Тоже ими вдохновился. Но там пишут с излишним энтузиазмом и несколько умалчивают о подводных камнях.

                                    0
                                    Когда собирал NAS, сознательно не стал использовать готовые NAS-дистрибутивы. Как оказалось не зря. Мало того что все что мне надо проще сделать на чистой системе, так еще и нет всяких сюрпризов, описанных в статье.

                                    И с докером проблем вроде бы особо не было. Ну кроме того что, кажется, не совсем себя адекватно ведут контейнеры после перезагрузки. (автоматически не стартуют и docker-composer up не видит старые контейнеры и орет что не может создать новый контейнер с таким именем) Пока еще нет времени и желания с этим разбираться.
                                      0
                                      Мало того что все что мне надо проще сделать на чистой системе, так еще и нет всяких сюрпризов, описанных в статье.

                                      Вы про OMV? Мне он нужен, как система управления.
                                      Я его не использовал, как дистрибутив. Он ставится пакетом на обычный Debian.
                                      Первые же сюрпризы из-за того, что я не использовал штатный установщик ОС (ставил вручную) из-за желания сделать корень на ZFS.


                                      И с докером проблем вроде бы особо не было.

                                      Не столько с самим докером (там-то проблемам особо возникать неоткуда), сколько со связкой Docker+ZFS (и его ZFS бэкэнд) и с конфигурацией диспетчера.


                                      Ну кроме того что, кажется, не совсем себя адекватно ведут контейнеры после перезагрузки. (автоматически не стартуют и docker-composer up не видит старые контейнеры и орет что не может создать новый контейнер с таким именем) Пока еще нет времени и желания с этим разбираться.

                                      restart: always, я так понимаю, установлен?

                                        0
                                        restart: always, я так понимаю, установлен?

                                        Разумеется
                                          0

                                          Ну, здесь только копать логи и разбираться.

                                        0
                                        Поддерживаю насчет NAS-дистрибутивов. У меня стоит обычная Ubuntu, на ней Webmin и netdata для мониторинга. Через Webmin большинство полезных вещей настраиваются удобно и быстро. И без всяких подводных камней.
                                          +1
                                          OMV это просто дебиан с аналогом WebMin.
                                          Он просто удобнее для работы именно с NAS.
                                          Создать шары, раздать права и тд.
                                          Все это и из консольки ручками можно, да нафиг надо?
                                            0
                                            На самом деле я сегодня буду пробовать FreeNAS. Может и изменю мнение.
                                              0
                                              В общем и целом я остался разочарован во FreeNAS. Скорость передачи (хоть и на неоптимальном железе и конфигурации дисков в ZRAID1) почему-то была в районе 40Мбит\с, причем иногда передача в Samba из под-винды просто прекращалась с сообщением «непредвиденная сетевая ошибка». Подкрутить что-то без shell в конфигурации Samba мне не удалось, на этом решил просто поставить обратно Ubuntu и попробовать настроить все там.
                                              Хоть и без GUI, но я поднял ZFS и Samba, скорость сейчас 80-90Мбит с той же конфигурацией, ошибок нет…
                                              В общем мои претензии остались теми же: непонятно куда копать, если что-то ломается, и GUI в этот момент становится не помощником, а настоящим врагом. Крутить что-то под капотом мне совершенно не захотелось, я Ubuntu-то только недавно осилил…
                                                0
                                                Как известно, у людей всё работает, потому смотреть надо на вашу конфигурацию.

                                                Для начала:

                                                1. Сколько было памяти?
                                                2. Какие опции ZFS были включены?
                                                3. Был ли SLOG вынесен на SSD?

                                                Вопросы по сети в данном случае задать сложно. И, опять же, причём тут SAMBA?
                                                Сначала надо померять дисковые IO, изолировать проблему, ведь пока не ясно вообще, в чём она заключалась.
                                                  0
                                                  С сетью проблем нет — на Stripe с теми же дисками было стабильно 110МБ\с.
                                                  1. 8 Гб
                                                  2. Сжатие LZ4 и noatime, больше ничего. Dedup и шифрование отключены.
                                                  3. Нет, потому что отдельного SSD нет, а про перемещение SLOG на SSD с системой начитался страшилок. Да и не нашел простого способа это сделать в любом случае. L2ARC не устанавливал, только голые диски (4 штуки) в RAIDZ1 — знаю, что не оптимально.
                                                  Я бы даже смирился с низкой скоростью, но ошибки — это перебор. Про SAMBA вспомнил, потому что вроде бы год назад я подобную проблему лечил ее конфигом, вроде что-то связанное с Opportunistic Locks, точно не вспомню. По стандартному пути smb.conf я конечно же не нашел, на чем и остановился.

                                                  (Каюсь, везде где раньше писал МБит, были МБ)
                                                  0
                                                  GUI в этот момент становится не помощником, а настоящим врагом

                                                  Не знаю, как во FreeNAS (после общения с их сообществом и разработчиками я и свалил на OMV), но в случае OMV с GUI проблем нет: он работает параллельно.

                                                    0
                                                    Более того, все доп опции можно прописать прямо в гуи.
                                                    0
                                                    Судя по скорости в 40мбит и конфигурации c ZFS — проблема в слабом железе.
                                                    Или мало памяти (а ZFS довольно прожорлива) или уперлись в проц.
                                                    По FreeBSD не силен.
                                                    Мне ZFS сильно не понравилась, когда я крутил виртуалки на Proxmox.
                                                    Из 16 гигов памяти на сервере 8 утекало в файловую систему и загрузка E3-1240V2 была порядка 10% на файловых операциях. Ну так себе.
                                                    Я на Atom 330 c 4Gb на Raid6 с 6 дисками по SMB утилизирую гигабит на OMV. Правда не на ZFS, а на MDRAID6 + XFS.
                                                      0
                                                      Памяти мало, но в минимальные требования влезаю. Опять же, на том же железе и обычной серверной Ubuntu скорость в 2 раза выше…
                                              +1
                                              Приложение для резервного копирования, которое меня устраивает — UrBackup.
                                              Urbackup'ом только винду бэкапите?

                                              Как-то вробовал его на линукс натравить, столкнулся с несколькими проблемами:
                                              1. Образы на линуксе не работают из коробки
                                              2. Нельзя выкачать бэкапы больше 4GB из web'a
                                              3. Невозможность восстановиться из urbackup-livecd без образов

                                              Хотя надо отметить, Urbackup порадовал позиционрированием себя как бэкапа «в один клик».
                                                0
                                                Urbackup'ом только винду бэкапите?

                                                Пока только поднял его в контейнере. Ещё не бэкаплю. Из работающих сервисов сейчас контейнеры со LDAP, nginx-proxy, gitlab и локальным nginx (перенаправление на хостовый OMV).
                                                Бэкапить собираюсь, в основном, Linux пофайлово. На моих личных машинах винды нет.
                                                Там дальше, как пойдёт.


                                                Образы на линуксе не работают из коробки
                                                Нельзя выкачать бэкапы больше 4GB из web'a
                                                Невозможность восстановиться из urbackup-livecd без образов
                                                Хотя надо отметить, Urbackup порадовал позиционрированием себя как бэкапа «в один клик».

                                                Спасибо, ваш комментарий учту. Бэкап у меня ещё в процессе разработки: есть несколько альтернативных инструментов, но из них пока Urbackup выглядел лучше остальных.
                                                Политику и регламент ещё надо доработать.
                                                Если интересует, по факту работы могу сделать статью на эту тему (хотя, их уже и так много).

                                                  0
                                                  А есть какой-нибудь гайд по настройке сего чуда? У меня дальше попытки добавления компа в список не дошло.
                                                  Какая-то кривая технология типа поставь клиент и найди его с сервера.
                                                  Сервер банально компы видит, а связи нет. Причем как винда, так и linux.
                                                  Порты открыты, клиент-сервер в одной сети и все равно фиг.
                                                    0
                                                    Ставил по офф ману
                                                    После установки клиента, он сам добавлялся в web'e
                                                    Клиент ставил бинарный
                                                  0
                                                  Установщик FreeNAS не поддерживает даже пользовательское разбиение дисков.

                                                  Скорей всего, такое поведение представляет более общий шаблон использования, когда систему ставят на флешку, а диски объединяют в ZFS пулл. ZFS тем и хорош, что о разделах думать не нужно, это одна из самых ярких его характеристик, а система в NAS — это просто средство управления дисковым пространством, с основной целью «не мешать», потому настривать в системе особенно нечего, в частности разбиение системного диска (если там тоже ZFS то совсем можно не лезть). Кроме того если хочется понастраивать что-то в NAS-е, то нужен не NAS а сервер с обширным дисковым хранилищем, и странно в этом месте использовать узкоспециализированное ПО. Мой личный опыт работы с подобными системами, как с системами общего назначения, привёл к мысли, что можно просто поставить FreeBSD и не мучать ни себя, ни ПО, оно того не стоит.

                                                  И всё-таки хотелось бы более полного раскрытия темы в части более гибкой настройке linux, мне очень интересно в свете выбора платформ для собственного мини-сервера.
                                                    0
                                                    Скорей всего, такое поведение представляет более общий шаблон использования,
                                                    когда систему ставят на флешку, а диски объединяют в ZFS пулл.

                                                    Не обязательно на флешку, но да, шаблон именно такой.


                                                    ZFS тем и хорош, что о разделах думать не нужно, это одна из самых ярких его характеристик, а система в NAS — это просто средство управления дисковым пространством, с основной целью «не мешать», потому настривать в системе особенно нечего, в частности разбиение системного диска (если там тоже ZFS то совсем можно не лезть).

                                                    Там шёл вопрос не о настройке, а о установке.
                                                    И ответ мне запомнился: "FreeNAS is not operating system, FreeNAS is an appliance". :-/


                                                    Кроме того если хочется понастраивать что-то в NAS-е, то нужен не NAS а сервер с обширным дисковым хранилищем, и странно в этом месте использовать узкоспециализированное ПО. Мой личный опыт работы с подобными системами, как с системами общего назначения, привёл к мысли, что можно просто поставить FreeBSD и не мучать ни себя, ни ПО, оно того не стоит.

                                                    А как настраивать? Каждый раз заходить по SSH? Или использовать Web GUI для управления сервером?
                                                    Первое — слишком муторно, второе — избыточно. Именно для того, чтобы "среднюю" нишу заполнить, FreeNAS/OMV и подобные нужны.


                                                    И всё-таки хотелось бы более полного раскрытия темы в части более гибкой настройке linux, мне очень интересно в свете выбора платформ для собственного мини-сервера.

                                                    Посмотрите на объём статьи, вместе с обзором и картинками: порядка 80-ти страниц.
                                                    Однозначно, что данная тема, ещё более объёмная, для другой статьи.

                                                    0
                                                    Я наверное хочу странного, но спрошу, раз тут есть знающие люди:
                                                    Есть ли железные NAS с поддержкой Plex? Не так чтобы там рядом поставить как-то, а с нормальной поддержкой изначально.
                                                      0
                                                      Почти все современные.
                                                      В большинстве случаев, где есть «мультимедийный сервер с DLNA», стоит Plex.
                                                      В некоторых случаях Kodi или что-то проприетарное (есть более редкие вещи но их, соответственно, меньше).
                                                        0
                                                        Спасибо, буду искать значит. Из этой статьи узнал и про Kodi и про Plex, попробовал оба — думаю копать в сторону Plex. Пока что поставил на комп, а там посмотрим :)
                                                          0
                                                          Их больше, чем два, это лишь наиболее популярные, но многое зависит от задачи.
                                                        0
                                                          0
                                                          Спасибо. Смотрел в сторону WD, а они чего-то в FullHD не могут…
                                                        0
                                                        Ctrl-F «microserver» не сработало по странице, а зря. Если речь про 4 дисковые решения (+ssd под систему), и с местом для установки проблем нет — то и конкурентов HP в этом месте нет.
                                                          0
                                                          Нет, речь больше про 8+ дисковые решения (лишь несколько упомянуты 4-х дисковых в обзоре). А микросервер я как-то давно смотрел. Всё-таки это не NAS, хотя вы правы: возможно было добавить, ради приличия.
                                                            0
                                                            Ну raw 28TB можно сейчас и из четырех дисков сделать (на самом деле 48). Если рассматривать NAS именно как хранилище (всё же 12 ТБ по скорости такие себе диски).
                                                              0
                                                              28 ТБ — не предел, это просто объём, который есть сейчас, причём два слота у меня вообще без пока дисков.

                                                              Добавил в обзор. Весьма кратко, но по ссылкам возможно пройти и составить более подробное представление.
                                                            +1

                                                            HP Microserver Gen6 под Nas4Free, WD Red, 4Gb ECC
                                                            не энтерпрайз конечно, но мои потребности закрыты на ближайшие ххх лет
                                                            А с учетом того, что сам серверок я купил за 50 баксов (контора закрывалась и распродавалась) так совсем счастье.
                                                            Железка сделана наотлично, аптайм месяцами, останавливаю только пропылесосить

                                                              0
                                                              за 50 баксов

                                                              С дисками?

                                                                0

                                                                только с родным Seagate 250Gb. И у меня не настолько железные яйца, чтобы покупать в NAS диски б/у.

                                                                  0
                                                                  Вопрос насколько б/у: если оно в той конторе месяц проработало, и вы купили, то не вижу проблемы.
                                                                  В любом случае $50 — почти задаром.
                                                                0
                                                                Когда оно достается практически задаром — это действительно хороший вариант. Но сейчас, когда за Gen10 просят 30-35k, при этом за 20k можно купить готовый четырехдисковый NAS (QNAP, ASUSTOR, NETGEAR), а за 25k — уже и Synology, особого смысла покупать НР (и потом еще возиться с установкой/настройкой) я не вижу
                                                                0
                                                                старые генерации (до 8 включительно) — были хороши. А вот MicroServer Gen10 — так себе вышел, имхо. И в сочетании с появлением относительно недорогих готовых NAS это выглядит уже не очень интересным вариантом
                                                                  0
                                                                  Десятую я пока не видел, как раз последнюю восьмую смотрел. По высоте на шкаф не влезла, в итоге потратил столько же денег на менее производительную систему. Думал сделать менее шумную конфигурацию, в итоге — фиг, microserver шумит так же, как один вентилятор в корпусе на реостате в минимум.

                                                                  upd: посмотрел что 10й на amd, неудивительно, что он не очень. Тот первый из продаваемых в РФ (он, кажется, шестой или пятый) на amd тоже был не очень =) Я рассматриваю только те, что на интелах сделаны — у них есть какой-никакой ценовой диапазон по потребностям, в итоге есть и копеечные на пентиуме для дома, и толковые на LV-xeon для SMB.
                                                                    0
                                                                    Дело не только в НР, изменилось еще и окружение: во времена царствования Gen7 (и даже Gen8) выбор готовых NAS был небогат и стоили они вдвое дороже, чем НР. А сейчас за MicroServer Gen10 просят 30-35k, при этом за 20k можно купить готовый четырехдисковый NAS (QNAP, ASUSTOR, NETGEAR), где все будет работать «из коробки», что критично для SOHO-сегмента. И даже законодатель мод — Synology — сейчас предлагает свои четырехдисковые модели по цене от 25k.
                                                                    Поэтому сейчас нет особого смысла покупать железку, с которой нужно возиться, если за ту же цену (а то и ощутимо дешевле) можно купить готовое решение, в котором изначально будет и само файлохранилище, и медиасервер, и принт-сервер, и торрентокачалка, и видеонаблюдение, и прочие вкусняшки
                                                                      0
                                                                      В Gen10 убрали iLo, а это было одной из двух killer feature'ов Gen8 (первая — возможность замены процессора). Теперь это просто красивый корпус с довольно посредственным процессором (чисто для NAS очень даже ничего, но не более того)
                                                                  0
                                                                  А зачем для NAS'а с такими требованиями к функциональности Xeon?
                                                                  Я сейчас пересобираю свой старый NAS на базе HP Microserver gen7 на новом поколении Microserver gen10. Там обрезанный проц AMD, 4 слота под винты.
                                                                  При желании можно туда воткнуть и аппаратный рейд Smartarray с ebay'я, если уж сильно хочется RAID5 без насилования CPU…
                                                                    +1
                                                                    Это не все требования, лишь основная часть функциональных.
                                                                    Ну и серверная плата, которая с SAS как-бы предполагает, что там сокет для Xeon.
                                                                    Кроме того, мне требовалась поддержка ECC для ZFS.
                                                                    И AES-NI, а также VT-X в перспективе.
                                                                      0
                                                                      SAS как протокол спорное требование… Или предполагается использовать реально SAS-диски (не NL-SAS и т.п.)? ECC в microserver'е однако есть…
                                                                      У меня, кстати, конфиг после пересборки будет HP microserver gen7 + 250Gb система + smartarray Raid5 4x3Tb SATA на одной «площадке» и HP microserver gen10 + 256GB SSD система + ZFS 4x3Tb SATA на другой. Взаимная репликация через Syncthing внутри VPN-туннеля. Из фич: samba (локально), webdav (в инет), torrent, ldap, sms-tools, telegram-bot.
                                                                        0
                                                                        Или предполагается использовать реально SAS-диски (не NL-SAS и т.п.)?

                                                                        HGST с 3 млн. часов MTBF похожи на SAS...


                                                                        256GB SSD система

                                                                        Я поставил на зеркало. И просто под систему — это слишком много.


                                                                        ZFS 4x3Tb

                                                                        Какой ZRAID и сколько процент потерь?


                                                                        ldap

                                                                        Потому, что его поддерживают приложения из коробки или из-за большого количества пользователей?

                                                                          0
                                                                          HGST с 3 млн. часов MTBF похожи на SAS...

                                                                          А скорость вращения какая? Реальные SAS делают 10k или 15k RPM, SATA (NL-SAS) — 5,4k или 7,2k… Кстати, есть и переходники для подключения SATA в SAS…
                                                                          У меня в рабочем компе так винты подключены на SAS RAID-контролллер.

                                                                          Я поставил на зеркало. И просто под систему — это слишком много.

                                                                          Сорри, 120Gb SSD, 256Gb действительно много… ;) Самый дешевый в ближайшем магазе взял. По цене, что самый дешевый шпиндель, что SSD — примерно одна цена. С учетом весьма неактивной нагрузки на загрузочный диск — риск выхода его из строя минимален. Даже если и сдохнет, то есть реплика на другой «площадке» :)

                                                                          Какой ZRAID и сколько процент потерь?

                                                                          Пока не определился. Собран тестовый том с десятком файлов, к концу мая планирую переехать уже на него, тогда и видно будет. Если результаты будут неудовлетворительные, то воткну Smartarray и RAID5.

                                                                          Потому, что его поддерживают приложения из коробки или из-за большого количества пользователей?

                                                                          В первую очередь приложения из коробки. Пользователей полтора ;)
                                                                            0
                                                                            А скорость вращения какая? Реальные SAS делают 10k или 15k RPM, SATA (NL-SAS) — 5,4k или 7,2k…

                                                                            7.2. Но, я так понимаю, скорость вращения всё-таки ещё не говорит о том NL-SAS это или нет.
                                                                            Плюс, SAS гарантирует сквозной контроль (самокорректирующийся код, исправление ошибок в канале, чего SATA не делает).


                                                                            Кстати, есть и переходники для подключения SATA в SAS…

                                                                            Использую для подключения SATA SSD: именно этот кабель пришлось дозаказывать.


                                                                            В первую очередь приложения из коробки. Пользователей полтора ;)

                                                                            Тогда всё-таки LDAP несколько избыточен. Разве что, для централизованной смены пароля.

                                                                              0
                                                                              7.2 — 90% что nl-sas. Плюсы по сравнению с сата конечно есть, но всё ж не полноценный sas.
                                                                              Впрочем ИМХО sas уже практически не нужен. Есть sata для объёма и ссд (на nvme оптимально) для скорости, ну и конечно их комбинация при помощи технологий кеширования и многослойного хранения.
                                                                                0
                                                                                Впрочем ИМХО sas уже практически не нужен.

                                                                                Он развивается быстрее SATA, и последний SAS-4, который до 24 Гб/с по сравнению с последней SATA-3, которая 6 Гб/с, выигрывает по всем показателям.


                                                                                Есть sata для объёма и ссд (на nvme оптимально) для скорости, ну и конечно их комбинация при помощи технологий кеширования и многослойного хранения.

                                                                                NVME — это костыль, который делают для того, чтобы обойти низкую скорость SATA (ok, в моём случае SAS 6 Гб/с, но это SAS, который всё-равно надёжнее, чем SATA).

                                                                                  +1
                                                                                  Выигрывает, кто ж спорит. Только смысла собирать огромную полку, на который эти винты вылетают как семечки (sas винты в моей практике дохнут чаще чем ентерпрайз-сата, думаю что из-за скорости) становится всё меньше, даже all-flash выходит хоть и дороже, но шустрее.
                                                                                  И да, я выразился несовсем корректно. Sas как интерфейс — очень даже нужен, например для подключения тех же полок. А вот с дисками со шпинделем — ИМХО их время проходит.

                                                                                  Nmve как раз не костыль, а новый протокол, который не тянет набор команд scsi и прочую шнягу из далёкого легаси. Опять же ИМХО.
                                                                                    0
                                                                                    А вот с дисками со шпинделем — ИМХО их время проходит.

                                                                                    Ну куда же они денутся-то? В SSD столько недостатков, что с HDD никто уходить не собирается (кроме, специфичных приложений). А всякие новые технологии, типа мемристоров, ещё далековато, и неизвестно, какие там всплывут проблемы.

                                                                                      0
                                                                                      Reram и mram смотрим конечно. Но повторюсь — я именно про сас-диски со шпинделем.
                                                                                      Так посмотрим конечно что будет дальше и как пойдет развитие, может действительно будут решать nl-sas для холодных данных… но лично я уже довольно давно перестал покупать sas для новых инсталляций. Sata ssd — да, nmve ssd — да, sata hdd — да.
                                                                                        0
                                                                                        Reram и mram смотрим конечно.

                                                                                        Да про это я не совсем в курсе.


                                                                                        Но повторюсь — я именно про сас-диски со шпинделем.

                                                                                        Так если SATA HDD, почему не SAS HDD на 7200k?

                                                                                          0
                                                                                          Это вот как раз всякие мемристоры и новые технологии которые вот-вот отправят ссд в небытие))

                                                                                          Стоимость внедрения и стоимость владения.
                                                                                    0
                                                                                    NVME — это костыль, который делают для того, чтобы обойти низкую скорость SATA

                                                                                    А вы уверены, что это костыль?


                                                                                    «NVMe has data transfer performance characteristics of PCIe Gen 3 and therefore has bandwidth of around 1Gbps per lane – up to 16Gbps in a 16-lane configuration. PCIe Gen 4 will likely double that and is set for release in 2017.


                                                                                    At the same time, NVMe is built to handle more queues than SAS and SATA at the drive, with 65,000 queues and 65,000 command queue depths possible. This compares to one queue for SAS and SATA, and queue depths of 254 and 32 respectively.»

                                                                                      0

                                                                                      Я в курсе про скорость. И про цены на NVMe устройства (хотя, может сейчас к лучшему что-то поменялось).
                                                                                      Несколько коробит то, что при наличии отдельной шины для дисковой подсистемы, они используют общую шину PCI Express, для работы с ними.

                                                                                        0

                                                                                        Ну и с учётом SAS, который 24 Гб/с, 16 Гб/с кажется большим числом только относительно SATA.
                                                                                        Размер очереди команд, с точки зрения пользователя меня вообще не интересует.
                                                                                        Скорость же выше у SAS-4, при этом слоты PCI Express лишние не занимаются.

                                                                                          0
                                                                                          PCIe Gen 4 will likely double that and is set for release in 2017

                                                                                          Т.е. в Gen 4 — 16*2 == 32 Gb/s, быстрее, чем SAS-4.


                                                                                          Размер очереди команд, с точки зрения пользователя меня вообще не интересует.

                                                                                          Он повышает производительность. Особенно если много процессов параллельно работает (например, сервер с виртуалками). На сторадже — зависит от того, что хранится и от нагрузки.

                                                                                            0
                                                                                            Господа, я может чего-то не понимаю, а что за диски у вас выдают 16, 24 и 32 Gb/s? Куда вам интерфейсы с такой скоростью?
                                                                                              0

                                                                                              Вопрос не в скорости самой по себе, а в latency.

                                                                                                0
                                                                                                В любом случае, это очень специфичный случай из разряда быстрых SSD хранилищ для кэширования результатов большого объёма вычислений.
                                                                                                К NAS, которые хранят данные и периодически их отдают пользователю это слабо относится.
                                                                                                Несколько оффтопик.
                                                                                              0
                                                                                              Т.е. в Gen 4 — 16*2 == 32 Gb/s, быстрее, чем SAS-4.

                                                                                              Но в SAS возможно подключать к диску два канала.
                                                                                              Опять же, вопрос: а надо ли даже 32 Гб/с?

                                                                                      0
                                                                                      7.2. Но, я так понимаю, скорость вращения всё-таки ещё не говорит о том NL-SAS это или нет.

                                                                                      Вот что пишут на амазоне про этот диск:
                                                                                      HGST Ultrastar™ 7K4000 is the world's first 4TB 7200 RPM hard drive with a 2.0 million hours MTBF specification and backed by a full 5-year warranty, originally offered with SATA 6Gb/s and now also available with a SAS interface.


                                                                                      Т.ч. точно NL-SAS…
                                                                                        0
                                                                                        Да, значит NL-SAS.
                                                                            0
                                                                            Долго хотел собрать свой NAS, в итоге купил HPE Microserver gen8, привезти из США корпус Supermicro Superchassis CSE-721TQ-250B, как на фото с Netberg дороговато выходит.
                                                                              0
                                                                              Спасибо.
                                                                              Я бы с удовольствием почитал статью про Seafile. Или даже две статьи: первую — про то, чем оно лучше аналогов, а также про особенности версий и лицензирования (хватит ли Community Edition или для каких-то рутинных задач нужен именно Professional Edition (у него вроде как даже есть бесплатная лицензия на 3 юзеров)); а вторую — собственно, про сам процесс установки/настройки/подводные камни и лайфхаки всего этого хозяйства
                                                                                0

                                                                                Статей про то, "как он хорош" много. Про лицензии ничего не знаю, вы наверное имеете ввиду планы использования. Они актуальны только для покупки облака у них. Для того, чтобы установить и использовать Seafile у себя никаких лицензий не нужно, и он опенсорсный.
                                                                                Настроек тоже почти не нужно.
                                                                                Просто используете Docker образ seafileltd/seafile и настраиваете по инструкции, которая там есть (как на гитхабе, так и на докерхабе).

                                                                                0
                                                                                Сейчас в области «насо-строения для человеков» есть несколько путей, на развилке которых окажется любой желающий заиметь свою хоронилку.

                                                                                Откинем не-тру-way «купил-забыл-привет супорт» и рассмотрим привычный хэнд-мэйд со стороны ПО:

                                                                                — идёшь в обитель XPEnology… железо совместимо? установил? всё работает? поздравляю, у тебя, %username, в руках приличный софт с кучей фич и возможностей, но не спеши его обновлять на самый свежий релиз.

                                                                                — хренология — хрень? не завелась? загрузчик не загружает? на форуме не решили твои проблемы? ковыляешь в обитель FreeNAS и любителей всяческих bdsm BDS, там у них контора серьёзная и гуй есть, и фичи, и zfs из коробки, и ram докупи, а если non-ecc — добро пожаловать в клуб «ты обязательно потеряешь данные, это вопрос времени»

                                                                                — фринас не пошла? мало ram? zfs не мил? фичей не хватает? — ну тогда погружайся во все тяжкие: OMV Nas4Free Rockstor и т.д. — все такие красивые и функциональные, прям душа поёт от релиза к релизу.

                                                                                — не тру? ставь любимую ос и настраивай всё вручную, даже можешь свой гуй сделать с оповещениями и телегой, было бы желание.
                                                                                  0
                                                                                  фринас не пошла? мало ram? zfs не мил? фичей не хватает? — ну тогда погружайся во все тяжкие: OMV Nas4Free Rockstor и т.д. — все такие красивые и функциональные, прям душа поёт от релиза к релизу.

                                                                                  OMV поддерживает ZFS.
                                                                                  Я бы не сказал, что Nas4Free красивее и функциональнее FreeNAS: скорее, наоборот.


                                                                                  не тру? ставь любимую ос и настраивай всё вручную, даже можешь свой гуй сделать с оповещениями и телегой, было бы желание.

                                                                                  Не конфликтует с предыдущим пунктом. Я, например, ставлю OMV пакетом. Вполне нормально.

                                                                                    0
                                                                                    По поводу конечной стоимости — в подавляющем большинстве случаев готовые решения поставляются без дисков. Данный факт существенно меняет отношение к ценовому подходу при выборе хоронилки.

                                                                                    — «В смысле ещё ~100к на диски? В прошлом месяце же хранилище покупали...»
                                                                                      0

                                                                                      Там указано, в некоторых случаях, что с дисками, что без.
                                                                                      В этом плане diskless Synology за $3100 конечно проигрывает. :-)

                                                                                      0
                                                                                      Тут уже многие отписались, но и я свои пять копеек добавлю.
                                                                                      Давно планировал собрать нормальный NAS, до этого были:
                                                                                      1. Самосбор на Core2Duo с 2x1Tb дисками под данные + 320 Gb под систему. Жив и сейчас, но включается редко, только для копирования бекапов туда/оттуда
                                                                                      2. Однодисковый NAS WD My Cloud 3Tb. В какой-то момент прошивка в нём окирпичилась, а благодаря «подарку» от WD в виде Ext4 с размером кластера в 64Kb такую FS не видит ни один Linux (зато есть отличный софт под Windows, который с лёгкостью монтирует такие разделы в R/O). Процессор довольно тормозной, перезаливать в итоге не стал и использовал HDD отдельно от самого NAS'а
                                                                                      3. WD My Cloud 4Tb — более производительная версия NAS, уже с USB3.0 на борту.
                                                                                      Используется по сей день для торрентов и бекапов.

                                                                                      Долго думал на чём же можно запустить нормальный NAS и небольшой домашний сервер (для нескольких виртуалок, всяких экспериментов и т.д.), много думал о самосборе,… но в итоге выбор пал на HP Microserver Gen8.

                                                                                      Немного б/у микросервер с базовым процессором и 4Gb RAM (в планах апгрейдить и то и другое) был взят на Авито за 25 т.р., к нему добавлен SSD для системы (стоит вместо DVD привода) + 3 диска WD RED 6Tb, развёрнут RAIDZ-1, proxmox (для управления виртуалками).

                                                                                      Долгое время считал цену микросервера завышенной, пока не начал ставить систему.
                                                                                      Оказалось, что для установки системы не то, что не нужен монитор, но и вообще физический доступ к серверу не требуется. Все необходимые операции можно делать через iLo — он и KVM даёт и кнопку soft/hard перезагрузки и возможность подключить виртуальный DVD диск.
                                                                                      В общем, мечта админа для систем, которые стоят не совсем под рукой.

                                                                                      Из минусов:
                                                                                      1. Всего 4 диска под данные (+ один 2.5" под систему)
                                                                                      2. Только гигабитные порты (две штуки), 10G нет
                                                                                      3. Максимум 16Gb ECC, причём ещё и Unregistered памяти (она заметно дороже, плюс на рынке сейчас очень много дешевой б/у серверной ECC Registered памяти, а вот с Unregistered всё грустно)

                                                                                      Из плюсов:
                                                                                      1. Один слот PCI-E, в который можно:
                                                                                      1.1. Поставить 10G карту и получить 10 гигабит (вместо 2 гигабит, которые можно получить bonding'ом с родных карт), либо:
                                                                                      1.2. RAID контроллер с возможностью подключить внешнюю дисковую полку (тут уже явно б/у, т.к. новые SAS/SATA полки будут стоить как десяток микросерверов)
                                                                                      2. ECC память
                                                                                      3. Очень удобный iLo
                                                                                        0
                                                                                        благодаря «подарку» от WD в виде Ext4 с размером кластера в 64Kb такую FS не видит ни один Linux

                                                                                        Linux не видит ext4, а windows видит? o.O


                                                                                        proxmox

                                                                                        В моём случае не нужен: хватает плагина OMV (для докера).


                                                                                        Максимум 16Gb ECC

                                                                                        Маловато для ZFS (хватит, но маловато).

                                                                                          +1
                                                                                          Linux не видит ext4, а windows видит? o.O

                                                                                          Ошибся, 64k это размер блока.
                                                                                          В линуксе у модуля ext4 максимальный размер блока = PAGE_SIZE.
                                                                                          NAS работал на PowerPC и если для x86_64 PAGE_SIZE = 4k, то для PowerPC PAGE_SIZE = 64kb.
                                                                                          Т.е. штатными средствами на x64 машине такую файловую систему не подмонтировать, а модуль для FUSE намертво подвисал при попытке обратиться к диску.

                                                                                          Маловато для ZFS (хватит, но маловато).

                                                                                          Понимаю, что маловато.
                                                                                          Но для малонагруженного домашнего NAS'а она даже на 8Gb вполне неплохо живёт (правда сейчас занято всего ~1.5Tb из 6Tb на RAIDZ, 3Tb+3Tb+3Tb).
                                                                                            0
                                                                                            NAS работал на PowerPC и если для x86_64 PAGE_SIZE = 4k, то для PowerPC PAGE_SIZE = 64kb.
                                                                                            Т.е. штатными средствами на x64 машине такую файловую систему не подмонтировать, а модуль для FUSE намертво подвисал при попытке обратиться к диску.

                                                                                            Любопытный выверт, ни разу с таким не сталкивался (и слава Богу).


                                                                                            RAIDZ

                                                                                            RAIDZ-1, судя по тому, что 30% издержек. Возможно было ещё один диск докинуть в массив.

                                                                                          0
                                                                                          Основной минус — на замену ему вышло merde, и gen8 нужно доставать.

                                                                                          Мз плюсов — он кастомизируется, например сдром меняется на ссд под систему/кэш, проц меняется на xeon и все такое. Радуюсь, что успел не одному клиенту gen8 поставить))
                                                                                            +1
                                                                                            Долгое время считал цену микросервера завышенной

                                                                                            во времена, когда Gen8 только появился, уго цена была более чем вкусная. Сейчас его цена приемлемая, если рассматривать его именно как сервер для рабочих задач, но однозначно завышена, если сравнивать именно с «бытовым» NAS — за те же 25k можно взять новый Synology DS418j и радоваться жизни
                                                                                              0
                                                                                              2. Однодисковый NAS WD My Cloud 3Tb.
                                                                                              На него можно поставить Clean Debian, что я вам и советую сделать. Именно после таких манипуляций я решил окончательно отказаться от коробок и собирать свой NAS. Потому что понял, что получится как минимум не хуже. Ну и масштабирование.
                                                                                              Кстати, никаких проблем с его монтированием у меня на десктопе не было. Я просто скачал загрузочный образ UBUNTU и производил все манипуляции их под него.
                                                                                              Другое дело, что я не ставил перед собой задачи сохранить данные, а сразу же форматнул диск по-нормальному.
                                                                                                0
                                                                                                Про WD тоже есть в обзоре. Далеко не лучшая система: я бы не стал покупать. А такие манипуляции требуются далеко не на всех покупных NAS.
                                                                                                0
                                                                                                в итоге выбор пал на HP Microserver Gen8.
                                                                                                Немного б/у микросервер с базовым процессором и 4Gb RAM (в планах апгрейдить и то и другое) был взят на Авито за 25 т.р., к нему добавлен SSD для системы (стоит вместо DVD привода) + 3 диска WD RED 6Tb, развёрнут RAIDZ-1, proxmox (для управления виртуалками).

                                                                                                Прошлой осенью взял по распродаже в одной сети РФ, когда он там по 16к сливался (плюс скидка личная до 12к). 10-е поколение было тогда от 22-25к где-то.

                                                                                                Проц за 2,5к i5 всунул (надо теперь силер продать из стандартной комплектации, благо есть мамка для него чтоб сразу комплектом отдавать), за 1,5к ещё 4 гига бу — всё с авито. Сейчас там 2х6Тб HGST-ки плюс ssd 128 самсунговский 750-ка (опять же по скидке все хорошо вышли).

                                                                                                Так что для самосборов иногда удается использовать скидки, часть брать бу, а вот с готовыми решениями — это уже реже получается.
                                                                                                0
                                                                                                В своё время изрядно поел невкусной субстанции со всякими готовыми насами. Глюки незапуска синолоджи (запускаем с 1 диском, потом с двумя, потом с тремя, потом с четырмя), баги в прошивках wd (типа полного игнорирования вентиляторов), да и медленные довольно они. Из всех насов что работал — реально радовали леново (перестали выпускаться), нетгиры были ничего ну и qnap.
                                                                                                Но смотришь на цену, считаешь цену с дисками и понимаешь что собрать «на коленке» выходит ощутимо дешевле, и при этом без геморроя с неведомыми глюками и совметимостью.

                                                                                                Hp microserver gen8 стоимостью 18к был настоящим подарком в качестве nas/soho сервера. На gen10 — без ilo и с распаяным процессором плеваться не перестаю.

                                                                                                По части интерфейсов — OMV хорош, но с zfs порой возникали траблы, в решениях на bsd оно более стабильно. Также в своё время порадовала nexenta (на базе солярки, хз жива ли она ещё).
                                                                                                  0
                                                                                                  и при этом без геморроя с неведомыми глюками и совметимостью

                                                                                                  Ну это спорное утверждение: я их выловил достаточно.


                                                                                                  OMV хорош, но с zfs порой возникали траблы

                                                                                                  У меня возникли — пофиксил, но времени пришлось затратить ощутимо.

                                                                                                    0
                                                                                                    А ещё возникает вопрос — так ли он нужен, этот zfs для NAS с гигабитным интерфейсом?)
                                                                                                      0

                                                                                                      А какое отношение имеет скорость сетевого интерфейса к файловой системе?

                                                                                                        0
                                                                                                        Раскрываются ли все прелести фс, если скорость доступа к данным существенно ограничена.
                                                                                                          +1
                                                                                                          Вполне. По крайней мере, лёгкие снэпшоты, сжатие на лету, управление томами, прозрачная проверка целостности файлов, уменьшение фрагментации с использованием SLOG. Возможно ещё что-то, сходу не вспомню.
                                                                                                            0
                                                                                                            Ну, если вы всё это используете, тогда конечно. Кстати, а OMV умеет из красиво из коробки бэкапить zfs?
                                                                                                              0

                                                                                                              Конечно использую: это базовые возможности ZFS.
                                                                                                              Сжатие у меня включено, тома ZFS (кроме нижнего слоя, но это лишь потому, что в стабильном Linux ZFS не было шифрования), проверка целостности по хэшам там есть всегда, ZIL включен по умолчанию.
                                                                                                              Бэкапить куда?
                                                                                                              Есть пакет zfs-auto-snapshot, но к OMV он не относится.

                                                                                                            0
                                                                                                            Основные прелести ZFS — живучесть (благодаря Copy-On-Write и RAIDZ), лёгкие snapshot'ы, удобное управление файловыми системами, сжатие на лету.

                                                                                                            Скорость это отдельная тема (нужно тюнить, нужен SSD кеш,...), но дома лично мне даже гигабита — за глаза.
                                                                                                              0
                                                                                                              Да ну, особо тюнить там не нужно. atime отключить, SLOG на SSD вытащить. Возможно и дальше, но в большинстве случаев хватит.
                                                                                                                0
                                                                                                                SSD кеш может быть на диске с системой? Какого объема он нужен?
                                                                                                                И я правильно понимаю, что ZFS подходит только для «устоявшегося» набора дисков — 1 или 2 диска туда так просто не добавить?
                                                                                                                  0

                                                                                                                  Может. Но у меня он на отдельной SSD, которую возможно выбросить и заменить.
                                                                                                                  С выключенной дедупликацией порядка ~1 GB L2ARC на 1 TB данных, но определяется не только объёмом хранимых данных, а также интенсивностью ввода-вывода.


                                                                                                                  В общем, про объём L2ARC почитать лучше на профильных форумах: статей и обсуждений на эту тему много.


                                                                                                                  Кроме того, перед тем, как L2ARC задействовать, крайне желательно максимально расширить объём RAM.


                                                                                                                  У меня на диске с системой — SLOG, это не кэш, а журнал. Его надо выносить на отдельную SSD, чтобы не увеличивать количество обращений к HDD, при каждой записи.


                                                                                                                  Насчёт добавления диском в zpool — да, так просто сейчас не добавить. Есть возможности расширения объёма пула путём постепенной замены дисков на диски большего объёма, но просто добавить новые диски в уже созданный пул нельзя.

                                                                                                                    0
                                                                                                                    SLOG это ZIL? Какого объема он должен быть?
                                                                                                                    L2ARC это кеш только на чтение?
                                                                                                                    Какой объем оперативной памяти оптимален в nas сервере?
                                                                                                                      +1

                                                                                                                      ZIL — это внутренняя структура, "буфер транзакций". Пишется туда же, где расположена ФС.
                                                                                                                      SLOG — это Separate zfs intention LOG, т.е. ZIL, отделённый от ФС.


                                                                                                                      См. здесь:
                                                                                                                      http://www.freenas.org/blog/zfs-zil-and-slog-demystified/


                                                                                                                      В случае SLOG, объём невелик (как правило, в типичных случаях 5-8 GB за глаза хватит).
                                                                                                                      Подробнее про объём ниже.


                                                                                                                      L2ARC это кеш только на чтение?

                                                                                                                      Да, если точнее — это кэш 2-го уровня, адаптивной замены. И скорее всего, он вам не нужен. Для его использования сначала надо, чтобы ARC выжрал всю доступную RAM и часто обновлялся. Это очень, очень много обращений к ФС в секунду (ну например, при 32-х GB RAM, ARC будет занимать оставшиеся свободными 19 GB (пусть 10 занято сервисами, 1 он оставит свободным), и этого недостаточно?)...


                                                                                                                      Про него см. здесь:
                                                                                                                      https://habr.com/sandbox/71332/
                                                                                                                      https://www.45drives.com/wiki/index.php?title=FreeNAS_-_What_is_ZIL_%26_L2ARC


                                                                                                                      Какой объем оперативной памяти оптимален в nas сервере?

                                                                                                                      Что лучше: КамАЗ или Феррари?
                                                                                                                      Сегодня у коллеги спросил, что он использует: FreeBSD, диск 1 TB, всё на нём, root на ZFS, Intel Atom, 2 GB RAM, сеть 1 Gb/s, качает торренты и параллельно раздаёт виде по квартире, что-то ещё делает.
                                                                                                                      Тоже сервер.
                                                                                                                      По его словам, всё работает быстро и без тормозов, аптайм более года.


                                                                                                                      FreeNAS рекомендует минимум 8 GB, лучше 16, а серьёзно так расширить до 32-х (до максимума) и только после этого выносить L2ARC.


                                                                                                                      С дедупликацией… Впрочем, понятно. Есть определённые правила расчёта объёма, но сказать числа, возможно лишь исходя из конкретных условий, в том числе критерия, по которому вы определяете оптимальность.

                                                                                                                        0
                                                                                                                        Спасибо за статью. Я прочитал, но все еще путаюсь в понятиях ZIL/SLOG.
                                                                                                                        Правильно ли я понимаю:
                                                                                                                        — ZIL это буфер, который есть всегда и по умолчанию он расположен в пуле, куда происходит запись?
                                                                                                                        — SLOG это этот же ZIL буфер, но вынесенный на отдельный диск?
                                                                                                                          0

                                                                                                                          Ok.
                                                                                                                          Процитирую второй источник, указанный ниже, после чего вопросов о том "что это" остаться не должно:


                                                                                                                          The ZFS intent log (ZIL) is provided to satisfy POSIX requirements for synchronous transactions. For example, databases often require their transactions to be on stable storage devices when returning from a system call. NFS and other applications can also use fsync() to ensure data stability. By default, the ZIL is allocated from blocks within the main storage pool. In this Solaris release, you can decide if you want the ZIL blocks to continue to be allocated from the main storage pool or from a separate log device. Better performance might be possible by using separate intent log devices in your ZFS storage pool, such as with NVRAM or a dedicated disk.

                                                                                                                          Раз (с. 29):
                                                                                                                          https://www.opennet.ru/soft/fs/zfs_arch.pdf


                                                                                                                          Два:
                                                                                                                          https://docs.oracle.com/cd/E19253-01/819-5461/gfgaa/index.html


                                                                                                                          Три:
                                                                                                                          https://www.freebsd.org/doc/ru_RU.KOI8-R/books/faq/all-about-zfs.html

                                                                                                                            0
                                                                                                                            Спасибо. Разобрался.
                                                                                                                            Вот еще хороший материал по теме нашел:
                                                                                                                            www.ixsystems.com/blog/o-slog-not-slog-best-configure-zfs-intent-log

                                                                                                                            А имеет ли смысл выносить SLOG на отдельный от системного диск? Может на ssd небольшого объема. Ведь запись на него, как я понимаю, будет происходить достаточно интенсивно.
                                                                                                    0
                                                                                                    Спасибо за статью, у самого было несколько вариантов NAS — диск подключенный к Asus WL500gp, неттоп DNS и самосбор в интересном корпусе Mustiff MX-31-A11.
                                                                                                    Скажите, можно ли собрать более менее жизнеспособный NAS на платах с ARM? От него будет требоваться только сетевая шара и возможность синхронизации данных. Изучал платки, у многих sata порт работает через usb контроллер, что накладывает определённые ограничения по скорости.
                                                                                                      0
                                                                                                      Скажите, можно ли собрать более менее жизнеспособный NAS на платах с ARM? От него будет требоваться только сетевая шара и возможность синхронизации данных.

                                                                                                      1. Почему именно с ARM, а не с Atom?
                                                                                                      2. Некоторые NAS нижнего уровня делаются на ARM.
                                                                                                      3. Многие роутеры на ARM поддерживают подключение внешнего жёсткого по USB 3, возможно этого будет достаточно.

                                                                                                      Изучал платки, у многих sata порт работает через usb контроллер, что накладывает определённые ограничения по скорости.

                                                                                                      Тут есть поддержка SATA-2.

                                                                                                        0
                                                                                                        Автор как всегда забыл рассмотреть самый ходовой вариант- использовать б/у сервера. Цены более чем приемлемые. Единственный недостаток шумные системы охлаждения ну тут как раз есть место для творчества.
                                                                                                          0
                                                                                                          Я не забыл, в выводах в самом конце обзора они упомянуты. Если такой вариант у вас есть и приемлем (да, я в курсе, что «посмотреть на Avito», но это не всегда работает), то стоит задуматься надо ли покупать NAS за $3000.
                                                                                                          Но б/у сервера доступны не всем (к тому же, если это сервер, то он, как правило, для стойки).
                                                                                                            +1
                                                                                                            Не нашёл я что-то тех самых приемлемых цена на б\у серверы, о которых так много говорят. На авито вообще неадекватные цены. Типичная картина — продавцу на шару достался списанный сервер типа и он пытается продать его по конской цене, мотивировка простая — «ну это ж сервер, он не может стоить дешёво!» А то, что сервер отмолотил несколько лет в режиме нон-стоп, давно снят с поддержки, никаких официальных драйверов на системы новее WS2008 просто нет. Ну и комплектующие, если вдруг что, в ближайшем магазине не купишь, особенно если МП полетит. Вот потому и списываются железки по цене лома, а выкружившие их пытаются продать подороже. В конторах, которые торгуют б\у с гарантией, тоже цены далеки от реальных, но тут хоть год-два ремонт это не проблема покупателя. А дальше что? И всё равно при попытке что-нибудь скомпоновать из б\у вдруг выясняется, что лучше чуток докинуть и взять уже новый какой-нибудь ML — они не особо дорогие и тихие, в отличие от стоечных. Ну или самосбор.
                                                                                                              0

                                                                                                              Кстати, если говорить о "серьёзных" серверах, я вспоминаю старые HP Proliant: с ними пришлось году в 2012-м повозиться в серверной.
                                                                                                              Отвратительно шумят (они были старее 2012-го).
                                                                                                              Даже в серверной рядом с ними тяжело находиться, тем более, когда их больше двух.
                                                                                                              Это не "домашнее" решение.
                                                                                                              Раз уж вопрос именно о серверах.

                                                                                                                0
                                                                                                                Батарея 40мм жужжалок, работающих на скоростях за 4К оборотов, будет отвратительно шуметь у любого бренда.
                                                                                                                  0
                                                                                                                  Те Proliant-ы, как не удивительно, было хорошо слышно даже в общем фоне серверной.
                                                                                                            0
                                                                                                            Несколько лет назад при проектировании наса остановился тоже на самосборе, но в качестве софта выбрал решение unraid. У меня уже были диски разных объемов, что накладывало дополнительное требование на использование технологий резервирования.

                                                                                                            Unraid кастомный дистрибутив slackware с проприетарным драйвером. Драйвер использует до двух дисков для хранения битов четности и распределяет файлы по дискам данных. Восстановление данных возможно при выходе из строя до двух дисков (в зависимости от количества дисков четности).

                                                                                                            Из преимуществ для меня, для дисков данных используются штатные линуксовые файловые системы. Объединение для внешнего доступа делается драйвером по аналогии с unionfs. Поддерживаются диски разного размера. При желании можно развернуть драйвер хоть на дебиане. Благодаря минимально модифицированному линуху штатно поддерживается контейнеризация и виртуализация с управлением через вебморду. При доступе к данным раскручивает только тот диск, с которого нужно прочитать файл, остальные остяются спящими (когда дисков около десятка это приятно). По опыту эксплуатации с 2010 года вполне стабильно работает в режиме «настроил и забыл». С дисками пока везло, вышел из строя всего один, данные при замене восстановлены без потерь.

                                                                                                            Из недостатков, лицензия платная в зависимости от количества дисков от $60 до $130. Разработку ведет всего два человека, автобусоустойчивость низкая. Под четность нужно отдавать диск равный по размеру наибольшему диску данных.
                                                                                                              0
                                                                                                              У unraid есть минус в том, что он вообще не проверяет что записал на диск. У данных вообще нет никакой чексуммы.

                                                                                                              Так же не ковырял unraid досконально, но что-то мне подсказывает что разработчики не очень хотят, чтобы пользователь залезал внутрь системы, то есть уровень красноглазия для задач, которым не подходит docker/vm будет зашкаливать. Сюда же можно закинуть то что исходников системы нигде нет.
                                                                                                              0
                                                                                                              Собственно, основной минус: я не видел, где он продаётся.
                                                                                                              Я написал письмо на info@qsan.ru, где попросил указать цену.
                                                                                                              Никакого ответа. Меня просто проигнорировали.
                                                                                                              С таким уровнем сервиса я бы поостерёгся его покупать: битый купишь, потом не обменяешь, потому что о покупателе тут не заботятся.

                                                                                                              Ничего удивительного в этом нет, т.к. сайт производителя расположен в домене su, т.е. правильный адрес info@qsan.su. Соответственно, нет никакого секрета о том, где купить, как осуществляется техподдержка и гарантия.
                                                                                                                0
                                                                                                                Перепроверил. Моё письмо с запросом цены было на info@qsan.su. Но не через форму на сайте, а напрямую. По привычке в публикации я написал ru.
                                                                                                                Цены искал, не нашёл, собственно потому и задавал вам вопрос, на который мне не ответили.
                                                                                                                  0
                                                                                                                  К сожалению, нет писем от вас. Отправьте письмо еще раз или можно здесь задать вопросы.
                                                                                                                    0

                                                                                                                    Собственно, вот содержание письма от 22.04.18 в 14:09:22:


                                                                                                                    Здравствуйте.

                                                                                                                    Я пишу статью на Хабр, которая включает в себя краткий обзор рынка NAS.
                                                                                                                    Ваш XCubeNAS XN5008T показался мне очень любопытным, но я не смог найти
                                                                                                                    цену.
                                                                                                                    Почти все решения продаются на amazon, но вашей системы там нет.
                                                                                                                    Не могли бы вы сказать диапазон цен в долларах на ваше устройство?

                                                                                                                    Вопрос остаётся прежним.

                                                                                                                      0

                                                                                                                      Озвучьте пожалуйста цену на ваше решение, которое описано в статье.
                                                                                                                      Кроме того, я так понимаю, на Amazon XCubeNas не продаётся?
                                                                                                                      Только на постсоветском пространстве?

                                                                                                                        0
                                                                                                                        XCubeNas продается в России. Но это пока не стоковый продукт, и вы не найдете его на полках магазинов. Производитель ориентируется прежде всего на проектный бизнес, поэтому открытого прайс листа не существует. Есть конечно рекомендуемые розничные цены, но они имеют весьма далекое отношение к реальности.
                                                                                                                          0

                                                                                                                          Так всё-таки, его может купить физическое лицо?
                                                                                                                          И если да, то по какой цене?
                                                                                                                          Вопрос, кажется, очевидный.

                                                                                                                            0
                                                                                                                            Может конечно. ~3K USD
                                                                                                                              0

                                                                                                                              Ok.
                                                                                                                              Это цена именно на ту модель с Celeron?
                                                                                                                              Данную цену я могу добавлять в статью?

                                                                                                                                0
                                                                                                                                Да, это цена на модель XN5008T. Добавляйте с пометкой «рекомендуемая розничная цена».
                                                                                                                                  0
                                                                                                                                  Добавил.
                                                                                                                                  На всякий случай уточню: это цена без дисков?
                                                                                                                                    0
                                                                                                                                    Да, разумеется без дисков.