Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 70
Про работу дедупликации можете подробнее описать? И как рассчитывать: 5Гб на 1 Тб сырой емкости или на 1 Тб собранного массива?
Дедупликация годится, когда у вас очень много памяти, и не очень много дискового пространства. ZFS для эффективной работы нужно много памяти и без дедупликации. При дедупликации хранится словарь из контрольных сумм всех блоков на диске — DDT, но для ZFS DDT является просто метаданными, и может быть из памяти вынеснен и на диск, тогда все просто встает
Дедупликация небесплатная не только по памяти, но и по процессору. При записи каждого блока будет посчитан SHA256 (по умолчанию) от него.
В некоторых случаях взамен дедупликации можно использовать клоны — «образцовый» датасет снапшотится, и делается его клон, который будет занимать место на диске только за счет записи измененных блоков по отношению к образцовому датасету.
Дедупликация небесплатная не только по памяти, но и по процессору. При записи каждого блока будет посчитан SHA256 (по умолчанию) от него.
В некоторых случаях взамен дедупликации можно использовать клоны — «образцовый» датасет снапшотится, и делается его клон, который будет занимать место на диске только за счет записи измененных блоков по отношению к образцовому датасету.
Еще есть предположение, что при большом количестве мелких файлов DDT будет расти. Каждая запись в DDT — 320 байт, их умножить на количество блоков на диске, блок имеет размер 128к (дефолтный recordsize). Из этой математики вытекает 2,5Гб на 1Тб хранилища, но мелкие файлы и последние байты от файлов не кратных 128к, пишутся блоками меньшего размера, так что DDT будет больше. Также в случае изменения recordsize=8k (так например рекомендуется для MySQL) DDT будет уже 40Гб на 1Тб. Для виртуалок же рекомендуется размер блока в 4к.
Ничего не мешает запустить фринас на указанной вами конфигурации. Насколько я понимаю, в статье речь идет о конфигурации, обладающей максимальной производительностью.
Позвольте я отвечу, почему FreeNAS 10 требуется так много памяти для дедупликации:
Быстрый поиск и чтение первой попавшейся статьи про ZFS Deduplication говорит нам о том, что ZFS поддерживает синхронную (in-line) дедупликацию, т.е. проверка дублирования блоков происходит на лету. Если блок существует в кэше, то на диск он не записывается (ну акромя ссылки). Все это работает прозрачно для приложений и данных.
Сами понимаете, что этот процесс ресурсов это кушает много, хэш блока данных нужно быстро высчитывать процессором и искать в кэше (который для повышения быстродействия хранится в оперативной памяти). В итоге скорость записи на том ограничивается производительностью процессора и доступной памятью под кэш. Если кэш хранится на диске, то считывать его каждый раз (пускай и с оптимизациями выборки) себе дороже — это просто убивает производительность дисковой подсистемы.
В то же в время в Windows Server нет дедупликации на лету, там дедупликация и сборка мусора это два разных процесса запускаемых в разное время. Т.е. мы пишем данные, потом в сервисное время проходимся по всему набору данных и ищем одинаковые блоки, дедуплицируем их. Последующая сборка мусора высвобождает место от блоков которые были продедуплицированы.
Поэтому дедуплицируемые тома Windows Server очень подходят к файлопомойкам, и не подходят для бэкап стороджей, если свободного места меньше двух полных бэкапов всех данных в сутки (при условии что время бэкапа + время дедупликации + время сборки мусора меньше суток)
Быстрый поиск и чтение первой попавшейся статьи про ZFS Deduplication говорит нам о том, что ZFS поддерживает синхронную (in-line) дедупликацию, т.е. проверка дублирования блоков происходит на лету. Если блок существует в кэше, то на диск он не записывается (ну акромя ссылки). Все это работает прозрачно для приложений и данных.
Сами понимаете, что этот процесс ресурсов это кушает много, хэш блока данных нужно быстро высчитывать процессором и искать в кэше (который для повышения быстродействия хранится в оперативной памяти). В итоге скорость записи на том ограничивается производительностью процессора и доступной памятью под кэш. Если кэш хранится на диске, то считывать его каждый раз (пускай и с оптимизациями выборки) себе дороже — это просто убивает производительность дисковой подсистемы.
В то же в время в Windows Server нет дедупликации на лету, там дедупликация и сборка мусора это два разных процесса запускаемых в разное время. Т.е. мы пишем данные, потом в сервисное время проходимся по всему набору данных и ищем одинаковые блоки, дедуплицируем их. Последующая сборка мусора высвобождает место от блоков которые были продедуплицированы.
Поэтому дедуплицируемые тома Windows Server очень подходят к файлопомойкам, и не подходят для бэкап стороджей, если свободного места меньше двух полных бэкапов всех данных в сутки (при условии что время бэкапа + время дедупликации + время сборки мусора меньше суток)
Windows Storage Spaces и виндовая же дедупликация это независимые друг от друга вещи. Одно другого не требует.
Дедупликация вполне предсказуема, если знать противопоказания: архивы, медиаданные, шифрованные файлы, т.е. все что содержит уникальный сжатый набор данных на каждом отдельном файле.
Преимуществ много, но они несколько специфичны и требуют понимания как это работает, да и затачиваются под конкретные процессы. В зависимости от возможностей системы резервного копирования скорость бэкапа на дедуплицируемое хранилище может ускоряться в сотни раз и узким местом будет всегда являться источник.
Дедупликация вполне предсказуема, если знать противопоказания: архивы, медиаданные, шифрованные файлы, т.е. все что содержит уникальный сжатый набор данных на каждом отдельном файле.
Преимуществ много, но они несколько специфичны и требуют понимания как это работает, да и затачиваются под конкретные процессы. В зависимости от возможностей системы резервного копирования скорость бэкапа на дедуплицируемое хранилище может ускоряться в сотни раз и узким местом будет всегда являться источник.
ZFS кеширует случайное чтение в память. Так же дедупликация происходит онлайн. Таблицу дедупликации тоже нужно держать в памяти. Отсюда и такие требования к памяти. По поводу SS — сколько дисков он может потерять до развала массива?
Оно может потреблять мизер.
На файловой системе ext, на файловой системе ufs
Но если вы хотите чтобы все круто работало и были задействованы волшебные фичи, к примеру, до сих пор непревзойденная фича ZFS с её концепцией «файловая система и есть RAID, а других нижестоящих RAID нам и не нужно», кэшированием SSD, дедупликацией и снэпшотами — то памяти крайне желательно.
Кроме того, не забывайте, что здесь подразумевается «enterprise»-использование.
Для дома же можно и поджать требования — и вы даже не заметите разницу.
Но — для дома.
На файловой системе ext, на файловой системе ufs
Но если вы хотите чтобы все круто работало и были задействованы волшебные фичи, к примеру, до сих пор непревзойденная фича ZFS с её концепцией «файловая система и есть RAID, а других нижестоящих RAID нам и не нужно», кэшированием SSD, дедупликацией и снэпшотами — то памяти крайне желательно.
Кроме того, не забывайте, что здесь подразумевается «enterprise»-использование.
Для дома же можно и поджать требования — и вы даже не заметите разницу.
Но — для дома.
ZFS, безусловно, хороша, но все забывают сказать про её волшебную фичу «когда массив занят на 80% запись превращается в тыкву».
Особенно это прекрасно на стораджах на 50-100тб, когда про 10-20тб вам придется забыть.
Адепты вам скажут, что не надо так делать. Но что делать, если мне таки надо? Увы.
Особенно это прекрасно на стораджах на 50-100тб, когда про 10-20тб вам придется забыть.
Адепты вам скажут, что не надо так делать. Но что делать, если мне таки надо? Увы.
Но это, как говорится, уже совсем другая история тема для отдельной статьи.
Если надо занять 99% диска для энтерпрайз-использования — это повод задуматься о смене работы =) Вообще говоря все файловые системы в здравом уме резервируют свободное место, и NTFS при полном забивании диска тоже будет тупить. А на домашнем NAS с zfs и полное забивание диска не приводит к полной остановке хранилища, скорость записи и чтения остается приемлемой. Но такая особенность присутствует, надо просто о ней помнить.
Почему? У нас набор статичных данных для анализа. На XFS я забиваю под горлышко — и всё прекрасно и замечательно. Задуматься, конечно, можно, думать вообще полезно. Но не по этой причине.
И резервирование здесь ни при чем, это следствие copy-on-write. Он имеет плюсы и минусы. А все говорят только о плюсах — это не честно.
Домашний zfs я не очень понимаю. Без ECC памяти — ну его нафиг, а ECC либо сильно сужает выбор платформы, либо неплохо поднимает цену.
И резервирование здесь ни при чем, это следствие copy-on-write. Он имеет плюсы и минусы. А все говорят только о плюсах — это не честно.
Домашний zfs я не очень понимаю. Без ECC памяти — ну его нафиг, а ECC либо сильно сужает выбор платформы, либо неплохо поднимает цену.
Вы говорите о вполне узком случае. Могу тоже рассказать про кэширующие сервера, для которых был выбран XFS, потому как на ext4 удаление файла — долгая блокирующая операция, и один тред nginx, чистящий кэш, не успевал его чистить. Есть сценарии для применения XFS, есть и для ZFS. Я, например, не представляю, как бы я держал девелоперские копии продакшен БД без клонов — объем базы большой.
Что касается домашних NAS, то HP Microserver — наш выбор ;) Память ECC, но встает и обычная. Ну дороговат стал, но и харды сейчас недешевые.
Да и потом, сбой в одном байте на фотке или фильме с торрента — не критичен совершенно. А полное разрушение файловой системы от сбоев памяти — все же большая редкость.
Что касается домашних NAS, то HP Microserver — наш выбор ;) Память ECC, но встает и обычная. Ну дороговат стал, но и харды сейчас недешевые.
Да и потом, сбой в одном байте на фотке или фильме с торрента — не критичен совершенно. А полное разрушение файловой системы от сбоев памяти — все же большая редкость.
> А полное разрушение файловой системы от сбоев памяти — все же большая редкость.
Может у вас есть статистика?
А выход из строя двух разных серверов в интервале 10 минут — это редкость? А вот я наблюдал лично. И я — лично — не хочу проверять теорию вероятностей на архиве фоток моего ребенка (да да, я делаю несколько копий на географически разнесенных серверах, но я намеренно упрощаю).
В конце-концов, вам разработчик английским по белому пишет — если ZFS, то нужна ECC память и не обсуждается. Так, чисто логически, если мне не верить, не просто же так они это написали, верно?
Может у вас есть статистика?
А выход из строя двух разных серверов в интервале 10 минут — это редкость? А вот я наблюдал лично. И я — лично — не хочу проверять теорию вероятностей на архиве фоток моего ребенка (да да, я делаю несколько копий на географически разнесенных серверах, но я намеренно упрощаю).
В конце-концов, вам разработчик английским по белому пишет — если ZFS, то нужна ECC память и не обсуждается. Так, чисто логически, если мне не верить, не просто же так они это написали, верно?
Домашний zfs я не очень понимаю.Делаем ежесуточные снапшоты. Поймали вирус-шифровальщик на свой ноут, обана! А снапшот вчерашний на NAS есть, вот они, нетронутые фоточки котиков моих!
Даже без ECC и на одном диске уже появляется дополнительный панцирь.
Вам не приходят письма из налоговой «01.12 последний день оплаты налогов физлицами, а у вас за недвижимость недоплачено 3руб 35коп!» и ссылочка, которая выглядит как живая, а ведет… Ну мы не нажмём, потому что
— а у Машеньки админ включил Software Restriction Policy. ))
Но иметь копии «на вчера» — всё равно, очень полезная возможность.
Но иметь копии «на вчера» — всё равно, очень полезная возможность.
Ах шалун… К Машеньке значиццо он полиси настраивать, пока её суровый муж-лесоруб на вахте? Ох, вернется он без звонка пораньше! Лучше уж снапшоты. ;-)
Не взлетит эта полиси, вылезет стандартное «админские привилегии даем?» и она топнет Дык-ёлы-палы!. Дальше вирус начнет шифровать на \\homebackup\kotiki\ файло и, что характерно, всё зашифрует! И вот тогда уже можно снапшотик откатить, когда муж сам позвал, водку охладил и Машеньку заставил пельмешков сварить.
Безопасность же — прежде всего. Комплексная, отож!
Не взлетит эта полиси, вылезет стандартное «админские привилегии даем?» и она топнет Дык-ёлы-палы!. Дальше вирус начнет шифровать на \\homebackup\kotiki\ файло и, что характерно, всё зашифрует! И вот тогда уже можно снапшотик откатить, когда муж сам позвал, водку охладил и Машеньку заставил пельмешков сварить.
Безопасность же — прежде всего. Комплексная, отож!
Почему это не взлетит? В этой самой полиси запрещается запуск всего и вся кроме того, что находится в Program Files. И в этом случае вылезает ток одно окошко — с посылом нах.
Вы админом работаете? Набор:
Вас таки застукал муж идал по морде выгнал так, что больше к Машеньке ни-ни. Венда поломалась, она позвонила по бумажке из почтового ящика «частный компьютерный мастер Ваня», пока Ваня восстанавливал ноут, вам икалось.
Муж свалил кедровую поляну, получил премию и купил ей новый ноутбук с вин-10 и она радостно стала настраивать на нём любимые ффконтактики.
К Машеньке сюрприз!-сюрприз! ходите не только вы, но и Костя со своим ноутом, который он цепляет к домашнему вайфаю. Она такая, у неё пунктик насчет ИТшников.
Муж стал начальником участка и с первой новой зарплаты купил Машеньке айфон-8 с иос-12 и там-таки маркетолухи заставили инженеров сделать дыру и обана! вирус!
Машенька обнаружила на топорище губную помаду, на два тона отличающуюся от её, устроила эль-скандале и потерла все фоточки свадьбы и котиков. Потом выплакалась, остыла, простила, вспомнила вас, Костю, раскраснелась от стыда (муж подумал, что от его объятий), а фоточки уже тю-тю.
Куды бечь? В то время как от всех ситуаций моё решение снапшотиков — лечит.
Не благодарите, я вас виртуально обидел в первой гипотезе. ;-)
Вас таки застукал муж и
Муж свалил кедровую поляну, получил премию и купил ей новый ноутбук с вин-10 и она радостно стала настраивать на нём любимые ффконтактики.
К Машеньке сюрприз!-сюрприз! ходите не только вы, но и Костя со своим ноутом, который он цепляет к домашнему вайфаю. Она такая, у неё пунктик насчет ИТшников.
Муж стал начальником участка и с первой новой зарплаты купил Машеньке айфон-8 с иос-12 и там-таки маркетолухи заставили инженеров сделать дыру и обана! вирус!
Машенька обнаружила на топорище губную помаду, на два тона отличающуюся от её, устроила эль-скандале и потерла все фоточки свадьбы и котиков. Потом выплакалась, остыла, простила, вспомнила вас, Костю, раскраснелась от стыда (муж подумал, что от его объятий), а фоточки уже тю-тю.
Куды бечь? В то время как от всех ситуаций моё решение снапшотиков — лечит.
Не благодарите, я вас виртуально обидел в первой гипотезе. ;-)
Честно? Еще с самого начала той жуткой истории про Машу, я для себя решил что «бечь» нужно от нее, ее ноута, и как можно дальше.
И как правило, таких Маш и их мужей не спасут и снапшоты: во первых они таких слов боятся, во вторых все равно делать не будут, в третьих — очередной «мастер Ваня» и снапшоты поудаляет.
А если рассматривать вариант что это не Машин домашний ноут, а рабочий ПК?
И как правило, таких Маш и их мужей не спасут и снапшоты: во первых они таких слов боятся, во вторых все равно делать не будут, в третьих — очередной «мастер Ваня» и снапшоты поудаляет.
А если рассматривать вариант что это не Машин домашний ноут, а рабочий ПК?
Так ведь некоторые криптолокеры и снапшотики удаляют.
Спасибо, что такое снапшоты и крипторы — я в курсе. «Не понимаю» относилось не к тому, что я не понимаю, как это работает, а «зачем оно в нашем зоопарке».
«Даже без ECC», я вас, вероятно, расстрою, вы имеете далеко не нулевой шанс потерять сразу весь пул, вместе с вашими снапшотами, тк ZFS безоглядно доверяет значениям в памяти. При этом нужно помнить, что чем больше памяти, тем больше вероятность поймать ошибку. Именно поэтому для ZFS память должна быть с ECC.
А снапшоты, внезапно, даже windows давно умеет делать. Да, не такие, как ZFS, да — эти снапшоты первым делом пытается удалить любой мало-мальски умный криптовальщик. Но, поверьте, это максимум что сможет освоить Машенька. FreeNAS — не для неё.
«Даже без ECC», я вас, вероятно, расстрою, вы имеете далеко не нулевой шанс потерять сразу весь пул, вместе с вашими снапшотами, тк ZFS безоглядно доверяет значениям в памяти. При этом нужно помнить, что чем больше памяти, тем больше вероятность поймать ошибку. Именно поэтому для ZFS память должна быть с ECC.
А снапшоты, внезапно, даже windows давно умеет делать. Да, не такие, как ZFS, да — эти снапшоты первым делом пытается удалить любой мало-мальски умный криптовальщик. Но, поверьте, это максимум что сможет освоить Машенька. FreeNAS — не для неё.
Сам фринас не для Машеньки. Но NAS с ним унутре с галочками в веб-морде:
"[ ] защита котиков" и мелким шрифтом ниже: Вы соглашаетесь с тем, что количество поместившихся котиков в корзинке может быть уменьшено.
«Через [ ] дней прогонять старых котиков из корзинки»
Стартап? Отож! 8-)
Я не могу отвечать за все сервера в мире, но у моих клиентов стоит несколько HP microserver gen7, там есс нет, а zfs есть, только оно nas4free. Это для «бекапа в дальнем углу офиса» и я осознаю опасности и это все льется наружу. А еще есть боевая машинка на обычном i7 под всякие owncloud и прочий хостинг, зеркало zfs на 2 дисках, там аптайм эээ… 576 дней, пережила несколько обновлений мира (из сорцов), может даже фришка не 9.х была, а когда-то 8.х. Честно не помню. Не показатель совершенно, это ОДИН сервер и нельзя его распространять на весь мир. Но пашет и пашет.
Но _И_ потеряли nas/zfs _И_ Машенька криптолокернулась — для дома не слишком дорого защитить произведение вероятностей памятью есс? Дешевле мне домой лить ее котиков на мой nas, а я своих на ее nas. Ну шифруя, как в существующих распределенных хранилищах.
Вообще спасибо за тайные знания про "без есс может быть ква", я поизучаю и может эту, с аптаймом 576, буду регулярно ребутить.
"[ ] защита котиков" и мелким шрифтом ниже: Вы соглашаетесь с тем, что количество поместившихся котиков в корзинке может быть уменьшено.
«Через [ ] дней прогонять старых котиков из корзинки»
Стартап? Отож! 8-)
Я не могу отвечать за все сервера в мире, но у моих клиентов стоит несколько HP microserver gen7, там есс нет, а zfs есть, только оно nas4free. Это для «бекапа в дальнем углу офиса» и я осознаю опасности и это все льется наружу. А еще есть боевая машинка на обычном i7 под всякие owncloud и прочий хостинг, зеркало zfs на 2 дисках, там аптайм эээ… 576 дней, пережила несколько обновлений мира (из сорцов), может даже фришка не 9.х была, а когда-то 8.х. Честно не помню. Не показатель совершенно, это ОДИН сервер и нельзя его распространять на весь мир. Но пашет и пашет.
Но _И_ потеряли nas/zfs _И_ Машенька криптолокернулась — для дома не слишком дорого защитить произведение вероятностей памятью есс? Дешевле мне домой лить ее котиков на мой nas, а я своих на ее nas. Ну шифруя, как в существующих распределенных хранилищах.
Вообще спасибо за тайные знания про "без есс может быть ква", я поизучаю и может эту, с аптаймом 576, буду регулярно ребутить.
HP MicroServer с ЕСС памятью выйдет примерно в 2 раза дешевле, чем какой-нибудь синолоджи или кунап (будь он не ладен).
По поводу ресурсов, не углубляясь в прожорливость ZFS, могу сказать следующее — в простое потребление памяти 600-800Мб, при нагрузке не замерял. если у вас просто файловые шары на ВинСервере с нагрузкой на дисковый кэш (если я правильно понял) — то потреблению ресурсов просто неоткуда взяться.
Касательно подсчёта объёма оперативной памяти — создатели FreeNAS рекомендуют такие объёмы памяти для того, чтобы их софт производительно работал и отвечал Enterprise-ready стандартам
Минимальные требования приведены в статье — это 8гб RAM + 8гб USB стик + что-то, на чём планируете хранить данные (жесткие диски). Для «дома» такой конфигурации более чем достаточно, хотя если у вас острая потребность в iSCSI — вам виднее :)
Касательно подсчёта объёма оперативной памяти — создатели FreeNAS рекомендуют такие объёмы памяти для того, чтобы их софт производительно работал и отвечал Enterprise-ready стандартам
Минимальные требования приведены в статье — это 8гб RAM + 8гб USB стик + что-то, на чём планируете хранить данные (жесткие диски). Для «дома» такой конфигурации более чем достаточно, хотя если у вас острая потребность в iSCSI — вам виднее :)
> В то же время мой «NAS» на WinServer2012R2 c 12 ТБ хранилища на базе Storage Spaces с ярусным хранением (быстрый SSD ярус), дедупликацией и прочим, отдающий тома по iSCSI 10G Ethernet — работает на каком-то Pentium с 4 ГБ оперативной памяти (не используя из них даже и 1 ГБ), занимает на диске 13 ГБ с файлом подкачки (это с GUI) и превосходно интегрируется в домен, не требуя каких-то заметных глазу дополнительных ресурсов.
Это не полный аналог.
Скажем таких снэпшотов и такой дедупликации у Windows нет.
FreeBSD способна на том же железе примерно так же работать. Интеграция с доменом по понятным причинам у Windows скорее даже лучше.
> Для FreeNAS же, как я понял, мне понадобилось бы для этого 94 ГБ оперативной памяти (5х12 ГБ для «ZFS дедупликация», 32 ГБ «если нужна производительность iSCSI», 2 ГБ «для внутреннего кеша winbind») и 32 ГБ под системные нужды. Процессор пока не ясен, пусть будет прежний.
Рекомендуется 64-бита. Но это не обязательно.
Я запускал и на 32-битах.
Вы как-то не так подсчитали память 96 Г там не нужно.
Чтобы это шевелилось хоть как нибудь — достаточно и 1 Г, проводились такие эксперименты.
Все прочие рекомендации — это прямо-таки оптимальный оптимум.
Который и для Windows будет выше, если следовать всем правилам.
Это не полный аналог.
Скажем таких снэпшотов и такой дедупликации у Windows нет.
FreeBSD способна на том же железе примерно так же работать. Интеграция с доменом по понятным причинам у Windows скорее даже лучше.
> Для FreeNAS же, как я понял, мне понадобилось бы для этого 94 ГБ оперативной памяти (5х12 ГБ для «ZFS дедупликация», 32 ГБ «если нужна производительность iSCSI», 2 ГБ «для внутреннего кеша winbind») и 32 ГБ под системные нужды. Процессор пока не ясен, пусть будет прежний.
Рекомендуется 64-бита. Но это не обязательно.
Я запускал и на 32-битах.
Вы как-то не так подсчитали память 96 Г там не нужно.
Чтобы это шевелилось хоть как нибудь — достаточно и 1 Г, проводились такие эксперименты.
Все прочие рекомендации — это прямо-таки оптимальный оптимум.
Который и для Windows будет выше, если следовать всем правилам.
Ну просто у меня есть небольшой опыт использования FreeNAS (9.10) в качестве таргета ISCSI и там удается обходится 4ГБ RAM, правда и нагрузки на него особой нету — 4-7 VM всего крутится.
Чего-то вы там перемудрили. У меня домашняя помойка на UnRAID, хотя можно было и самому на Линуксе собрать с такими же параметрами. На 10 Тб винтов — 2 Гб памяти. Операционка на флешке — занято 200Мб. Дедупликация в офлайне. 1 виртуалка для серверов (лень было Докер изучать). И ничего не тормозит.
Дедупликация в офлайне.Потому и не тормозит. Нет необходимости хранить хэши дедуплцированных блоков в оперативной памяти и считать их на лету.
Существует очень много реализаций систем для хранения данных — ZFSguru, NAS4Free, openmediavault и др. У каждой из них разные системные требования, которые в большинстве случаев намного меньше, чем у FreeNAS.
Можно даже самостоятельно собрать хранилище на FreeBSD и ZFS, но исход всегда будет зависеть от области применения. Как только на вашей машине возрастёт нагрузка и потребление ресурсов — тормоза обязательно начнутся.
Можно даже самостоятельно собрать хранилище на FreeBSD и ZFS, но исход всегда будет зависеть от области применения. Как только на вашей машине возрастёт нагрузка и потребление ресурсов — тормоза обязательно начнутся.
Еще есть Nextenta, там используется не FreeBSD, а ядро Sun на котором изначально и рождена ZFS.
Но для энтерпрайзного использования ни одна из этих систем не рекомендует совсем уж никаких ресурсов. Все хотят много.
И это нормально.
Если ты хочешь получить все вкусности ZFS, но нельзя всерьез требовать, чтобы это работало в тех же условиях, где способна едва шевелиться Linux/Ext или FreeBSD/UFS
Но для энтерпрайзного использования ни одна из этих систем не рекомендует совсем уж никаких ресурсов. Все хотят много.
И это нормально.
Если ты хочешь получить все вкусности ZFS, но нельзя всерьез требовать, чтобы это работало в тех же условиях, где способна едва шевелиться Linux/Ext или FreeBSD/UFS
Тогда задам еще такой вопрос:
допустим у нас есть сервер скажем 1CPU 4 Core 16ГБ RAM 4 ТБ сырой емкости.
На выходе хотим получить 1Тб раздаваемый по NFS с дедупликацией + 1Тб отдаваемый по ISCSI.
Как я понимаю для ISCSI нам дедупликация ненужна. Объем RAM есть возможность увеличить.
Как настроить Volume и Dataset`ы для получения нужно результата?
допустим у нас есть сервер скажем 1CPU 4 Core 16ГБ RAM 4 ТБ сырой емкости.
На выходе хотим получить 1Тб раздаваемый по NFS с дедупликацией + 1Тб отдаваемый по ISCSI.
Как я понимаю для ISCSI нам дедупликация ненужна. Объем RAM есть возможность увеличить.
Как настроить Volume и Dataset`ы для получения нужно результата?
Разве нельзя создать раздел (zpool) на всё ваше пространство и в нём создать 2 шары — iSCSI без дедупликации и NFS с дедупликацией, задав для второй квоту по размеру? (в свойствах nfs шары указываем тип — dataset)
Насколько по ISCSI мы можем отдавать только блочное устройство = Volume.
И каков механизм наследования параметров дедупликации и сжатия на ZFS?
То есть нужно ли это включать сразу на zpool, или достаточно включить на назначеном для NFS Dataset`е?
И каков механизм наследования параметров дедупликации и сжатия на ZFS?
То есть нужно ли это включать сразу на zpool, или достаточно включить на назначеном для NFS Dataset`е?
Не уверен насчёт стопроцентной работы глобальной настройки сжатия (по умолчанию корневой dataset имеет lz4), но на каждый dataset шары можно настроить правила отдельно. В описанном вами случае с дедупликацией только NFS — для этой шары включаем данную функцию отдельно.
Вам проще будет самостоятельно установить FreeNAS на виртуальную машину и ознакомиться с текущим функционалом.
Вам проще будет самостоятельно установить FreeNAS на виртуальную машину и ознакомиться с текущим функционалом.
> QNAP, NetApp, Synology
Хорошо вы так, «через запятую», приложили.
Хорошо вы так, «через запятую», приложили.
А в чем глобальное отличие от nas4free, которая лежит в виде «NAS4Free-10.3.0.3 2016-11-27» и не надо ждать еще три месяца до релиза на данной версии freebsd?
А еще она же есть уже на базе 11.0, кто-то хочет фичи zfs посвежее и готов мириться с условностью фришки «ver N.0 это уже боевой релиз»?
Мне бы так, в общем описать набор фич, а не скриншоты, как создавать группы и юзеров. Хотя это и требуется для кого-то, т.е. спасибо за них. 8-)
А еще она же есть уже на базе 11.0, кто-то хочет фичи zfs посвежее и готов мириться с условностью фришки «ver N.0 это уже боевой релиз»?
Мне бы так, в общем описать набор фич, а не скриншоты, как создавать группы и юзеров. Хотя это и требуется для кого-то, т.е. спасибо за них. 8-)
Во-первых, это глобально разные проекты, хоть и выполняют один и тот же функционал — «система хранения данных». FreeNAS — отжатая компанией iXsystems Inc торговая марка у оригинальных разработчиков, которые по видимым причинам решили сделать свой велосипед (отлично ездит и по требованиям менее прожорлив) и назвали его nas4free. Различия в функционале может быть и есть, но скорее на уровне программной настройки системы.
Во-вторых, вышеупомянутые продукты позиционируют себя «немного» по разному. Убедиться в этом можно, открыв главные страницы проектов, где в глаза бросается направление и описан функционал с фичами. Отсюда вытекает и целевая аудитория «фич zfs посвежее» — у FreeNAS она практически отсутствует, но есть 10 beta
Во-вторых, вышеупомянутые продукты позиционируют себя «немного» по разному. Убедиться в этом можно, открыв главные страницы проектов, где в глаза бросается направление и описан функционал с фичами. Отсюда вытекает и целевая аудитория «фич zfs посвежее» — у FreeNAS она практически отсутствует, но есть 10 beta
Т.е. еще 3 месяца будут вылизывать что именно? Набор скриптов и веб-морду для них? Freebsd 10.3 релизнулась April 4, 2016, судя по сайту. Возможно, авторы freenas пилят саму фрю. А через 3 мес уже 11.1 будет стойким оловянным солдатиком c фичами zfs, которые возможно бекпортируют в 10, т.к. плохо у фри с развитием.
Ну целевая аудитория среди админов и там и там примерно одинаковая — если веб-морда не позволяет, ставим галочку напротив ssh и запускаем putty. А там уже zfs send|zfs receive,краснеем у босса восстанавливаемся из бекапа и man zfs, а потом сайт Оракла вдумчиво читаем. 8-)
Мы используем nas4free, я примерно понимаю, на каком шаге обычныйСинологист пользователь без денег на решение «все в коробке» начнет загружать не эти две системы, а какую-нибудь синолоджи-кряк-олл-ин-ван.
Я почто вопрошаю — стоит ли внимательно вчитаться в фичи freenas, там действительно что-то особенное? Ну Вы, как автор статьи, точно знаете, только ли платная поддержка и «как у NetApp, только ПО бесплатное, а мы вам настроим и поддержим втрое дешевле.»
Ну целевая аудитория среди админов и там и там примерно одинаковая — если веб-морда не позволяет, ставим галочку напротив ssh и запускаем putty. А там уже zfs send|zfs receive,
Мы используем nas4free, я примерно понимаю, на каком шаге обычный
Я почто вопрошаю — стоит ли внимательно вчитаться в фичи freenas, там действительно что-то особенное? Ну Вы, как автор статьи, точно знаете, только ли платная поддержка и «как у NetApp, только ПО бесплатное, а мы вам настроим и поддержим втрое дешевле.»
Блин, я фак все-таки посмотрел. Жестковато, имхо: «Other filesystems, including UFS, NTFS, FAT, EXT2 and EXT3 are supported “read only”, in order to allow data migration onto a ZFS volume.»
Т.е. воткнуть в порт esata диск и делать туда бекап, а если наш NAS из палочек и глины, обмотанный синей изолентой поломался, то воткнуть диск в ближайший вин-ноутбук и покопировать данные уже никак? Т.е. сразу позиционирование — замена netapp, толстый iSCSI, 10Gbit это для нищих, а так-то FibreChannel и прочие решения с начальной планкой $100K. Я вот не уверен, что у фришки так хорошо с драйверами под сеть, чтобы в энтерпрайз позиционироваться, чай не эпл с тремя типами сетевушек.
Но да, восхищен планкой. Тогда минимальные требования логичны, я это,краснею отзываю предыдущие вопросы. Был неправ, вспылил, считаю..., раскаиваюсь..., ушёл.
Т.е. воткнуть в порт esata диск и делать туда бекап, а если наш NAS из палочек и глины, обмотанный синей изолентой поломался, то воткнуть диск в ближайший вин-ноутбук и покопировать данные уже никак? Т.е. сразу позиционирование — замена netapp, толстый iSCSI, 10Gbit это для нищих, а так-то FibreChannel и прочие решения с начальной планкой $100K. Я вот не уверен, что у фришки так хорошо с драйверами под сеть, чтобы в энтерпрайз позиционироваться, чай не эпл с тремя типами сетевушек.
Но да, восхищен планкой. Тогда минимальные требования логичны, я это,
На сколько мне известно — монетизация у FreeNAS осуществляется за счёт продажи фринас-коробок и трунас-юнитов, в последних платный продукт TrueNAS более стабилен (как швейцарские часы, enterprise и все дела) и туда входят качественно протестированные на хомячках компоненты и обновления, плюс платная поддержка, либо форум для простых смертных.
Технически можно копировать на вторые «палочки и глину» и передавать информацию через изоленту, но даже сами разработчики рекомендуют делать полноценные бэкапы на аналогичные хранилища, только чуть-чуть попроще, чтобы только хранили ваш бэкап и общались по сети с основным сервером (меню Peering).
При падении диска в массиве он же в рид-онли перейдёт пока не вытянешь оттуда данные или не вставишь новый диск и не запустишь «ребилд», разве нет?
Технически можно копировать на вторые «палочки и глину» и передавать информацию через изоленту, но даже сами разработчики рекомендуют делать полноценные бэкапы на аналогичные хранилища, только чуть-чуть попроще, чтобы только хранили ваш бэкап и общались по сети с основным сервером (меню Peering).
При падении диска в массиве он же в рид-онли перейдёт пока не вытянешь оттуда данные или не вставишь новый диск и не запустишь «ребилд», разве нет?
сами разработчики рекомендуют делать полноценные бэкапы на аналогичные хранилища
Ну тогда точно надо идти очередь в кассу занимать за netapp. Нет, сначал же в банк за кредитом!
;-)
Я имел в виду — живет у нас HP Microserver c 4 дисками и usb-флешкой унутре с freenas и на нем сделана файлопомоечка. Втыкаем ему в
Понятно, что резервную копию надо делать на железяку в самом дальнем углу офиса от этого NAS'а, а архивную копию уносить наружу по инету/на диске.
При падении диска в массиве он же в рид-онли перейдёт
Не-не, zfs умеет raidz1 (=raid5) один диск вылететь может, raidz2 (=raid6) — два диска могут, ну и raidz3, по аналогии понятно. А потом их клеить можно в зеркало/страйп и будут разные raid50 и прочие чудесатые конфиги с кеш-поддержкой в памяти и на ssd.
Поэтому мы вместо usb диска берём диск чуть дороже (NAS). И заливаем на него данные по сети через nfs. После чего его даже перетыкать никуда не нужно будет, и так все будет доступно. Гигабита будет вполне достаточно для жёсткого диска.
По ценам Амазона, WD My Cloud на 6 TB стоит всего на 10 баксов дороже диска в нём (WD RED 6TB).
По ценам Амазона, WD My Cloud на 6 TB стоит всего на 10 баксов дороже диска в нём (WD RED 6TB).
Тот ZFS что в линуксе не совместим с тем, что на фре. Прочитать не выйдет на другой системе.
Мысль как раз «если только zfs, то это плохо». Так бы я сделал ntfs на esata диске и получил «быстровтыкаемый в любой вин-ноутбук бекап с очень важными данными».
А реализации нативного zfs от Оракла, freebsd, openbsd, linux — вообще не совместимы? Т.е. любая привнесенная фича класса «шифрование» у всех [будет] по разному? Я думал, там posix-zfs есть какой-то и некое ядро пилят вместе. Пичалька.
А реализации нативного zfs от Оракла, freebsd, openbsd, linux — вообще не совместимы? Т.е. любая привнесенная фича класса «шифрование» у всех [будет] по разному? Я думал, там posix-zfs есть какой-то и некое ядро пилят вместе. Пичалька.
Так бы я сделал ntfs на esata диске и получил «быстровтыкаемый в любой вин-ноутбук бекап с очень важными данными».на клиентских системах данные находящиеся на дедуплицированном серверной вендой томе не читаются. вернее читаются, но там файлы с нулевым размером. всегда требуется установленная роль дедупликации
Да, это так.
Обходной вариант: pass-true HDD подключённый к виртуальной машине на серверной ОС с установленной фичей дедупликации.
Обходной вариант: pass-true HDD подключённый к виртуальной машине на серверной ОС с установленной фичей дедупликации.
Я опишу исходную идею «из веточек и синей изоленты» единым куском.
1. NAS для бекапов, унутре zfs (любые навороты: диски, рейды, дедуп, шифрование geli до пула, ...), втыкаем в esata/usb диск, делаем ntfs. Вытягиваем из работников инфу, что самое-самое важное, ее бекап копируем на этот диск. Медленно и печально. Там нет vss, нет дедупликации, тупой примитивный бесплатный *nix/ntfs.
2. Все плохо, админ в отпуске/у другого клиента. Охранник открывает комнату/шкаф, некто давит на питание, выдергивает диск, вставляет в любой вин-ноут.
Если стоит nas4free — такое катит, если freenas — такое не катит. Для iscsi и томов для esxi наверняка freenas лучше.
Вариант от DaemonGloom: однодисковый nas взамен usb hdd. Ключ от шкафа заменяем на конверт с логпассом у того же охранника.
Расписать плюсы и минусы, стоимость, озвучить клиенту, выбрать.
1. NAS для бекапов, унутре zfs (любые навороты: диски, рейды, дедуп, шифрование geli до пула, ...), втыкаем в esata/usb диск, делаем ntfs. Вытягиваем из работников инфу, что самое-самое важное, ее бекап копируем на этот диск. Медленно и печально. Там нет vss, нет дедупликации, тупой примитивный бесплатный *nix/ntfs.
2. Все плохо, админ в отпуске/у другого клиента. Охранник открывает комнату/шкаф, некто давит на питание, выдергивает диск, вставляет в любой вин-ноут.
Если стоит nas4free — такое катит, если freenas — такое не катит. Для iscsi и томов для esxi наверняка freenas лучше.
Вариант от DaemonGloom: однодисковый nas взамен usb hdd. Ключ от шкафа заменяем на конверт с логпассом у того же охранника.
Расписать плюсы и минусы, стоимость, озвучить клиенту, выбрать.
user-friendly интерфейс
UI syn*logy видели когда-нибудь?
8 GB RAM*
Взвыл
Я ставил лет пять назад в одной фирме это чудо на 4 дисках по 1 ТБ в raidz2. И однажды это спасло данные когда диск умер. Но вот недостаток был, это когда приходил oom killer и ядро в kernel panic из-за нехватки памяти падало. Тогда после перезагрузки долго, пару часов иногда, восстанавливался пулл.
А подскажите, как сейчас дело обстоит с эмуляцией ленточек (VTL) у этого комбайна, есть, работает?
На сколько мне известно, на сегодняшний день FreeNAS 10 из коробки не предоставляет такого функционала (и если не ошибаюсь, то и в 9.Х ветке такого нет). Однако, если взять в руки напильник, то можно подключить стример. Нашел немного о невозможности VTL на FreeBSD (дата сообщений очень старая, за такой промежуток времени возможно что-то и изменилось, а может и нет)
Производит впечатление какого-то монструозного комбайна.
Предыдущие версии просто работали, не требуя обслуживания. Особенно мне нравилась простота интеграции в виндовый домен Active Directory.
Предыдущие версии просто работали, не требуя обслуживания. Особенно мне нравилась простота интеграции в виндовый домен Active Directory.
Используем FreeNAS 9.10 как SSD хранилище(FC target) для RDS фермы. Мониторим с Zabbix agent (S.M.A.R.T., iops, free space и тд.) VMWare прекрасно с ним работает. Уже несколько раз обновляли ветку 9.10 на update1,2,3. Работает шикарно. Это воистину прекрасная альтернатива брендовой хранилке. Всегда ждем неделю-две после релиза ногово билда перед обновлением и делаем бекапы конфигурации. Я это всё написал для тех кто рассматривает подобные решения у себя. Да, это работает! И работает на удивление стабильно :)
Совсем недавно начали использовать в качестве хранилища по этому гайду https://b3n.org/freenas-9-3-on-vmware-esxi-6-0-guide/ Пробросили в виртуалку HBA.
Пока для внутреннего использования + лаба. Альтернатива — Napp-it http://www.napp-it.org/ Но с последним была трабла — не поддерживает нормально NVMe диски. В частности с Intel P3600 в качестве ZIL/L2ARC была проблема, после ребута система не грузилась. Разработчик указывал на проблему с NVMe драйвером в illumos. А вот FreeNAS работает стабильно, хотя производительность несколько ниже.
Пока для внутреннего использования + лаба. Альтернатива — Napp-it http://www.napp-it.org/ Но с последним была трабла — не поддерживает нормально NVMe диски. В частности с Intel P3600 в качестве ZIL/L2ARC была проблема, после ребута система не грузилась. Разработчик указывал на проблему с NVMe драйвером в illumos. А вот FreeNAS работает стабильно, хотя производительность несколько ниже.
А можно поподробнее:
Как оно виртуалки запускает и как с Docker дружит, если там внутри FreeBSD крутится?
Как оно виртуалки запускает и как с Docker дружит, если там внутри FreeBSD крутится?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
FreeNAS 10 — новое лицо старого хранилища