электрометр — о да, я поставлю это себе в backlog микроэлектронных проектов! Телеметрия энергопотребления по IP:) Почти как электросчетчики в новых домах с шиной RS485.
AMDmi3, и дай Вам Бог никогда не решать противоречивые задачи со взаимоисключающими условиями:) Ну будто Вы не знаете, как в реальности приходится проталкиваться через технико-экономические щели и коридоры требований заказчиков. «Сделайте это, и вот это, и вон то, но вот за столько-то». Я вот свой математический максимализм убрал давно в п… портмоне, просто надо риски взвешивать и сопоставлять с бюджетом. Малый бизнес-стартап и домашний NAS, тут полно таких.
Как только будет реально надо, перейдем на серверное железо с ZFS или чем еще, будем тут тоже рисовать красивые комменты «у меня массив X терабайт на RAIDZN выдает почему-то 100000000Мб/с, хотя должен 999999999» :)))
Это не запись орбитальных экспериментов за год, это файловый архив, воспринимайте его как набор сменных дисковых картриджей. Потеряли один — посчитаем, сколько стоит восстановить, сравним со стоимостью данных и примем решение. Два из пяти потеряем вряд ли.
За комменты в любом случае спасибо, которое я выразил Вам в +1, но предлагаю уже не мусолить дальше эту тему, хотите, перейдем в личку…
у меня после отказа питания где-то через полчаса все тома gmirror были уже оптимальные
полная синхронизация за такое время на моем железе невозможна
какой вывод?
AMDmi3, я так понял, Вас не устраивает термин виртуализация по отношению к запуску chroot-окружения с использованием бинарной совместимости. Хотя формально Вы правы, я обычно не цепляюсь к термину виртуальная, у него может быть ну очень широкое трактование. К тому же, что такое виртуальная машина, знают многие. А вот что такое песочница и chroot, то м.б. и не все резиденты хабра. Но я все равно поправлю:)
At this time, the Linux distro must be a 32-bit version and any applications installed into the jail must be available as a 32-bit binary.
Собственно, команда FreeNAS и поддерживает хранилище деревьев для разных систем и диалектов Linux (называется просто Jail Template), и тут чертик подставляет пингвинчику плечо, а не ногу или другую часть тела. В 9.2.0 ссылки на шаблоны видны прямо в GUI, можно свои использовать при необходимости. Вот, например, CentOS: cdn.freenas.org/9.2.0/RELEASE/x86/jails/linux-centos-6.4.tgz
У фришки вся эта история делится условно на три фазы (boot.config, loader.conf и прочий userland output), причем первые две дублируются при желании на VGA и в RS232, но самое интересное (userland output с матюками fsck и требованием вмешаться) выдается только в одно место. И чтобы этим местом был RS232, надо сказать в loader.conf
console="comconsole,vidconsole"
признаюсь, это очень компактное объяснение, но мы его можем потом развить.
вероятно, что с ZFS fsck работает по-другому.
вообще, очень рекомендую использовать для экспериментов систему виртуализации Вымой Варю. Например, Workstation. Я вот запустил там FreeNAS (можно и голую фришку), выведя аж два виртуальных COM-порта через файл-сокет на хост Windows и «поймав» их прямо в putty. Долго недоумевал, почему fsck говорит со мной на VGA, сколько я ни стараюсь. Разобрался в итоге (см. выше).
RuJet, фича появилась буквально недавно, кажется, в 9.2, и фактически сорвала пробку, под которой сидело море всяких утилит для работы с файлами и облачными хранилищами, полезных и бесполезных.
Добавляем Jail типа Linux (выбрав нужный диалект), надо только сначала указать один из томов хранилища, где все это будет лежать. FreeNAS некоторое время загружает образ файловой системы (интерфейс GUI может при этом тупить, потерпите). Потом с помощью того же mount_nullfs(8) инжектируем в jail нужную папку нашего хранилища. Ну а дальше насколько фантазии хватит. Можно поставить клиента облачного сервиса Брось Бокс, ибо под Linux (в отличие от FreeBSD) их как грязи, по-моему. Можно торрент-качалку. Можно анализатор EXIF-тегов. Можно антивирус. Можно сборщик мусора. Да все, что хотите:)
Да, серийники у них на спинах гермоблоков, и всегда скрыты соседями по отсекам. В документации я всех пишу по серийникам, вот только как их лепить? Ленточный термопринтер? Простой скотч с бумажкой? Пожалуй, это вариант, с торца видеть точно удобнее.
Не ставьте старые диски в только что собранные серверы, они накрываются (к счастью, довольно быстро, но все равно не сразу:). Я опубликую короткую заметку на тему отказов.
Б/У серверы, конечно, риск, но там есть ECC-память, и я видел один ролик, где слегка нестриженный хлопец переделал DL380G5 под SATA, выпилив (буквально) пластиковые салазки и поработав с паяльником над блоком питания. По странному стечению обстоятельств он использовал тот же PCI контроллер A-224. Старый или Б/У сервер — один из вариантов под объемное, но не самое критичное хранение. Обязательно используйте ECC-память, лучше много, тогда можно и ZFS. Мне кажется, что из БУ лучше какой-нибудь Харлампий-Панкрат, но всю механику очень желательно заменить.
Помимо того, что сейчас лежит в черновиках, у меня будет еще (я надеюсь) через какое-то время пост про «безголовый» режим и serial console поверх IP. Я хочу попробовать себя немного в жанре пром. электроники, изготовив простой бортовой контроллер: http://toster.ru/q/71632
Disasm, при всем уважении вычитка 2Тб на такой скорости займет примерно 230 дней :))
Да и корень проблемы механический, головки там скачут туда-сюда и все в таком духе. А сколько по проводу бит пройдет — уже не так важно.
Kwull, хороший вариант, и я люблю запах нового железа, особенно утром:) Хотя диски можно брать и по 4Тб, но оставаться с 4 шпинделями при таких апетитах, как у моего заказчика, показалось несколько рискованным, и железо старое хотелось пристроить.
но читателю рекомендую всегда считать совокупную стоимость дисковой подсистемы, ибо в NAS она определяющая, и выгода от ёмких дисков может перевесить всё остальное.
Если бы знал про n36l, правда, подумал бы дважды. Кстати, а что там у него в качестве SATA контроллера? На этом FreeNAS работает? Прошивка не глючная?
флэшку только не вздумайте покупать за пару евро:), я об этом расскажу вскоре, спасибо, коллега
amarao, там старый PCI и около 100Мбайт/с по шине на всех, включая Gigabit Ethernet, так что на сложные вопросы вынужден дать простой ответ: все довольно медленно (что-то около 30Мб/с на линейной записи), но зато относительно надежно и дешево. Для малой рабочей группы хватает.
Пара — это том gmirror(8), который монтируется на свою папку. Про режимы управления записью см. фришные доки. Я в стартовых скриптах в итоге применил mount_nullfs(8), чтобы выглядело понятнее для пользователей. Понятное дело, что при таких делах еще пришлось дурить самбу по свободному месту, применил опцию dfree command из smb.conf(5).
В итоге для пользователей это выглядит примерно так:
\\NAS\SHARE\
\\NAS\SHARE\X1
\\NAS\SHARE\X2
\\NAS\SHARE\X3
…
На все остальные вопросы про спары, latency и прочее мне пытаться ответить или можно не мучиться? Я просто не уверен, что все слова понял в Вашем вопросе:)
вижу, что на пост пришел таки специалист по хранению данных:) Давайте подумаем вместе.
Вероятность второго механического отказа при реконструкции RAID5 сопоставима с моим разборным массивом из N томов-зеркал (RAID1), если все мои зеркала уходят в длинную реконструкцию («плохой» отказ по питанию? замена половины дисков сразу?). Однако даже в таком случае второй отказ диска губит только одно зеркало из N, а не всех. Да и почему обязательно должен отказать второй диск в той же паре? Вероятно, но мало.
Другая опасность RAID5 — это проявление URE на дешевых монолитных томах около 12Тб и далее. В моем случае есть теоретически обоснованная устойчивость к URE, потому что размер каждого тома весьма далек от критической отметки.
Наконец, скорость. Мой разборный массив из зеркал ограничен по скорости восстановления шиной PCI, а вот насчет RAID5 я уже совсем не уверен. Интуитивно это будет еще в два-три раза медленнее. Ваша оценка? Сколько Тб в сутки соберет RAID5 на том хламе, который я использовал?
Не забываем про разборность и оффлайн хранение, это не монолитный RAID5. А что в ZFS? Там можно заданный Бизнесом кусок файловой системы отправить в оффлайн (отключить и убрать в шкаф данные за 2012 год)? Кажется, что-то такое было, но не совсем в моей постановке задачи. Расскажите, если знаете.
В целом ремонтопригодность у UFS / GEOM RAID1 считаю ощутимо выше, чем у RAID5 и у ZFS, особенно какими-нибудь попавшими под руку утилитами, ибо себя к суперспецам по восстановлению не отношу. Отказ технологичной ZFS меня пугает невозможностью вообще что-то предпринять. Мне нужен автомат Калашникова в сфере хранения данных, легкоразборный, ремонтопригодный, и без требований по ОЗУ (у меня его просто не было по экономическим причинам, о чем я уже говорил).
все верно, коллега, порекомендуйте, пожалуйста, чем спасать 6-10Тб данных? предприятия покупают упомянутый стриммер LTO6, там начало разговора где-то у 100,000руб. без картриджей.
Лично мне тут в голову не приходит ничего, кроме дешевых дисков SATA уже на 4Тб в USB-конструктиве.
Конечно, более приспособленным для нашей задачи является всё-таки представитель линейки NAS HDD ST2000VN000: данная модель обладает полезнейшим для массива ERC...
а во время реконструкции все довольно грустно, само собой:)
Как только будет реально надо, перейдем на серверное железо с ZFS или чем еще, будем тут тоже рисовать красивые комменты «у меня массив X терабайт на RAIDZN выдает почему-то 100000000Мб/с, хотя должен 999999999» :)))
Это не запись орбитальных экспериментов за год, это файловый архив, воспринимайте его как набор сменных дисковых картриджей. Потеряли один — посчитаем, сколько стоит восстановить, сравним со стоимостью данных и примем решение. Два из пяти потеряем вряд ли.
За комменты в любом случае спасибо, которое я выразил Вам в +1, но предлагаю уже не мусолить дальше эту тему, хотите, перейдем в личку…
FYR, европейских рублей, а не американских:)
полная синхронизация за такое время на моем железе невозможна
какой вывод?
на всякий случай: прошивой firmware никак не лечилось?
и в уже означенной документации FreeNAS ссылка стоит почти туда же (она битая, ха-ха: www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/linuxemu.html), т.е. http://www.freebsd.org/doc/en/books/handbook/linuxemu.html.
Собственно, команда FreeNAS и поддерживает хранилище деревьев для разных систем и диалектов Linux (называется просто Jail Template), и тут чертик подставляет пингвинчику плечо, а не ногу или другую часть тела. В 9.2.0 ссылки на шаблоны видны прямо в GUI, можно свои использовать при необходимости. Вот, например, CentOS: cdn.freenas.org/9.2.0/RELEASE/x86/jails/linux-centos-6.4.tgz
У фришки вся эта история делится условно на три фазы (boot.config, loader.conf и прочий userland output), причем первые две дублируются при желании на VGA и в RS232, но самое интересное (userland output с матюками fsck и требованием вмешаться) выдается только в одно место. И чтобы этим местом был RS232, надо сказать в loader.conf
признаюсь, это очень компактное объяснение, но мы его можем потом развить.
вероятно, что с ZFS fsck работает по-другому.
вообще, очень рекомендую использовать для экспериментов систему виртуализации Вымой Варю. Например, Workstation. Я вот запустил там FreeNAS (можно и голую фришку), выведя аж два виртуальных COM-порта через файл-сокет на хост Windows и «поймав» их прямо в putty. Долго недоумевал, почему fsck говорит со мной на VGA, сколько я ни стараюсь. Разобрался в итоге (см. выше).
Вклеиваю в пост прямо сейчас.
Добавляем Jail типа Linux (выбрав нужный диалект), надо только сначала указать один из томов хранилища, где все это будет лежать. FreeNAS некоторое время загружает образ файловой системы (интерфейс GUI может при этом тупить, потерпите). Потом с помощью того же mount_nullfs(8) инжектируем в jail нужную папку нашего хранилища. Ну а дальше насколько фантазии хватит. Можно поставить клиента облачного сервиса Брось Бокс, ибо под Linux (в отличие от FreeBSD) их как грязи, по-моему. Можно торрент-качалку. Можно анализатор EXIF-тегов. Можно антивирус. Можно сборщик мусора. Да все, что хотите:)
Не ставьте старые диски в только что собранные серверы, они накрываются (к счастью, довольно быстро, но все равно не сразу:). Я опубликую короткую заметку на тему отказов.
Б/У серверы, конечно, риск, но там есть ECC-память, и я видел один ролик, где слегка нестриженный хлопец переделал DL380G5 под SATA, выпилив (буквально) пластиковые салазки и поработав с паяльником над блоком питания. По странному стечению обстоятельств он использовал тот же PCI контроллер A-224. Старый или Б/У сервер — один из вариантов под объемное, но не самое критичное хранение. Обязательно используйте ECC-память, лучше много, тогда можно и ZFS. Мне кажется, что из БУ лучше какой-нибудь Харлампий-Панкрат, но всю механику очень желательно заменить.
Помимо того, что сейчас лежит в черновиках, у меня будет еще (я надеюсь) через какое-то время пост про «безголовый» режим и serial console поверх IP. Я хочу попробовать себя немного в жанре пром. электроники, изготовив простой бортовой контроллер: http://toster.ru/q/71632
Да и корень проблемы механический, головки там скачут туда-сюда и все в таком духе. А сколько по проводу бит пройдет — уже не так важно.
Если бы знал про n36l, правда, подумал бы дважды. Кстати, а что там у него в качестве SATA контроллера? На этом FreeNAS работает? Прошивка не глючная?
флэшку только не вздумайте покупать за пару евро:), я об этом расскажу вскоре, спасибо, коллега
Пара — это том gmirror(8), который монтируется на свою папку. Про режимы управления записью см. фришные доки. Я в стартовых скриптах в итоге применил mount_nullfs(8), чтобы выглядело понятнее для пользователей. Понятное дело, что при таких делах еще пришлось дурить самбу по свободному месту, применил опцию dfree command из smb.conf(5).
В итоге для пользователей это выглядит примерно так:
\\NAS\SHARE\
\\NAS\SHARE\X1
\\NAS\SHARE\X2
\\NAS\SHARE\X3
…
На все остальные вопросы про спары, latency и прочее мне пытаться ответить или можно не мучиться? Я просто не уверен, что все слова понял в Вашем вопросе:)
Вероятность второго механического отказа при реконструкции RAID5 сопоставима с моим разборным массивом из N томов-зеркал (RAID1), если все мои зеркала уходят в длинную реконструкцию («плохой» отказ по питанию? замена половины дисков сразу?). Однако даже в таком случае второй отказ диска губит только одно зеркало из N, а не всех. Да и почему обязательно должен отказать второй диск в той же паре? Вероятно, но мало.
Другая опасность RAID5 — это проявление URE на дешевых монолитных томах около 12Тб и далее. В моем случае есть теоретически обоснованная устойчивость к URE, потому что размер каждого тома весьма далек от критической отметки.
Наконец, скорость. Мой разборный массив из зеркал ограничен по скорости восстановления шиной PCI, а вот насчет RAID5 я уже совсем не уверен. Интуитивно это будет еще в два-три раза медленнее. Ваша оценка? Сколько Тб в сутки соберет RAID5 на том хламе, который я использовал?
Не забываем про разборность и оффлайн хранение, это не монолитный RAID5. А что в ZFS? Там можно заданный Бизнесом кусок файловой системы отправить в оффлайн (отключить и убрать в шкаф данные за 2012 год)? Кажется, что-то такое было, но не совсем в моей постановке задачи. Расскажите, если знаете.
В целом ремонтопригодность у UFS / GEOM RAID1 считаю ощутимо выше, чем у RAID5 и у ZFS, особенно какими-нибудь попавшими под руку утилитами, ибо себя к суперспецам по восстановлению не отношу. Отказ технологичной ZFS меня пугает невозможностью вообще что-то предпринять. Мне нужен автомат Калашникова в сфере хранения данных, легкоразборный, ремонтопригодный, и без требований по ОЗУ (у меня его просто не было по экономическим причинам, о чем я уже говорил).
Лично мне тут в голову не приходит ничего, кроме дешевых дисков SATA уже на 4Тб в USB-конструктиве.
наверное, стоило выделить полужирным