Comments 109
А RAID 5/6 тоже не ок?
Если все действительно так как описано, то я положу ваш топик в избранное и когда-нибудь (когда смогу) заплюсую! Потому как сам я уже давно забил найти приемлимое, но надежное решение)))
Про надежность пока говорить еще рано, пара месяцев только. Но вообще программа производит впечатление очень аккуратно написанной, да и отзывы хорошие.
Правильно ли я понял что эта штука работает «над» ФС?
Да. Как бы чуть в сторонке. Работаете с дисками напрямую — не лезет. Обращаетесь к пулу — появляется и обрабатывает запросы.
Т.е. для пользователя-то все прозрачно при работе в ОС, он просто как к одному диску обращается. А если я загружусь с какого-нить liveCD, то все данные я читаю напрямую с стольки дисков, сколько подключены в пул — для меня это вообще отдельные диски. Это очень хорошо, т.к. когда у меня накрылся один хард мне пришлось 4 часа ждать перестройки своего рейда. Не то чтобы мне времени дома жалко… сидел просто все же как на иголках — а вдруг чего )))
Тут возник один несколько идиотский вопрос. Допутим все происходит из-под винды и все хорошо. Но вот когда-то винда подпортилась или еще чего случилось, я гружусь с лайва, что-то делаю с данными — файл вордовский, например, поправил. Потом восстановил винду, допустим, из образа акрониса, т.е. StableBit установлен, и все настроено. Загружаемся. И… что будет? Вопросы какие-то будут задаваться типа: «Копии не синхронизированы, а вы об этом знаете, кэп? А вот кикие отличия...»
Тут возник один несколько идиотский вопрос. Допутим все происходит из-под винды и все хорошо. Но вот когда-то винда подпортилась или еще чего случилось, я гружусь с лайва, что-то делаю с данными — файл вордовский, например, поправил. Потом восстановил винду, допустим, из образа акрониса, т.е. StableBit установлен, и все настроено. Загружаемся. И… что будет? Вопросы какие-то будут задаваться типа: «Копии не синхронизированы, а вы об этом знаете, кэп? А вот кикие отличия...»
Вопросов точно не будет. А вот что будет с копиями…
Попробовал сделать подобное — пока что ничего не поменялось. Измененный файл лежит как измененный, копии лежат в предыдущем виде. Посмотрю, что произойдет дальше.
Но вообще тоже вопрос к разработчикам, надо будет задать.
Попробовал сделать подобное — пока что ничего не поменялось. Измененный файл лежит как измененный, копии лежат в предыдущем виде. Посмотрю, что произойдет дальше.
Но вообще тоже вопрос к разработчикам, надо будет задать.
Просто полезно знать как себя вести в подобной ситуации.
Я, например, могу физически вытащить два диска, поработать с оставшимся, а потом, после recovery, добавить в пул обратно два вытащенных диска, чтобы все корректно произошло.
Я, например, могу физически вытащить два диска, поработать с оставшимся, а потом, после recovery, добавить в пул обратно два вытащенных диска, чтобы все корректно произошло.
А зачем так издеваться над пулом? Опять же — если упала ОС, то я предпочту разобрать пул — перенести файлы из скрытых папок в корень дисков — а после переустановки собрать новый пул, благо это все быстро делается.
Ответ саппорта:
When DrivePool makes a duplication pass, it compares the files. If it notices that one of the files doesn't match the other two, it would generate a warning and let you know. At that point, you can decide what to do.
Кстати. Насчет пула. Я тут попробовал сие чудо.
Ситуация такова. Есть два харда по 500Гб. Добавляю их в пул. В настройках пула включаю «Pool File Duplication». Рядом с пулом загорается зеленый квадратик «х2». Потом копирую на виртуальный диск папочку и убеждаюсь, что она появляется в служебных папках пула на обоих реальных жестких дисках. Но вот что меня смущает… Почему размер пула равен терабайту, а не равен емкости одного харда в 500Гб? Или емкость будет уменьшаться с копированием файлов *2. Просто это не очень удобно для оценки свободного места и может ввести в некоторое заблуждение — свободен терабай, копируешь 700Мб, а на переданных 500Мб вдруг оказывается что места уже нету. Это надо в уме свободное пространство надо /2 )))
А так, в целом, программа мне понравилась. Даже приобрел без полномасштабного тест-драйва)
Ситуация такова. Есть два харда по 500Гб. Добавляю их в пул. В настройках пула включаю «Pool File Duplication». Рядом с пулом загорается зеленый квадратик «х2». Потом копирую на виртуальный диск папочку и убеждаюсь, что она появляется в служебных папках пула на обоих реальных жестких дисках. Но вот что меня смущает… Почему размер пула равен терабайту, а не равен емкости одного харда в 500Гб? Или емкость будет уменьшаться с копированием файлов *2. Просто это не очень удобно для оценки свободного места и может ввести в некоторое заблуждение — свободен терабай, копируешь 700Мб, а на переданных 500Мб вдруг оказывается что места уже нету. Это надо в уме свободное пространство надо /2 )))
А так, в целом, программа мне понравилась. Даже приобрел без полномасштабного тест-драйва)
Потому что полный размер пула равен сумме включенных в него дисков.
Пул же не «знает» заранее, будете вы все файлы копировать с дублированием или нет. Так что показывает реальное имеющееся свободное место. А помнить о том, что эта папка у вас дублируется, а эта — нет, обязан человек.
Пул же не «знает» заранее, будете вы все файлы копировать с дублированием или нет. Так что показывает реальное имеющееся свободное место. А помнить о том, что эта папка у вас дублируется, а эта — нет, обязан человек.
Что значит не знает? Я же включил опцию «Pool File Duplication»!
Просто такое решение я хотел использовать для работы человека, который выполняет чисто менеджерские задачи и в компах не очень того. В идеале еще хотелось бы иметь возможность отправки сообщений о потере диска или иной неисправности на e-mail, что бы постоянно не мониторить его комп.
Просто такое решение я хотел использовать для работы человека, который выполняет чисто менеджерские задачи и в компах не очень того. В идеале еще хотелось бы иметь возможность отправки сообщений о потере диска или иной неисправности на e-mail, что бы постоянно не мониторить его комп.
Сыровато еще, сыровато…
1) Я на пул перенес системные паки в Win7 — документы, рабочий стол и т.д. При установке некоторых программ я периодически вижу надписи: «Ошибка 1325.Documents не является допустимым коротким именем файла». «Мои документы» вернешь на место (диск С), начинают ругаться на Favorites.
2) Некоторые программы, ACDSee например, вообще отказываются устанавливаться — еще на этапе установщика где-то чего-то не может запуститься — в результе видим сбой установки.
Программная замена моему рейду не получается короче. А жаль — продукт понравился. Но назначение получается — только хранение файлов? И то еще непонятно насколько это корректно все будет себя вести, если файлы открывать/закрывать офисом, какие-нибудь картинки редактировать, смотреть видео — уже нет гарантий что не будет каких-то проблем с «короткими именами файлов».
1) Я на пул перенес системные паки в Win7 — документы, рабочий стол и т.д. При установке некоторых программ я периодически вижу надписи: «Ошибка 1325.Documents не является допустимым коротким именем файла». «Мои документы» вернешь на место (диск С), начинают ругаться на Favorites.
2) Некоторые программы, ACDSee например, вообще отказываются устанавливаться — еще на этапе установщика где-то чего-то не может запуститься — в результе видим сбой установки.
Программная замена моему рейду не получается короче. А жаль — продукт понравился. Но назначение получается — только хранение файлов? И то еще непонятно насколько это корректно все будет себя вести, если файлы открывать/закрывать офисом, какие-нибудь картинки редактировать, смотреть видео — уже нет гарантий что не будет каких-то проблем с «короткими именами файлов».
периодически вижу надписи: «Ошибка 1325.Documents не является допустимым коротким именем файла».
Пинать разработчиков.
Программная замена моему рейду не получается короче.
RAID1 я бы этой штукой заменять не решился.
непонятно насколько это корректно все будет себя вести, если файлы открывать/закрывать офисом, какие-нибудь картинки редактировать, смотреть видео — уже нет гарантий что не будет каких-то проблем с «короткими именами файлов».
С этим у меня пока проблем не было — но доступ к файлам исключительно по сети, локально на сервере мало что делаю.
А я вот хочу попробовать заменить на связку StableBit DrivePool + Bittorrent Sync )))
Мегаэксперимент, конечно, но у меня как-то сдох контроллер рейда и я по полной огреб с восстановлением данных из-под этого рейда, хоть он и 1. Неделю помню парился «собирая» этот рейд программно. Теперь у меня две одинаковые платы с контроллером рейда — одна рабочая, вторая на полочке )))
Мегаэксперимент, конечно, но у меня как-то сдох контроллер рейда и я по полной огреб с восстановлением данных из-под этого рейда, хоть он и 1. Неделю помню парился «собирая» этот рейд программно. Теперь у меня две одинаковые платы с контроллером рейда — одна рабочая, вторая на полочке )))
Даю сам себе опровержение!
Исходя из номера ошибки и умозаключений я нашел такой способ лечения. Если логическому диску присвоить метку на английском языке, например «data», то все проблемы испаряются! Если же метка диска пустая, то вполне возможно что подставляется кириллица «Логический диск», что приводит к вышеописанным эффектам. Если кто желает может проблему с моих слов в баг-трекер послать.
Немножко потестил. Я на этот диск закинул всякого софта и начал устанавливать его. Запускал по 2-3 установки в параллель. Устанавливал впараллель с удалением «тяжелых» файлов и большой кучи маленьких файлов. Короче, у меня пока только приятные впечатления.
Единственный косяк — с размером (выше где-то я писал). При объедиенни двух дисков в «Pool File Duplication» размер почему-то созданного логического диска пула = сумме размеров дисков в него входящих, хотя должен быть равен размеру одного из дсисков (с минимальным размером?) в пуле. А если зайти в «Менеджер управления дисков» в винде, то этот размер тома еще и удвоен — так винда пишет! Т.е. берем 2 диска по 500Гб, размер созданного диска с пулом в проводнике равен 1Тб, а в «Менеджере управления дисков» (WIN7: Администрирование-Управление компьютером-Управление дисками) равен 2Тб :D НО! Если щелкнуть под диску в «Менеджере управления дисков», и посмотреть свойства тома, то размер будет равен 1Тб. Тут зачетное волшебство, короче. На форуме разработчика я тему завел по этому поводу.
Исходя из номера ошибки и умозаключений я нашел такой способ лечения. Если логическому диску присвоить метку на английском языке, например «data», то все проблемы испаряются! Если же метка диска пустая, то вполне возможно что подставляется кириллица «Логический диск», что приводит к вышеописанным эффектам. Если кто желает может проблему с моих слов в баг-трекер послать.
Немножко потестил. Я на этот диск закинул всякого софта и начал устанавливать его. Запускал по 2-3 установки в параллель. Устанавливал впараллель с удалением «тяжелых» файлов и большой кучи маленьких файлов. Короче, у меня пока только приятные впечатления.
Единственный косяк — с размером (выше где-то я писал). При объедиенни двух дисков в «Pool File Duplication» размер почему-то созданного логического диска пула = сумме размеров дисков в него входящих, хотя должен быть равен размеру одного из дсисков (с минимальным размером?) в пуле. А если зайти в «Менеджер управления дисков» в винде, то этот размер тома еще и удвоен — так винда пишет! Т.е. берем 2 диска по 500Гб, размер созданного диска с пулом в проводнике равен 1Тб, а в «Менеджере управления дисков» (WIN7: Администрирование-Управление компьютером-Управление дисками) равен 2Тб :D НО! Если щелкнуть под диску в «Менеджере управления дисков», и посмотреть свойства тома, то размер будет равен 1Тб. Тут зачетное волшебство, короче. На форуме разработчика я тему завел по этому поводу.
Кстати интересная штука, у Drive Bender есть в разработке софтина Cloud Xtender которая может подключать различные облака в массив и видеться в системе как один диск. Подписался, посмотрим что из этого получится.
В случае смерти диска в пуле, созданном StableBit, папки отмеченные как Х2 (которые окажутся на мертвом диске) будут автоматом продублированы на целых дисках?
Так должно быть. Будет ли так — не проверял пока. Хотя вообще можно попробовать. Дойду до дома, создам маленький пул и проверю.
Буду с интересом ждать результатов проверки.
Если реакция StableBit будет, то стану их клиентов.
Если реакция StableBit будет, то стану их клиентов.
Автоматической реакции нет. Сделал три небольших раздела, соединил их в пул, включил дублирование для одной папки, затем удалил один из разделов. Программа вякнула «missing disk» и всю свою активность на пуле остановила до удаления пропавшего диска из списка.
Надо вообще будет этот вопрос у них на форуме поднять, может я недопонял чего — вдруг подождать надо было.
Надо вообще будет этот вопрос у них на форуме поднять, может я недопонял чего — вдруг подождать надо было.
Ответ саппорта:
То есть вообще должно сработать автоматически, но не сразу, а когда придет время очередного «duplication pass».
I believe you do need to remove the failed/missing disk before it will start re-duplicating the remaining data (should be *all* of it in that scenario). But as long as you have a copy of the data, it will try to duplicate it when it makes a duplication pass.
То есть вообще должно сработать автоматически, но не сразу, а когда придет время очередного «duplication pass».
А если у меня только файлы, без папок (коллекция фильмов) — оно будет и как одна большая папка на 7ТБ, и как три диска на 3 + 2 + 2 Тб, на каждом из которых те файлы, которые влезли, и само перераспределит, если надо новый дописать?
Иногда очень важно хранить данные таким образом, что бы в последствии получить доступ просто подсоединив диски = аппаратно\програмно независимо.
Поделюсь своим опытом хранения данных на ZFS в продакшене вот уже 4 года. Использую RaidZ, это аналог RAID5, то есть может выйти из строя любой диск.
1. Независимость и целостность. RaidZ ближе всего подходит под условие аппаратно\программно независимый массив.
Можно полностью заменить аппаратную платформу, не меняя программную (достаточно перенести диски и флешку с ОС на другой ПК и включить его. Обычно используются системы построенные на FreeBSB которые поддерживают широкий спектр оборудования, от самых старых до самых новых ПК) Проверено много раз.
Можно полностью сменить программную платформу. Главное, что бы ОС поддерживала файловую систему ZFS (OpenSolaris, FreeBSD, Linux пока из коробки не поддерживает). После установки ОС Zpool импортируется одной командой! Проверено много раз.
2. Версионность (лучшая из виденных мною)
Механизм снапшотов интегрирован в файловую систему. Отсюда вытекает очень много положительных моментов.
Снапшоты аппаратно\программно независимы и не исчезнут из-за сбоя оборудования или ОС.
Снапшоты не замедляют работу ФС, как например в NTFS (этому способствует структура ФС, подробнее в Wiki, там очень интересно). У меня сейчас более 1000 снапшотов 8 тб файловой системы и все работает отлично. На то, что бы создать снапшот уходит пара секунд. Можно монтировать снапшоты когда нам требуется и получать полный доступ к данным внутри снапшота.
В EXT3\4 и NTFS снапшоты тоже возможны, но требуют отдельных сложных механизмов, которые не столь надежны и целостны.
3. Целостность.
Я настолько доверяю ZFS, что меня перестало интересовать какая ОС ее реализует и будут ли проблему у этой ОС. Zpool как бы существует отдельно от ОС, т.к. полностью обслуживается ZFS драйвером, а все параметры и снапшоты хранятся в самом пуле, а не в ОС. То есть если дисковый массив подключить к другому оборудованию и заново установить любую ОС, которая поддерживает ZFS, мы увидим наш пул, все файлы, снапшоты, разрешения фс, и старые настройки самого пула (например применять ли сжатие, использовать ли дедупликацию).
4. Дедупликация прозрачная и это бесплатно.
Для примера в Windows Server 2012 дедупликация есть, но она не прозрачная, то есть выполняется после того как файлы записаны или изменены в фоне по заданному расписанию (например ночью, когда сервер более свободен, т.к. это требует серьезных ресурсов).
5. Надежность
Уже успел столкнуться с выходом из строя одного из жестких дисков. Заметил по характерным звукам в соседней комнате. Лучше сразу настраивать оповещения, т.к. ZFS продолжает обслуживать пул и восстанавливает данные на лету по контрольным суммам. У меня даже скорость не упала при копировании через SMB. Пересборка 10 тб пула, заполненного на половину, после замены вышедшего из строя 2 тб диска заняла 16 часов.
Надеюсь мой опыт будет кому-то полезен!
Поделюсь своим опытом хранения данных на ZFS в продакшене вот уже 4 года. Использую RaidZ, это аналог RAID5, то есть может выйти из строя любой диск.
1. Независимость и целостность. RaidZ ближе всего подходит под условие аппаратно\программно независимый массив.
Можно полностью заменить аппаратную платформу, не меняя программную (достаточно перенести диски и флешку с ОС на другой ПК и включить его. Обычно используются системы построенные на FreeBSB которые поддерживают широкий спектр оборудования, от самых старых до самых новых ПК) Проверено много раз.
Можно полностью сменить программную платформу. Главное, что бы ОС поддерживала файловую систему ZFS (OpenSolaris, FreeBSD, Linux пока из коробки не поддерживает). После установки ОС Zpool импортируется одной командой! Проверено много раз.
2. Версионность (лучшая из виденных мною)
Механизм снапшотов интегрирован в файловую систему. Отсюда вытекает очень много положительных моментов.
Снапшоты аппаратно\программно независимы и не исчезнут из-за сбоя оборудования или ОС.
Снапшоты не замедляют работу ФС, как например в NTFS (этому способствует структура ФС, подробнее в Wiki, там очень интересно). У меня сейчас более 1000 снапшотов 8 тб файловой системы и все работает отлично. На то, что бы создать снапшот уходит пара секунд. Можно монтировать снапшоты когда нам требуется и получать полный доступ к данным внутри снапшота.
В EXT3\4 и NTFS снапшоты тоже возможны, но требуют отдельных сложных механизмов, которые не столь надежны и целостны.
3. Целостность.
Я настолько доверяю ZFS, что меня перестало интересовать какая ОС ее реализует и будут ли проблему у этой ОС. Zpool как бы существует отдельно от ОС, т.к. полностью обслуживается ZFS драйвером, а все параметры и снапшоты хранятся в самом пуле, а не в ОС. То есть если дисковый массив подключить к другому оборудованию и заново установить любую ОС, которая поддерживает ZFS, мы увидим наш пул, все файлы, снапшоты, разрешения фс, и старые настройки самого пула (например применять ли сжатие, использовать ли дедупликацию).
4. Дедупликация прозрачная и это бесплатно.
Для примера в Windows Server 2012 дедупликация есть, но она не прозрачная, то есть выполняется после того как файлы записаны или изменены в фоне по заданному расписанию (например ночью, когда сервер более свободен, т.к. это требует серьезных ресурсов).
5. Надежность
Уже успел столкнуться с выходом из строя одного из жестких дисков. Заметил по характерным звукам в соседней комнате. Лучше сразу настраивать оповещения, т.к. ZFS продолжает обслуживать пул и восстанавливает данные на лету по контрольным суммам. У меня даже скорость не упала при копировании через SMB. Пересборка 10 тб пула, заполненного на половину, после замены вышедшего из строя 2 тб диска заняла 16 часов.
Надеюсь мой опыт будет кому-то полезен!
Не спорю, zfs штука полезная, но, на мой взгляд, совершенно не домашняя. И даже не small office. Корпоративный уровень, ибо железа она хочет достаточно серьезного — памяти с ECC, стабильного питания и т.п. Ибо если таки рухнет (а она может упасть), то никаких инструментов восстановления нет.
Дома zfs разве что гики используют. Хотя сами они наверняка уверены, что zfs должна быть в каждом компьютере, начиная с телефонов. :)
Дома zfs разве что гики используют. Хотя сами они наверняка уверены, что zfs должна быть в каждом компьютере, начиная с телефонов. :)
Не вредности ради… Но по поводу Drive Bender — интерфейс выдержан в духе консоли Windows Server 2012, под тачскрины/планшетики, да и внешне как-то не сильно выглядит перегруженным.
HP Microserver, угадал?
Да.
У меня тоже Микросервер, еще первого выпуска. Очень заинтересовался этим решением, как-то хочется без RAID объединить в пул 4 винта (1-2 терабайта), с хоть каким-то резервированием.
А как задачу бэкапа решаете?
А как задачу бэкапа решаете?
Ну, мой n40l тоже не из новых, сейчас g8 уже имеется. Зато стоил 200 баксов с копейками. Купил после того, как заметил, что четырехъядерник за год ни разу не использовался.
Бэкап… Бэкапится не все, а примерно 500 гигабайт. Остальное из разряда «скачаю заново, если что» — музыка, фильмы, игрушки… Cobian Backup, по сети на другой компьютер (линуксовый сервер у провайдера стоит). Фото время от времени заливаю руками на flickr.
Мелочи и текущая работа в дропбоксе.
Бэкап… Бэкапится не все, а примерно 500 гигабайт. Остальное из разряда «скачаю заново, если что» — музыка, фильмы, игрушки… Cobian Backup, по сети на другой компьютер (линуксовый сервер у провайдера стоит). Фото время от времени заливаю руками на flickr.
Мелочи и текущая работа в дропбоксе.
У обоих этих решений — DrivePool и DriveBender есть один недостаток — никогда не знаешь, что именно из стандартных функций файловой системы они делают криво/не делают. Я, например, столкнулся с тем, что на их дисках нельзя делать софт и хард-линки на файлы/папки — а я их часто использую. И могут задействовать программы, которые я использую, а я потом буду разбираться, кто же и где же глючит.
Пытался решить аналогичную проблему (так и не решил для себя). Пока лично мне наиболее подходящим выглядят Windows Storage Spaces, но хочется убить их разработчиков за невозможность вывести диск, уже однажды заведенный в пространство, без полного убийства и создания его заново (на сервере можно, но только если у вас все диски — зеркало или с четностью). Вот всё жду, мож кто утилиту напишет или поправят, была надежда на 8.1, но обломалась :(
Пытался решить аналогичную проблему (так и не решил для себя). Пока лично мне наиболее подходящим выглядят Windows Storage Spaces, но хочется убить их разработчиков за невозможность вывести диск, уже однажды заведенный в пространство, без полного убийства и создания его заново (на сервере можно, но только если у вас все диски — зеркало или с четностью). Вот всё жду, мож кто утилиту напишет или поправят, была надежда на 8.1, но обломалась :(
На клиенте тоже можно. Надо отцепить диск (например физически) и дать перестроить массив.
Я так понимаю, там очень простая система распределения блоков по виртуальным дискам, нельзя отдельный блок «переназначить» на другой диск. Диск вывести нельзя, зато дешево, надежно и практично.
Я так понимаю, там очень простая система распределения блоков по виртуальным дискам, нельзя отдельный блок «переназначить» на другой диск. Диск вывести нельзя, зато дешево, надежно и практично.
Да, и это работает опять же если у вас в пространстве только отказоустойчивые массивы. А в домашних условиях — это overhead :)
У меня например сделано так — одно пространство (так проще) зеркало для личных данных (фото-видео), зеркало для исходников видео (большие, удаляем), четность для бэкапов (перестрахуемся) и обычный диск для треша который не жалко потерять (торренты, сериалы и т.п.). Что ни говори, а возможность «диска в 30ТБ, а оно там само выбирает куда писать» — удобно. Но перестроить — геморрой конечно. Вот там сейчас 2Тб+2Тб+1Тб — и есть у меня еще один 2Тб, но пихать уже особо некуда (портов нет да и куда столько в домашнем компе) — а чтобы перестроить надо куда-то слить эти почти 5Тб (ну 4, с учетом зеркала).
Собственно задача «объединили несколько дисков в один» — как раз и одна из самых популярных применений storage spaces, что даже готовы мириться с тормозами (они всё-таки тормозные, забавно насколько раньше было важно скорость hdd, а сейчас пофиг — это просто хранилище, а для быстроты есть ssd :) И другие решения кривее :( (упомянутые в статье я смотрел)
Причем я не понимаю, ну в чем была сложность с программной точки зрения реализовать фичу «по команде сливаем всё не-четное с диска Х на другие (если хватает места)». На буржуйских форумах столько стонов на эту тему :)
У меня например сделано так — одно пространство (так проще) зеркало для личных данных (фото-видео), зеркало для исходников видео (большие, удаляем), четность для бэкапов (перестрахуемся) и обычный диск для треша который не жалко потерять (торренты, сериалы и т.п.). Что ни говори, а возможность «диска в 30ТБ, а оно там само выбирает куда писать» — удобно. Но перестроить — геморрой конечно. Вот там сейчас 2Тб+2Тб+1Тб — и есть у меня еще один 2Тб, но пихать уже особо некуда (портов нет да и куда столько в домашнем компе) — а чтобы перестроить надо куда-то слить эти почти 5Тб (ну 4, с учетом зеркала).
Собственно задача «объединили несколько дисков в один» — как раз и одна из самых популярных применений storage spaces, что даже готовы мириться с тормозами (они всё-таки тормозные, забавно насколько раньше было важно скорость hdd, а сейчас пофиг — это просто хранилище, а для быстроты есть ssd :) И другие решения кривее :( (упомянутые в статье я смотрел)
Причем я не понимаю, ну в чем была сложность с программной точки зрения реализовать фичу «по команде сливаем всё не-четное с диска Х на другие (если хватает места)». На буржуйских форумах столько стонов на эту тему :)
Сложность в том, что блок, 250 мб, в какой-то момент существует в 2-х экземплярах, один из которых недописан, а второй активно используется. И результат надо синхронизировать даже после выключения света в процессе. Это при условии, что там есть подобие FAT для блоков(о чем мне неизвестно), иначе это не 250 мб, а терабайты.
> четность для бэкапов (перестрахуемся)
У нас разные представления о том, что такое overhead :)
У меня четность 3:1 без зеркал, +треш под бекапы.
> а чтобы перестроить надо куда-то слить эти почти 5Тб (ну 4, с учетом зеркала).
с учетом зеркала — 3
> четность для бэкапов (перестрахуемся)
У нас разные представления о том, что такое overhead :)
У меня четность 3:1 без зеркал, +треш под бекапы.
> а чтобы перестроить надо куда-то слить эти почти 5Тб (ну 4, с учетом зеркала).
с учетом зеркала — 3
Ага, где-то даже было описание, что в случае поломки storage space — восстановление данных из неё та ещё задача и все современные средства восстановления NTFS не помогут.
>У нас разные представления о том, что такое overhead :)
есть немного (извратное у меня)
> с учетом зеркала — 3
ага, где-то так. В любом случае — не тривиальная задача, особенно если дисков больше станет. В итоге и получается, что задача «создать единый storage данных, чтобы можно было легко вставлять-доставать (заменять) диски» в домашних условиях не решается :-( (на винде) FlexRAID вроде обещал, но у него такой заумный интерфейс, что я не осилил :( Ну или на Storage Spaces делать всё в четность и мирится с падением производительности (на зеркало как-то жалко потерь 50% места).
>У нас разные представления о том, что такое overhead :)
есть немного (извратное у меня)
> с учетом зеркала — 3
ага, где-то так. В любом случае — не тривиальная задача, особенно если дисков больше станет. В итоге и получается, что задача «создать единый storage данных, чтобы можно было легко вставлять-доставать (заменять) диски» в домашних условиях не решается :-( (на винде) FlexRAID вроде обещал, но у него такой заумный интерфейс, что я не осилил :( Ну или на Storage Spaces делать всё в четность и мирится с падением производительности (на зеркало как-то жалко потерь 50% места).
Я однажды пытался из зеркала без контроллера данные достать — удовольствие тоже на троечку. Ну а пока 2 харда у меня уже умерли и были мирно заменены.
Я вообще говоря не очень понимаю желания вставлять-доставать диски из JBOD. Но если уж очень хочется, то через powershell можно управлять на каких физических дисках какие виртуальные и в какой конфигурации. Если бить виртуальные по 1ТБ (то есть гарантировать, что один влезет в другой) — их можно ручками вычищать и удалять диски из пула без повреждения остальных.
Я вообще говоря не очень понимаю желания вставлять-доставать диски из JBOD. Но если уж очень хочется, то через powershell можно управлять на каких физических дисках какие виртуальные и в какой конфигурации. Если бить виртуальные по 1ТБ (то есть гарантировать, что один влезет в другой) — их можно ручками вычищать и удалять диски из пула без повреждения остальных.
> Я вообще говоря не очень понимаю желания вставлять-доставать диски из JBOD.
да всё просто, я же выше пример привел — вот есть у меня 2+2+1, место уже заканчивается, есть свободный 2, а портов свободных нет. «И как?» (с)анекдот
> Если бить виртуальные по 1ТБ (то есть гарантировать, что один влезет в другой)
интересное решение, хотя и извратное. Надо подумать в этом направлении (на безрыбье и сам раком… :)
powershell же и в обычной вин8 доступен?
да всё просто, я же выше пример привел — вот есть у меня 2+2+1, место уже заканчивается, есть свободный 2, а портов свободных нет. «И как?» (с)анекдот
> Если бить виртуальные по 1ТБ (то есть гарантировать, что один влезет в другой)
интересное решение, хотя и извратное. Надо подумать в этом направлении (на безрыбье и сам раком… :)
powershell же и в обычной вин8 доступен?
Иметь на файлопомойке 3 порта — это грустно. Но простенький контроллер SATA стоит всего баксов 25. И не будет впустую валяться 1тб.
powershell конечно есть.
powershell конечно есть.
> Иметь на файлопомойке 3 порта — это грустно. Но простенький контроллер SATA стоит всего баксов 25.
согласен, но как это часто бывает — «так получилось» ))) внешние контроллеры не люблю как-то — к винтам на них не достучишься, SMART не посмотришь…
спасибо
согласен, но как это часто бывает — «так получилось» ))) внешние контроллеры не люблю как-то — к винтам на них не достучишься, SMART не посмотришь…
спасибо
Слежение за SMART помогает?
По моему опыту винты дохнут или сразу с хорошими показателями, или годами работают, накручивая счетчик…
По моему опыту винты дохнут или сразу с хорошими показателями, или годами работают, накручивая счетчик…
я обычно пару параметров использую — температура (перегрев таки опасен) и ремап секторов/подозрительные — первые признаки что винту плохеет, лучше убрать его в некритическую область (с другой стороны — в storage space нам пофиг должно быть:). От «дохнут сразу» конечно не помогает, бывает и такое. Хотя это скорее прерогатива SSD :)
У меня это используется исключительно для хранилища файлов, потому о линках я как-то даже не задумывался. На рабочей машине линки кое-где используются, но на ней я просто не вижу надобности в объединении дисков.
А storage spaces — вот из-за невозможности убрать/добавить диск без геморроя я связываться и не стал.
А storage spaces — вот из-за невозможности убрать/добавить диск без геморроя я связываться и не стал.
кстати, судя по блогам — может и решат проблему, во всяком случае DriveBender объявил о версии 2, где даже поддержку VSS обещают, но пока даже беты нет. А StableBit тоже где-то в блоге еще летом проблему симлинков исследовал — и вроде как обещал сделать поддержку. Может уже и пофиксили в нынешних версиях — мне просто смотреть лениво, как-то подспудно к storage spaces доверия больше (хотя и понимаю, что это надуманно)
В своё время задавался тем же вопросом, что и автор, и лучшее найденное мною решение — MirrorFolder. Можно очень гибко задавать правила резервирования и в целом функциональность и удобства на высоте. DrivePool требует Framework 4 и работает на системах только от висты, это существенный минус. По-моему MirrorFolder во всём заменяет DrivePool и автор просто упустил утилиту из виду. aik, может быть добавите в сравнение для полноты обзора?
Если вы про вот этот MirrorFolder — то это совсем про другое:
Резервные копии, а совсем не объединение нескольких дисков в единый массив.
MirrorFolder is a real-time folder mirroring and synchronization software to backup files
Резервные копии, а совсем не объединение нескольких дисков в единый массив.
Действительно, а я подумал, что вам важно наличие RAID-1. В MirrorFolder есть аналогичная функция, можно настроить зеркалирование одного раздела на другой, или в отдельную папку, или как угодно. А если вам нужно объединение дисков с целью увеличения объёма раздела по типу RAID-0 или JBOD, то этого утилита, конечно, не делает.
Спасибо большое, Автор!
Как же мне не хватало подобной софтинки. В одном из четырех ПК, стоящих дома, собрано 9 хардов (2х1тб, 2х1.5тб, 3х2тб, 1х3тб), и все это богатство доступно по сети. При этом частенько на разных дисках появлялись дубли. Очень часто это выглядело так:
Надо перепрошить телефон, сохраню-ка я на всякий случай память (16гб+64гб microSD) на диск в папочку «телефон».
Решил на ноутбуке сменить соотношение разделов (заодно попробовать, какую-нибудь экзотику из софта или OS), сохраню-ка я для простоты экспериментов весь жесткий ноутбука (1тб) на комп в папочку «ноутбук».
А потом с этих папочек все заливаешь обратно, но не все без разбора, а делается попытка отсортировать. В итоге папочки доживают до следующего «шила в заднице». И снова данные летят на ПК, но уже на другой диск. Потому, что снова:
потом разгребу.
Теперь же в сеть смотрит только один (но гигантский) диск. Таким образом легче отлавливать дубли (как минимум). А для папочки с семейным фото-архивом поставил дупликацию на 4 диска.
А еще у этой «тулзы» есть система плагинов, хоть их пока и не много.
Как же мне не хватало подобной софтинки. В одном из четырех ПК, стоящих дома, собрано 9 хардов (2х1тб, 2х1.5тб, 3х2тб, 1х3тб), и все это богатство доступно по сети. При этом частенько на разных дисках появлялись дубли. Очень часто это выглядело так:
Надо перепрошить телефон, сохраню-ка я на всякий случай память (16гб+64гб microSD) на диск в папочку «телефон».
Решил на ноутбуке сменить соотношение разделов (заодно попробовать, какую-нибудь экзотику из софта или OS), сохраню-ка я для простоты экспериментов весь жесткий ноутбука (1тб) на комп в папочку «ноутбук».
А потом с этих папочек все заливаешь обратно, но не все без разбора, а делается попытка отсортировать. В итоге папочки доживают до следующего «шила в заднице». И снова данные летят на ПК, но уже на другой диск. Потому, что снова:
потом разгребу.
Теперь же в сеть смотрит только один (но гигантский) диск. Таким образом легче отлавливать дубли (как минимум). А для папочки с семейным фото-архивом поставил дупликацию на 4 диска.
А еще у этой «тулзы» есть система плагинов, хоть их пока и не много.
Так-с, поставил, добавил новый диск в пул, перекинул на него файлы. Но на самом диске (физическом, а не созданном DrivePool) эти файлы не видны. Диск пустой.
А где их искать, если что?
А где их искать, если что?
В скрытой папке PoolPart.XXXX.
В тексте даже картинка есть ;)
В тексте даже картинка есть ;)
ага. Она у меня пустая, в том самом Total Commander со включенным режимом отображения скрытых и системных файлов. Вообще.
Жалко, что софтина нагрузку не распределяет по хардам. Если торрент пишет одновременно 5 файлов в пул из 4-х дисков, то все 5 файлов идут в одну папку на одном из хардов, поскольку оптимальнее было бы писать на несколько разных. Раз уж все равно концепция «вся папка должна лежать на одном физическом харде» софтине не знакома :)
Интересно, есть ли смысл включить блоковую дисковую дедупликацию (Server 2012) на дисках, собранных в пул. Саппорт ответил, что должно работать, но они не тестировали и не гарантируют. Теоретически должно дать экономию места.
Попил мне кровь StableBit DrivePool, оказывается он так всё хитро делает, что не может корректно работать если хранилище google drive находится в нём. Придётся отказаться. Сейчас буду пробовать drivebender.
попробовал drivebender, да интерфейс конечно делал чистый программист :) но нужно сказать, что продукт мне показался качественнее с точки зрения глюкавости + с кучей настроек и самое главное google drive прекрасно заработал, без глюков!
Ну, куча настроек — это не всегда достоинство. :)
На счет глюкавости — на своих задачах (просто объединить диски и расшарить полученный массив по сети) я за время использования drivepool глюков не встречал.
Но действительно, никакие облачные клиенты у меня с этим диском не работают. Только btsync.
На счет глюкавости — на своих задачах (просто объединить диски и расшарить полученный массив по сети) я за время использования drivepool глюков не встречал.
Но действительно, никакие облачные клиенты у меня с этим диском не работают. Только btsync.
Почти год прошел. Как впечатления от использования, — продолжаете рекомендовать? :)
Тема старенькая, но может автор увидит…
1. Как сейчас ситуация — тем же решением пользуетесь или нашли что то более интересное?
2. Встречали подобное ПО с поддержкой SSD кэширования?
1. Как сейчас ситуация — тем же решением пользуетесь или нашли что то более интересное?
2. Встречали подобное ПО с поддержкой SSD кэширования?
Автор всё видит. :)
1. Всё пользуюсь, более интересного не искал. По слухам, допилили drive bender — он с точки зрения цены выглядит лучше, чем drivepool + scaner, а умеет вроде всё то же самое. Но меня устраивает драйвпул, так что смысла проверять альтернативы я просто не вижу.
2. Нет. Меня скорость не слишком беспокоит, всё равно всё ограничивается гигабитной сетью. Да и вообще вроде как ссд-кэширование — аппаратная фича контроллеров?
1. Всё пользуюсь, более интересного не искал. По слухам, допилили drive bender — он с точки зрения цены выглядит лучше, чем drivepool + scaner, а умеет вроде всё то же самое. Но меня устраивает драйвпул, так что смысла проверять альтернативы я просто не вижу.
2. Нет. Меня скорость не слишком беспокоит, всё равно всё ограничивается гигабитной сетью. Да и вообще вроде как ссд-кэширование — аппаратная фича контроллеров?
Можете еще обратить внимание на решение на базе WS 2016 — Storage Spases Direct — развитие Storage Spaces. Как раз тестирую его сейчас.
Диски объединяются в пул, можно легко выводить\добавлять диски, поддержка SSD tiering. Ну и в целом нативное решение Windows.
Заинтересовало именно потому что есть возможность за небольшую сумму значительно повысить скорость используя SSD, и все работает софтово без аппаратных излишеств.
Диски объединяются в пул, можно легко выводить\добавлять диски, поддержка SSD tiering. Ну и в целом нативное решение Windows.
Заинтересовало именно потому что есть возможность за небольшую сумму значительно повысить скорость используя SSD, и все работает софтово без аппаратных излишеств.
2016 — это хорошо, но у себя я его не так уж скоро увижу. На работе до сих пор 2008 и апгрейдиться смысла нет, а дома стоит халявный 2012, а 2016 там уже не дадут. Ставить же 2016 просто ради теста нет времени.
Как-то пробовал, но меня кажется остановило, то что к примеру загрузка с любого загрузочного админ диска, массива storage space не видно в системе… соответственно не достать данные оперативно… хотя может я ошибаюсь и что-то изменилось?
Приветствую из 2021.
В конце 20-го читал статью на хабре про что уже и не помню, в вашем комментарии под статьей было упоминание обсуждаемой утилиты. И было упоминание что можно использовать в качестве кэша для JBOD небольшого SSD. Теперь не могу найти где об этом шла речь, может подскажите?
В конце 20-го читал статью на хабре про что уже и не помню, в вашем комментарии под статьей было упоминание обсуждаемой утилиты. И было упоминание что можно использовать в качестве кэша для JBOD небольшого SSD. Теперь не могу найти где об этом шла речь, может подскажите?
Ок. Спасибо!
Update из 2022: до сих пор пользуюсь. Ни единого разрыва. В начале 2021 года пригодилось дублирование, когда один из винтов выпал из системы. Его, правда, потом удалось оживить вместе со всей информацией, но всё важное было продублировано на других дисках и не пострадало бы даже в случае полной смерти винта.
Drive Bender больше можно не рассматривать в качестве альтернативы https://blog.division-m.com/2023/04/01/a-very-sad-day/. Испытание временем выиграл Drivepool.
DriveBender, по-моему, уже несколько лет как не шевелился, только багфиксы изредка выпускал.
На https://www.greyhole.net/ можно глянуть, примерно аналогичное решение, то чисто серверное — на базе самбовых шар работает, а не локальных дисков.
Хотя лично я на домашнем сервере перешел с винды на unraid, а drivepool держу на основной рабочей станции — три ссдшки по два терабайта мне дешевле обошлись, чем одна на шесть.
Поставил себе этот DrivePool потестировать, и что-то никак не врублюсь, как он работает... может кто объяснит?
Не могу понять следующее: я объединил в массив 2 диска по 1ТБ. И на выходе получился массив объёмом 1,8ТБ. Получается, зеркалирование данных на этом массиве не работает? Полез в настройки искать, где его включить. На вкладке "File placement" для каждой папки, размещённой в массиве, стоят галочки напротив обоих дисков... то есть, вроде как, зеркалирование всё-таки должно работать. Но откуда тогда объём массива 1,8ТБ?
Также, я думал, что все файлы, которые я сохраняю в массив, можно будет увидеть на каждом отдельном диске массива. Но когда я открываю отдельный диск, там пусто. То есть, если я переставлю этот диск в другой компьютер, информацию с него уже не вытащить?
Ещё, не могу понять, что за настройки на вкладке "Balancers"
И ещё, перед объединением дисков в массив я создал на одном из дисков пару тестовых файлов и папок. Мне казалось логичным, чтобы при объединении дисков они либо зеркалировались на второй диск, либо, на худой конец, удалились с первого. Но с ними не произошло ни того, ни другого. Они так и остались лежать на первом диске. И кроме них на нём ничего не отображается, при том, что в массив я уже записал другие данные. В общем, не понятно, как всё это работает, и можно, ли, например, импортировать данные с диска в массив при его добавлении...
Как он считает размер свободного места тоже не понимаю. Он как будто не учитывает дубликацию файлов или там какой-то хитрый механизм.
Зеркалирование настраивается в Manage Pool - File Protection - Folder (Pool File) duplication. Pool file duplication включает зеркалирования для всего пула. В Folder duplication можно задать конкретные папки для зеркалирования. Вкладка File Placement настраивает только возможность жестко задать где будут храниться файлы. Если галки стоят на обоих дисках, то выбор диска без дупликации выбирается автоматом. https://stablebit.com/Support/DrivePool/2.X/Manual?Section=File Protection
Файлы появятся на обоих дисках при сохранении в pool, если включить дупликацию.
Balancers - это плагины, которые настраивают как будут распределяться файлы в пуле. Из описаний и настроек вроде всё понятно.
Файлы, которые уже были на дисках пула никуда не денутся. На дисках при создании пула просто создаётся скрытая папка, в которой хранятся файлы и метаданные пула. Импортировать данные в пул можно простым переносом данных с диска в пул.
Извините, что долго не отвечал, только сейчас заметил вопросы. В принципе, по многому уже ответили.
Свободное место тут считается просто как объём всех дисков в массиве. И по другому его считать сложно - потому что свободного места именно столько.
Файлы массива хранятся в скрытых папках на каждом диске - PoolPart.XXXX. Вы по прежнему можете хранить файлы непосредственно на дисках, входящих в массив - и они с массивом никак пересекаться не будут.
"Импортировать" данные можно методом переноса их в скрытую папку массива. На сам пул, впрочем, переносить будет правильнее, чтобы сразу балансировка и дублирование отрабатывались.
Sign up to leave a comment.
StableBit DrivePool — дисковый массив с дублированием файлов