Комментарии 57
Почему я отказался от RAID
«Почему я отказался от парашюта: воспоминания камикадзе» ©
Простите, но два NAS рядом на одной полке и некие "диски вне дома" (с какой периодичностью и каким образом на них бэкапитесь? явно же не в риалтайме, иначе был бы описан и ещё один NAS) - это не стратегия 3-2-1. Нет полоценного "3" (третья копия данных явно сильно неактуальная), нет "2" (все носители одного типа) и очень условно есть "1" (из-за той самой неактуальноcти offsite копии).
Если отвлечься от абстрактной стратегии и перейти к конкретным рискам - то скачок напряжения / пожар / кража / обыск в доме оставят Вас с единственной неактуальной копией, которая, учитывая отсутствие избыточности, не факт, что прочитается. А в зависимости от того, где именно лежат "диски вне дома" и кто имеет к ним доступ, легко представить и сценарии, когда при определённых неприятностях в Вашей жизни доступ будет утрачен ко всем трём копиям одновременно...
P.S. В качестве ответа на вопросы в конце статьи и в рамках позиции "критикуешь - предлагай" в общих чертах скажу про свою схему. Основная рабочая копия - арендованный физ. сервер в РФ (SSD в RAID-1), основной софт - Seafile. Резервные копии - облачное хранилище в РФ, облачное хранилище вне РФ, домашний сервер (HDD в ZFS RAIDZ2, т.е. RAID-6). Объёмы сопоставимы с Вашими. Вместо домашнего сервера бы ленточную библиотеку (вспоминаем, что кроме 3-2-1 придумали и 3-2-1-1-0...) но то, что проходит по деньгам, изрядно древнее получается... ну и нет времени вникать.
Да, у меня не совсем 3-2-1, но это домашние условия. Всего 3 экземпляра (не копии), 2 на разных носителях (не на одном диске) и 1 копия вне дома.
Вне дома копирую вручную по возможности. Хотя бы раз в год.
Предложения по улучшению почитать интересно)
Вне дома копирую вручную хотя бы раз в год.
Ох... Я когда писал думал про что-то типа "раз в день по будням, но иногда забываю" :) Тогда всё описанное выше ещё хуже.
На самом деле, 3-2-1, 3-2-1-1-0 и пр. не панацея, а для домашнего использования тем более модель рисков другая (полезно, например, просчитать сценарии на случай собственной смерти, попадания в кому на полгода или в тюрьму на несколько лет, и тут уже вопрос к наличию "цифрового завещания", а не только к организации инфраструктуры). Но у Вас просто все яйца в одной корзине - что бы ни случилось в доме - у Вас огромная проблема.
Вы не поняли - тут цель была поумничать и представить все так, как буд то до этого чуда никто так не делал)) короче статья в имя статьи иначе как продвинуть свою компанию на Хабре?!
Пост навевает грустные мысли. Сколько раз находил на мусорке выброшенные семейные альбомы... Внуки просто выбрасывают ненужный им хлам. Для себя решил всё ценное заливать на викимедию.
может сканируют на ПК до выброса?
Какая ценность в физических фотографиях незнакомых или малознакомых людей? Удобнее хранить сканы с таких носителей в современное время.
А я бы и вовсе предложил новым файловым системам иметь атрибут срока хранения для файлов. Иногда заранее можно знать, что та или иная информация совершенно точно станет не нужна т.к. имеет disposable характер, скажем, через 20 лет. И вот установил Expiration Time на Jan-01-2045 и никакие потомки не копаются в этом информационном загрязнении, само удалится.
Сколько раз находил на мусорке выброшенные семейные альбомы...
я такой человек. перебирал бабушкины альбомы, оставил фото только её, деда и отца. остальные фотографии людей, которых я никогда не знал и не видел, выкинул на помойку.
Бывает, побочные фотографии несут ещё информацию о том, чем и в каком окружении жили предки. Тоже бывает интересно рассматривать. Хотя, конечно, индивидуально. Но вот мне интереснее рассматривать бытовые сценки, запечатлённые случайно, чем портреты из ателье. Хотя и они интересны.
Через неделю с вами связались дальние родственники, которые строят генеалогическое дерево, и попросили конкретное фото сестры вашей бабушки, т к. "точно видели его у вашей бабушки в альбоме 30 лет назад". А вы такой: "Да я выкинул все давно на помойку "...
мне нет дела до хобби людей, которые со мной не общаются по другим поводам
«Если ты плюнешь в общество — общество утрётся...» ©
Это называется подмена понятий, если что. Обязанности перед кем-то может возникать либо на основании закона, либо договорённостей (хотя бы устных). Угадывать чужие мысли никто не обязан.
Если кому-то дорога сохранность каких-то данных, это их прямая обязанность озаботиться мероприятиями по организации архивного хранения. Я хоть и получал доп. квалификацию во ВНИИДАД, но филиалом госархива из-за этого я не стал.
Так то есть icedrive и pcloud с тарифами lifetime. Например у первого 10Тб можно приобрести за 900€.
Pcloud пользуюсь уже лет 5, бед не знаю. Крипто, бекапы, мобильное приложение синхронизирующее все вместо google или apple, ссылки на загрузку или закачку и прочие прелести
По стоимость "много терабайт" в облаке согласен. Есть условно безлимитные варианты (backblaze тот же), но за десяток-другой лет там тоже много накапает. Ну и теребайты в интернет закачиваются долго.
Бэушные диски под хранение важной информации я не брал бы.
SMR диски обычно в два раза дешевле
Если бы всё так хорошо было, как вы рассказываете, то люди радостно брали бы SMR. Но, по факту, цена сейчас практически не отличается, а местами CMR ещё и подешевле лежат. Так что брать SMR смысла не вижу, CMR универсальней.
они хорошо переносят запись до заполнения объема
Где-то после 30-50% свободного места скорость падает почти до нуля - забивается "кэш" и диск одновременно с записью начинает перекладывать данные. Потому надо либо дать несколько часов "отстояться", либо плюнуть и копировать дальше. Но тогда раза в полтора процесс дольше займёт, проверял.
Но если нет задачи сразу забивать весь диск терабайтами, а копируете небольшими порциями хотя бы в пределах пары сотен гигабайт, то вопросов не будет.
RAID — это довольно популярное и очевидное решение для повышения надежности хранения данных
RAID - это про непрерывность доступности данных в случае выхода из строя дисков массива, а не про надёжность хранения как таковую. Для дома это редко нужно, потому я RAID'ы советую только во вторую-третью очередь. Иметь их неплохо, но разрабатывать стратегию резервного копирования надо начинать не с них.
Впрочем, есть и другие виды массивов с избыточностью, которые лишены некоторых недостатков RAID'а.
я использую CIFS
CIFS - это SMB1, по-моему, протокол дырявый и не лечится. Сегодня вроде даже линуксы умеют в SMB2/3, так что SMB1 только для совсем уж легаси использовать нужно.
Из кастомных решений популярны мини-ПК
МиниПК для NAS - это всегда компромиссы. Обычно страдает охлаждение.
Я не использую VPN-протоколы для подключения к своему облаку— считаю, что это лишняя сложность в настройке и подключении
VPN очень просты в настройке и их использовать гораздо удобнее, чем ограничивать доступ по IP. Ваша конструкция с каким-то виртуалками, сертификатами для всех устройств, виланами и несколькими роутерами заметно сложнее.
Вообще, вся ваша конструкция, на мой взгляд, слишком сложна и посыпется скорее из-за своей сложности, чем из-за козней хакеров.
Как вы синхронизируете / бекапите данные с iOS?
У меня тоже полноценная домашняя сисетма типа вашей, и под Android и Десктопы юзаю Resillio Sync - очень удобно, фотка будучи сделана оказывается в домашней папке через пару секунд, а ночью будет скопирована скриптом в постоянную галерею. Но у жены iPhone, где такая красота не работает - да, там тоже есть Resillio Sync, но запускать его надо только вручную, как сервис не работает.
На iOS в любом случае придётся запустить что-то вручную, конечно если у вас не резиновый платный iCloud. Но resilio sync же достаточное удобно сделан - запускаете прогу и всё. После окончания синхронизации сама потушит экран и уйдёт в спячку.
Resilio Sync - классная вещь. Пробовал, но не хватило бесплатных возможностей (Selective Sync), а приобрести лицензию было проблематично. Для небольших объемов данных, когда все устройства имеют достаточный объем памяти - отличный и простой вариант без необходимости в поднятии сервера.
В моем случае синхронизация работает просто – Immich стал основным приложением и в iOS и в Android. При открытии он автоматически выгружает новые снимки. Просто я им постоянно пользуюсь и копии делаются сами по себе. С Nextcloud примерно так же. Я решил пользоваться только этими двумя приложениями и пока всё устраивает.
И сколько человек работает для IT-поддержки всей этой системы?
Цепляется взгляд за текст.
А его точно не нейросеть писала, а человек потом детали подправил?
Сделал максимально просто.
Домашний сервер DELL T430.
Просто поднял ubuntu server и поставил галочку Nextcloud. Пару настроек и вебсорда работает
На микротике сделан проброс.
Веб сервак аыступает в роли прокси для всех серверов. Nextcloud, mail, www, tenp, nagios и прочие.
Сертификаты Летскрипт прилетают без проблем.
Все это бекапится на 2 диска Veeam.
Помимо самого Nextcloud. Полная синхронизированная папка лежит на ПК. Итого 4 места
0-0,5-1 схема борьбы с хламом.
0 - удалить (выбросить) сразу;
0,5 года - удалить (выбросить) через полгода, если не использовал. Если есть сожаления и сезонность - перевести в категорию «1-год»;
1 год - аналогично 0.5, но с более тщательным анализом сожалений.
Это вполне рабочая схема, но каждый раз сложно на этапе работы с сожалениями. Есть категория «вечное» но тут больше бумаги, документы и как раз пара физических альбомов с фото.
Возможно, это зависит от человека. Мне лично старые документы дороги и пригождаются в совершенно неожиданный момент. Когда архив документов перевалил на две сотни, я поднял paperless и вот уже годы, как все документы с тегами хранятся в нем. Сотни документов с 1928 года. И, представляете, я как волшебник прямо с телефона могу найти нужный документ когда сын звонит: "Папа, нужно срочно мое первое свидетельство о рождении". Или школьный аттестат - нужно выяснить средний бал в школе на собесе.
Или бабушкино свидетельство о браке.
Дети понимают ценность этого архива и мне есть кому его передать.
Бумаги хранить сложнее. Особенно столетние. Особенно при переездах. Но тоже таскаю с собой по свету.
мотивация прекрасна.(без сарказма).
Дети будут пользоваться тем, что им удобней. Сами.
Сами - значит сами, полностью сами, т.е. сепарированно.
Папа/мама - бог, но так ли это?
Вы не всегда. Ваш сервер не всегда. Память о Вас - всегда, в контексте Ваших родственников.
Надо ли им нести на себе Ваши наработки? Вопрос )
решение - хорошее, дорогое, наверное красивое, есть ли смысл?
Папа, нужно срочно мое первое свидетельство о рождении".
Однако...
Мне кажется схема переусложнена, при этом bus factor = 1, и без вашего участия всё развалится.
Обычной семье без "хакеров" я бы посоветовал NAT от Synology, где есть отличные мобильные приложения для фото и документов (не Open Source зато настраивается мышкой), которые подключатся к железке и за NAT, используя инфраструктуру Synology.
У Synology хороший баланс удобства и безопасности - файлы хранятся у вас дома, а параноики могут не использовать прокси компании (который по умолчанию выключен), а поднять VPN или постоянный IP с пробросом портов. Бекапы тоже легко настраиваются хоть в облако, хоть на множество других бэкендов.
Если вам не нравится Synology Photo, то Immich или любой другой фото-сервер можно установить через Docker, но это уже задача для "продвинутых юзеров", которым дешевле и интереснее будет собрать свой сервер.
"Легким движением руки два кейса ЗУБР ОКА-11 превращаются..." – это же чистая магия DIY! Хотя это уже не DIY, а R&D ;)
Респект за титанический труд!
Как-то всё очень сложно.
У меня есть меньше 1 ТБ данных, которые жалко потерять. Туда входят фотки с видео и скачанные курсы, которые я покупал, и к которым уже нет доступа, а также бекапы рабочих файлов. Я это дублирую на Яндекс Диске, на SSD, подключённом к роутеру, и иногда синхронизирую на внешний HDD. Все рабочие файлы (меньше 10 ГБ) у меня синхронизируются между роутером и всеми моими компами через Syncthing, что позволяет мне в любой момент пересесть с одного на другой и продолжить работу там, где остановился. Кроме того, они каждую ночь бекапятся на Яндекс Диск через restic.
Есть внешний китайский SSD, забитый установленными портабельными играми на 2 ТБ. Можно в любой момент вставить и поиграть. Их копия есть на втором внешнем HDD на всякий случай, если SSD сдохнет или потеряет данные.
На SSD, подключённом к роутеру, также есть файлопомойка-кеш инсталляторов, фильмов и нейросетей, скачанных с Интернета. Если умрёт, можно перекачать заново. Но у меня лимитный мобильный интернет в частном доме, и пока есть место на первом внешнем HDD для хранения копии.
Итого, доступ к файлопомойке у меня только из дома по SMB. Актуальные фотки могу посмотреть из облака или телефона когда угодно. Рабочие файлы есть на всех компах и в гите, куда могу зайти с телефона.
Думаю ещё поставить мини-ПК в квартиру, где смогу качать файлы и торренты и хостить свои Docker-сервисы, включая VS Code Server + Syncthing, чтобы можно было откуда угодно даже с телефона кодить, если вдруг очень припрёт или захочется. На нём также можно хостить виртуалки с разными ОС для CI, если не хватит бесплатного GitHub Actions. Доступ к сервисам обеспечиваю через Cloudflare Tunnel.
Есть дешёвая VPS с XRay-прокси для обхода ограничений оператора. Туда также смогу захостить сервисы, которые пишу сам, а они у меня не требовательны к ресурсам.
VPN для доступа в домашнюю сеть мне как таковой не нужен, да и проблематично это. Многие, если не все протоколы, которые поддерживает мой роутер, оператор блокирует даже внутри страны. Но наверное как-то можно завернуть в прокси или руками поставить через Entware какую-нибудь Amnezia, если понадобится.
А полные бекапы системы делать не вижу смысла. Если что переустановлю и поставлю софт заново. Потрачу день. Чаще всего я это делаю, только когда перехожу на другую ОС или другой комп, куда образ всё равно не перенести.
Мне кажется не просто перебор, а строительство космического корабля для похода за пивом в ближайший магазин.
Лично я для таких целей собрал обычный локальный файловый сервер на debian с raid6 и по мере необходимости закидывают туда файлы. Уже много лет работает и проблем не знаю. Всего пару раз менял диски по мере выхода их из строя.
Т.е. идея взять бесперебойник, nas на 5 дисков, 5 дисков на 6тб, ну диск на 4тб, сделать raid 5 или 6 - очень глупая и малорентабельная идея??? Мне кажется, что приведенная автором идея очень сложна и дорога и совсем не отказоустойчива. В моем nas 4 x4tb диска в рейд5. Доступ к инфе 11тб из любой точки мира. Эту инфу пожар или взрыв дома уничтожит.
Такая же участь постигнет и сборки автора.
Вот у меня в планах поставить такой-же нас в шкаф у друга в другом районе или у родителей в другом городе. И настроить синхронизацию. Вот это уже будет серьёзной отказоустойчивостью.
Масштабировать мою схему и вынести NAS для бекапа куда-нибудь вне дома, подключить публичный IP и настроить бэкап на него в моем случае тоже не составит большого труда, это просто вопрос возможностей. Ваш план мне нравится!
Truenas scale как раз умеет в синхронизацию инкрементно - взгляните на это ПО.
Неужели нельзя было сфотографировать железо при свете или со вспышкой?
Помещается в шкафу.
А аппаратуре в шкафу не душно\жарко?
Скрытый текст
Два СХД через коммутатор (без интернета), внешний HDD, карта памяти (в ноутбуке). Данные копируются на внешние диски каждый вечер. Раз в месяц делается архивация важных файлов на дополнительный внешний HDD и USB-flash. По мере накопления (где-то раз в три-четыре месяца) архивы дополнительно выгружаются на облака Mail, Google. Да, понимаю, что так себе вариант: копии находятся в одном помещении, архивы в облаках не актуальны. Но ежели вдруг случится какая-то серьёзная катастрофа, потеря этих данных будет являться для меня не самой серьёзной и первоочередной проблемой.
Не любитель видео, фотографий немного имеется, в основном файлы .txt, .pdf, .mp3, .wav, .sh.
Все внешние накопители (от 2 до 5 ТБ) засунул в самодельную тумбу, добавил обдув от USB-вентиляторов.
Каждый суслик мнит себя начальником… так вот каждый девопс-разработчик-эксперт в области такой секретной работы, что и сам не знает, чем занимается: считает своим доступом замутить свое облако на готовом насе или хламе с б/у площадок или из мусорки… и вроде как это разбавляет статьи на Хабре, где то кто то подсмотрит для себя какую то идею, но все же удивляет, что находятся уникумы, которые пытаются открыть второй раз Америку и ведь этим гуро даже после 100500 комментов, какой «умный» и «креативный» автор - не прибавят мозги этому «специалисту», которому так нужно зачем то свое облако, без просчета экономической составляющей, без анализа рисков и после этого складывает все в одну корзину с помощью программ в открытом доступе, как буд то без него никто их не видел, а данные системы и сервисы появились ну эдак пару часов назад и наплевать, что у этого чудо все может отрыгнуть завтра, зато умище свое выставил напоказ сегодня! Просто рука-лицо
Спасибо за статью.
Зы. Имхо, для всего хватило бы и чего-то типа:
TOPTON Мини-ПК R1 PRO (AMD Ryzen 7 5825U, RAM 8 ГБ, SSD 256 ГБ, AMD Radeon)Приличный cpu, 2 сетевых по 2.5 Гб\с, 2 hdd , 1 ssd.
Накатить proxmox ve - далее только ваше фантазия.
И кинетик в кач-ве роутера.
Есть прикольный проект HexOS
кВт-ч забыл посчитать.
Домашнее облако: как я построил цифровой «бункер» для важных данных