Комментарии 233
Хочется дополнить немного по поводу неочевидных моментов и их решений, у NC:
1.. Хранилище - при первой конфигурации после установки, предлагается выбрать путь в котором будут храниться пользовательские данные. Однако если после непродолжительно использования приспичит перенести/добавить хранилище (условно: у вас NAS и вы добавили ещё дисков и хотите использовать и их), то это не получится сделать по человечески
Решение - плагин (хотя в NC это всё таки приложения) External storage support, в нём добавляется хранилище и оно отображается как обычная папка в интерфейсе NC. Помимо добавления локальных папок ESS умеет и в сетевой доступ.
2.. Стоит так же учитывать что NC не читает содержимое каталогов 'как есть', все операции с файлами производятся с добавлением информации в БД. Я использую NC в домашнем NAS, в гибридном режиме совместно с шарой по SMB от OMV, это не так уж и сложно делается главное не забывать про унаследование и распределение прав. Однако существует проблема что после добавления файлов в пользовательское хранилище они не отображаются в самом NC.
Решение - принудительное сканирование через occ консоль:
Сканирование папок всех пользователейsudo -u www-data php /var/www/nextcloud/occ files:scan --all
Сканирование определённой папки у пользователяsudo -u www-data php /var/www/nextcloud/occ files:scan -p admin ../admin/files/YouTube
3.. Последние и моё любимое - синхронизация под Android. Приложение клиент под ведро, при синхронизации папок делает дубликат файлов в каталоге приложения ../Android/data/com.nextcloud.client/ что на корню убивает суть и бессмысленно отжирает место
Решение - сторонний клиент синхронизации Autosync, помимо NC умеет синхронизировать через множество шар, в т.ч. и SMB, что в случае файлов с музыкой получается даже быстрее.
и потом добавляем те же самые строчки в /etc/rc.local чтобы оно сразу включалось после перезагрузки:
Сталкивался с тем, что rc.local отсутствует в новых убунтах. Для них необходимо добавить сервис в systemd, который бы запускал команды из этого файла. Как это сделать, написано например здесь: https://www.linuxbabe.com/linux-server/how-to-enable-etcrc-local-with-systemd
1. >curl -u dunny:password -X PROPFIND https://ваш_домен/remote.php/dav/files/dummy/ - не взлетит
2. Про обновление - имхо, хорошо бы добавить, что после обновления стоит заходить на страницу параметров (Настройки -> Общие сведения) и выполнять инструкции оттуда (про нехватку индексов и т.д.)
Nextcloud VM Appliance от разработчиков NC уже со всеми оптимизациями https://github.com/nextcloud/vm
Не NC единым - filestash, filebrowser, filerun, sftpgo в помощь. Кто-то из них даже в collabora office могет. Если же только файлохранилка нужна, то freenas core\scale или omv. Трунас скейл и omv умеют в докер из коробки практически.
Если кто-то захочет использовать вместо Google Photos - обратите внимание, что фотографии сортируются по дате модификации, а не по дате создания из EXIF (см. баг). Если ставили не через snap, то можно аккуратно подпереть костылём. Ну и если использовать NextCloud исключительно для фото, то, КМК, лучше смотреть в сторону PhotoPrism.
А почему лучше?
Спасибо за статью, очень годно)
Спасибо за статью.
Что там со скоростью синхронизации? Были комментарии, что при ошибке во время синхронизации, все это падало и затем стартовало сначала. Сейчас как дела обстоят?
По моим наблюдениям, скорость на порядок ниже, чем если переносить ручками через тот же SMB. Всё потому что у NC идёт упор в webdav (по информации из сети максимальная скорость в районе 30 мб/c). Однако это становится заметно только на больших объёмах данных, для среднестатистического пользователя которому нужна синхронизация на уровне фото/документы - NC всё ещё довольно вкусный вариант.
С синхронизацией проблем не было, я использую NC для синхронизации музыки и базы KeePassXC (файл .kdbx+ключ) между ПК<>NAS<>смартфон
файл тупо льется в TCP-соединение.Зачем? Можно через UDP — быстрее будет. А проверку на целостность делать по итогу скачивания. Ну или не делать вапще )
Это давно пофиксили
https://nextcloud.com/blog/nextcloud-sync-2-0-brings-10x-faster-syncing/
Всё будет очень плохо если попробовать залить node_modules папочку. Насколько я понял там информация по каждому файлу в базе хранится.
дистры офисов и виндов летают без проблем
Даешь selfhosted в массы!
А через Docker не проще было бы всё это хозяйство развернуть или хостинг не поддерживает? Кстати, расскажите по секрету, плз, что за хостер.
Напишите пожалуйста в лс )
То есть хостер, который предоставляет 100гб хранилища за 10 евро в год не сможет выдержать наплыв десятка или сотни потенциальных клиентов?
Или вы думаете таки больше тысячи может понаехать?
Напишите мне в лс, пожалуйста.
И мне напишите, если у них есть простая возможность платить из России (не через крипто-биржи).
Напишите, пожалуйста, в лс )
Здравствуйте, киньте и мне пжл хостера. Спасибо за статью!
присоединяюсь к просьбе, пришлите пожалуйста и мне.
А если сделать все как у вас
Только SFTP сервер развернуть и WebDAV?
Не думаю , чтоб будет слишком много пользователей, каждому по учетке итд
Да конечно с шарами файлов нюансы , но все же меньше памяти будет потреблять чем NextCloud с его зависимостями?
Огромный плюс WebDAV в том, что он нативно поддерживается Windows как network drive.
Если это WebDAV Яндекс.диска, то это фича. Есть даже клиент обходящий ограничения, которые введены чтобы заставить пользоваться родным клиентом.
А вот это интересно! Как их ограничения обходить, и нельзя ли это сделать для стандартных WebDav клиентов?
https://github.com/yar229/WebDavMailRuCloud от местного хабражителя @yar229
https://habr.com/ru/post/357822/ подробная информация
Огромный плюс WebDAV в том, что он нативно поддерживается Windows как network drive.
Только если ничего не изменилось за последние пару лет, то на монтируемом с nextcloud в windows машины диске больше чем одному человеку с более чем одного устройства лучше не работать - т.к. webdav блокировок у nextcloud не реализовано, а без них несколько человек на общем диске кашу из данных устроят.
скинь пжлст название хостинга в лс
А то, что валяется на дроп-гугле, оно там и остается, даже если не платить. Закачивать больеш не дадут — а сами данные остаются. И за гуглояндексовый диск можно заплатить за год вперед, а провайдеры VPS, обычно, просят деньги каждый месяц. Это очень неудобно
И за гуглояндексовый диск можно заплатить за год вперед, а провайдеры VPS, обычно, просят деньги каждый месяц. Это очень неудобно
А ткните пальцем хоть в одного хостера, у кого нельзя либо за год сразу оплатить, либо внутренний баланс пополнить чтобы с него списывалось само, интересно взглянуть на таких динозавров.
Гляньте aws ec2 reserved instances, можно за 3 года вперед заплатить, причем с большой скидкой (а еще дешевле будет, если выбрать amd-процессоры)
И что, они прям не принимают условные 60$ на свой счёт? Строго 5$ платёж? )
Когда я пользовался DO, почему-то удавалось пополнить баланс на несколько месяцев вперёд
Проблема в том, что дроп-гуглы, даже за деньги, хотят мои данные не просто хранить, а индексировать и извлекать оттуда информацию.
Пока что в основном для того, чтобы узнать, как эффективнее впарить мне очередной айфон. Завтра туда прикрутят супер-современную нейронку для ловли преступников, она проиндексирует мои детские фото из зоопарка и решит, что я - некро-педо-зоофил. Можно подать аппеляцию, но её автоматически отвергнет высокопроизводительный аппеляционный робот.
Поэтому - Boxcryptor, и все довольны: мои данные только у меня, дроп-гугл радостно индексирует набор случайных символов.
Boxcryptor
Лучше Cryptomator. Бокскриптор проприетарный и хранит ключи у себя в облаке.
Разумеется, локальная лицензия без облака со своим ключом.
Cryptomator пробовал, тоже работает, но Boxcrypotr был чем-то удобнее, сейчас уже не вспомню.
Boxcryptor не ок по причине "Мы не можем принять заказ из вашего региона.".
А в бесплатной версии нет шифрования имен файлов. "Я со спящим зебренком.mp4" или как говорил бывший директор АНБ - "We Kill People Based on Metadata"
Cryptomator насколько понимаю так и не обзавелся полноценным CLI что несколько неудобно.
Ах, но BoxCryptor ок тк поддерживает аппаратные ключи, Cryptomator обещает тот же Yubi но пока разродился странным решением.
А еще лучше - домашний сервер.
Возможно, но тогда сможете прикинуть затраты на его создание и функционирование?
Сценарий - у меня смарт с кучей фото, ноут. Хочу сделать копию.
Собирается из любого хлама что под руку попадается, с оговоркой что это будет конкретно NAS, а не серв. NC довольно привередлив к дисковой подсистеме, будучи установленным на флешку крайней плохо себя чувствует, если ставить на ssd - полёт нормальныйназвание хостнейма локальный мем, не обращайте внимание :3
Надежность хлама - ну такое. К тому же если из хлама только старые ноуты, то нужен USB кейс. Отсюда вопросы по скорости.
Может даже проще все в Телегу кидать.
Хотя если задача большой файлопомойки на Х дисках да еще и с ценным, то собрать решение стоит заморочиться.
Свой nas в любом случае выгодней как мне кажется, особенно для плекса какого-нибудь. Купить vds или хранилище с объёмом в пару терабайт, не говоря уже про десяток-другой, проблемно, начиная от провайдеров и заканчивая ценой
У меня такой. Комп — ноутбук Тошиба 2008-го года. Диски — 3 wd purple на 2Tб каждый по 70 фунтов. Они же и были основной инвестицией. Если перевести в цены автора, это 24 евро в месяц (4Тб при €3 за 0,5Тб). То есть я отбился примерно за год. В принципе, оно не летает, так что когда тошиба сдохнет, есть rpi в загашнике.
Давайте попробуем.
Цены по яндекс.маркету:
Материнская плата GIGABYTE GA-A320M-H 4000р
Оперативная память AMD 4 ГБ DDR4 2666 МГц 1000р * 2шт
Процессор AMD Ryzen 3 3200G AM4, 4 x 3600 МГц 9300р
Твердотельный накопитель Netac 128 ГБ M.2 1400р
Блок питания Deepcool DN450 450W 2300р
Кулер АМ4 ~1000р
Итого: 20000р
Жесткий диск можно поставить любой (не берите SMR!), я себе лично поставил Western Digital 8 ТБ HUS728T8TALE6L4 (цена сейчас 18000р).
Как по мне, лучше поставить один большой диск, чем несколько дисков поменьше. Каждый подключенный диск - это 5-10Вт потребляемого электричества и лишний шум.
Такая сборка будет потреблять около 30Вт в простое, что при цене электричества 5р/КВт выйдет в 100р/месяц.
Как по мне, лучше поставить один большой диск, чем несколько дисков поменьше. Каждый подключенный диск — это 5-10Вт потребляемого электричества и лишний шум.Зависит. RAID с какого-то объема СХД не помешает.
RAID - это безусловно хорошо, но только если готовы тратить х2 на жесткие диски.
Для дома для фоток, видео и прочего, наверное, имелось в виду обычный RAID 1 из 2 дисков.
Собирать RAID 10 / 6 / 5 из 4+ дисков - перебор.
Для дома для фоток, видео и прочего, наверное, имелось в виду обычный RAID 1 из 2 дисков.50% пространства — дорого. Выгоднее собрать RAID 5\6 на 4+ диска.
Моя мысль была в том, что для RAID 5\6 на 4+ диска надо 4+ диска (ваш Кэп), и дорого получается именно RAID 5\6, по сравнению с RAID 1 на 2 диска.
RAID 5 на 3 дисках даст 2х по объёму за 1.5х цены, по сравнению с RAID 1, но за 1.5х. цены может оказаться, что можно просто взять 2 диска большей ёмкости. Прямо сейчас в одном большом сетевом магазине WD Purple 2Тб - 8000, WD Purple 4ТБ - 11000, т.е. RAID 5 из 3 дисков по 2ТБ (итого массив 4Тб) за 24к, а RAID 1 из 2 дисков по 4 Тб (итого массив 4Тб) - 22к.
Не со всеми объёмами так, но стоит иметь в виду.
Не со всеми объёмами так, но стоит иметь в виду.
Тут еще и характер нагрузки стоит иметь в виду (при равном объёме больше дисков - шустрее), и возможность расширения (добавления дисков в будущем)...
И вообще со стоимости простоя начинать - а то может несколько дней на выкачку данных обратно из облака - не проблема?..
Ну для домашнего архива без RAID, наверное, не обойтись - не хотелось бы потерять, в первую очередь, фото/видео. У кого-то и работа там же.
Если кто-то делает "как положено" (3-2-1) и имеет, например, вторую копию в облаке, тогда, наверное, можно и без RAID.
Например, когда у такого самодельного хранилища сдохла материнка, перенести грёбаный RAID на другой комп я так и не осилил (и все данные там утерялись).
Мы говорим про софтовый или железный?
Он скорее про "полупрограммный" - когда недоконтроллер, но есть (недо - потому, что часть работы всё равно драйвером на проце делается).
С "железным", кстати, примерно та же проблема, если сдохнет контроллер - надо искать аналогичный.
А вот чисто программный рейд с дисками, подключенными к обычному HBA - вот это совсем другое дело. Вплоть до того, что люди "железные" рейд-контроллеры перешивают в HBA.
Те которые в motherboard, они на самом деле software в чистом виде (ну если мы не пытаемся 5/6 строить а стандартно "1", есть опыт, на gigabyte, тут скорее даже проблема в том что в linux без специальной настройки эти диски не объединяются (чтобы вы не настраивали в настройках bios), и вам нужно весьма постараться чтобы воткнуть rdraid драйвер в ядро так чтобы при ваша система стартанула правильно и смонтировала диски на этапе загрузки, а не как 2 отдельных устройства (т.е. по факту даже вынув один диск вы можете просто продолжить его использовать отдельно не замечая никакой разницы при монтировании в другую систему).
Те которые в motherboard, они на самом деле software в чистом виде (ну если мы не пытаемся 5/6 строить а стандартно "1"
Так если хотим нагонять большой объём данных - то как раз 5/6 и начинаем хотеть, чтобы "терять" не половину объёма винтов, а только один или два.
Да и с зеркалом - проще не задумываться "а как оно себя поведёт при перестановке на другую плату - заведётся рейд, удастся без форматирования его там снова собрать..."
в linux без специальной настройки эти диски не объединяются (чтобы вы не настраивали в настройках bios)
Ну и это тоже, но под Linux оно и не нужно, там можно всё встроенными средствами.
Было дело: на старом хламе ставил FreeNAS, настроил RAID, и в какой-то момент один из терабайтников WD сказал "Ты кто такой? Давай, до свидания!"... Хорошо, всё регулярно бэкапилось на внешний диск.
Вообще не помешает не только RAID, но и LVM. И лучше таким сразу озаботится и изучить этот вопрос, а то когда наступает момент, что один диск уже под завязку, а софт может требовать работать только с одной папкой (хотя симлинки никто не отменял). LVM позволит новый рейд подсунуть для расширения места уже в существующем разделе.
P.S. само собой я веду речь о Linux, о рейде через mdadm и в целом про личный сервер, а не VDS.
Как же хорошо жить когда ничего не знаешь про storage DR и построение HA систем, RPO/RTO... Любой хлам можно назвать высокодоступным отказоустойчивым облаком и хвалиться в интернете как дешево смог его сделать насмехаясь над дурачками которые за подобное платят. воистину: многие знания - многие печали, мало знаешь - крепче спишь.
Если Вы хотите чтобы ваши данные были Вам доступны гарантированно всегда из любого места и в полном объеме, начать надо с того, что нужно подключение двух разных провайдеров по разным каналам. Если получится решить это, то следующим будет переключение между ними адреса или имени сервера без задержки, но до этого скорее всего не дойдет - два ввода в жилом фонде мало кому по карману. Потом ИБП на все сетевое оборудование (включая провайдерское) и на сервер, вернее на сервера кластера... И это только начало. Проще думать что домашний сервер из выброшенного железа закроет все проблемы раз и навсегда за нисколько денег.
вы же понимаете, что если бороться за HA, то это вообще не домашние провайдеры, это вообще не домашний ИБП и вообще не расположение сервера дома?
наверное тут должен быть баланс между стоимостью услуги (услуга включает в себя железо, софт, электричество и прочие временные затраты на сопровождение) и отказоустойчивостью (чит. стоимостью данных, которые готовы потерять).
и если вы говорите про HA то это несколько инстансов установленных в географически разнесённых ЦОД, регулярные проверяемые бекапы в других ЦОД и всё такое. только уместно ли всё это в статье про подкроватный сервер?
я понимаю вот что.если я отказался от облачных сервисов, развернул сервер у себя дома и сохранил там все документы. то приехав в налоговую (например) в которой у меня попросят номер или скан какой-то справки, и я его не смогу найти на своем сервере - мне будет очень неприятно. и будет еще более неприятно если кажется что сервер помер и все данные пропали безвозвратно. то есть фраза "а у меня все на сервере дома под кроватью уже 3 года работает и зашибись!" для меня означает что ее автор на 3 года ближе к катастрофе. я видел уже много железа с потерянными данными которое "только что работало а теперь все пропало". и чаще всего это происходит когда данные нужны очень срочно.
принципиальная ошибка считающих "железо, софт, электричество и т. п." в том, что считать надо не только это, а еще и цену пропавших данных, цену простоя, и цену восстановления данных, а так же цену нового железа (дисков как минимум). и не забыть что при восстановлении потребуется дисков по объему информации на которые данные восстановят и с которых их надо будет переписать на новое/восстановленное устройство.
а. статья то была про сервер в облаке. но как всегда нашлись энтузиасты для которых развернуть все дома будет дешевле чем 100 - 200р в месяц отдать дяде который за эти деньги будет думать про обновление железа сервера, СХД, доступность и сохранность данных.
так это вы писали, что добавление второго провайдера, плавающий адрес и ИБП не учтены и на это надо обратить внимание.
Если Вы хотите чтобы ваши данные были Вам доступны гарантированно всегда
из любого места и в полном объеме, начать надо с того, что нужно
подключение двух разных провайдеров по разным каналам. Если получится
решить это, то следующим будет переключение между ними адреса или имени
сервера без задержки, но до этого скорее всего не дойдет - два ввода в
жилом фонде мало кому по карману. Потом ИБП на все сетевое оборудование
(включая провайдерское) и на сервер, вернее на сервера кластера... И это
только начало.
а я говорил о том, что если мы говорим про нормальный HA, к которому вы аппелируте, то это вообще не про подкроватный сервер. и ни второй провайдер домашний, ни плавающий адрес, ни ИБП не сделают подкроватный сервер настоящим HA.
и тут каждый сам для себя взввешивает риски и затраты. и вы наверняка это всё сами знаете и понимаете. что даже бизнес принимает какие-то риски, а не строит миллионное резервирование каждой системы.
и если уж на то пошло, то облако тоже не гарантирует доступность ваших данных. кто-нибудь помнит, как яндек диск потерял или удалил все данные? у меня на одном из аккаунтов до сих пор их извинительные 200ГБ квоты есть.
я писал. не имея резервных каналов связи мутить что-то дальше просто нет смысла - задублированное железо с репликацией и бекапами станет шляпой если к нему нет доступа.
Зато можно иметь две копии данных: одну дома, вторую в облаке, и даже если с одной из них что-то случится - пожар (в том числе в датацентре, бывает), споры между учредителями датацентра (тоже бывает), происки РКН или его аналогов, изменения в геополитике, ну или банально "заболел и не успел заплатить" - хотя бы одна копия по-любому останется.
Было бы это не домашнее хранилище, а для работы - то безопасники еще бы и про бэкапы на съёмные носители рассказали, но тут такой задачи не стоит ;)
Лучше то оно лучше. И наверное даже безопаснее. Но ненадежнее. И не факт, что дешевле - одно обеспечение энергонезависимости (реальной, а не на 10 минут) влетит в копейку.
Главное, что бы наши любопытные «товарищи» в них нос не засунули.
Есть множество сценариев, в которых утечка ваших данных сделает вам хуже. И практически нет сценариев, где это обернётся вам на пользу.
У вас были проблемы со здоровьем? Ваша мед. страховка станет дороже.
Хотите наняться в FAANG? Нейросеть выяснила, что вы были долгое время были в депрессии и много прокрастинировали.
Вы не совершали преступление, но в ваших данных обнаружились косвенные доказательства, привязывающие вас к месту его совершения? Есть шанс сесть в тюрьму.
В нынешних условиях русский человек всё ещё имеет возможность когда-нибудь уехать из России. Или, в неопределённо далёком будущем, начать работать на иностранную компанию.
В любом случае, информационная гигиена похожа на обычную: лучше не высчитывать, какие патогены и откуда могут или не могут завестись в кастрюле с остатками еды, а тщательно её мыть.
Более того, те — кто шифруются по полной, вызывают у всяких служб больше недоверия чем обычные пофигисты. А так как их немного — то их легко выделить в отдельную группу и посвятить их изучению больше усилий, уже реальными людьми
Русский не может уехать. Т.к. там он гарантированного станет не русским.
Ничего обидного в этом утверждении нет. Знаю людей, считающих, что русский обязательно должен быть православным. С этим - не согласен категорически. Русский - это пошире религиозного самосознания. Русский - более природное понятие, чем религиозная догма.
Но согласитесь, если ты готов стать не русским, а скажем, американцем или израильтянином, пусть и в следующем поколении, то считать себя русским и сейчас - это не корректно.
Русский - это человек, физиологически и ментально связанный с природой русской или сибирской равнины, человек широкой души и взглядов, чувствующий себя свободным и равным среди прочих обитателей. Бежать куда-либо при первых ощущениях персональной беды - это не есть свойство русской души, сформулированной великими русскими писателями.
Да, власть на русских равнинах сегодня не принадлежит русским. Но это не повод для настоящего русского бежать в более ограниченные места, где валсть принадлежит вовсе уж скорее анти-русским элементами, якобы для сохранения своей души.
Будем откровенны, бегут не русские в душе, а - космополиты, люди потребления. Кому важнее его личные переживания, а не общественное благо, которое в данный момент уменьшается, если быть честным с собой и другими.
P.S. Ничего против таких людей не имею. Они не виноваты, что им не внушили, что такое - русский. Но и размывать понятие русской души - не хотелось бы.
> Русский не может уехать. Т.к. там он гарантированного станет не русским.
Не национальность, а тюрьма какая-то. Вот француз уехал в Индию - и он там всё равно француз. А русский оторвался от своей равнины - и сразу стал немец.
космополиты, люди потребления
Вообще никак не связанные понятия, даже не близко. Посмотрите определение в википедии.
Кому важнее его личные переживания, а не общественное благо
Эх, коммунизмом-то как повеяло.
власть ... не принадлежит русским. Но это не повод для настоящего русского бежать
Понятно, русский - это такой, с которым всё что угодно делать можно, а он это терпеть будет, сидя на своей равнине.
Кому важнее его личные переживания, а не общественное благо
А почему общественное благо должно быть важнее моих личных переживаний? Назовите хоть одну причину.
Уже
> дроп-гугл радостно индексирует набор случайных символов.
за такое уже сносят аккаунты вместе с содержимым без объяснения причин, пруфы лень искать, в новостях было
А то, что валяется на дроп-гугле, оно там и остается, даже если не платить. Закачивать больеш не дадут — а сами данные остаются. И за гуглояндексовый диск можно заплатить за год вперед, а провайдеры VPS, обычно, просят деньги каждый месяц. Это очень неудобно
Я не понимаю, о чем вы. Нашёл первый попавшийся провайдер прямо с мобильного телефона. Оплата 48 евро за 2 года.
Все это заканчивается тем, что, рано или поздно, меняется хостинг-провайдер. По разным причинам, самым разным. И все накопленное там богатство, приходится куда-то переносить, потому что неоплата хостинга — быстро заканчивается уничтожением VPS. Приходится поднимать у другого хостера, потом еще у одного и так далее, пока все это не надоест и не осядет в домашнем NAS под кроватью
Я не знаю, что вы собираетесь хранить в облаках. Может, вам 1тб места или 4тб трафика в месяц не хватает, или скорости в 1гбит недостаточно чтобы перенести данные, или денег не хватает за пару лет 48 евро накопить. А может у вас уникальное предложение на домашние NAS по оптовым ценам?
Ну, кстати, не всегда исходящее соединение достаточно скоростное, чтобы залить в cloud какое-нибудь home video.
У меня, например, только 5 Мбит/сек upload (50 Мбит download). Да, можно купить и больше, но это и стоит дороже. Один год экономии - и можно купить простенький домашний NAS :)
С простеньким домашним - если он исключительно внутри или смотрит наружу только под VPN, если нет - то производитель перестает обновлять прошивки и NAS шифруется.
Если домашний NAS просто ПК заточенный под нас с возможностью ставить свою систему - то конечно лучше.
Самый дешевый Raspberry Pi 4 (2Gb) стоит в лучшем случае $100. Прибавьте сюда стоимость 4 HDD для организации RAID10 + электричество + интернет. За 48 евро вы получаете 1Тб в облаке на 2 года.
Проблема не в стоимости хостера, а в том, что порой, по всяким независящим от тебя причинам — их приходится менять. И вот когда один раз ты поднимешь и перекачаешь, второй, третий — а на четвертый я залюбился и слил все на дропбокс.
пока все это не надоест и не осядет в домашнем NAS под кроватьюЛогично с этого и начать.
Вот тут хотелось бы решение для синхронизации двух насов, один дома, второй у родителей/на даче/в гараже и т.п.
rsync?
Resilio
Тут его уже упоминали. А как оно в реальном использовании? Насколько его клиент для мобильных удачен, в отличие от кривущих OneDrive и Дропбокса?
Я с него на Syncthing сбежал.
А его можно защитить от непредвиденных обновлений со стороны разработчика?
Никак не мог понять вопроса, пока не вспомнил что это за ужас Resilio. Конечно можно. Даже если было бы нельзя, то https://github.com/syncthing/
BorgBackup. Возможно, для ваших запросов функционал будет лишним. Основная фича: дедупликация из коробки, монтирование разных версий состояний.
Ничто не мешает пополнить баланс провайдера VPS сразу на 10 лет вперёд, чтобы они постепенно списывали с баланса нужные суммы.
А зачем сразу и fallocate, и dd? Чего-то одного хватило бы.
У меня буквально один вопрос: а почему zswap (которому ещё и swapfile требуется), а не сразу zram? Намного отзывчивее получается система. А для полного душевного спокойствия можно добавить к нему файловый swap с более низким приоритетом. На VPS с гигабайтом оперативки можно и вовсе одним zram обойтись.
Да, zram не имеет смысла при включенном свопе, потому что "тупо сначала забьет быстрый zram, а дальше будет свопиться на медленный HDD". Поэтому его используют, если нет свопа, в андроиде например.
Я zswap не понимаю Пробовал когда-то разобраться, но так и не понял как проверить его статус, что он реально что-то делает и в чём-то помогает. Вот с zram всё просто:
$ zramctl
NAME ALGORITHM DISKSIZE DATA COMPR TOTAL STREAMS MOUNTPOINT
/dev/zram0 lzo-rle 7,3G 2,9G 877,1M 913,7M 8 [SWAP]И видим, что в своп, который на /dev/zram0, ОС записала 2.9GB данных, после сжатия и накладных расходов они в RAM занимают 913.7M. 2 Гигабайта сэкономлено. А вот про zswap как что-нибудь понять?
У zram и zswap разная область применения. Zram хорош когда у системы много оперативки и можно себе позволить отказаться от свопа на носитель совсем, разместив его в памяти. Zswap же хорош когда памяти мало и свопинг неизбежен, но благодаря zswap он частично откладывается и происходит плавнее.
Спасибо за инструкцию.
Подход, конечно, интересный, но чем он лучше варианта с Resilio Sync на своих пасочках?
У меня дома стоит простенький NAS, статический ip, домен, купленный Resilio Sync, 200 mbps интернет. За 3 года эксплуатации ни одной проблемы, за исключением некоторых косяков связанных с let’s encrypt которые пришлось поправить вручную.
Немного неудобно при смене телефона - Resilio создаёт новую папку для автобэкапа фоток, вместо переиспользования существующей. Чинится перемещением файлов.
Если нужно больше скорости и доступности, то можно поднять второй инстанс Resilio на любом линукс хостинге. Данные по торрент протоколу передаются очень быстро.
Вместо Resilio Sync можно использовать Syncthing.
Давно не следил за обновлениями Некстклауда, кто в курсе, подскажите пожалуйста, как у него сейчас дела с webdav-блокировками?..
Несколько лет назад раз была большая дискуссия, на что разработчики ответили, что этого у них в планах нет, мол нефиг подключать nextcloud через davfs; а потом добавили возможность ручной блокировки из веб-интерфейса, автоснимаемой по тайм-ауту и сказали, что формально просьбу выполнили, отстаньте.
Проблема в том, что, например, в том же десктопном LibreOffice можно открыть файл напрямую через webdav. Но если ты с файловым ресурсом работаешь не один, а другие люди тоже имеют доступ - т.е. это уже не персональная файлохранилка, то один и тот же файл могут попробовать отредактировать несколько человек - и "выиграет" тот, кто сохранится последним. Не говоря уж о сценарии типа "несколько человек открыли файл в Collabora и час правили, но пока они его правили, кто-то его удалил/залил новую версию/поредактировал в том же LibreOffice...
Для некоторых случаев можно просто взять хостинг и поставить себе https://github.com/winfsp/sshfs-win
есть же docker-compose для этого уже написанный...
Плюс (скорее всего) там не придется возиться с removable, чтобы перенести каталог данных.
А где вы нашли рекомендации разработчиков использовать именно snap? Поделитесь пожалуйста?
Я на сайте NC нашел:
Nextcloud GmbH maintains an all-in-one Docker image that is easy to install and maintain.
и вот это:
The Nextcloud community maintains a Nextcloud Snap, including release channels and quick and easy deployment for easy home use.
Т.е. snap - это не официальная разработка Nextcloud GmbH. И на сайте https://nextcloud.com/install/ рекомендуется использовать NC as service, потом Docker, потом ещё несколько вариантов и только в конце - snap.
Жаль nextcloud_server нельзя установить под windows 7х86, а то есть пара ноутов (Asus Eee PC 1025C) которые пылятся, но кроме windows 7х86 на них ни чего нормально не установить.
У меня один используется как приставка к телеку (фильмы смотреть), второй как видеосервер на нем ivideon крутится.
я вижу 2 варианта:
NetBSD. до сих пор i386 поддерживается полностью, ядро крайне мелкое и многие софты тоже компактные, есть бинарные пакеты. 2 гб хватит даже чтоб пересобраться. кроме того, NetBSD очень удобно пересобирать на стороннем сервере (любой linux или даже wsl) -- просто запуском 1 скрипта. есть проблемы с поддержкой различных wifi-карт, возможно придётся менять на поддерживаемую.
Gentoo, тоже, в общем-то, поддерживает i386 до сих пор. но в принципе в линуксе ядро жирное нонче, и если не смущает грохнуть 50+ мегабайт памяти на только само ядро и ещё сколько оно там займёт структурами данных -- можно. правда пересобирать локально на еее замучаетесь.
А в чем проблема? Поставить хттп-сервер, поставить пхп, поставить бд, и должно взлететь из тарника.
Но так на самом деле и проще, потому что не приходится устанавливать addon на эмуляцию removable, чтобы snap хранил данные на отдельном разделе. Бонусом идет резервное копирование на второй сервер через zfs send :)
А хостить своё облако дома не рассматривали? Можно воткнуть ссд на пару терабайт, и обычно это намного дешевле, чем облако.
BackBlaze B2 на 2Tb, правда без скачивания да и там HDD будет, обойдется в 120$.
Когда Office 365 был доступен, то OneDrive в нем получался по семейной подписке еще дешевле.
С другой стороны для своего хранилища надо железо с ненулевой стоимостью.
Как вы так интересно сравниваете цену разовой покупки (без учёта остального железа) со стоимостью подписки?
Ну и самый дешманский SSD на 2 ТБ я нашёл на hotline за €140. Не выглядит прям бюджетным решением. За такие бабки можно Storage VPS оплатить на 7 лет вперёд.
Отличная статья. Однозначно в закладки
Допустим, я освоил это мастерство и настроил себе личное облако, теперь все домашние им пользуются, благодать. Завтра я внезапно отдаю концы — и что домашним делать со всем этим хозяйством? Мне нужно ещё научить кого-то это облако поддерживать — платить, следить, восстанавливать, переносить?
А если вместо личного облака вы используете публичное, то что меняется в этом случае?
Точно так же, после окончания подписки и неоплаты следующено периода данные будут потеряны.
Это вопрос не технического, а организационного плана.
У меня старшие сыновья - админы со всеми привелегиями и знают как продлить подписку.
Проблема не в неоплате, проблема в необходимости сакральных знаний.
Сыновья смогут повторить ваш подвиг, когда этот VPS накроется и нужно будет искать новый и переезжать на него? Или доменное имя забудут продлить? Или Let's Encrypt накроется, и нужно искать другой CA? Это всё гораздо сложнее, чем переехать с Google Drive на OneDrive или на Dropbox.
Примерная аналогия: вы решаете, что нефиг платить за электричество и собираете на крыше кастомную систему на солнечных панелях из говна и палок купленных там и сям комплектующих. Она работает, если что-то ломается, вы быстро чините, знания есть, чё. Но без вас эта система станет бесполезным хламом на первой же аварии. Вы теперь её вечный придаток.
А в чём повышенная сложность переехать с NextCloud на OneDrive или на Dropbox или на Google Drive, если возникала такая необходимость?
С тем, что если, скажем, Google решит убить свой Drive, или Apple — свой iCloud, то они дадут достаточно времени на миграцию, просто заморозив закачку и уведомив всех из каждого утюга. Можно неторопливо скачать все файлы из облака на компьютер, потом закачать на другое облако.
В случае, если закроется хостер кастомного облака (протухнет домен или сертификат), такого не будет:
- не будет уведомлений; возможно, будет емейл о закрытии хостера, или о протухании домена, или о протухании сертификата, но нужно ещё уметь увязать это с потерей облака, т.е. кому-то ещё нужно знать про это и помнить, и заранее подписаться на емейлы от хостера, от DNS, от CA, отслеживать это всё, реагировать;
- не будет заморозки и sunsetting period. Лавочка просто закроется (доступ потеряется), и всё нажитое непосильным трудом останется там, и нужно особое умение чтобы это аварийно вытащить через чёрный ход. Локальных бэкапов, конечно же, не будет — для этого нужен постоянно/периодически включенный PC c большим диском, в наше время это становится диковиной.
Я совершенно не отрицаю пользы частного облака для себя лично (скажем, для профессиональной деятельности или для хобби, которые кончатся с вами), но вот для семьи состоящей из обычных юзверей — это уже большой вопрос.
В актуальной реальности
от google могут зачебурнетиться не предупреждая за пол года (в общем можно считать что уже предупредили)
так-же возможны несчастные случаи с утерей человека, знающего пароль и его телефона одновременно
и можно придумать ещё ситуаций, когда вернуть данные от google будет гораздо сложнее, чем достать диск из сервера под подушкой, даже если на нём nextcloud сломался не запускается (особенно если там был зеркальный raid и территориально распределённое резервное копирование на малинку с диском на даче и/или на какое-нибудь облако)
И еще: любое облако нужно поддерживать — платить, следить, восстанавливать, переносить. Любое!
Вы можете делать это самостоятельно или поручить кому-либо за деньги. Выбор сейчас огромный.
синхронизируйте его на домашний NAS
Хочется дополнить немного по поводу неочевидных моментов и их решений, у NC:
1.. Хранилище - при первой конфигурации после установки, предлагается выбрать путь в котором будут храниться пользовательские данные. Однако если после непродолжительно использования приспичит перенести/добавить хранилище (условно: у вас NAS и вы добавили ещё дисков и хотите использовать и их), то это не получится сделать по человечески
Решение - плагин (хотя в NC это всё таки приложения) External storage support, в нём добавляется хранилище и оно отображается как обычная папка в интерфейсе NC. Помимо добавления локальных папок ESS умеет и в сетевой доступ.
2.. Стоит так же учитывать что NC не читает содержимое каталогов 'как есть', все операции с файлами производятся с добавлением информации в БД. Я использую NC в домашнем NAS, в гибридном режиме совместно с шарой по SMB от OMV, это не так уж и сложно делается главное не забывать про унаследование и распределение прав. Однако существует проблема что после добавления файлов в пользовательское хранилище они не отображаются в самом NC.
Решение - принудительное сканирование через occ консоль:
Сканирование папок всех пользователейsudo -u www-data php /var/www/nextcloud/occ files:scan --all
Сканирование определённой папки у пользователяsudo -u www-data php /var/www/nextcloud/occ files:scan -p admin ../admin/files/YouTube
3.. Последние и моё любимое - синхронизация под Android. Приложение клиент под ведро, при синхронизации папок делает дубликат файлов в каталоге приложения ../Android/data/com.nextcloud.client/ что на корню убивает суть и бессмысленно отжирает место
Решение - сторонний клиент синхронизации Autosync, помимо NC умеет синхронизировать через множество шар, в т.ч. и SMB, что в случае файлов с музыкой получается даже быстрее.
Если не хочется snap и не хочется много делать руками, то есть инструкция от немца https://www.c-rieger.de/nextcloud-installation-mit-nur-einem-skript-zero-sh/ (репо: https://codeberg.org/criegerde/nextcloud-zero) - практически не требует ручного труда: задать десяток параметров скрипту и вперёд.
Года два назад для себя понял - что вот эти хранения личных архивов - путь в никуда.
Использую гугл.фото с доступом родным куда надо. Все фото со временем фильтрую, не нужные и удаляю. Условному мне, за 10-20 лет, не думаю что будет интерестно листать по 50-100 фоток с каждого дня рождения, поездки, вылазки на шашлык. 2-3 ключевых фото достаточно что бы вспомнить. Когда у гугл.фото убрали безлимит - еще больше дало стимула почистить ненужное. Раз в полгода выгружаю себе архив на всяк случай. Со временем да, лимита не хватит, может докуплю место, или перейду на OneDrive. Как то не боюсь что фото моего сына с писюном в ванне может какие то органы заинтересовать. Анализирует гугл фото? да пусть себе анализирует. У меня не частная порнолаборатория. С террористами переписок не веду
А вот "потому что не хотим зависеть от корпораций с их кабальными лицензионными соглашениями и сменой условий задним числом " - смешно. Как будто у VDS/VPS этого нету.
Недавно была новость про неудачливого отца, который отправил врачу фото гениталий своего сына, в результате чего Гугл безвозвратно удалил его аккаунт за распространение ЦП. Не удивлюсь, если скоро будут блокировать просто за хранение таких фоток в облаке
Условному мне, за 10-20 лет, не думаю что будет интерестно листать по 50-100 фоток с каждого дня рождения, поездки, вылазки на шашлык. 2-3 ключевых фото достаточно что бы вспомнить.
Мне сейчас чуть больше 60 и больше всего (в этом плане, конечно) я сожалею о прое… когда-то и где-то пленках с сотнями отснятых мною кадров.
Уцелело 10% из них — и примерно 50% из них очень приличного качества (сканы с пленок)
И теперь все это — огромная ценность как для меня, так и для тех, кто был на фото или знал людей на фото (20% уже нет с нами).
А ведь есть еще и пропавшие альбомы с фотографиями, которые были сделаны моей мамой в 50...60 гг прошлого века… это вообще уже были бы исторические документы.
Из 100 почти одинаковых фото что-то вдруг может оказаться весьма интересным лет через 30-40, какая-то мелкая деталь, внезапно ставшая очень важной много лет спустя.
Ну вот базового пакета мне уже не хватает. Забит на 95%, и это я ещё почистил. Лежат там фото как раз лет за 10, более ранние я не синхронизировал автоматом.
Тоже думал раньше: чёрт бы с ним, докуплю подписку.... А потом оказалось, что подписку уже не купить. В итоге всё ж буду NAS + OneDrive совмещать.
и потом добавляем те же самые строчки в /etc/rc.local чтобы оно сразу включалось после перезагрузки:
Сталкивался с тем, что rc.local отсутствует в новых убунтах. Для них необходимо добавить сервис в systemd, который бы запускал команды из этого файла. Как это сделать, написано например здесь: https://www.linuxbabe.com/linux-server/how-to-enable-etcrc-local-with-systemd
1. >curl -u dunny:password -X PROPFIND https://ваш_домен/remote.php/dav/files/dummy/ - не взлетит
2. Про обновление - имхо, хорошо бы добавить, что после обновления стоит заходить на страницу параметров (Настройки -> Общие сведения) и выполнять инструкции оттуда (про нехватку индексов и т.д.)
Без шифрования дисков и бэкапов получилась статья как НЕ надо делать.
Ну и я бы не доверил файлы vps за "100ГБ - 1 уе" в месяц, там явно всё из Г и палок.
>У этого хостера я пользуюсь SSD VPS почти уже 7
Да, сейчас самое время на украинских серверах файлы хранить... на vps.ua прям на главной "Русский военный корабль, иди н...й!. Мы больше не предоставляем услуги гражданам рф. Серверы остальных клиентов продолжают стабильно работать"
интересно, они хоть время смыться дали или отправили файлики за крейсером?
В эффективность шифрования на VPS и даже VDS не верю. Можно самообманом не заниматься...
Куда катится наш мир! Запустил snap ... и всё работает. Где настройки nginx? Где настройки iptables? Где растройки php-fpm, в конце концов?! Истинно говорю, наступают последние дни.
Так, обождите, вся статья о том как на впс-ке под дебианом развернуть НекстКлауд?
Причем многие команды приводятся по принципу делая как я?
Мне было бы стыдно выкладывать такую статью.
Ну, типа, на Хабре наверное не должно быть у читателей особых проблем с тем, чтобы по документации разработчика развернуть достаточно простой сервис?
Я так понимаю, что ставят плюсы больше за идею, чем за полезность гайда. Кто-то раньше может и не задумывался о существовании Nextcloud, а теперь попробует поднять.
У меня к статье ровно одна претензия - почему VPS, а не собственное железо. Принципиально иструкция описанная в статье мало чем отличается - на своем железе или на виртуальном. Но раз уж сползать с облаков, то сползать конкретно! А не так, что через три месяца опять ломать голову как и куда перетаскивать своё барахлишко со сдохшего хостинга.
Автору поставил плюс за статью и в карму.
Хочется отметить, что это отнюдь не уникальное решение автора. Таких статей на просторах интернета достаточно. Уникальный вклад автора в идею вероятнее всего - размещение сервиса на Vps. Мой личный опыт заключался в размещении nextcloud дома на mini-pc с ssd 512gb + выделенный IP для ухода моей супруги от icloud.
Также хочу отметить один большой недостаток данного решения - клиент nextcloud для ios не способен работать в фоновом режиме. Таким образом, если вы хотите слить в ваше облако 256 gb фото и видео с телефона, для вас это будет большое испытание вашей психики)
Сначала называете себя Линукс гуру а потом:
Ставим МС
Называем ссш на 22 небезопасным, при этом оставляя парольный вход
Ставим софт на сервер через спапы
Фейспалм
А проблемы при установке NC из snap с обновлением на мажорные версии NC уже исправили?
Раньше, при попытке обновиться на следующую мажорную версию процесс заканчивался неудачей и сообщением о том, что через snap это сделать невозможно. NC валится полностью до отката до предыдущей версии. Учитывая, что автоматические обновления в snap просто так отключить нельзя... Получился не очень веселый круг: неудачное обновление - откат.
Я не понимаю зачем арендовать какой-то VPS/VDS и хрен знает что еще ? Почему отметается вариант установки личного сервера у себя дома под кроватью или в чулане ? В крайнем случае - RPi4 с внешним SSD. Услуга статического IP есть у всех провайдеров и стоит не дорого, при этом у вас полностью отсутствует зависимость от каких-то облачных компаний. Вы даже можете сменить интернет провайдера при этом ничего не потеряв - всё переконфигурирование займет не более пяти минут. Если сползать с облаков, так основательно, а не менять одну удавку на другую.
Я правильно Вас понял, что Вы беспокоитесь за сохранность Ваших данных, переживаете о том, что Ваш аккаунт могут случайно или намеренно заблокировать в Гугле, сам Гугл может быть заблокирован, интернет сегментирован и т.д., но при этом Вы совершенно не хотите платить за решение этих проблем ? Тогда вообще нет никакого смысла предпринимать какие-либо действия, продолжайте пользоваться облачными сервисами - это очень удобно и выгодно. Все так делают.
RPi одно время стоила копейки, да и сейчас на Али можно приобрести одноплатник совсем недорого. Резервное копирование тоже не проблема - ZFS в помощь (для начала достаточно простого зеркалирования). И бесперебойник Вам не нужен, так как сбои по питанию это достаточно редкое событие и Вы с легкостью его переживете - у Вас же не стоит задачи обеспечить непрерывно облуживание десятков тысяч одновременных запросов к Вашем хранилищу и на обработке запросов Вы не теряете деньги. А если теряете, то физический сервер в ближайшем датацентре в помощь.
Кто-то должен собрать и выложить образ SD карты для RPi со всеми облачными причиндалами, почтой и web-мордой, c возможность быстрой катомизации через Web. Не удивлюсь если такое уже давно есть.
У меня дома к телевизору сзади прикручена PRi4, используется и как медиа-центр и как хранилка и просто интернет погуглить во время еды. Она постоянно включена и смотрит наружу. На мой вгляд - весьма удобное место для размещение собственного "облака". Еще одним таким местом для "облака" может быть домашний маршрутизатор - он есть в каждом доме, всегда находится во включенном состоянии и подклчен к сети, и сбои по питанию ему почему-то не страшны. Вопрос только в софте.
Почему отметается вариант установки личного сервера у себя дома под кроватью или в чулане?
Знаю уже пяток случаев возгораний постоянно работавших системников — и это только личный опыт наблюдений (а в указанных местах еще и пыльно и вентиляция плохая, что очень способствует)
Причем в последнем по времени случае — сгорело огромное здание, с человеческими жертвами.
Скажите, а возгорания холодильника, микроволновки, стиральной машины, телевизора, маршрутизатора и десятка зарядников для мобилок Вы не боитесь ? Вы когда в отпуск уезжаете хоть одно из перечисленных устройств из розетки отключаете ? Задумайтесь над этим!
Так то оно так, но 99.9% сограждан даже не задумываются об этом.
И еще. Нет никакой принципиальной разницы между "уехать в отпуск" и "уйти на работу" - ваша бытовая техника 50% времени находится без присмотра и "в случае чего" отключить её будет некому. Нормы пожаробезопасности нарушаются в абсолютно всех жилых домах, офисных помещениях, на производстве и даже в европейских датацентрах. Так, что все это демагогия.
Вы плохо осведомлены об устройстве современных холодильников. Почти во всех бытовых холодильниках в качестве хладогента используется сжиженый бутан (R600). Так, что из всех бытовых приборов холодильник я бы поставил на первое место по опасности возгорания или взрыва. На второе место - стиральную и сушильную машину. Рутер и зарядки от смартфонов - где-то в конце длинного списка.
Всегда, уезжая, обесточиваю квартиру целиком. Даже цепи освещения на щитке.
Если загорится не у меня, но инспектор потом найдёт, что что-то было включено, могут возникнуть неприятные вопросы.
Ну, например, потому что не хотим зависеть от корпораций с их кабальными лицензионными соглашениями и сменой условий задним числом. Или потому что нам хочется приватности.
поэтому нам нужен VDS/VPS
Нет ли тут некого противоречия?
При наличии домашнего сервера есть еще вариант, хоть и немного сложнее. Поставить Nextcloud на домашний сервер, и подключить его по vpn к vps. В моем случае использую vpn Wireguard. А на vps поставить Nginx Proxy Manager, что позволяет использовать доменное имя и https как точку подключения к облаку. Такое решение не ограничивает возможности облака по объему в рамках vps.
Nextcloud VM Appliance от разработчиков NC уже со всеми оптимизациями https://github.com/nextcloud/vm
Не NC единым - filestash, filebrowser, filerun, sftpgo в помощь. Кто-то из них даже в collabora office могет. Если же только файлохранилка нужна, то freenas core\scale или omv. Трунас скейл и omv умеют в докер из коробки практически.
Большое преимущество Яндекс Диска - в дублировании информации на разных серверах. Здесь мы храним данные на одном диске, и в случае его сбоя теряем все. Есть ли варианты с дублированием?
А что за классный украино-американский хостер?
Создаем личное файловое облако легко и просто (и дешево)