Обновить

Битва в облаках: тестируем скорость популярных хранилищ с помощью Rclone

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров3.3K
Всего голосов 35: ↑34 и ↓1+39
Комментарии31

Комментарии 31

все бесплатные хранилища давно прикрутили лимиты так, что для полноценного бэкапа чего-то более-менее серьезного их и близко не хватает :(

У меня самое критичное умещается в 4-5 гигов, остальное, в принципе, можно раз в неделю скидывать на локальный файл-сервер.

НЛО прилетело и опубликовало эту надпись здесь

syncthing научился работать с iOS?

НЛО прилетело и опубликовало эту надпись здесь

Для обхода таких лимитов в Rclone есть шифрование (crypt) - запаковываешь свой серьезный бэкап в зашифрованный контейнер, режешь на куски и раскидываешь по нескольким бесплатным аккаунтам. Получается свой собственный, распределенный и бесплатный RAID-массив из облаков. Немного паранойи, но работает

А кстати, интересная мысль! Спасибо!

А что будет если одно из облаков тебе сотрут или забанят (как у меня с Dropbox было например)

Как потом бекап собрать?)

Так делай не RAID 0, а RAID 5 или 6... Или их аналоги для облаков :)
Одно облако отвалится - восстановишь из двух-трех других

Начинай тестировать.

Домашний сервер виртуализации.

Бесплатный Личный Nextcloud - 2 TB пока

Интернет 500 МБит/с

Виртуалка Nextcloud + Бэкап виртуалки VEEAM каждый день + копия бэкапов на второй диск + на главном ПК синхронизировано

Итого 4 мест с моим облаком.

Надежно. Только мое. Много места и огромная скорость. Бесплатно.

Я вместо файлопомойки использую сейчас мини-комп на Atom с пассивным охлаждением (стоит в спальне, поэтому отсутствие шума очень важно), но вот в последнее время смотрю именно в сторону профессионального сетевого хранилища. Хотя читал мануалы по сборке практически аналогичного девайса из подручных материалов с опенсорсным софтом. Пока в раздумьях :)

Если руки чешутся собрать самому посмотрите в сторону TrueNAS (бывший FreeNAS). Ставится на любое железо, из коробки дает ZFS со всеми ее плюшками вроде снэпшотов и защиты от деградации данных. По функционалу будет не хуже, а то и лучше многих готовых NAS, но потребует времени на изучение

Вот кстати да, про него я и читал статью. Спасибо!

для домашего NAS сервера, который еженедельно собирают на хабре, для меня остался один нерешённый вопрос. А что если пожар или кража? Пыф-пыф и сервера нет. И.. Да, маловероятно, но всё же. Так-то при наличии достаточного ИТ понимания - домашний NAS однозначно и несравнимо лучше всего остального, платного и бесплатного, вместе взятого.

Из (частых) недостатков такого решения:

  • в случае если все сгорит дома (ну или выгорит электроника) - прощай бекап (он ж не оффсайт)

  • если нет света долго - нет бекапа даже если есть ноут и сотовый интернет. Ну или надо мощный UPS

  • единоразовые расходы на железо

  • электричество/замена запчастей

:)

Правда у меня сейчас (упрощенно):

  • Synology NAS бекапится на подключенный внешний HDD (Synology C2 не используется где то с начала 2022-го, причины не техничнеские)

  • есть хоум-сервер где виртуалка с Seafile (=условно-свой Dropbox) и много чего его. Документы и прочее - синкаются локальными клиентами Seafile. хоумсервер бекапится на еще одну машинку с Proxmox Backup Server (недостаток - если откажет любой из дисков - прощай данные на бекап сервере, да - надо нормальный raid собрать), в планах PBS на хостинге с дешевыми дисками либо (если в PBS4 S3 таки нормально работает) - на S3 гденибудь у адекватного для бекапов хранилища (Backblaze B2/Wasabi)

  • основной комп - дополнительно бекапится Macrium'ом на USB

  • macmini - Time Machine + Carbon Copy Cloner, на внешние диски

  • единоразовые расходы на железо

Я бы не отнес UPS к "одноразовым" затратам, батареи приходится менять регулярно, а они дорогие и становятся дороже с каждым годом... И вот что-то часто они летят, у меня, по крайней мере.

заранее прошу извинить за диагноз "по фотографии", но если батареи для домашнего УПС постоянно живут меньше 2 лет, то что-то тут не так. То ли УПС батарею убивает, или поставщик батарей так себе. Может что-то в консерватории поменять? А так-то батареи евров 15-20 стоят, не? Оригинальные не берём в расчёт, там никаких денег не хватит

Я вот как раз тоже столкнулся с тем что сдох аккум и думаю.. а может достаточно раз на суперкондёры поменять и забить. Недорогой ИБП, хватит чтобы сгладить мелкие скачки и моргания. А так у меня за ним всего то роутер, да миниПК с несколькими хардами, авось троху да поживёт. И уж точно не пыхнет и перестанет утаскивать ИБП в отруб после моргания света (как при дохлом АКБ - не запускается ИБП сейчас без кнопки)

Тут пролетало https://habr.com/ru/articles/909056/

Хороший и методичный подход, но тест одного большого файла это синтетика, которая показывает только пропускную способность канала до дата-центра. Реальный бэкап - часто тысячи мелких файлов, вот тут то и вылезут все прелести API: задержки на каждый файл, лимиты на количество запросов. Картина могла бы получиться совсем другой

Ну, а почему бы не собрать мелкие файлы в несколько более крупных архивов, например, по папкам, и синхронизироваться таким образом, например?

Если rclone то почему не restic.

Да просто более знакомый инструмент.

Можете закидать меня помидорами, но у меня схема такая (пока еще учусь):
Два WinServer. OMV с raid1 на базе старого неттопа HP бэкапит файлы на себя.
Голая Ubuntu на базе обычного ПК ночью ходит через SSH + Rsync на OMV и забирает бэкапы себе через скрипт. Канал 300Мбит/сек. Статические адреса. Размер бэкапов около 100-110гб.
+ один раз в неделю бэкапы с серверов выгружаются на ya disk.

Pikpak даёт 10 TB места и подключается к rclone отлично

Icedrive даёт тоже 5TB места подключается с геморроем но через WebDAV в rclone без проблем

С одним файлом понятно, а что если нужно 10-15 файлов в несколько потоков писать? Вот тут думаю будет интересно. И как кэширование rclone настроено тоже сильно роль играет

Облако mail.ru в rclone подключается без проблем. Может у автора просто руки кривые? ;)

Так же не понятно зачем тестировать VK Cloud (https://cloud.vk.com) выдавая его за другой сервис.

S3 + какой-нибудь K2 Cloud или Яндекс Облако

Использовал rclone + google drive. Но последний месяц получаю то 503, то 403. Или я что-то не то сделал с подключением или что-то поменялось, но я пока не нашёл что.

Яндекс диск при работе через любой клиент, кроме своего собственного, нещадно режет скорость при аплоде как минимум с некоторыми типами файлов.

С какими файлами? 7zip архив с шифрованием принимает и отдает на скорости канала, стабильно >90мбит, через fuse+rclone, на бесплатном аккаунте.

mp4, например.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации