Спасаем Google Shared Drives от санкций

Утром 16 марта ваш покорный слуга получил следующее "письмо счастья". Которое на фоне всего происходящего в мире не казалось таким уж неожиданным.

Hello, 

This is Jeff reaching out on behalf of Zapier support. 

In connection with the recent events involving Russia and the Ukraine, the U.S. government has released a set of broad new sanctions that prohibit any U.S. persons and businesses from conducting any transactions with you. As a U.S. company, Zapier is required to comply with sanctions released by the U.S. government.  As a result, starting on 03/15/2022 at 00:00:00 UTC Zapier will suspend access to your Zapier account and suspend all Zaps.

When sanctions are lifted you can reach out to us by responding to this email about reactivating your account. 

Zapier appreciates our users and we hope to be able to serve your automation needs in the future. If you have any questions please respond to this email. 

Jeff - Zapier Support

Потеря невелика - Zapier хоть и использовался на одном проекте, но в последнее время уже не очень активно. Но, раз круг сужается, пора позаботиться о более важных вещах. Например, об информации в Google Drive.

Лучшие друзья девушек-админов - бэкапы

Свой личный Google Drive можно относительно легко забэкапить через Google Takeout.
Да, автор параноик и уже давненько бэкапит даже облака. Но в текущих условиях это уже не выглядит так уж странно, правда?

Но, возможно, ваша компания использует Google Workspace и Google shared drives. Есть облака более дешевые, но вряд ли есть более функциональные. Разве что за исключением бэкапов.

Да, с бэкапом корпоративных shared drives (общих дисков) всё не так просто.

Из "коробки" есть следующие варианты:

1. Data export в admin.google.com. Медленно и негибко. Обещают делать бэкап аж до нескольких дней. Можно делать не чаще раза в месяц (что не смертельно). Нельзя сделать инкрементный (что смертельно при больших объемах).

2. Google Drive for desktop (не путать с Backup and Sync). Нет под Linux. Глючит - у автора при отключенной настройке "только копировать" как-то начал удалять с локального компа файлы, отсутствующие на сервере.

3. API/SDK. Раньше автор не юзал, а сейчас тем более не особенно много времени разбираться. Смотрим в сторону готовых решений.

Единственный адекватный вариант, мощный как бульдозер Марвина Химейера - это rclone. Про него уже писали, но сегодня мы поговорим про несколько нюансов именно работы с shared drives, которые вам могут пригодиться.

Быстрый старт

Сам процесс использования rclone очень прост.

Интерактивно настраиваем подключение к shared drives. Поддерживаются миллион десятки облаков.

rclone config

"Правильные ответы" настройки подключения именно к shared drive, а не к собственному диску выглядят так:

n
CONNECTION_NAME1
12
blank
blank
1
blank
blank
n
y
allow
y
ВЫБЕРИТЕ НОМЕР ДИСКА (если дисков много, сохраните список SHARED_DRIVE_ID в файл - пригодится ниже)
y
q

После чего содержимое конкретного диска можно слить локально (или в другое облако) командой

rclone copy CONNECTION_NAME1: /backup/disk1 -P

При переключателе -P будет выводиться прогресс с текущей скоростью, текущими скачиваемыми файлами и сколько осталось.
Повторный вызов команды запустит закачку только свежепоявившихся файлов.

Если у вас десятки Google shared drives

Как у вашего покорного слуги. Для этого не нужно 30 раз запускать команду rclone config. Это утомительно, а блокировка, возможно, уже на носу.

Ищем на диске .rclone.conf, и просто делаем нужное число копий секции под каждый диск.

[CONNECTION_NAME1]
type = drive
scope = drive
token = {"access_token":"","expiry":"2022-03-16T17:18:56.415289848+04:00"}
team_drive = SHARED_DRIVE_ID

Меняем CONNECTION_NAME1 на очередное уникальное, а SHARED_DRIVE_ID - на ID из списка, сохраненного выше.

Всё, теперь мы готовы забэкапить сразу 5 shared disks параллельно:

rclone copy CONNECTION_NAME1: /backup/disk1 &
rclone copy CONNECTION_NAME2: /backup/disk2 &
rclone copy CONNECTION_NAME3: /backup/disk3 &
rclone copy CONNECTION_NAME4: /backup/disk4 &
rclone copy CONNECTION_NAME5: /backup/disk5 &

Всё вышеуказанное, надеюсь, не пригодится в разрезе санкций. Но может пригодиться, например, при необходимости восстановить удаленный несколько месяцев назад файл. Ведь в корзине он хранится только 30 дней.

Продолжение статьи: Спасаем Google Shared Drives от санкций (дополнение спустя два года)