1shaman 20 апр 2022 в 11:00

Выкачиваем почтовый архив. Бэкап Gmail и других ящиков на локальный диск

7 мин

39K

Блог компании FirstVDSРезервное копирование*Софт

Почтовый ящик с письмами — это личная собственность человека. Никто не имеет права доступа к архиву, кроме владельца.

Забота о своём почтовом архиве тем более актуальна в нынешних условиях, когда любой внешний сервис может закрыться, обанкротиться или просто откажется вас обслуживать. Гораздо спокойнее хранить архив у себя — сделать резервную копию в надёжном домашнем хранилище.

Выкачиваем архив

Если у вас есть доступ к почтовому сервису, то проще всего выкачать письма по протоколу IMAP (Internet Message Access Protocol). Это один из стандартных протоколов, которые используются для доступа к почтовым ящикам, наряду с POP3, SMTP и HTTP (доступ через браузер). Большинство почтовых сервисов поддерживают все три протокола.

IMAP удобен тем, что позволяет без усилий синхронизировать папки на нескольких почтовых серверах и на локальном компьютере, периодически делать резервные копии и легко переносить почтовый архив с одного сервера на другой.

imap-backup (резервные копии)

Для резервного копирования хорошо подходит программа imap-backup, которая создана именно для этой цели.

Примечание: в случае подключения к Gmail нужно добавить программу в список разрешённых приложений и создать для неё отдельный пароль для доступа к почте.

Это делается в меню «Пароли приложений» раздела «Вход в аккаунт Googlе» (аккаунт Google → вкладка «Безопасность»).

Этот пароль пригодится позже.

Затем настроить программу для работы:

$ imap-backup setup

Эта команда создаёт файл конфигурации ~/.imap-backup/config.json. По умолчанию указаны параметры почтового провайдера Gmail, но можно указать конкретный сервер для подключения и отредактировать другие данные:

{
"accounts": [
{
"username": "my.user@gmail.com",
"password": "secret",
"server": "my.imap.example.com",
"local_path": "/path/to/backup/root",
"folders":
[
{"name": "[Gmail]/All Mail"},
{"name": "my_folder"}
]
}
]
}

В настройках можно указать настройки соединения, которые будут использоваться вместо стандартных. Например, отключить аутентификацию TLS:

{
"accounts": [
{
"username": "my.user@gmail.com",
"password": "secret",
"server": "my.imap.example.com",
"local_path": "/path/to/backup/root",
"folders": [
{"name": "[Gmail]/All Mail"},
{"name": "my_folder"}
],
"connection_options": {
"ssl": {"verify_mode": 0},
"port": 993
}
}
]
}

Обратите внимание, пароль к почтовому ящику здесь хранится открытым текстом в файле конфигурации. То есть проблему безопасности придётся решать самостоятельно: или хранить его в зашифрованном хранилище, или удалить после использования.

На самом почтовом сервере разрешаем доступ по IMAP. Например, в настройках Gmail соответствующая опция находится на вкладке «Пересылка POP/IMAP».

После настройки сама процедура резервного копирования почтового ящика запускается командой из консоли:

$ imap-backup

Ну или можно прописать в скрипт, который стартует по расписанию и выполняет все действия, связанные с резервным копированием.

Каждая папка из почтового ящика сохраняется в отдельный файл .mbox. Возле каждого .mbox лежит файл .imap, в котором перечислены исходные IMAP UID для полного восстановления ящика.

Другие команды.

Показать список папок:

$ imap-backup folders

Показать статистику загружаемых писем для каждой папки:

$ imap-backup status

Предусмотрена также процедура восстановления архива писем из резервной копии на другом почтовом сервере (restore).

Имейте в виду, что в Gmail установлены лимиты на скачивание.

Ну и, конечно, не забываем про стандартный сервис Google Takeout, который позволяет скачать вообще все данные, которые собраны в вашем аккаунте Google. Для почты создаётся файл .mbox, который можно спокойно импортировать в почтовый клиент. Но это больше подходят для однократной миграции, а не периодических бэкапов по расписанию.

imapsync (миграция)

Похожую задачу выполняет консольная утилита imapsync (работает под Windows, Linux, Mac OS). Только она не копирует и не восстанавливает почтовый архив, а напрямую переносит все письма с одного почтового сервиса на другой, выполняя инкрементальный рекурсивный перенос архива.

«Инкрементальный» означает возможность остановки копирования в любой момент — и возобновления процедуры в будущем без создания дублей. «Рекурсивный» означает копирование всей иерархии папок, подпапок и т.д.

Хотя у программы отсутствует графический интерфейс, можно попробовать онлайновую версию Mailbox Imapsync Online. Там указываете параметры исходного и целевого сервисов — и весь архив копируется с одного сервера на другой, но не более 3 ГБ.

Несложно заметить отличие от вышеупомянутой программы imap-backup. Во-первых, здесь не выполняется копирование на локальный диск ПК. Во-вторых, перенос архива с одного почтового сервера на другой происходит в одностороннем порядке, без полноценной синхронизации. Для двунаправленной синхронизации лучше использовать OfflineIMAP или mbsync (mbsync).

Обратите внимание, что ни одна из вышеперечисленных утилит не может скачать/синхронизировать контакты или календари по протоколу IMAP. Это можно сделать с помощью других инструментов типа Outlook CalDav Synchronizer или через экспорт / импорт файлов CSV или ICS.

Другие утилиты

На сегодняшний день существует около 50 инструментов для синхронизации по IMAP, резервного копирования почтового архива и / или переноса почтового ящика с одного домена на другой. Среди них нативные программы и внешние онлайн-сервисы, в том числе бесплатные, которые работают на базе imapsync.

Но основные инструменты перечислены ниже:

Не резервная, а рабочая копия

Выкачать почтовый архив — это замечательно. Теперь у нас есть резервная копия, которая никуда не пропадёт.

Но в идеале хотелось бы иметь возможность постоянно работать с этой информацией. То есть локально, в офлайне читать письма, сортировать их, находить важную информацию в архиве и так далее.

Для этого предназначены нативные почтовые клиенты. Они отлично работали ещё до изобретения WWW и появления первого веб-сайта. Но история развивается по спирали — и сейчас нативные клиенты снова актуальны.

Специализированные программы заточены на одну-единственную задачу. И выполняют её идеально. Нативный клиент позволяет ответить на письмо за несколько секунд, не притрагиваясь к мышке.

Хотя и у веб-клиентов есть очевидные преимущества. Неспроста многие люди перешли на них.

Преимущества веб-почты

Доступ с любого устройства. В далёкие времена люди выходили в интернет из интернет-кафе или от знакомых, у которых был интернет. С любого компьютера можно было проверить свой ящик и написать письмо. Хотя такая функциональность закладывалась в IMAP изначально, на практике это привело к централизации и «портализации» интернета.
Портал. Веб-почта получила популярность как удобный сервис «всё в одном». Люди заходили на единый портал, где было всё нужное и ненужное — почтовый ящик, каталог сайтов, поиск в интернете, новости, игры и так далее. Некоторые из этих «почтовых порталов» дожили до наших дней, хотя выглядят как архаизм. Когда вы нагромождаете кучу новых сервисов вокруг одного действительно полезного — почты, это напоминает навязывание ненужных услуг ради выжимания максимальной прибыли.
Поиск. Ещё одно важное преимущество — быстрый полнотекстовый поиск. По крайней мере, это касается Gmail. Собственно, её материнская компания и специализируется на поиске, так что ничего удивительного.
Антиспам. Ещё одно преимущество — более эффективная фильтрация спама через «облачную систему AI», но это скорее маркетинговое заявление, которое сложно проверить на практике. Да, «облачный AI» действительно эффективно фильтрует спам. Но и другие современные спам-фильтры без всяких «наворотов» тоже действуют очень эффективно. Например, бесплатная опенсорсная программа Rspamd.
Облачный хостинг. Сохранность писем вам гарантирует большая корпорация, которая специализируется на хостинге. Теоретически, у неё должно быть безопаснее, чем хранить архив у себя на компьютере. Но сейчас уже не так. В последнее время ситуация изменилась и стоит учитывать, что зарубежная компания может легко покинуть российский рынок, оставив ваши данные в пустоте. Теперь настоятельно рекомендуется сделать резервную копию всей информации, которая хранилась на внешних зарубежных сервисах.

Преимущества нативных клиентов

Преимущества нативных клиентов можно перечислять долго. Главное — это бесконечные возможности настройки под индивидуальный вкус и привычки, включая интерфейс, шрифты, меню, информационные тикеры, шаблоны, автоответы, сортировку писем по папочкам и многое другое.

В качестве примера можно привести один из самых известных в 90-е годы почтовых клиентов под Windows — The Bat! от молдавской компании Ritlabs.

The Bat!

Этот почтовый клиент поддерживается до сих пор. Даже выходят новые версии. Буквально в феврале 2022 года началось бета-тестирование новой версии The Bat! v10.

Вот некоторые продвинутые возможности The Bat!, чтобы понимать смысл использования нативных клиентов:

Шифрование PGP, GnuPG и S/MIME.
Сортировка. Поддерживаются произвольные правила сортировки и любое количество папок. Автоматическая обработка сообщений: автоответ, запуск внешнего приложения, добавить адресатов в адресную книгу, экспортировать/архивировать, извлечь аттачи и др.
Шаблоны.
Безопасная работа с аттачами. В офлайне на изолированном компьютере можно спокойно разбирать полученные файлы.
Выборочное скачивание. Многие письма фильтруются на сервере и удаляются перед скачиванием, чтобы не генерировать лишний трафик. Это было особенно актуально во времена диалапа.
Встроенная поддержка RSS.

Естественно, имеется автономная адресная книга, встроенный просмотр HTML (на движке Chromium) и другие атрибуты современного почтового клиента.

Другие почтовые клиенты

За историю интернета мы видели рождение и закат очень многих почтовых клиентов. Некоторые из них поддерживаются до сих пор. Вот самые известные:

… и многие другие.

В большинстве случаев можно настроить клиент на получение / отправку писем через разные почтовые сервисы. Кроме того, обычно поддерживается импорт / экспорт почтового архива из одного клиента в другой.

Почтовый архив — личная собственность человека

Новые стартапы в интернете рождаются каждый день. Интернет похож на бурлящий котёл инноваций. Глобальный конструктор, где каждый может собрать что-то новенькое и интересное из существующих модулей.

В то же время есть фундаментальные технологии, которые лежат в основе и обеспечивают работу всего этого огромного конструктора. Эдакие бессмертные титаны, удерживающие на своих плечах технологический стек. В интернете это протоколы TCP/IP и электронная почта.

Хотя сегодня люди часами сидят в телеграме и дискорде, но самые важные коммуникации всё равно идут по почте. Мессенджеры приходят и уходят, а электронная почта будет всегда.

Важно понимать, что почтовый ящик и все письма — собственность человека, а не постороннего сервиса. Это самая ценная информация, которую следует бережно хранить наравне с кошельками, паролями, секретными файлами и личными фотографиями.

НЛО прилетело и оставило здесь промокод для читателей нашего блога:

— 15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.

Теги:

Хабы: