Многие из нас слышали о «выживальщиках». Так называют тех людей, кто заранее готовится к различным кризисным сценариям. Если привычная инфраструктура вдруг перестанет существовать, то у них есть «план Б». «Выживальщики» приобретают соответствующие навыки выживания в лесу, обзаводятся всем необходимым для автономного существования.
Но человеку требуются не только инструменты для строительства и припасы. Нужна также информация. Сегодня мы затронем тему сохранения и систематизации полезных данных для дальнейшего использования в автономном режиме.
Как и зачем это делать?
Активное развитие онлайн-сервисов побудило множество людей отказаться от локальных хранилищ данных. Музыка и фильмы, фотографии и документы — всё это теперь хранится на жёстких дисках облачных провайдеров в ЦОДах, разбросанных по всему миру.
С одной стороны, всё достаточно логично и разумно — повсеместная доступность интернета полностью оправдывает такое поведение. Но вот в условиях, когда невозможно с уверенностью сказать, будут ли завтра работать привычные сервисы, нужны и локальные хранилища.
Запустить их несложно, ведь автономное хранение данных доступно для всех. Ёмкие внешние диски, флешки, карты памяти сейчас есть в любом магазине техники по адекватной цене. В качестве аппаратной платформы можно взять готовый NAS-сервер или собрать его самостоятельно. Что касается ПО для такого оборудования, то всё более-менее понятно. Кому-то будет привычно работать с обычным хранилищем файлов, а для кого-то будет удобнее использовать своё собственное «облако», такое как NextCloud.
Но проблема в том, что часто нужны не просто отдельные файлы, а сайты целиком. Ну, например, Stack Overflow, Wikipedia или любой другой ресурс. Как сделать локальную копию? Как скачать карту мира, пригодную для использования на разных устройствах? В каком виде стоит хранить электронные книги и свои собственные заметки?
Существует множество разных инструментов, решающих эту задачу. О них и пойдёт речь дальше.
Что это за инструменты?
Kiwix
История создания: 16 лет назад два разработчика — Эммануэль Энгельхард и Рено Годен — создали пакет приложений Kiwix для работы с файлами формата OpenZIM. Разработали его для того, чтобы выпустить всю немецкую Википедию на DVD-диске.
Возможности ПО: пакет не требует установки и может работать с любого носителя. Это нужно пользователям, у которых нет подключения к интернету. Например, в экспедиции на море или полярной станции. Интернет-соединение в таких местах отсутствует полностью или услуга слишком дорогая для привычного веб-сёрфинга.
Сильные стороны Kiwix — простое индексирование и полнотекстовый поиск. На официальном сайте есть версии приложения не только под десктопные Windows/Linux/macOS, но и под мобильные платформы Android и iOS. Есть сборка и под «малинку».
Как использовать: архивы с данными можно скачать в хранилище проекта. Актуальная на момент написания статьи русскоязычная Википедия с 1 636 223 статьями и картинками весит 31,5 Гб. Архивы обновляются, но не очень часто. Помимо прямого скачивания доступны magnet-ссылки или торрент-файлы.
Если нужен свежий слепок Википедии, можно воспользоваться утилитой mwoffliner. Она может создавать копию любого ресурса на движке MediaWiki. Скорость создания будет напрямую зависеть от производительности канала связи. Итоговый ΖΙΜ-файл собирается другой утилитой zimwriterfs. Указываем директорию, а всё остальное утилита берёт на себя. Всё, что можно сжать, будет сжато и объединено в единый файл.
HTTrack
История создания: в 1998 году появился на свет офлайн-браузер HTTrack. Автор приложения Xavier Roche задался целью сделать простой и удобный инструмент для загрузки веб-сайтов на локальный компьютер. Удивительно, но даже спустя столько лет он актуален и продолжает развиваться.
Возможности ПО: для разных операционных систем применяется разный подход к управлению утилитой. Пользователям Windows доступно классическое приложение WinHTTrack (помимо GUI есть CLI). Linux-версия запускает локальный веб-сервер, всё управление производится через веб-интерфейс. Разумеется, здесь тоже есть управление через консоль. Кстати, есть даже версия для Android. Отличная возможность дать работу вышедшему на пенсию смартфону.
Как использовать: в Debian/Ubuntu установка производится одной командой:
sudo apt install webhttrack
Перед началом работы можно задать максимальную глубину скачивания, количество одновременно открытых Keep-Alive-соединений, ограничение скорости загрузки, количество повторных попыток и прочие опции.
После запуска процесса пользователь получает рабочее локальное зеркало нужного сайта локально. Работать с ним можно без подключения к интернету. А чтобы сэкономить место на диске, полученный результат можно скомпоновать в ZIM-файл и скормить Kiwix.
zimwriterfs -w index.html -I backblue.gif -l ru -t Forum -d Forum -c User -p User /home/user/websites/forum /home/user/Documents/forum.zim -v
Вот, к примеру, локальная копия старейшего форума радиолюбителей:
Obsidian
История создания: приложение изначально создавалось для построения персональной базы знаний. Чтобы сделать её максимально открытой и легко переносимой, все записи представляют из себя обычные текстовые файлы с Markdown-разметкой.
Возможности ПО: многие из читателей Хабра привыкли вести заметки в том или ином виде. Часто это делается через такие сервисы, как Notion, Evernote или Roam. Они удобные, но проблема в том, что если эти компании захотят, то смогут полностью закрыть доступ к данным. Конечный пользователь от этого никак не защищён. Решает проблему Obsidian.
Как использовать: существует множество вариантов миграции:
Конечно, это вовсе не «серебряная пуля», однако Obsidian передаёт контроль за данными в руки пользователя. При необходимости их без проблем можно забэкапить и сжать для экономии дискового пространства. Также есть интересная фишка представления взаимосвязей через граф. Obsidian формирует это представление автоматически, исходя из внутренних ссылок.
Obsidian отлично подходит на роль локальной базы знаний и хранилища заметок, без необходимости прибегать к онлайн-сервисам.
Calibrе
История создания: 31 октября 2006 года, когда Sony представила свою читалку PRS-500, разработчик по имени Ковид Гоял приступил к созданию libprs500. Это ПО для поддержки форматов PRS-500 в Linux. Гоял реконструировал проприетарный формат файлов электронных книг Broad Band (BBeB). В 2008 году программа, для которой был разработан графический интерфейс пользователя, была переименована в Calibre.
Возможности ПО: Calibre в особом представлении на Хабре не нуждается. Это одновременно и утилита для создания книг, и универсальный конвертер в разные форматы, и каталогизатор. У Calibre обширные возможности по конвертации и работе с разными читалками. Кроме того, он может работать в качестве сервера, давая доступ к собранной библиотеке через web-интерфейс:
Как использовать: запустить сервер, а также задать необходимые настройки можно в разделе «Параметры — Обмен через сеть». Сервер обеспечивает доступ к файлам для пользователей в локальной сети.
Кроме того, сервер поддерживает возможность управления доступом пользователей к контенту через авторизацию, а также формирует свой собственный OPDS-каталог. Это позволяет легко подключаться к библиотеке прямо через читалку и скачивать оттуда книги напрямую. Для других устройств, например Kindle, можно использовать экспериментальный браузер и версию сайта без JavaScript.
Planet OSM
История создания: OpenStreetMap, некоммерческий веб-картографический проект по созданию силами участников сообщества — пользователей интернета подробной свободной и бесплатной географической карты мира, впервые был анонсирован в июле 2004 года. Его основатель, Стив Кост, решил, что на базе принципов Wikipedia можно построить и открытый картографический сервис, что и было сделано.
Возможности ПО: мы привыкли, что в смартфоне всегда есть какой-нибудь сервис вроде Google Maps. Но что, если нужны офлайн-карты? Причём не какого-то отдельного района или города, а глобальные. Здесь и пригодится OpenStreetMap. Проект еженедельно публикует глобальную карту мира, доступную для скачивания всем желающим.
Она довольно большая, чуть более 120 Гб (сжатие bzip2) или 66 Гб (сжатие BPF), зато содержит в себе всю картографическую информацию о нашей прекрасной планете.
Как использовать: для загрузки можно воспользоваться торрент-файлами с ресурса http://osm.cquest.org/torrents/. Для обновления необязательно полное скачивание, каждую неделю публикуется дельта изменений.
Полученный файл необходимо распаковать (165 Гб в «сыром» виде) и открыть с помощью таких утилит, как Merkaartor или QGIS. Карты можно и редактировать, не только просматривать. Ещё один важный момент — OSM-карты легко конвертируются в формат разных навигационных устройств, например GPS-трекеров.
Universal Media Server
История создания: софт появился как ответвление PS3 Media Server. Первый анонс — 31 мая 2012 года. За UMS стоит целая группа разработчиков.
Возможности ПО: кроме книг, карт и прочего контента, в офлайне «выживальщиков» будут крайне востребованы сериалы, записанные ТВ-передачи и фильмы. Всё это можно хранить просто в виде набора файлов, но более верным способом будет каталогизировать любые шоу и фильмы, после чего подготовить к потоковой передаче на устройства в локальной сети. Один из инструментов для этого — Universal Media Server.
Как использовать: это кроссплатформенное Java-приложение, которое спокойно запускается практически в любых операционных системах и просто делает свою работу. При запуске оно ориентируется на заданные в качестве источника директории и готовит простой веб-интерфейс. Транскодирование осуществляется «на лету», что достаточно удобно. Из минусов — тяжеловато, поскольку написано на Java. Для слабых устройств лучше посмотреть в сторону miniDLNA.
Локальные репозитории Linux
В завершение нашего обзора предлагаем подумать над тем, как будут жить компьютеры под управлением Linux без возможности выхода в онлайн. С одной стороны, можно просто собрать набор используемых пакетов и на этом остановиться. С другой — хочется иметь пространство для манёвра и собственный репозиторий с приложениями и зависимостями для любимого дистрибутива.
Самым простым в этом будет использование дистрибутива Debian/Ubuntu и инструмента apt-mirror. Утилита изначально была разработана Дмитрием Храмцовым (судя по хэндлу, он зарегистрирован на Хабре как @highdn) для копирования Debian-репозитория его университета. Ныне же её разрабатывает и поддерживает Брендон Холтсклоу (Brandon Holtsclaw).
Процедура создания зеркала репозитория была детально описана 12 лет назад тут же, на Хабре. Она прошла испытание временем и отлично работает на самой актуальной версии Ubuntu.
Вместо заключения
Теперь вы знаете, при помощи каких инструментов можно создать локальное хранилище самых разных типов контента — от Википедии до своего собственного репозитория Linux. Всё это отличный способ не только вернуть себе контроль над данными, но и быть готовым к тому, что привычные ресурсы в какой-то момент могут стать недоступными.
А есть ли у вас локальное хранилище? Или вы всё храните в облаках? Знаете более интересные и полезные инструменты на этот случай? Напишите нам. Ждём ваши ответы в комментариях!