Как поместить весь мир в обычный ноутбук: PostgreSQL и OpenStreetMap

29 мин

21K

PostgreSQL *Java *OpenStreetMap *Геоинформационные сервисы *

+79

Комментарии 21

vda19999 2 фев в 18:49

Говорят, что бекенд OSM сам по себе использует PostgreSQL для хранения - но при этом, вам пришлось - никакого способа напрямую выгрузить их данные невозможно?

igor_suhorukov 3 фев в 10:35

Проект OSM распространяет данные виде PBF/XML дампов и changeset для инкрементальных изменений. OverpassAPI ещё один способ получить данные проекта, но только для небольшого региона — это прямой способ выгрузки данных с проекта.

sshikov 2 фев в 21:13

Теперь для запуска базы не нужен мощный специализированный сервер

Яб сказал, что это зависит от того, что за аналитику хочется. У меня на проекте по геоаналитике приходилось держать базу (с PostGIS), и веб, на основе по моему geoserver, которые отдавали тайлы, на нотбуке для демо. И там же жил клиент в браузере. И в общем,
вполне обычного ноута типа i7 8Gb хватало. Одному человеку :) И что-то типа геохеша конечно рулит.

На что еще хватает?

igor_suhorukov 3 фев в 10:39

Привет👋 А у тебя вся планета в PostGIS? Можешь чуть подробнее рассказать про используемое для загрузки ПО и объемы данных? Чуть больше контекста пожалуйста.
Геохеш примитивнее H3, хотя и вычислительно эффективнее

sshikov 3 фев в 17:31

Это много лет назад было ) Не, не вся планета, только РФ. Я не претендую, я лишь про то, что ноута в принципе хватало чтобы показывать карты и что-то понемногу искать в прямоугольнике, используя геохеши. Дальше у нас пошел второй этап работ, там начался спарк, и как инструмент был паркетизер.

igor_suhorukov 6 фев в 10:29

Интересный опыт, ты кладезь историй по сценариям обработки данных и open source!

OSM дамп РФ на порядок меньше 3.2Гб при 67G объеме данных всей планеты. Если все еще используете osm-parquetizer, то попробуйте опцию result_in_arrow которая приятно удивит. Как по форматам данных и доступным полям, так и по производительности (не забыв указатьresult_in_tsv=false). Одно но - для паркетов и партиционирования по h3_3 нужно постпроцессить arrow файлы

SbWereWolf 3 фев в 10:32

Open Street Map из докера ? Классно, спасибо.

igor_suhorukov 3 фев в 10:40

Пользуйтесь на здоровье

IGR2014 3 фев в 13:52

Круто, спасибо. Но есть маленькое НО:

И любуемся статистикой базы всего мира (587 GB):

Сейчас до сих пор некоторые бюджетные ноуты продают с 512/256Gb SSD :))

igor_suhorukov 3 фев в 14:07

Первым делом после покупки я разобрал свой ноутбук и заменил штатный накопитель 512Гб в слоте M.2 на Samsung 970 EVO Plus 2Тб. Это не так дорого как покупать ноут в конфигурации с 2Тб сразу

hogstaberg 5 фев в 13:38

Владельцы ноутбуков с распаенным диском завидуют.

sneg2015 5 фев в 17:05

А если использовать внешний жесткий диск например с маком, будет работать? Есть ли вариант, уменьшить объем данных и взять не весь мир, а например континенты.

za90 6 фев в 07:06

По континентам, это почти как тут? Центральную Америку только присоединить к Северной и будет норм. А, еще Россию разделить на Европу и Азию (по другому), сейчас она есть и там и тут.

Про внешний диск с маком не понятно. Но на всякий случай так лучше не делать)

igor_suhorukov 6 фев в 11:13

osmium-extract позволяет делать свою разбивку по полигону или прямоугольной области, не полагаясь только на досупные к скачиванию

igor_suhorukov 6 фев в 10:16

С внешним жестким диском на линукс все работает, но очень медленно. Задачи преобразования данных и при работе с PostgreSQL сильно зависят от производительности дисковой подсистемы!

igor_suhorukov 6 фев в 11:11

Можно загрузить отдельные регионы с Geofabric или использовать команду osmium-extract для извлечения интересующей вас части из полного дампа планеты. Моя утилита так же работает и с региональными выгрузками OSM.

Gras37 6 фев в 10:03

Привет. Весьма интересная публикация. Попробую использовать у себя в проекте.

Еще имеется такой вопрос. Сейчас для получения карт на основе данных OSM, я использую подход, описанный в проекте BrightOSM (связка imposm для загрузки в postgres и geoserver для рендеринга карт). Однако, такой подход не позволяет отобразить весь мир с адекватной скоростью. Может быть у вас есть какие-то идеи по ускорению всего этого? Или какой-то опыт уже применяется?

igor_suhorukov 6 фев в 10:08

Я больше сфокусирован на аналитике, поэтому на ваш вопрос связанный с визуализацией я вряд ли отвечу. Одно скажу точно по своему опыту работы с данными всего мира - партиционирование больших таблиц и уточнения в запросе, позволяющие избегать БД сканирования всех данных - это ключ к ускорению работы.

lexus1990 18 фев в 08:59

Прочитал половину статьи и понял что кроме технических подробностей не понял зачем это надо...

igor_suhorukov 18 фев в 15:24

Спасибо, резонное замечание! Добавил "С анализом геоданных вы сталкиваетесь каждый день"

igor_suhorukov 18 фев в 15:32

Ну и пример из публикации и по ссылкам из "Продолжение истории" показывает примеры использования

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.