У нас есть полностью аналогичная структура, множество продакшн-узлов на MySQL и один аналитический на Clickhouse. Тоже шина данных и весьма сложные процессы трансформации (вплоть до того что сверять по количеству нельзя, надо сверять суммы или другие показатели, да и таблицы не переносятся as is).
Но мы пошли немного другим, более простым, как мне кажется, путем: прокинули туннели от clickhouse к продакшн-базам, подключили их через движок clickhouse, дальше аналитики написали запросы для сверок, и мы обернули их в примитивную систему которая запускает запросы по крону и кидает алерты в слак, если запросы что-то возвращают (разницы).
Это работает, и при том довольно легко масштабируется и дорабатывается. С учетом того что clickhouse выполняет всю работу с данными - ещё и достаточно быстро.
Коммерческие ещё и продаются только оптом (от 100-1000 километров). Когда тебе нужно несколько раз по 2-6 километров в разных концах района — это становится безумно дорого.
Пока что в идеальном случае (мало растительности) выкручиваемся дронами и фотограмметрией.
А существуют ли источники рельефа точнее, чем имеющиеся сейчас (SRTM, ALOS, ASTER, с разрешением не больше 30 метров)?
Для России? :)
Занимаюсь картографией для спортивного ориентирования, и для неё нужно разрешение 5 метров (идеально конечно 2,5, но это боюсь и вовсе не реально). И пока что основной способ получения рельефа для карты — ногами: взял лист бумаги, карандаши, GPS для записи трека, компас, и вперёд.
В Европе много где есть общедоступные LIDAR-ные облака точек… Но не у нас.
У нас есть полностью аналогичная структура, множество продакшн-узлов на MySQL и один аналитический на Clickhouse. Тоже шина данных и весьма сложные процессы трансформации (вплоть до того что сверять по количеству нельзя, надо сверять суммы или другие показатели, да и таблицы не переносятся as is).
Но мы пошли немного другим, более простым, как мне кажется, путем: прокинули туннели от clickhouse к продакшн-базам, подключили их через движок clickhouse, дальше аналитики написали запросы для сверок, и мы обернули их в примитивную систему которая запускает запросы по крону и кидает алерты в слак, если запросы что-то возвращают (разницы).
Это работает, и при том довольно легко масштабируется и дорабатывается. С учетом того что clickhouse выполняет всю работу с данными - ещё и достаточно быстро.
Купить у JAXA для лично использования - это всё таки довольно сильно... При их ценах и минимальных партиях заказа желание сразу пропадает.
Пока что в идеальном случае (мало растительности) выкручиваемся дронами и фотограмметрией.
Для России? :)
Занимаюсь картографией для спортивного ориентирования, и для неё нужно разрешение 5 метров (идеально конечно 2,5, но это боюсь и вовсе не реально). И пока что основной способ получения рельефа для карты — ногами: взял лист бумаги, карандаши, GPS для записи трека, компас, и вперёд.
В Европе много где есть общедоступные LIDAR-ные облака точек… Но не у нас.