Про то, что опыт с Attunity - из 2015-2016 - да, дополню статью сегодня.
Про полную realtime репликацию, как и любые другие честные realtime изменения в Greenplum в статье, кажется, речи и не шло. Да, по-честному это не решить, не убив MPP систему, потому везде и возникают микробатчи.
Ок, про CDC не совсем корректно написал, но смысл вы поняли и мне кажется, что и остальные читатели тоже вполне поняли о чем собственно речь. Если сможете помочь с более правильной формулировкой - с удовольствием поправлю в статье.
Про realtime захват изменений данных и DDL на источниках - фактически у нас это NRT (near real time), но с учетом сбора микробатчей кажется, что буквой N тут можно пренебречь.
У нас GP далек от апстрима и gpperfmon у нас пока есть, но в целом активно думаем над своим решением для глубокого мониторинга. А пока - sql_exporter, node_exporter, process_exporter, сбор логов, небольшая логика вокруг и Grafana на всё это.
Часть метрик подсмотрели у коллег из Леруа Мерлен (они делали классный доклад на тему на Yandex.Scale)
Конечно должен быть. В данном случае он даже был. Но мы дружно в один тред посмотрели, а в другой не посмотрели.
Извиняюсь за очень запоздалый ответ https://www.tinkoff.ru/career/technologies/helicopter/
Про то, что опыт с Attunity - из 2015-2016 - да, дополню статью сегодня.
Про полную realtime репликацию, как и любые другие честные realtime изменения в Greenplum в статье, кажется, речи и не шло. Да, по-честному это не решить, не убив MPP систему, потому везде и возникают микробатчи.
Ок, про CDC не совсем корректно написал, но смысл вы поняли и мне кажется, что и остальные читатели тоже вполне поняли о чем собственно речь. Если сможете помочь с более правильной формулировкой - с удовольствием поправлю в статье.
Про realtime захват изменений данных и DDL на источниках - фактически у нас это NRT (near real time), но с учетом сбора микробатчей кажется, что буквой N тут можно пренебречь.
Кажется про мониторинг будет отдельная статья =)
У нас GP далек от апстрима и gpperfmon у нас пока есть, но в целом активно думаем над своим решением для глубокого мониторинга. А пока - sql_exporter, node_exporter, process_exporter, сбор логов, небольшая логика вокруг и Grafana на всё это.
Часть метрик подсмотрели у коллег из Леруа Мерлен (они делали классный доклад на тему на Yandex.Scale)