Проект Dual ETL или как мы строили Disaster Recovery для Greenplum

[xand3r]

Интересно.
А что происходит с процессами сбора и загрузки данных на время остановки (недоступности) основной площадки?

[yuryemeliyanov]

Спасибо за вопрос! Как я понимаю речь идет о процессах построения DWH, т.е. ETL. После сбоя на основной, все процессы переводятся на резервную площадку. На резервной площадке Greenplum, так же как и на основной, есть слой OOD (с которым работает наш CDC инструмент Attunity Replicate), устанавливается момент с которого нужно перезапустить ETL процессы, на резервном контуре так же есть ETL сервер, у которого общий репозитарий метаданных с основным. Фронты DWH в виде SAP BOBJ и SAS EG просто переключаются на резервную площадку. Процессы Dual ETL разворачиваются в другую сторону. По факту резервная площадка становиться основной и мы так живем до следующего disaster-а.

[bvasilyev]

Привет от GBC :)

[yuryemeliyanov]

Привет от команды DWH Тинькофф Банка! ;)

[DIAprint]

Спасибо, очень интересно. Результат впечатляет.

Сколько у вас заняла вся реализация проекта от и до?

[yuryemeliyanov]

Спасибо за вопрос!

— Февраль 2014 — исследования;
— Марта 2014 — проектирование;
— Апрель-Июнь 2014 — разработка;
— Июль-Август 2014 — тестирование;
— Сентябрь-Октябрь 2014 — ОПЭ;
— С Ноябрь 2014 — промышленная эксплуатация.

Получается 9 месяцев от и до выхода в продукционное окружение.

[tolkkv]

Интересненько. Видно, что проделана большая работа, сколько человек участвовало в проекте?
Ждем обещанной статьи про Hadoop в подобном стиле, но с более подробным освещением технических деталей (Понимаю, что сложно… Но интересно же!)

[yuryemeliyanov]

Спасибо за вопрос!

Три человека:
— Проектировщик;
— Системный программист;
— Администратор DWH.

Но болели и за проект всей командой :)

[yuryemeliyanov]

А статьи конечно напишем, как только получим результаты :)