Comments 5
отличный солюшн! если я правильно понял, то продукт все-таки не автоматический, а по сути его тоже надо с нуля программировать (разрабатывать эти дэшборды проверки и тд)? были ли какие-то проблемы с совместимостью компонент open source или все встало и заработало как родное? сколько человек и с какими скиллами трудятся над поддержкой такого решения? статья есс-но написана в позитивном ключе (и это радует), но все-таки были ли какие-нибудь трудности/проблемы?
Сергей, добрый день!
Изначально дэшборды и проверки приходилось программировать с нуля, сейчас уже внедрен конструктор, который позволяет типовые проверки делать путем настройки параметров на Web.
Понятно, что остается некий процент очень сложных проверок (например, балансовые сверки), которые невозможно собрать в конструкторе, их приходится кодить.
Трудности и проблемы, как всегда, были. Особенно в области совместимости.
Например, при переходе с 13-й версии Postgres Pro на 14-ю получили современный алгоритм шифрования SHA256, а наш не очень современный ETL-инструмент работал только с MD5. Хоть и с большим трудом, но все удалось найти и настроить соответствующие драйверы.
Также была проблемы с:
nGinx - для выполнения всех требований информационной безопасности пришлось делать кастомную сборку;
Дополнительными библиотеками для Python - подбирали наиболее подходящую версию для интеграции с Jira;
Apache Airflow - довольно трудоемкое развертываение в кластерной конфигурации.
Многие сложности были связаны с выполнением требований информационной безопасности.
Но так как Блок ИБ у нас очень передовой и проактивный, то мы совместно смогли разрешить все проблемы, иногда прибегая к компенсирующим мерам.
Системной поддержкой (БД PostgreSQL, Linux-сервера, системы виртуализации, сетевое взаимодействие) занимаются централизовано профильные ИТ-подразделения.
Прикладную часть сопровождают: 3 разработчика и 1 аналитик (естественно, это не единственная их задача). Координация обычно идет либо через менеджера системы, либо через архитектора. Квалификация у ребят высокая и позволяет решать вопросы достаточно эффективно.
Не понял из статьи, а что лежит внутри в качестве движка? на чём запускаются сами запросы к БД, где сравниваются результаты, как реализуются кроссистемные проверки между разными БД и пр
В среде фабрики данных (в которой собрано множество источников и витрин над которыми работают проверки) запросы запускаются на Impala.
Если проверка выполняется вне фабрки данных, то код проверки генериться в синтаксисе системы источника данных для проверки.
Решение не предлагает кросс системную сверку. Эта задача решена другими инструментами и в ней просто нет нужды.
Платформа управления качеством данных на Open Source