Инструмент обеспечения качества данных: от теории к практике

[dear_deer]

Спасибо за статью!
Решение очень похоже на то, что внедряю в своей компании, но сейчас мы только в процессе

стоим перед выбором между GE и Soda

Подскажите, пожалуйста, чем конкретно не устроила GE в вашем решении?

PS тоже очень понравилось нововведение от Airflow по DAG run

[biwed]

Добрый день.

Почему мы его выбрали?

1. Сделали профиль нагрузок на sandbox для реляционных источников и стало понятно, что SODA генерирует более правильные SQL запросы. Победить параметрами GE частично удалось, но не все просто с РСУБД.

2. SODA проще и документация получше.

3. Все конфигурации проверок у нас в YAML. SODA как раз задается на YAML. Для GE пришлось писать конвертацию YAML -> python.

Как бы вот основные плюсы.