Комментарии 13
@RogerSmith Спасибо за интерес к статье! Мы используем Ataccama.
Яна, спасибо за материал. Подскажите, какой DQ инструмент используете?
Яна, спасибо за интересный и полезный материал. К сожалению пока единичные компании приходят к такому уровню зрелости работы с данными :)
Спасибо за обратную связь! Да, выстроить единый процесс мониторинга качества данных может быть непросто. Но положительная тенденция определённо есть :)
Яна спасибо! Если есть возможность напиши про сами проверки которые вы используете.
Спасибо за интерес!
Инструмент базового мониторинга (актуальность, отсутствие дублей, полнота данных) реализован коллегами таким образом, чтобы его можно было переиспользовать в разных командах для своих таблиц.
Всё остальное (логические проверки, как правило) разрабатываем сами для каждого проекта в Ataccama. И здесь, как писали в статье, что и как нужно проверять зависит от конкретных данных.
Спасибо, что отдельно подчеркнули, какие именно проверки считаете базовыми и отметили, что они нужны всегда.
Итак, практически любой мониторинг начинается с базовых проверок – это фундамент контроля качества данных. Основным является мониторинг актуальности, полноты и дублей.
Базовые проверки нужны всегда! Они способствуют быстрому отслеживанию стандартных проблем и оперативному реагированию на них.
Я бы еще добавил, что достаточно большая доля проблем с данными укладывается именно в эти категории, а реализовать такие проверки довольно просто. Кроме того, в процессе настройки проверок на актуальность, уникальность и полноту можно обнаружить довольно много интересных, но неприятных моментов, которые ранее могли оставаться незамеченными.
Что я понял, как не программист. Отзывы покупателей на товар - не доходят до работников магазина и вообще не привязаны к конкретному товару, что на мой взгляд крайне странно.
То есть вся система изначально была сделана плохо и теперь вы исправляет ошибки, придумывая костыли?
Бесконечные проверки – к успешному развитию: как мы обеспечиваем качество данных