На текущий момент SLA никак не участвуют в автосертификации. Пока что у нас нет возможности напрямую влиять на скорость и сроки поставки данных. Кроме того, мы сильно зависим от производительности и доступности инфраструктуры Redash (позже к этому обязательно придем :))
Сейчас DQ явным образом не участвует в процессе автосертификации дешей. Нам не хватает главного компонента - автопроверки апстрима деша, тему только начали развивать, поделимся опытом чуть позже.
Да, мы агитируем юзеров пользоваться в первую очередь ключевыми/зелеными отчетами. По поводу красных и популярных - тут основная стратегия работа через BI команды. Мы транслируем в BI-сообщество принцип: если популярный деш имеет "красный" статус, его необходимо отрефачить. Это ответственность владельцев. Плюс мы ставим себе цели, которые влияют на общее здоровье BI в Авито, как вы понимаете, сертификации тоже в них включена.
Да, такие идеи есть. Мы рассматриваем механизмы позитивного подкрепления. В частности, "зеленые" и ключевые деши могут получать приоритет в очереди на обновление и вычислительные ресурсы, в отличие от "красных". По этому пункту мы тоже находимся пока в начале пути.
Привет! Спасибо за вопрос.
Как я написал в статье - это наша внутренняя метрика качества. Если кратко, то каждый пункт мы считаем по своим правилам.
Техническое cостояние - берём % ошибок по датасету за месяц и среднюю длительность его расчёта за последние 3 месяца.
Архитектурная чистота - проверяем, что датасет построен на правильной БД и что у него нет дублей или очень близких по структуре копий.
Актуальность источника - смотрим на актуального владельца, дату последнего обновления самого датасета и дату обновления апстрима.
Гигиена кода - проверяем код датасета на наличие tmp/public схем и других антипаттернов.
Бизнес‑значимость - оцениваем, используется ли датасет в отчётах, дашбордах или регулярных запросах.
Привет! Спасибо за ваш отзыв и вопросы
На текущий момент SLA никак не участвуют в автосертификации. Пока что у нас нет возможности напрямую влиять на скорость и сроки поставки данных. Кроме того, мы сильно зависим от производительности и доступности инфраструктуры Redash (позже к этому обязательно придем :))
Сейчас DQ явным образом не участвует в процессе автосертификации дешей. Нам не хватает главного компонента - автопроверки апстрима деша, тему только начали развивать, поделимся опытом чуть позже.
Да, мы агитируем юзеров пользоваться в первую очередь ключевыми/зелеными отчетами. По поводу красных и популярных - тут основная стратегия работа через BI команды. Мы транслируем в BI-сообщество принцип: если популярный деш имеет "красный" статус, его необходимо отрефачить. Это ответственность владельцев. Плюс мы ставим себе цели, которые влияют на общее здоровье BI в Авито, как вы понимаете, сертификации тоже в них включена.
Да, такие идеи есть. Мы рассматриваем механизмы позитивного подкрепления. В частности, "зеленые" и ключевые деши могут получать приоритет в очереди на обновление и вычислительные ресурсы, в отличие от "красных". По этому пункту мы тоже находимся пока в начале пути.