Обновить
8K+
2
Евгений Певцов@PevtsovED

Пользователь

12
Рейтинг
1
Подписчики
Отправить сообщение

Дата-контракты 2.0: как мы автоматизировали обмен данными между продуктами

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели8.2K

Всем привет! С вами на связи Евгений Певцов, эксперт по качеству данных группы развития методологии из МТС. Около года назад мои коллеги уже рассказывали, зачем нам потребовались формализованные соглашения об обмене данными и какую проблему они должны были решить.

Тогда нашей главной целью было — зафиксировать договоренности между Поставщиком и Потребителем данных: какие из них передаем, в каком формате, кто отвечает за сопровождение и как нужно вносить изменения, чтобы они неожиданно не приводили к сбоям сразу в нескольких десятках зависимых сервисов.

Сейчас дата-контракты — это полноценный сервис, встроенный в существующие ETL-процессы на всем жизненной пути данных. Им ежедневно пользуются продуктовые команды, архитекторы, аналитики и Владельцы данных. 

И сегодня я хочу поделиться практическим опытом, накопленным командами за время использования нашего сервиса: какие идеи сработали, что мы поменяли или доработали, где добавили автоматизацию, а также что еще планируем изменить или улучшить.

Читать дальше

Информация

В рейтинге
684-й
Зарегистрирован
Активность

Специализация

Data Governance
Ведущий
Python
Git
Docker
REST
Английский язык
SQL