Всем доброго времени суток! Меня зовут Никифоров Сергей, я ML-инженер из команды рекомендательных систем в компании ТехВилл.

Сегодня хочу рассказать вам, как мы переходили от одной системы управления данными и вычислениями к другой такой системе. А именно, сравню Data Version Control (DVC) и оркестратор Airflow.

Эта статья не претендует на полный разбор двух инструментов, её цель — показать, как переход на Airflow был устроен у нас в команде, предостеречь от ошибок.

Статья предназначена для ML-разработчиков, которые хотят выбрать для себя, какой инструмент использовать. Поэтому для начала дам базовую информацию о каждом инструменте, а затем расскажу, как переезд был устроен в нашем случае.

Ну что же, приступим!