Комментарии 2
Для решения этого вопроса мы внедрили дизайн ML проектов на разных этапах согласования
Расскажите пожалуйста подробнее, какие этапы вы выделили и в общих чертах DoR/DoD на каждом из них. В какой момент заказчик начинает понимать что конкретно он в итоге получит и за какие деньги, а в какой определяются сроки.
В общих чертах это выглядит так:
Общение с бизнесом. Это стадия, на которой у бизнеса есть желание закрыть некоторую потребность. Мы со стороны ML пытаемся определить задачу, бизнес ценность, сроки пилота и проекта, критерии успешности проекта и другие важные вводные. Для этого задаем вопросы из разряда: "как машинное обучение может улучшить бизнес-процессы или определенные операции?", "какие потенциальные экономические преимущества, которые может принести внедрение проекта?", "что будем считать успехом с точки зрения бизнеса?" и тд.
На этом этапе хорошим результатом будет четкая формулировка задачи, метрик, сроков, критериев успешности пилота и проекта и других важных составляющих. Пример: "Хотим иметь систему прогнозирования суммарного LTV пользователя на горизонте N месяцев, в качестве прогноза хотим видеть группу (0-100, 100-500 и тд), скоринг делаем на этапе А, результат прогноза оказывается у команды Б в течение K секунд/минут, метрики модели: точность 0.5 и полнота 0.5. Результаты пилота хотим получить через 3 месяца, на весь проект готовы потратить 6 мес. Потенциальная прибыль от проекта - 1$".Если на первом этапе все хорошо - разрабатываем роадмап с позиции ML. Для этого отвечаем на вопросы: "Что делаем с технической точки зрения? (поиск аномалий, регрессия, классификация)", "Где и какие данные берем?", "Каковы будут бейзлайн и MVP?", "Интерфейсы взаимодействия с другими командами" и тд.
Возвращаемся к бизнесу с роадмапом. Обсуждаем сроки для построения бейзлайна и оценки возможности достижения поставленных метрик на существующих данных, утверждаем методики расчета метрик и сроки тестирования пилота. Если все согласовано - идем дальше.
ML команда уходит собирать данные, делать EDA, бейзлайн и весь остальной обязательный пайплайн. По результатам возвращаемся к заказчику и снова обсуждаем различные сроки и метрики. И то и другое может меняться в зависимости от результатов EDA, бейзлайна, инфраструктуры и других факторов. В конце этого этапа бизнес и команда понимают, что может получиться, в какие сроки и за какие деньги.
Когда результаты четвертого этапа и возможные перспективы всех удовлетворяют - команда приступает к разработке и проведению пилота (MVP).
Следующий этап - тестирование и мониторинг MVP. По результатам пилота возвращаемся к бизнесу и оцениваем, стоит ли продолжать работать в этом направлении или нужно внести изменения.
Если бизнес принимает решение двигаться дальше - команда приступает к разработке и поставке продакшн решения.
У нас процесс сильно шире описанного выше, но если коротко, то так. Надеюсь, ответил)
Горизонтальная структура команды разработки, или Как доводить ML проекты до продакшена