Комментарии 7
Есть результаты замеров точности оценки с помощью AI ? В сравнении с оценкой людьми или по итогам выполнения задач
Спасибо за вопрос! Отвечу подробнее и по порядку. Наше внутреннее решение с приватной частью дает точность на тестовой выборке 82%.
Важно следующее, наш подход работает для любой команды и всегда привязана к экспертности команды (дизайнеры, бекенд, фронтенд и другие)
Что это значит: мы взяли 2000 уже выполненных, описанных и оцененных задач из беклога определенной команды, разделили на train и test часть (обычно это 70/30% в совокупности). Обучили модель на train части с фиче развесовкой на наши корпоративные особенности и особенности определенной команды.
Далее, взяли модель и попытались предсказать оценку на test части. Вот наш accuracy 0.82% для тестовой выборки.
В боевом режиме, команда соглашается с оценкой задач на приблизительно в 60% случаев. Но важно, здесь то - что сами встречи стали короче и спокойнее :)
Спасибо за подробный ответ!
Какие параметры самих задач учитывали при обучении?
В целом, разбавление эмбеддинга дополнительными фичами дает значительный прирост. Для некоторых продуктовых команд, хорошо увеличило точность добавление в оценку определенных командой же ключевых слов. Для других, наличие или отсутствие цифр и чисел давало буст. Тут, на старте обучения просто консультация с командой - и дальше обученная модель работает так как этого ожидает команда :) И в процессе, это можно просто и удобно корректировать
В рамках проверки гипотезы об улучшении качества планирования инструмент автооценки мы внедрили AI-инструмент на четыре продукта. В результате внедрения значительно изменилось качество дискуссий в планировании задач команды: они стали короче и осмысленнее, фокус сместился с борьбы за числа.
Иными словами, теперь команда начала тратить ещё и время на борьбу с неправильной оценкой времени от AI.
А можно ИИ будет заниматься бюрократией, а мы — своим любимым крокодингом?
То есть по факту получился еще один участник покер-планннга, выдающий некую авто-оценку истории по материалам предыдущего опыта, причем этот участник не может объяснить оценку, не может задать вопросы другим участникам покера, не может пересмотреть свою оценку по результатам обсуждения, да?
Тогда основной смысл получается фасилитировать обсуждение: "ребята, сегодня мы обсуждаем историю X и ее автооценка Y пойнтов - есть ли возражения?" Если это помогает команде быстрее и без потери качества оценивать, то супер.
Однако, я бы не исключал другие методы снижения времени на оценку, ведь факторы замедления как правило не трудно выявить на ретроспективе.
Как мы сократили время планирования спринтов с помощью AI