Вы в учёт статистики брали колличество просроченных заказов из SLA30?
Если говорить про сравнение контрольной (без изменений) и тестовой (где мы увеличили зону SLA 15) групп, то да, учитывали. Есть радиус X метров, в котором для всех адресов мы доставляем (стараемся) за 15 минут. Для всех адресов > X метров уже доставляем по SLA 30 минут. В тестовой группе зону с SLA 15 минут увеличили на 100 метров. И сравнивали опоздания / поведения пользователей по адресам на расстоянии от X до X + 100 метров между тестовыми и контрольными ЦФЗ.
А так же статистику по количеству заказов в сумке у курьера который ездил на адреса что участвовали в эксперименте?
Эту метрику мы называем кол-во заказов в маршруте. Когда курьер выходит из даркстора, он иногда берет сразу несколько заказов и доставляет их по очереди. Хорошее замечание, но за этой метрикой не следили. Верхнеуровнего следили за опозданиями, нагрузкой (сколько заказов в час приходится на 1-го курьера) и долю заказов с SLA 15.
из-за увеличения скорых заказов времени вообще не осталось на ожидание новых заказов и люди уезжали чаще со склада
Увеличение зоны доставки SLA 15 было такое небольшое, что мы принципиально не нагрузили курьеров больше, и это мы видели по метрикам (производительность курьеров, опоздания). К причинам опозданий я бы еще добавил, что чем дальше находится адрес дома, тем больше курьер на него опоздает. Ведь все адреса с SLA 15 минут находятся на расстоянии от 0 до X метров. Легко успеть на заказы, которые в 200 метрах от даркстора. А мы смотрели на опоздания только по заказам с X до X + 100 метрах, то есть самые отдаленные, да еще и с новым SLA 15. К тому же была проблема, что опытные курьеры помнили все адреса и их SLA наизусть и не всегда доверяли дашборду, который им показывал, что на привычный их адрес "Иваново, 5к2" нужно теперь успеть не за 30 минут, а за 15.
попробовать добавить новую категорию времени доставки
Интересная гипотеза! Но чтобы добавить новую зону с SLA команде разработки нужно будет внести серьезные изменения, а в нашем случае увеличения зоны SLA 15 мы только поменяли одну константу в алгоритме и тратить ресурсы разработки на эксперимент не нужно было) А для более серьезных изменений уже нужны будут основания.
Если говорить про сравнение контрольной (без изменений) и тестовой (где мы увеличили зону SLA 15) групп, то да, учитывали. Есть радиус X метров, в котором для всех адресов мы доставляем (стараемся) за 15 минут. Для всех адресов > X метров уже доставляем по SLA 30 минут. В тестовой группе зону с SLA 15 минут увеличили на 100 метров. И сравнивали опоздания / поведения пользователей по адресам на расстоянии от X до X + 100 метров между тестовыми и контрольными ЦФЗ.
Эту метрику мы называем кол-во заказов в маршруте. Когда курьер выходит из даркстора, он иногда берет сразу несколько заказов и доставляет их по очереди. Хорошее замечание, но за этой метрикой не следили. Верхнеуровнего следили за опозданиями, нагрузкой (сколько заказов в час приходится на 1-го курьера) и долю заказов с SLA 15.
Увеличение зоны доставки SLA 15 было такое небольшое, что мы принципиально не нагрузили курьеров больше, и это мы видели по метрикам (производительность курьеров, опоздания). К причинам опозданий я бы еще добавил, что чем дальше находится адрес дома, тем больше курьер на него опоздает. Ведь все адреса с SLA 15 минут находятся на расстоянии от 0 до X метров. Легко успеть на заказы, которые в 200 метрах от даркстора. А мы смотрели на опоздания только по заказам с X до X + 100 метрах, то есть самые отдаленные, да еще и с новым SLA 15. К тому же была проблема, что опытные курьеры помнили все адреса и их SLA наизусть и не всегда доверяли дашборду, который им показывал, что на привычный их адрес "Иваново, 5к2" нужно теперь успеть не за 30 минут, а за 15.
Интересная гипотеза! Но чтобы добавить новую зону с SLA команде разработки нужно будет внести серьезные изменения, а в нашем случае увеличения зоны SLA 15 мы только поменяли одну константу в алгоритме и тратить ресурсы разработки на эксперимент не нужно было) А для более серьезных изменений уже нужны будут основания.