Комментарии 3
Вы в учёт статистики брали колличество просроченных заказов из SLA30? А так же статистику по количеству заказов в сумке у курьера который ездил на адреса что участвовали в эксперименте?
Причина скорее всего в том что раньше у людей было больше времени что бы набрать заказов и уехать развозить все, а из-за увеличения скорых заказов времени вообще не осталось на ожидание новых заказов и люди уезжали чаще со склада
Как вариант можно было просто попробовать добавить новую категорию времени доставки(к примеру 20 минут) и так же сравнить показатели
Вы в учёт статистики брали колличество просроченных заказов из SLA30?
Если говорить про сравнение контрольной (без изменений) и тестовой (где мы увеличили зону SLA 15) групп, то да, учитывали. Есть радиус X метров, в котором для всех адресов мы доставляем (стараемся) за 15 минут. Для всех адресов > X метров уже доставляем по SLA 30 минут. В тестовой группе зону с SLA 15 минут увеличили на 100 метров. И сравнивали опоздания / поведения пользователей по адресам на расстоянии от X до X + 100 метров между тестовыми и контрольными ЦФЗ.
А так же статистику по количеству заказов в сумке у курьера который ездил на адреса что участвовали в эксперименте?
Эту метрику мы называем кол-во заказов в маршруте. Когда курьер выходит из даркстора, он иногда берет сразу несколько заказов и доставляет их по очереди. Хорошее замечание, но за этой метрикой не следили. Верхнеуровнего следили за опозданиями, нагрузкой (сколько заказов в час приходится на 1-го курьера) и долю заказов с SLA 15.
из-за увеличения скорых заказов времени вообще не осталось на ожидание новых заказов и люди уезжали чаще со склада
Увеличение зоны доставки SLA 15 было такое небольшое, что мы принципиально не нагрузили курьеров больше, и это мы видели по метрикам (производительность курьеров, опоздания). К причинам опозданий я бы еще добавил, что чем дальше находится адрес дома, тем больше курьер на него опоздает. Ведь все адреса с SLA 15 минут находятся на расстоянии от 0 до X метров. Легко успеть на заказы, которые в 200 метрах от даркстора. А мы смотрели на опоздания только по заказам с X до X + 100 метрах, то есть самые отдаленные, да еще и с новым SLA 15. К тому же была проблема, что опытные курьеры помнили все адреса и их SLA наизусть и не всегда доверяли дашборду, который им показывал, что на привычный их адрес "Иваново, 5к2" нужно теперь успеть не за 30 минут, а за 15.
попробовать добавить новую категорию времени доставки
Интересная гипотеза! Но чтобы добавить новую зону с SLA команде разработки нужно будет внести серьезные изменения, а в нашем случае увеличения зоны SLA 15 мы только поменяли одну константу в алгоритме и тратить ресурсы разработки на эксперимент не нужно было) А для более серьезных изменений уже нужны будут основания.
Просто ещё загвоздка с проверкой нагрузки в час заключается в том, что происходила условная ситуация что за час курьер мог дождаться и взять 3 заказа в сумку или из за расширенной зоны SLA15 взять сначала 2 заказа и отвезти и потом приехать взять ещё 1 заказ
В общей сумме получается по 3 заказа в час и что нагрузка особо не поменялась, но километраж изменился из за двойного возвращения на склад, соответственно усталость курьера - продуктивность дальше идёт на спад
На подобной почве и вырастает заключение что заказов больше не стало > нагрузка не изменилась > опоздания выросли
Ну и ещё пару важных замечаний:
Для велосипедиста по прямой 100 метров это и вправду немного, лишняя минута и может показаться что всё ок, но в условиях микрорайонов где дома разного типа стоят эти 100 метров могут стать логистической проблемой, потому что дом который оказался в тестовой зоне нового SLA может находится за очень длинным или извилистым домом что добавляет значительно времени пути, или же у него может оказаться кишко-образный проход через какое-то колличество калиток который занимает уйму времени или же просто путь до дома пролегает через дорогу где надо долго ждать светофоры и долго переходить дорогу
Ну а у вас я знаю что просто высчитывается радиус зоны без учёта подобных условностей
Куда лучше отразилось бы на статистике опозданий если бы вы глубже закопались в механизм карты и сделали зоны что идут не по радиусу от склада а каждый дом мог конкретно настраиваться в какой он зоне и строго по границам зоны, потому что даже сейчас возможно такое что сам дом весь находится в SLA30, но очень маленький уголок дома в зоне SLA15(Да, к сожалению у вас такого много)
С подобной концепцией карт и зоны вы даже не меняя принципы SLA15 и SLA30 сможете более точно регулировать размеры зон и времени их доставок, например уменьшить колличество домов которые находятся "логистически недалеко" от склада и сделать их с 15 минут доставкой без особого ущерба статистики а так же перевести "логистически далёкие" дома в зону SLA30 что бы курьер по ним меньше опаздывал.
Правда ради подобного нужно будет пролить не мало слёз, пота и крови... Но уж лучше раньше чем когда наберётся ещё тех долга, и это бы хорошо вписалось в тестирование автоматической выдачи заказов курьерам которая у вас сейчас идёт
Как сделать А/B-тест в офлайне, на примере ускорения доставки в Самокате