Когда у вас есть какая-то система принятия решений по заемщику и нужно ее улучшить, то классическая постановка задачи в этом случае обычно звучит так. «Снизить просрочку, не уменьшив уровень одобрения». Либо: «Повысить уровень одобрения, не увеличив просрочку». Именно в такой постановке презентуют свои решения компании-вендоры, предоставляющие скоринговый балл. Такую же формулировку можно услышать на конференциях по скорингу, где презентуют свои достижения инхаус разработчики. К сожалению, никто подробно не раскрывает, что именно понимается под терминами просрочка и уровень одобрения.
Успешный результат работы презентуют так:
Разберемся в терминах.
Просрочка — количество невозвращенных кредитов, поделенное на количество выданных кредитов.
Уровень одобрения — количество одобренных заявок на кредит, поделенное на количество поступивших заявок.
Возможна ли ситуация, когда при решенной задаче в такой постановке, просрочка в денежном выражении стала выше?
Качество скоринга может различаться на больших и малых суммах. Заявки на большие суммы модель скорит хуже, чем заявки на маленькие суммы. Такой кейс реально может встретиться в жизни. Подробно был разобран в статье
В такой ситуации, просрочка в деньгах может оказаться хуже.
Допустим, мы сообразили, и сразу построили график просрочки как в штуках, так и в деньгах. И провели анализ качества модели в разных срезах. И получили вывод, что просрочка снизилась и в штуках, и в деньгах. А модель одинаково хорошо скорит заявки на большие и на маленькие суммы. Также увидели на графиках доходности улучшение.
Доходность — денежная сумма всех платежей, поделенная на выданную сумму кредита, минус 100%. Вот как выглядит график доходности в динамике.
По оси Х — количество дней с момента выдачи займа. Можем наблюдать, что новый скоринг доходней старого. Просрочка снизилась, доходность выросла.
Может ли быть так, что уровень одобрения не изменился, просрочка снизилась, доходность выросла, а денег зарабатываем меньше?
Непосредственно сам скор и его сравнение с порогом отсечения не является конечным решением о выдаче кредита. Конечное решение включает в себя определение суммы кредита, а возможно, и процентную ставку. Одобрить можно меньшую сумму, чем запросил клиент. Или большую. В этом случае уровень одобрения уже нельзя трактовать так однозначно, как мы это делали ранее. Теперь уровень одобрения может быть представлен в денежном выражении. И к уровню одобрения в штуках добавляется понятие средний чек. Нарисуем уровень одобрения в денежном выражении. Это отношение одобренной суммы на кредит к запрошенной денежной сумме в заявке.
На практике можно управлять уровнем просрочки не только с помощью скора. Но и с помощью метода определения суммы кредита. Это очень мощный инструмент. Мы проводили исследования того, как влияет резка суммы на невозврат для клиентов с одинаковым уровнем риска, одинаковым скором. Ниже график зависимости уровня дефолта от скора для одной и той же модели.
Слева — одобрялась желаемая сумма. Справа — сумма резалась в зависимости от скора. Еще раз отметим — на графиках справа и слева одна и та же модель, один и тот же скор. Но преобразование скора в конечное решение — определение суммы кредита, которую можно одобрить, производилось по-разному. Этот трюк позволяет вам прийти в компанию, которая борется над уменьшением уровня просрочки, за 5 мин написать таблицу соответствия скора и одобренной суммы и вы получите снижение просрочки в тот же день.
Замоделируем ситуацию, когда модель одинаково хорошо скорит заявки на большие и на маленькие суммы. Уровень одобрения в штуках повысился. Уровень одобрения в деньгах повысился. Уровень просрочки в штуках не увеличился. Уровень просрочки в деньгах не увеличился. Может ли быть теперь такая ситуация, когда мы все равно зарабатываем меньше?
Уровень одобрения — не то же самое, что и уровень выдач. Когда мы одобряем клиенту кредит, не факт, что он им воспользуется. Когда мы значительно режем сумму хорошим клиентам, они отказываются от одобренного кредита и обращаются в другую организацию, чтобы получить желаемую сумму сразу. Нам добавляется задача эластичности спроса и появляются еще два показателя — забираемость и уровень выдач.
Забираемость — это процент выданных кредитов среди одобренных. Уровень выдач — количество выданных кредитов поделенное на количество поступивших заявок (аналогично можно в денежном выражении выразить).
Высокий уровень одобрения в тандеме с жесткой политикой определения суммы кредита может дать эффект низкой конверсии заявок в выдачу. С одинакового количества поступивших заявок будет выдаваться меньше денег. Однако процент просрочки и уровень одобрения будут выглядеть лучше, чем предыдущая версия системы.
Допустим, у нас улучшились все перечисленные показатели. Но, понять сколько мы зарабатываем, мы все равно не можем. Доходность показывает как выплаченные кредиты перекрывают невозращенные кредиты. Эта величина отражена в процентах. Но процент от миллиона и процент от 10 копеек — это разные проценты.
В итоге мы пришли к варианту, когда можем достаточно подробно мониторить показатели нашей системы принятия решений. Имеем много различных графиков и показателей, но не можем сказать сколько зарабатывает компания, не можем сравнить модели в АБ-тесте, т.к. не можем выразить их качество одним числом. И в итоге ответить на вопрос, лучше мы сделали или хуже по критерию «заработать больше денег».
Попробуем выразить эффективность системы принятия решения одним числом и сравнить две системы. У нас есть 4 показателя, которые исчерпывающе описывают нашу систему. Напомню, как выглядит снижение размерности показателей:
шаг 1
шаг 2
шаг 3
Таким образом всего осталось 2 показателя. Нам же нужен какой-то один интегральный показатель, который позволит без труда выбрать нужную модель. Есть ли такой показатель?
Это сумма всех платежей с процентами минус выданная сумма, поделить на количество поступивших заявок. Такой интегральный показатель включает в себя средний чек, уровень одобрения в штуках, собираемость в процентах и конверсию одобрения заявки в выдачу.
Стоит добавить, что в этой схеме не учитываются расходы. Которые включают в себя обслуживание сбора задолженности и стоимости привлечения трафика. Эти параметры могут зависеть от уровня просрочки, уровня одобрения, конверсии нового клиента в повторного, и среднего чека.
Дмитрий Горелов
telegram: datasanta
Успешный результат работы презентуют так:
Разберемся в терминах.
Просрочка — количество невозвращенных кредитов, поделенное на количество выданных кредитов.
Уровень одобрения — количество одобренных заявок на кредит, поделенное на количество поступивших заявок.
Возможна ли ситуация, когда при решенной задаче в такой постановке, просрочка в денежном выражении стала выше?
Ответ
Возможна!
Качество скоринга может различаться на больших и малых суммах. Заявки на большие суммы модель скорит хуже, чем заявки на маленькие суммы. Такой кейс реально может встретиться в жизни. Подробно был разобран в статье
В такой ситуации, просрочка в деньгах может оказаться хуже.
Допустим, мы сообразили, и сразу построили график просрочки как в штуках, так и в деньгах. И провели анализ качества модели в разных срезах. И получили вывод, что просрочка снизилась и в штуках, и в деньгах. А модель одинаково хорошо скорит заявки на большие и на маленькие суммы. Также увидели на графиках доходности улучшение.
Доходность — денежная сумма всех платежей, поделенная на выданную сумму кредита, минус 100%. Вот как выглядит график доходности в динамике.
По оси Х — количество дней с момента выдачи займа. Можем наблюдать, что новый скоринг доходней старого. Просрочка снизилась, доходность выросла.
Может ли быть так, что уровень одобрения не изменился, просрочка снизилась, доходность выросла, а денег зарабатываем меньше?
Ответ
Может!
Непосредственно сам скор и его сравнение с порогом отсечения не является конечным решением о выдаче кредита. Конечное решение включает в себя определение суммы кредита, а возможно, и процентную ставку. Одобрить можно меньшую сумму, чем запросил клиент. Или большую. В этом случае уровень одобрения уже нельзя трактовать так однозначно, как мы это делали ранее. Теперь уровень одобрения может быть представлен в денежном выражении. И к уровню одобрения в штуках добавляется понятие средний чек. Нарисуем уровень одобрения в денежном выражении. Это отношение одобренной суммы на кредит к запрошенной денежной сумме в заявке.
На практике можно управлять уровнем просрочки не только с помощью скора. Но и с помощью метода определения суммы кредита. Это очень мощный инструмент. Мы проводили исследования того, как влияет резка суммы на невозврат для клиентов с одинаковым уровнем риска, одинаковым скором. Ниже график зависимости уровня дефолта от скора для одной и той же модели.
Слева — одобрялась желаемая сумма. Справа — сумма резалась в зависимости от скора. Еще раз отметим — на графиках справа и слева одна и та же модель, один и тот же скор. Но преобразование скора в конечное решение — определение суммы кредита, которую можно одобрить, производилось по-разному. Этот трюк позволяет вам прийти в компанию, которая борется над уменьшением уровня просрочки, за 5 мин написать таблицу соответствия скора и одобренной суммы и вы получите снижение просрочки в тот же день.
Замоделируем ситуацию, когда модель одинаково хорошо скорит заявки на большие и на маленькие суммы. Уровень одобрения в штуках повысился. Уровень одобрения в деньгах повысился. Уровень просрочки в штуках не увеличился. Уровень просрочки в деньгах не увеличился. Может ли быть теперь такая ситуация, когда мы все равно зарабатываем меньше?
Ответ
Может!
Уровень одобрения — не то же самое, что и уровень выдач. Когда мы одобряем клиенту кредит, не факт, что он им воспользуется. Когда мы значительно режем сумму хорошим клиентам, они отказываются от одобренного кредита и обращаются в другую организацию, чтобы получить желаемую сумму сразу. Нам добавляется задача эластичности спроса и появляются еще два показателя — забираемость и уровень выдач.
Забираемость — это процент выданных кредитов среди одобренных. Уровень выдач — количество выданных кредитов поделенное на количество поступивших заявок (аналогично можно в денежном выражении выразить).
Высокий уровень одобрения в тандеме с жесткой политикой определения суммы кредита может дать эффект низкой конверсии заявок в выдачу. С одинакового количества поступивших заявок будет выдаваться меньше денег. Однако процент просрочки и уровень одобрения будут выглядеть лучше, чем предыдущая версия системы.
Допустим, у нас улучшились все перечисленные показатели. Но, понять сколько мы зарабатываем, мы все равно не можем. Доходность показывает как выплаченные кредиты перекрывают невозращенные кредиты. Эта величина отражена в процентах. Но процент от миллиона и процент от 10 копеек — это разные проценты.
В итоге мы пришли к варианту, когда можем достаточно подробно мониторить показатели нашей системы принятия решений. Имеем много различных графиков и показателей, но не можем сказать сколько зарабатывает компания, не можем сравнить модели в АБ-тесте, т.к. не можем выразить их качество одним числом. И в итоге ответить на вопрос, лучше мы сделали или хуже по критерию «заработать больше денег».
Попробуем выразить эффективность системы принятия решения одним числом и сравнить две системы. У нас есть 4 показателя, которые исчерпывающе описывают нашу систему. Напомню, как выглядит снижение размерности показателей:
шаг 1
- доходность
- уровень одобрения в штуках
- средний чек
- забираемость
шаг 2
- доходность
- уровень одобрения в деньгах = (уровень одобрения в штуках * средний чек)
- забираемость
шаг 3
- доходность
- уровень выдач в деньгах = (уровень одобрения в штуках * средний чек * забираемость)
Таким образом всего осталось 2 показателя. Нам же нужен какой-то один интегральный показатель, который позволит без труда выбрать нужную модель. Есть ли такой показатель?
Ответ
Есть! — «Доход с заявки»
Это сумма всех платежей с процентами минус выданная сумма, поделить на количество поступивших заявок. Такой интегральный показатель включает в себя средний чек, уровень одобрения в штуках, собираемость в процентах и конверсию одобрения заявки в выдачу.
Стоит добавить, что в этой схеме не учитываются расходы. Которые включают в себя обслуживание сбора задолженности и стоимости привлечения трафика. Эти параметры могут зависеть от уровня просрочки, уровня одобрения, конверсии нового клиента в повторного, и среднего чека.
Дмитрий Горелов
telegram: datasanta
