• ML и DS оттенки кредитного риск-менеджмента | LGD, или Жизнь после дефолта



      Хабр, привет!

      Мы продолжаем цикл статей ([1], [2], [3]), посвященных применению ML-методов в ряде задач управления кредитным риском. В этой мы расскажем про задачу, которая возникает в ходе жизненного цикла кредитного договора: моделирование доли невозврата по договору в случае его дефолта (loss given default, LGD). 

      Зачем это нужно делать, ведь дефолт случился и на первый взгляд кажется, что прогнозировать уже ничего не нужно? Действительно, можно считать, что клиент уже ничего не вернет и под такие договоры закладывать 100%-ное резервирование. 

      Однако в действительности после дефолта клиенты могут вносить платежи  или, если договор был обеспечен (залог), то в ходе продажи обеспечения вся сумма договора или ее часть могут быть погашены за счет суммы реализации (продажи) залога. 

      Также стоит обратить внимание, что для банковской сферы (в других индустриях зависит от продукта и политики резервирования) прогноз должен производиться как по договорам, находящимся в дефолте $(PD = 100\%)$ (default сегмент), так и по тем, по которым нет дефолта на момент расчета резервов $(PD \neq 100\%)$ (non-default сегмент). Разработка прогнозной модели возможна только на договорах в дефолте. В этом случае возникает проблема переноса модели на сегмент недефолтных договоров. 

      Об особенности расчета компоненты LGD, ее моделирования, распространении прогноза на весь портфель, а также подходах к валидации расскажем далее. 

      Бегите, глупцы. Добро пожаловать под кат!
      Читать дальше →
    • Как построить современное аналитическое хранилище данных на базе Cloudera Hadoop

        Привет.

        В конце прошлого года GlowByte и Газпромбанк сделали большой совместный доклад на конференции Big Data Days, посвященный созданию современного аналитического хранилища данных на базе экосистемы Cloudera Hadoop. В статье мы детальнее расскажем об опыте построения системы, о сложностях и вызовах с которыми пришлось столкнуться и преодолеть и о тех успехах и результатах, которых мы достигли.

        Строить хранилище!
      • Маркетинговая оптимизация в банке

          image
          Привет, Хабр.

          Маркетинговая оптимизация, установка лимитов по портфелю кредитных продуктов, логистика и товарная аналитика, оптимизация производственных процессов, … — список применения методов математической оптимизации далеко не ограничивается перечисленными задачами, а методы оптимизации начали решать задачи бизнеса задолго до того, как науки о данных стали называться науками о данных.

          С развитием адаптации технологий ML/DS можно ожидать рост популярности оптимизационных методов прежде всего за счет того, что решения бизнес задач становятся более комплексными. То есть, вместо того, чтобы сделать одну-две модели, которые выдают почти финальные решения, процесс принятия решения декомпозируется на отдельные составляющие компоненты, в которых есть место прогнозным моделям, а для самого принятия решения с учетом всех этих компонент и ограничений работает уже оптимизационная модель.

          В статье поговорим о возможной постановке задачи оптимизации в банковской сфере и методах ее решения.
          Читать дальше →
        • Прогнозирование временных рядов методом рядов Фурье

            image
            Привет, Хабр.

            Эта статья посвящена методу долгосрочного прогнозирования временных рядов с помощью рядов Фурье [1-2]. Особенность подхода в том, что в отличие от классических методов прогнозирования и машинного обучения прогнозируется не сама неизвестная функция, а ее коэффициенты разложения в ряд Фурье. Далее по спрогнозированным коэффициентам Фурье восстанавливается неизвестная функция и делается прогноз ее значений на следующий период.

            Внимание! Статья содержит множество формул.

            Читать дальше →
          • Быстрый прототип IIoT-решения на Raspberry PI и Yandex IoT. Часть вторая

            • Tutorial

            Это вторая часть из цикла статей про прототипирование IIoT-решения на Raspberry PI и Yandex IoT.

            В первой части мы реализовали основные функции на Raspberry PI:

            сбор телеметрии с промышленных датчиков по протоколу Modbus; 

            их передачу в облако;

            локальный мониторинг процесса в реальном времени.

            Однако пока наш проект выглядит достаточно странно - данные попадают в облако, но никак там не “оседают”, а проходят насквозь, или вообще исчезают бесследно, если никто не успел их прочитать.

            Настало время это исправить -  разберемся с тем, как можно накапливать и обрабатывать переданную телеметрию в Яндекс Облаке.

            Читать далее
          • ML и DS оттенки кредитного риск-менеджмента | EAD или деньги в дефолте



              Привет, Хабр!

              Новая статья цикла о моделировании в задачах управления кредитным риском (предыдущие статьи смотрите здесь и здесь)  посвящена EAD — компоненте, отражающей размер задолженности заемщика перед банком в момент дефолта.

              Как спрогнозировать сумму кредитного требования в момент дефолта, при условии, что момент дефолта неизвестен, и вообще может не настать? Как поступать с экстремальными, особенно большими по абсолютному значению, EAD? А если кредитный продукт, по которому нужно оценить риск — это так называемый револьверный кредит, где нет установленных регулярных платежей,- как, например, кредитка с кредитным лимитом? 

              Эти и подобные им вопросы возникают при моделировании компоненты. Их и рассмотрим под катом.
              Читать дальше →
              • +10
              • 2,1k
              • 3
            • Быстрый прототип IIoT-решения на Raspberry PI и Yandex IoT

              • Tutorial

              В этой серии статей я расскажу как самостоятельно собрать полнофункциональный прототип промышленного IIoT-шлюза на базе Raspberry PI.

              Разумеется, подобная штука не может стать полноценной заменой настоящему промышленному железу - достичь сравнимого уровня надежности, защищенности и производительности одновременно, либо не получится, либо будет намного сложнее и дороже, чем купить готовую железку. 

              Однако в качестве быстрого и дешевого решения на этапе проверки гипотез (в момент когда вам только предстоит определиться какие данные каким способом снимать и как их потом хранить и использовать) такое решение вполне имеет право на существование.

              В конце концов, с программной точки зрения, большинство современных промышленных IoT-шлюзов - не что иное, как обычные одноплатные ПК со специфической ОС (чаще всего на базе Linux) и набором предустановленного ПО.

              В общем те, кто готов к подобным экспериментам на производстве, либо просто интересуется IIoT и хочет поэкспериментировать с технологиями для собственного развития - вэлкам под кат!

              Читать далее
            • FI или финансовая аналитика — что, где, когда?

                Что, Где, Когда?


                IT — консалтинг в большинстве случаев ассоциируется с построением хранилищ, систем визуализации и анализа данных, но сегодня мы познакомимся с еще одной командой GlowByte — GlowByte FI.


                Команда FI строит системы финансового учета, бюджетирования, планирования, прогнозирования и аллокации расходов — много умных слов, которые мы ниже объясним.
                В статье обсудим значение систем финансового учета для бизнеса, типы информационных систем и выгоду их приобретения и использования в компании.


                image

                Читать дальше →
              • ML и DS оттенки кредитного риск-менеджмента | Компоненты


                  Привет!

                  В предыдущей статье цикла о моделировании в задачах управления кредитным риском (здесь) мы провели обзор трех задач кредитного риск-менеджмента, нашли возможные точки приложения ML и DS к этим задачам и попутно ввели набор терминов для дальнейшей работы.

                  Сейчас мы расскажем о трех компонентах (PD, LGD, EAD), которые участвуют при расчете ожидаемых потерь: рассмотрим основные драйверы и методологию построения моделей. В конце статьи приведем сводную таблицу с особенностями работы с компонентами на различных этапах разработки, сформированную на основе нашего проектного опыта. 

                  За подробностями добро пожаловать под кат.
                  Читать дальше →
                • ML и DS оттенки кредитного риск-менеджмента



                    Всем привет.

                    Мы команда Advanced Analytics GlowByte и запускаем цикл статей о моделировании в задачах управления кредитным риском. Цель цикла — кратко рассказать о сфере, расширить словарь профессиональных терминов и дать ссылки на полезные статьи и книги. В вводной статье мы покажем особенности применения ML и DS в сфере кредитного риска, без глубокого погружения в предметную область.

                    Далее раскроем вопросы методологии моделирования, работы с компонентами кредитного риска, а также подходов к калибровке и валидации, которые учитывают специфику работы моделей в банке.

                    Основа публикаций — наш проектный опыт по разработке и внедрению аналитических моделей в банковской сфере.

                    А теперь под кат.
                    Читать дальше →
                  • Обзор гибких методологий проектирования DWH

                      Разработка хранилища — дело долгое и серьезное.

                      Многое в жизни проекта зависит от того, насколько хорошо продумана объектная модель и структура базы на старте.

                      Общепринятым подходом были и остаются различные варианты сочетания схемы “звезда” с третьей нормальной формой. Как правило, по принципу: исходные данные — 3NF, витрины — звезда. Этот подход, проверенный временем и подкрепленный большим количеством исследований — первое (а иногда и единственное), что приходит в голову опытному DWH-шнику при мысли о том, как должно выглядеть аналитическое хранилище.

                      С другой стороны — бизнесу в целом и требованиям заказчика в частности свойственно быстро меняться, а данным — расти как “вглубь”, так и “вширь”. И вот тут проявляется основной недостаток звезды — ограниченная гибкость.

                      И если в вашей тихой и уютной жизни DWH-разработчика внезапно:

                      • возникла задача “сделать быстро хоть что-то, а потом посмотрим”;
                      • появился бурно развивающийся проект, с подключением новых источников и переделкой бизнес-модели минимум раз в неделю;
                      • появился заказчик, который не представляет как система должна выглядеть и какие функции выполнять в конечном итоге, но готов к экспериментам и последовательному уточнению желаемого результата с последовательным же приближением к нему;
                      • заглянул менеджер проектов с радостной вестью: “А теперь у нас аджайл!”.

                      Или если вам просто интересно узнать как еще можно строить хранилища — вэлкам под кат!


                      Читать дальше →
                    • Как Reinforcement Learning помогает ритейлерам

                        Введение


                        Привет! Наша команда Glowbyte Advanced Analytics разрабатывает ML-решения для прикладных индустрий (ритейл, банки, телеком и др). Многие задачи требуют нестандартных решений. Одно из них — оптимизация цепочек коммуникаций с клиентом с помощью Reinforcement Learning (RL), которому мы решили посвятить данную статью.

                        Мы разбили статью на три блока: введение в задачу оптимизации цепочек коммуникаций; введение в RL; а в третьем блоке мы объединяем 1 и 2 вместе.

                        image
                        Читать дальше →
                      • Понятная аналитика. Опыт внедрения сервисом Работа.ру решения Tableau

                          У каждого бизнеса возникает потребность в качественной аналитике данных и ее визуализации. Еще один важный фактор, который следует учитывать — это простота использования для бизнес-пользователя. Инструмент не должен требовать дополнительных затрат на обучение сотрудников на начальном этапе. Одним из таких решений является Tableau.

                          Сервис Работа.ру выбрал Tableau для многофакторного анализа данных. Мы поговорили с Алёной Артемьевой, директором по аналитике сервиса Работа.ру и узнали как изменилась аналитика после внедренного командой BI GlowByte решения.
                          Читать дальше →
                          • –4
                          • 2,6k
                          • 2
                        • Почему стриминг на KSQL и Kafka Streams — это непросто

                            Привет, Хабр!

                            Меня зовут Саша, я лид-разработчик в GlowByte Consulting. Мы с командой сделали неплохой стриминговый движок для одного крупного банка. Сейчас в продакшене крутится онлайн обработка банковских авторизаций, визитов клиентов в офис и еще ряд более мелких процессов, при этом все работает на KSQL и Kafka Streams. Хочу поделиться тем, на какие грабли мы наступили в процессе.

                            Если интересны подробности, прошу под кат.

                            image
                            Читать дальше →

                          Самое читаемое