Comments 2
Сорри за ночной невнятный вопрос от любителя (пробовал когда-то давно детские датасеты на скоринг именно всякими *бустами, обещаю поотлаживать на свежую голову ваши примеры, но там вроде скоринга нет), но пока пытаюсь понять качественно, что у вас произошло (поправьте если совсем неправ).
Т.е. кто-то пробовал обычный градбустинг на «исходном датасете», и получил видимо что-то ниже roc_auc ~ 0.6 (и наверно сильно ниже, раз те метрики что у вас как бы успех), что наверно было мало (не в курсе «стандартов по скорингу», но как раз недавно видел статью про что-то похожее на проде, причем с совсем небольшим количеством атрибутов и там гордились AUC ~ 0.82-0.86).
С классификацией того исходного же датасета нейронками наверно тоже было не лучше (раз понадобились графы).
Вы подтащили всевозможные связи «объектов» (родственные, коллеги, что у вас там), жадно, на три рукопожатия, и вроде как «информация о метках» обучающего датасета как-то передалась-связалась с ними (ну что вроде логично, банкротятся семьями, фейл компании фейлит работников и т.п.).
Т.е. вроде как получается, что улучшение метрик физически произошло только за счет того, что вот часть этих «подтянутых и зараженных близостью к дефолту» попали именно на тестовый датасет? Насколько вы улучшили данные по сравнению с тем же исходным бустингом на исходном датасете? Может можно было просто какие-то атрибуты типа «близость к банкроту» ввести и в тот же бустинг тоже улучшился бы без нейросетей и вот этих библиотек?
Добрый день!
В статье я описала тесты маленького датасета, которые не свойственны для работы с графами, и указала обучение в одну эпоху — это наглядный пример, что библиотеку можно использовать с помощью пары строк. Поэтому в результате получились такие цифры.
Скоринг бывает разный, и действительно, все задачи скоринга можно решить бустингом. Проблема в том, что есть постоянный запрос на увеличение качества. Из-за этого идет борьба за маленькие значения. Конкретно в наших задачах прирост с помощью gnn был 6-8 gini, что уже считается успехом.
Про близость к банкроству не очень понятно.
В целом, как показывает практика на задачах кредитного риска DS упирается в потолок качества, поэтому здесь и начали использоваться графы, так как нельзя говорить о том, что объекты из выборки не связаны друг с другом и что это не имеет значения.
В том числе графы используют, например, в антифроде. Тенденция такова, что "социальный" капитал это тоже "твоя фича" :)
Как мы в МТС создали библиотеку для работы с графовыми нейронными сетями