По поводу бенчмарков не скажу, но модели должны получаться достаточно близкими друг к другу за минусом погрешности. А вот удобных методов оптимизации гиперпараметров я не обнаружил. Я попробовал использовать optuna, но из-за особенностей работы catboost на spark это было достаточно неудобно. Сначала catboost поднимает клиент-северное приложение, проводит обучение, после чего optuna запускает его снова, снова поднимается клиент-серверное приложение. На кластере k8s это выглядит как поднятие и остановка пода с экзекуторами. Процесс не быстрый.
Хотелось показать, что даже совсем простая модель способна выдавать неплохие результаты при должной обработке. То есть условно взять базовый алгоритм, который можно доработать и легко вывести в прод.
По поводу бенчмарков не скажу, но модели должны получаться достаточно близкими друг к другу за минусом погрешности. А вот удобных методов оптимизации гиперпараметров я не обнаружил. Я попробовал использовать optuna, но из-за особенностей работы catboost на spark это было достаточно неудобно. Сначала catboost поднимает клиент-северное приложение, проводит обучение, после чего optuna запускает его снова, снова поднимается клиент-серверное приложение. На кластере k8s это выглядит как поднятие и остановка пода с экзекуторами. Процесс не быстрый.
Хотелось показать, что даже совсем простая модель способна выдавать неплохие результаты при должной обработке. То есть условно взять базовый алгоритм, который можно доработать и легко вывести в прод.