Как стать автором
Обновить
2
0

Пользователь

Отправить сообщение

Приветствую! На связи автор статьи со своего личного аккаунта :)

Вопрос совершенно не нубский, мы сами им задавались, правда, в немного другой форме.

Оказывается, если посмотреть на качество out-of-distribution детекции в процессе обучения модели (то есть, взять, например, чекпоинты модели с 50% accuracy, затем с 60%, 70%, 80%, 90%), то можно заметить, что градиетный метод и ODIN подчиняются одной тенденции: с ростом качества модели на первоначальной задаче в процессе обучения растёт и качество детекции аномалий.

Правда, на начальных чекпоинтах качество решения обеих задач будет слабым, поэтому предложенный Вами метод, скорее всего, никак не поможет модели в начале обучения, так как, по сути, мы испортим ground truth с помощью предсказания самой модели.

Возможно, на последних эпохах обучения это может дать некий профит, здесь нужно проводить конкретные эксперименты.

Также, вполне возможно, что такая идея может выстрелить, если у нас уже есть одна обученная модель на конкретном датасете, тогда мы можем использовать её как детектор аномалий при обучении другой модели на этом же датасете.

Но это всё правдоподобные рассуждения, которые нужно обязательно проверять на практике, как и все теории в современном дып лёрнинге :)

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность