Комментарии 3
Самый полезный вывод тут, по-моему, про плоский участок около 0,99: сеть видит повреждение, а скор его почти не показывает. Тогда напрашивается ещё одна базовая линия вообще без правки весов: считать дельту исходной модели не по вероятностям, а по log-odds нужного класса. Умножение последнего слоя на 0,35 по сути промежуточный вариант между этими двумя способами чтения. Подвох есть: там, где сайта нет, log-odds раздувает мелкий шум, и с максимумом по окну могут полезть ложные срабатывания. Но если такая дельта даст примерно те же 0,97, получится, что почти вся польза в том, как читать выход, а веса можно не трогать. Пороги перекалибровывать придётся в любом случае, но хотя бы на неизменённых весах. Не пробовали так?
отличный комментарий. Посчитала на тех же логитах и том же скрытом тесте. Веса не менялись, настройки выбирались только на dev-выборке. Чистая дельта log-odds хуже исходного скора: 0,926 против 0,939 у модели с сидом 10. У 99 % доброкачественных вариантов максимум дельты приходится на позиции, где вероятность сайта не выше 0,01, то есть ровно на шум там, где сайта нет
Помогает обрезать log-odds снизу. Так что да, почти вся польза в том как читать выход, и веса трогать не обязательно
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как Claude переписывал веса медицинской модели. Справился. Но градиент не хуже