Комментарии 2
Это конечно все здорово, но медицинская разметка - это долго и дорого.
Сабсеты кажется хорошей идеей, но сколько надо насобирать данных, чтобы получить адекватные доверительные интервалы метрик на этих сабсетах.
Про тесты на лик: к сожалению единого идентификатора пациента в России, как и в остальном мире нет. И элементарно одного и того же человека очень сложно отловить, чтобы исключить такой лик.
Out-of-Distribution - это просто беда. Я видел маммографию с оцифровщика, под снимком лежала сим-карта. И пользователи не хотят понимать, что этого объекта быть не должно и почему сим-карта воспринимается как образование. Его вывод - ваша система отстой.
привет! интересный комментарий
данных действительно для тестирования по слайсам данных нужно больше, поэтому обычно такие штуки внедряют уже на более поздних стадиях развития продукта. в начале мы радовались, что вообще есть какие-то данные для тестов) но со временем требования к качеству, fairness и надёжности растут
да, верно, но часто такая возможность есть, например, есть анонимизированный айди. и тогда стоит заморочиться и учесть это
да, проблема знакомая, но способы её решения есть. репутационные издержки действительно очень сильные в случае таких ошибок
Тестирование ML-систем