Комментарии 5
из больницы Бригхэма и Женщин
Замечательно, что из этой статьи и автор сделал совершенно правильный вывод. Вместо того, чтобы писать и переводить самому, лучше доверить это чат-боту.
Brigham and Women's Hospital - вообще интересное словообразование, конечно правильный перевод Женская больница Бригама... (тут целое обсуждение на счет перевода этого названия https://www.multitran.com/m.exe?a=2&l1=1&l2=2&MessNum=209571). Что интересно больница эта не только для женщин...
И, очевидно, врачи понимали, что участвуют в эксперименте, поэтому старались больше времени и сил уделять каждому диагнозу, и все равно по сумме проиграли LLM.
Но, чтобы понять действительную картину, нужно такие исследования проводить с тысячами врачей в разных странах и разных уровнях медучреждений, и сотнями диагнозов/случаев в разных областях. В том числе исследуя случаи, когда LLM критически ошибается (и когда врачи ошибаются, и насколько области ошибок LLM и врачей пересекаются?). В чём сильны LLM, а в чём - врачи?
Мы так или иначе движемся в будущее, когда ИИ начнёт теснить людей-врачей, забирая часть функций и решений... и не только врачей.
Возможно, что врачи, работая в рамках эксперимента, игнорировали рекомендации из чата, либо направляли в чат не все параметры, которые нужны были для выдачи диагноза (ленились, вредили, или просто считали что-то очевидным).
Знаю пример внедрения моделей в стекольной производство, где технологи "клали болт" на параметры, которые советовала регрессионная модель.
Вероятно о сменах, в которых они все же следовали рекомендациям программы, у них самыми яркими воспоминаниями были присутствие консультантов и начальства за спиной 😁
Получается Старый анекдот на новый лад:
— Скажите, пожалуйста, что должен делать искусственный интеллект после внедрения?
— Ничего особенного, главное, чтобы не создавал слишком много проблем.
— А как понять, что он не причиняет слишком большого вреда?
— Ну, если при сбоях ML-модели другие компоненты не будут вырубаться, то, возможно, всё в порядке.
Чат-бот с ИИ обошёл врачей в диагностике заболеваний