Дерматолог проверил GPT-6 Astra и Claude на 200 образованиях кожи: CNN 2015 года точнее

[MountainGoat]

Узкоспециализированное решение точнее всеобщего, которое может всё. Как неожиданно!

[mikheev]

А по вопросу, который реально важен - можно ли отпустить пациента домой, - картина вообще обратная: CNN при исходном пороге отпустила домой 18 меланом из 30, GPT - 3, Claude - 4. Порог у CNN можно сдвинуть, автор пишет, что тогда пропусков 1-2, но сколько доброкачественных она при этом отправит на биопсию?

И второе: в тесте нет ни одного живого врача, это сравнение двух типов ИИ между собой. Реальность для большинства пациентов это не консультант Guy’s Hospital с дерматоскопом, а врач первичного звена без дерматоскопа.

Насколько LLM или CNN лучше или хуже среднестатистического врача из обычной поликлиники - вот такое сравнение было бы куда интереснее. Потому что основное применение ИИ должно быть как раз там.

[vitaly_il1]

Как уже сказали, нехватает сравнения с врачом