Comments 14
Было где-то исследование что ИИ улучшает результаты врачей в диагностике, но в случае, когда ИИ ставил диагнозы вовсе без врачей, результаты были ещё лучше. Есть над чем задуматься. Человек своими традиционными когнитивными искажениям и предвзятостями может ухудшать результат. В медицине, возможно, это сильнее выражено, чем в IT, но всё же.
Да, я помню вот такое - 74% врачи, 76% - врачи+LLM, 92% - LLM.
Там сами исследователи, правда, признавали, что проблема могла быть ещё и в том, что врачи в силу неопытности обращения с LLM использовали её не в полной мере - и это ещё один фактор, который нужно учитывать при внедрении: просто так, наскоком, не все смогут начать эффективно использовать ИИ, нужно некоторое время на обучение, смену привычек и образа мышления.
В IT - да, мне кажется, не так сильно именно влияние предвзятостей чувствуется - видимо, из-за того, что просто таких задач, где нужны именно широта знаний и взвешенные решения, не так много, и они как правило достаются опытным людям, до уровня которых ИИ не добрался пока что
Да-да, красная ссылочка. Даже сливал PDF нейросети и задавал уточняющие вопросы. Там есть правда ещё такой момент, что нейросети скармливались текстовые описания анализов (картинки она не анализировала), но назначение этих анализов выполнялось врачом, а это ведь тоже часть работы диагноста - определить какие именно нужны анализы. То есть в случае независимой работы LLM, она была не такая уж независимая.
Человек своими традиционными когнитивными искажениям и предвзятостями может ухудшать результат
Звучит сомнительно. ИИ обучался на результатах работы диагностов. Т.е. по сути должен унаследовать все их искажения. Медицина это не про точные прогнозы, а про вероятности. Зачастую диагностическая картина может выглядеть таким образом, что напрашиваются сразу несколько диагнозов, и все они вполне себе подходят под диагностическую картину. И дальше задача диагноста отработать все версии, подтвердить их или исключить. Для этого назначаются иные исследования или анализы.
Предвзятости у каждого врача же свои. Кто-то всем назначает несуществующую ныне болезнь - вегетососудистую дистонию при жалобах на головные боли и лечит гомеопатией (реальный случай), кто-то - иглоукалывание (тоже реальный). Нейросеть усредняет, отбрасывая частные случаи, ну, и такие случаи вряд ли вообще входят в обучающую выборку. Там какой-нибудь золотой стандарт (надеюсь) и доказательная медицина, а также научные работы.
Но помимо недоверия какой-то "железяке, которая мне, врачу с XX стажем тут будет указывать", наверняка повлияло и простое неумение ей пользоваться эффективно. Тем не менее результат же налицо, кейсы там брались реальные, где верный диагноз поставить по исходным данным возможно (иначе бы не было смысла в тесте).
Не стоит сравнивать тех, кто не всегда ставит правильные диагнозы (или, возможно, врачей, которые не хотят иметь дело с проблемными пациентами), с теми, кто ставит точные диагнозы.
Позвольте привести пример из области рентгенологии, которая мне наиболее близка. Хороший рентгенолог с годами тренирует свою нейронную сеть, и этот навык называется «насмотренность». Врач не нуждается в анализе снимка с помощью сознания: «так, здесь мы видим вот это, оно выглядит так, скорее всего, это…». Достаточно одного взгляда на снимок, чтобы поставить диагноз, или, если изображение не совсем ясное, поставить диагноз под вопросом или даже предложить несколько вариантов. Затем начинается процесс дифференциальной диагностики.
В отличие от искусственного интеллекта, рентгенолог при любых сомнениях может получить доступ к дополнительной информации. Он может собрать анамнез у пациента и прочитать его медицинскую карту. Уже на этом этапе у врача есть преимущество. Например, если непонятно, является ли тень на снимке сосудом или трещиной в черепе, врач может спросить у пациента, не ударялся ли он головой или не падал ли.
Но это ещё не всё. Врач получает обратную связь по своей работе. Он может оценить, насколько правилен был его диагноз, и скорректировать свою нейросеть. А если не были диагностированы смертельные заболевания, то придут специальные люди и поднимут архивы снимков. Так что ошибки в рентгенологии надолго остаются в памяти.
Что касается вашего исследования, то я не могу ничего сказать о нём, поскольку не знаком с ним.
Но моё мнение, что наилучший результат AI даст в связке именно с насмотренным врачом. Такой специалист не будет безоговорочно верить AI, а будет его проверять, и, возможно, также собирать дополнительную информацию. Возможно, AI подтолкнёт врача к каким-либо мыслям на основе своих предположений.
Главное, чтобы это был именно инструмент насмотренного специалиста, а не волшебная палочка в руках стажёра. Иначе, он никогда не приобретёт ту самую насмотренность и не сможет критически относится к вердикту AI.
наилучший результат AI даст в связке именно с насмотренным врачом
Не вижу для этого причин и результаты пока говорят об обратном. Насмотренность врача это та же самая обученность искусственной нейросети. Ей тоже можно подавать анамнез для более точных сопоставлений и, хоть пока такого нет, но можно и научить задавать уточняющие вопросы. При этом она свободна от множества чисто человеческих ошибок: от предвзятости, усталости, необходимости угождать, зависимости от авторитетов и прочего. Мне кажется вы сильно идеализируете врачей и их стремление к непогрешимости. Реальные истории знакомых говорят как раз об обратном - что врачи всегда найдут способ прикрыть друг друга и уйти от ответственности, никакие специальные люди не помогут, что добавляет баллов нейросетям.
ИИ может быть как полезным инструментом, так и вполне самостоятельным участником процесса. Когда знания и интеллект инструмента превосходят того, кто пользуется инструментом при наличии понимания здравого смысла, логики, то это уже не совсем инструмент.
Но моё мнение, что наилучший результат AI даст в связке именно с насмотренным врачом
Ну вот исследования этого не подтверждают, увы. Если честно, я тоже бы предпочёл получить 2 мнения - и от нейронки, и от живого специалиста, но в перспективе (по крайней мере для диагностики) мы можем получить ИИ, который будет сильно лучше врачей.
И есть ещё одна вещь - хорошо насмотренного специалиста ещё поди найди, они обычно в крупных городах, сильно заняты и дорого стоят, и очень много людей в мире пользуются услугами далеко не самых квалифицированных врачей, а то и вообще живут в условиях их полного отсутствия.
Наличие общедоступного медицинского ИИ могло бы значительно улучшить жизнь многим, и вопрос сейчас чисто в идущей уже работе с регуляциями разного рода
Действительно, при работе с ИИ пропадает часть задач - в случае с разработкой, именно шаблонных задач - и освобождается время на глубокие размышления и разнообразную креативную деятельность
дада. креативная деятельность - вычислять в каком месте AI лоханулся/подложил свинью
После тысяч рассмотренных пулл-реквестов могу сказать, что с людьми оно примерно так же, только итерации куда медленнее :)
вам - в соседнюю новость «Больше всего беспокоила наша неспособность предсказать, какие задачи будут выполнены успешно. »
А, ну это Devin - я за этим проектом давно слежу. Если вкратце - они замахнулись на создание полностью автономного агента, этакого "джуна по подписке", не имея хорошую базу для этого хотя бы в виде затюненной на это модели. Какие-то результаты они, конечно, смогли показать, но вся затея была изначально сомнительной.
На текущем уровне развития нейронок их именно в паре со скилловым разработчиком эффективнее всего использовать, а не пытаться его заменить.
Однако нужно смотреть на динамику - это сейчас у Devin не получилось, но с выходом нового поколения моделей уже в этом году эти результаты нужно будет перепроверять
Проблема в том, что ИИ продолжает эволюционировать, а кожаные мешки нет.
Даже если ученые приспособяться к изменениям и увеличат эффективность, то это не на долго. В конце концов ИИ "отберет" всю творческую работу. Стимул к саморазвитию пропадет, начнется деградация и потеря компетенций. Через 50 лет люди будут не способны решать задачи которые с лёгкостью решают сегодня.
То, что многие интеллектуальные задачи уйдут к ИИ - да, скорее всего так и будет, и многие про это говорят. У человечества в целом некоторое время будет некий кризис идентичности, но, я думаю, в среднем уровень развития останется тем же.
Зачем-то же ведь люди до сих пор играют в шахматы, бегают марафоны, изучают древние языки и т.п. То есть вот эта жилка стремления познания мира вокруг всё равно остается - это часть нашей природы.
А вот интеллектуальное расслоение наверняка усилится, причём в разы - хотя бы просто потому, что будущие инструменты обучения будут намного более эффективными
Искусственный интеллект, научные открытия и инновации в продуктах