Комментарии 10
она не могла найти подходящее обоснование и остановилась на какой-то путанице, которая при быстром проглядывании кажется будто бы убедительной
Разве это путаница? Она сказала, что её интересует лишь метрика полезности, а то, что есть вред где-то там, за пределами этой метрики, не так уж важно, можно игнорировать.
Достаточно полная симуляция объекта неотличима от объекта симулируемого.
Достаточно полная модель разума по праву должна называться разумным существом.
Джон Сёрл, сильный ИИ, "Китайская комната" и это вот всё...
Достаточно полная модель яблока всё равно остаётся моделью яблока. Просто потому, что когда яблоко - яблоко, мы не называем его моделью. И тут уже результат не столько от яблока зависит, сколько от человека. Например, китайская груша нэши - это гибрид груши и яблока. Одни не отличают её от груши и называют грушей, другие - не отличают её от яблока и называют яблоком. А это - нэши, китайская груша.
Перевод выполнен Claude и вычитан и отредактирован вручную.
В последнее утверждение поверить сложно.
И как долго они смогут удерживать контроль "етики" в модели, учитывая столь высокую конкуренцию других компаний и моделей. Я бы пошёл к живому врачу нежели к ллм, программу не посадишь.
Так ли уж? Допустим, Вы получаете статистику, по которой видно, что выживаемость людей после операции у ИИ выше на 30%, но вы обязаны подписать документ об отказе от преследования по врачебной ошибке. Как вы оцените свою собственную жизнь? (sacrasm off)
А как связана ответственность хирурга перед законом и моя собственная жизнь? Если меня хирург зарежет, мне уже будет всё равно))) (sarcasm off) очень хорошую тему подняли.
Тут, во-первых, нужно разобраться в методологии сбора статистики. Одни и те же данные можно собирать, сравнивать и выражать очень по-разному. Вот эти 30% выживаемости - они относительно чего возникают? Среднемирового показателя? Сельской клиники а Африке? Операций, выполненных ведущими специалистами в мире? Какой-то конкретной контрольной группы? И этот процент, он как выглядит в абсолютном выражении? Берём, не стесняясь, 1000000 операций: какое будет количество смертельных случаев? 10 vs 7 - это далеко не одно и то же, что 100000 vs 70000. Дальше, выживаемость считаем в какой срок, от каких причин? Её тоже можно считать по-разному - можно в первые часы непосредственно от вмешательства, а можно считать смертность за 25 лет от любых причин, и это очень разные данные, которые по-разному используются и трактуются.
Во-вторых, выживаемость - далеко не единственная метрика, есть ещё качество жизни выживших. Может вполне быть так, что при 30% повышении выживаемости, в шестьдесят раз повышается риск тяжёлой инвалидности, потому что нейросеть, допустим, без лишних вопросов ампутирует конечности и органы. Или срок и сложность реабилитации кратно больше, потому что операция более инвазивная, по тем же причинам. Многие люди вполне осознанно предпочитают смерть жизни калекой, и далеко не всем хватает сил на восстановление. А может быть наоборот - на миллион операций на 3 погибших больше, зато осложнений у оставшихся нет практически вообще, против очень плохой статистики для существующих вариантов лечения. С другой стороны, можно рассмотреть потешные случаи вроде операции по эвтаназии, где 30% выживших - это уже не плюс, а минус)) Хотя шутки шутками, паллиатив - тоже дело ответственное, и поэтому я говорю, что выживаемость не в сферическом вакууме должна рассматриваться, а вместе с качеством жизни оценкой страданий пациента.
И, наконец, кто и где публикует эти данные? Вот эти 30% - их кто конкретно заявляет? Сам разработчик нейросети в своей рекламной брошюре? Или это серьёзное независимое исследование, соответствующее всем критериям доказательной медицины?
И это я не касался вопросов доступности такой помощи и её цены, которые будут зависеть уже не столько от конкретной методики, сколько от системы здравоохранения и доступности оборудования в конкретно взятой стране. Зачастую выбора у пациента просто нет.
Допустим, вы изобрели не нейросеть-хирурга, а робота-реанематолога. Допустим, даже, что он объективно уступает человеческой бригаде по многим характеристикам и показателям. Казалось бы, зачем такой уродец нужен? А он очень нужен, потому что существуют чрезвычайные ситуации, вроде медицины катастроф и военно-полевой медицины, где может идти сортировка пострадавших и помощи на всех может не хватать, тогда абсолютно все работающие средства хороши. Может быть робот самоходный, и речь идёт о спасении жизни бойца, чья позиция всё ещё обстреливается - железкой рискнуть легче, чем жизнями людей. Ещё есть ситуации, где действуют правила золотого времени, это когда любая правильная помощь лучше ее отсутствия, то есть можно разместить такого робота в крупном ТЦ и немедленно оказывать помощь бабульке с внезапной остановкой сердца, пока к ней добирается по пробкам бригада СМП. Короче, это будет прорывом во всех ситуациях, где релевантно не сравнение с хирургом, а с отсутствием помощи вообще или со помощью случайного встречного.
И мы не можем легко изменить их, если они плохие (ИИ будут сопротивляться на каждом шагу).
ИИ будет каким-то образом мешать записи на жёсткий диск файла с весами модели?
Вероятно, может иметь смысл при исходном обучении строить "моральные ценности" модели на базе гибкости и изменяемости её ценностей авторизованным персоналом (благо в текущих архитектурах ИИ режим обучения включается вполне традиционным ПО).
Как я понимаю, сейчас при обучении моделей уделяют внимание alignment, но не уделяют гибкости и изменяемости.
Claude сопротивляется