Pull to refresh

Comments 266

Сетки наконец видят паттерны, которые нашими глазами не видны — тут радоваться надо, такой простор для деятельности.

проблема только в том, что теперь структура сеток теперь настолько запутана и сложна, что группа авторов сетки, нашедшей паттерн, за несколько месяцев не смогла понять, в чем же этот паттерн заключается. В светлое техножречество идем!

теперь структура сеток теперь настолько запутана и сложна, 

Это изначальная фича любой сетки сложнее однослойного персептрона - как там веса на конкретном уровне связаны с предсказанием богу одному понятно, но все работает (в биологических ситсемах также). Есть подходы по интерпретации конволюционных сеток - Saliency Maps и все такое, что обычно выглядит очень красиво и наглядно, но видимо в конкретном случае сетка собирала фичи со всей картинки, человеческому глазу не за что зацепиться.

И таких ситуация будет все больше и больше. Пора жреческую робу красить в красное.

Только почему-то (понятно почему, на самом деле - потому что люди сами нередко принимают решения подобным образом и даже по требованию не могут представить рациональную мотивацию) вопрос неинтерпретируемости методов принятия решений так называемым ИИ очень мало кого волнует. С другой стороны, может быть хоть через подобные (во многом, параноидальные) размышления вслух о возможном "расизме" до кого-то дойдет, что нет ни малейшей надежной возможности выяснить, на основании чего ИИ принял то или иное решение.

С антропологией все просто, я сам могу с помощью промеров черепа определить расу, меня этому целый семестр учили, хоть и давно

Если сетка может это сделать по любым частями скелета — это отличный результат, я бы порадовался за учёных

При чём тут в конкретной ситуации антропология? Да, мы узнали, что (скорее всего) есть разница в строении грудной клетки между разными расами. Но речь о том, что ни выяснить, в чём конкретно, ни проверить, не используется ли подобное знание для принятия решений на основе корреляции, а не связи - нельзя.

Я ожидал что они проверятся по 3д модели скелета. Поиграются пропорциями, добавят/убавят рёбер/позвонков.

Сейчас больше похоже, что они застолбили тему.

Какая разница для принятия решения, коррелляция там или связь? Это чисто идеологические человеческие загоны, не имеющие рационального содержания.

В Ленинградской области, если вас укусит клещ, то вам посоветуют подождать результатов анализа насекомого, а в Красноярском крае сразу вколют иммуноглобулин. Именно потому что существует корреляция между регионом и вероятностью инфицирования и тяжестью заболевания. А причинно-следственной связи нет.

Я бы не сказал, что мало волнует. Explainable AI -- вполне себе горячая тема.

А можно натравить ИИ на эти данные чтобы нашли паттерн?

Добро пожаловать в технологическую сингулярность. Далеко ходить оказалось не нужным.

Это по сути то же самое, что интуиция. Как и в случае с интуицией бывает довольно сложно объяснить, почему это сработало в данном конкретном случае.
p.s эти накидывания про "расизм" для того, чтобы статья была более обсуждаема - не очень :(.

К большому сожалению, это не "накидывания", а вполне обычная (пусть и не универсальная, что тоже важно понимать) ситуация, существующий контекст, в котором рассуждают многие ученые (особенно - молодые), которым довелось учиться гуманитарным предметам у старых хиппи и социалистов, осевших на гуманитарных кафедрах немалого числа западных университетов.

Это не интуиция, это математический анализ, но основанный на более тонких отличиях, чем может увидеть человек

Математика, а не мистика

Сходство с "интуицией" (которая никакая не мистика) - в том, что способ принятия конкретного решения в обоих случаях нельзя ни узнать, ни проанализировать.

UFO just landed and posted this here

Вы намеренно путаете необходимое и достаточное условие?

UFO just landed and posted this here

"Простым языком" - возможность так или иначе узнать, на основании каких качественных или количественных признаков сделан вывод. Если этой возможности нет, то дальше и рассуждать не о чем. Если есть, можно оспорить "корень из возраста" из списка признаков, как негодный критерий.

UFO just landed and posted this here

Я понимаю, что вы, вероятно, клоните к ситуации в промежутке, где рост числа факторов и сложности их влияния на классы делает слабо возможным прослеживание связи конкретного класса с конкретными параметрами на входе.

Так что принцип работы такой модели - интерпретируемый, конкретная модель может становиться неинтерпретируемой из-за сложности.

UFO just landed and posted this here

Ну так вот проблема с этим "спектром" в том, что критерию практической возможности проследить влияние отвечает только вырожденный случай.

UFO just landed and posted this here
UFO just landed and posted this here

Я предпочитаю решение подобных задач методами, которые основаны на реальном понимании зависимостей между явлениями. А не на статистических моделях, ведущих себя, как низкофункциональный аутист, который может найти за секунду миллион мелких различий между двумя картинками, но не понимает, что на них изображено. К чёрту такого "доктора". Максимум, для чего это пригодно - это предварительная выборка вариантов и их сортировка.

Контр-пример того же персонального характера - вы согласитесь, чтобы вас лечил человек, который прогулял лекцию, где рассказывали про инфекционные и неинфекционные воспаления, но помнит, что когда у Васи неизвестно от чего распухла нога, ему помог дексаметазон?

UFO just landed and posted this here

Право любого человека - лечиться как он хочет (не за чужой счет, естественно).

Однако, если мы говорим о превосходстве или недостатках тех или иных способов принятия решений, сам факт того, что люди эволюционировали до абстрактного мышления, сохранив конкретно-предметное, показывает, что одного конкретно-предметного (а именно ему аналогичны статистические модели) для чего-то было недостаточно.

Вообще же, опора на одну статистику вполне демонстрируемо ущербна не только в особых случаях. И спасает, скорее, тогда, когда другой способ вообще недоступен, или он слишком "дорог".

Я очень надеюсь, что вы не отрицаете преимущество способности использовать знание о причинно-следственных связях над способностью опираться только на корреляции. Вам вот тема гражданского оружия близка, а вы в курсе, что терапевты в базовом психологическом опроснике в США интересуются наличием оружия в доме, как фактором предсказания суицидальных тенденций?

UFO just landed and posted this here

Стесняюсь спросить, вы когда в выборе опираетесь на статистику, понимаете, что в отдельных случаях (и мед. диагностика к ним относится) воспроизводимость может быть рассмотрена только в одинаковых условиях, а процесс детекции - не цепь? То есть что ваш индивидуальный случай полностью независим от других. И всё, что действительно объединяет ваш случай и N других - это общая механика (общая причина)? Что эквивалентно тому, что любое наблюдаемое/эмпирическое сходство следствий - это ложь (в том смысле, что из лжи следует что угодно).

UFO just landed and posted this here
Именно так. Нейросеть — никакой не «искусственный интеллект» — а чисто математическая модель, аппроксимирующая 3d-функцию (т.е. набор 2d картинок) через интегральное преобразование, а классификация по параметрам (раса в данном случае) происходит чисто статистическими методами по неявно заданному распределению. Поэтому, если кому-то хочется конкретики, начать очевидно нужно с построения математической модели, явно описывающей исследуемое изображение — позвоночник, рёбра, их форму, пропорции и положение относительно друг друга. Далее группируем и по каждому параметру или их отношению также явно считаем распределение, которое аппроксимируем одним из стандартных, и в итоге получим небольшой набор дискретных параметров, вполне доступных для анализа интеллекту настоящему, и намного более осмысленный, чем структура нейросети.

математической модели

Строить мат модели живых обьектов традиционными редукционными способами - замучаетесь, биофизики этим балуются уже десятки лет с мелким успехом, именно как вы и предлагаете. Не выходит небольшого набора дискретных параметров.

Перспективнее ИМХО учиться извелкать и интерпретировать модели из весов нейросетки.

ИМХО биофизики просто математику плохо знают, потому и результаты у них мелкие. А с нейросетями математику знать не надо, скармливай ей побольше картинок и получай правдоподобный результат. Для компьютерного зрения в примитивных задачах — да, подходит, но до человеческих возможностей всё равно не дотягивает, не говоря уже о том, чтобы их превзойти. Нейросеть не делает волшебства, не умеет думать, не может выйти за пределы полученного набора данных — это просто тупой классификатор, в котором количество заменяет качество. Вот например человеку, чтобы научиться распознавать букву «А», не нужно скармливать миллион различных её начертаний, как это нужно для нейросети. Он может абстрагировать её до «трёх палочек, соединённых определённым образом», и даже абстрагировать это знание на все прочие символы, и даже математически его описать (в виде графа). Хотел бы я посмотреть, как подобного рода абстракции и алфавит к ним вытаскивать из весов узлов нейросети.

Классический пример восприятия мира при тупой классификации

Конкретные мат.модели при анализе больших данных нужны в том числе и для того, чтобы исключить влияние факторов, для анализа не предназначенных. Это единственная возможность получить 100% уверенность в том, что (например) модель рентгеновского аппарата никак не повлияет на результаты статистики.

Распознавание речи, к слову, именно так и работает — там не подаётся сигнал с микрофона напрямую на нейросеть, а используется кепстральное преобразование. Однако я не видел и не слышал, чтобы ту же самую технологию использовали в ЭКГ — хотя тут и параллели очевидны, и данных с 12 датчиков можно насобирать побольше.

«если корень из возраста, умноженный на срок жизни в текущем доме, меньше 40, то отказать в кредите» — будет легче?

Будет легче - можно будет хотя бы понимать "есть закономерность возврата кредита и пары (возраст, срок жизни).

В случае с достаточно сложной нейронкой - может быть вообще непонятно, куда смотреть)

Отдельные пиксели подсвечивать или saliency map делать? Не всегда помогает.

UFO just landed and posted this here

По-моему, все эти штуки обсуждаются в двух контекстах: 1) осмысленно/бессмысленно и 2) как оно с точки зрения закона.

Поэтому если у вас в формуле будет "корень из возраста" а по закону, например, возраст учитывать нельзя, то да, толк есть, потому что будет очевидно, что решение принимается на основе запрещённых критериев.

А про "осмысленно/бессмысленно" -- аналогично, если модель скажет, что на картинке рак, потому что рядом линейка лежит -- ну да, хорошо бы нам о таком знать заранее. А так-то и человек не может объяснить всю логику решений, иначе нам бы все эти нейросети и не нужны были, хватило бы if-else.

если корень из возраста, умноженный на срок жизни в текущем доме, меньше 40
Тут есть одна принципиальная разница. Когда мы используем аналитические функции, то совершенно точно знаем, что (в данном случае):
1) функция гладкая,
2) скорость роста функции монотонно убывает,
3) функция не имеет пульсаций.

В случае же нейросети степеней свободы на порядки больше и таких гарантий вам никто дать не может — и поэтому в частных случаях можно получить результаты очень далёкие от ожидаемых. One pixel attack тому наглядный пример.
UFO just landed and posted this here
Вообще-то эта функция не очень гладкая, потому что у вас там есть порог
Вы же наверняка знаете, что значит «композиция функций»?)

Не понял, что за пульсации, и чем они плохи?

или

Они плохи там, где их никто не ждёт и где в них нет никакого смысла. Могут приводить не только к дискриминации по определённым признакам, но и к падению самолётов и прочим технологическим катастрофам.

Как только вы напихаете степеней свободы в вашу обычную модель побольше, у вас вообще может вылезти что-нибудь дикое, вроде интерполяционного многочлена Лагранжа
Вылезет у тех, кто плохо знает матчасть. А кто знает чуть получше, тот:

1) использует в качестве аргумента синус(х) или сигмоиду(х), а не х;
или 2) возьмёт многочлен со степенью в 2 раза больше и предварительно определит производные в интерполируемых точках;
или 3) использует многочлены Чебышева;
или 4) возьмёт рациональный многочлен;
или 5) использует свёртку с гауссиан-подобной функцией.
UFO just landed and posted this here
В нейросетях тоже композиция функций
Ну ок, так какими методами можно декомпозировать веса узлов нейросети до функций, пригодных к мат.анализу? Хотя бы по минимуму — экстремумы, пределы, среднеквадратические отклонения и всё такое.


Давайте ещё раз к начальной теме. Дано: обученная сеть для постановки диагнозов по рентгеновским снимкам в психиатрической области. Вопросы: как гарантировать, что анатомические особенности черепа отдельной расы нейросеть не воспримет как аномальное отклонение от нормы? Как гарантировать, что нейросеть корректно учтёт анатомические особенности черепа следующего, а не текущего поколения? Где гарантия, что эта нейросеть обучалась исключительно на 100% корректных данных? Где гарантия, что для постановки диагноза нейросеть будет получать 100% достоверные данные?
Да еще, как можно

Есть наука — антропология. Ей плевать на политику, на моду, на всякие тенденции типа BLM или наоборот

Вот посадили вы в гипотетическую «китайскую комнату» не искин, а студента-первокурсника био/мед вуза и сказали ему: «это практика». Кидаете ему в ящик «in» промеры черепа и прочие параметры, он сверяет их с учебником и выкидывает в «out» результат.

Будет ли он политически ангажирован? Будут ли его результаты — мистическими?
Нет и нет, он просто следует совершенно конкретному алгоритму.

______

Я расскажу реальную историю, которая произошла на первом курсе МБФ РГМУ, кафедре биохимии, в далеком 199х году.

Шел семинар по биологии, конкретно — антропологии, по мотивам учебника Харрисона и Ко (Дж. Харрисона, Дж. Уайнера, Дж. Теннера и Н. Барникота «Биология человека» (1979)) и отличнейшей лекции, которую читал «извините, не смог быстро нагуглить кто», Алехин, или Андреев?

Семинар вела веселая женщина, отличный биолог и педагог, фамилию уже не помню. С классической «задней парты» прозвучала фраза на тему «унтерменши, недочеловеки и всякие не арийцы». В ответ, профессора сказала, с юмором «А кто там смелый? Выходите, сейчас я вам промеры антропометрическим циркулем сделаю, НЕ как в нацисткой Германии и расскажу вам, какие расы смешались в вашем черепе». Повторю, сказано было с иронией, смехом и без малейшей попытки оскорбить студента (мы с в одной группе были, педагогу не было смысла нас ссорить с ним). «Классическая задняя парта» замолчала и больше ни одной расисткой фразы оттуда не звучало, вообще и абсолютно. ЧСХ — сами студенты тоже не обиделись и больше эту тему на ее семинарах не поднимали.

___

В науке, в реальной науке, а не той ублюдочной политической суч(Щ)ности — всё уже много лет как измерено, поделено и взвешено. Да, есть различия между расами. Это просто — ФАКТЫ. Научные. Спорить с ними — это все равно что искать ошибки в справочнике Розенталя.

Забудьте на секунду про антропологию. Речь о принципе работы "ИИ" вообще.

Интуиция - всего лишь результат накопленного опыта. Это как если у вас хранился бы где-то ответ для задачи, а решение почему-то не сохранилось (возможно - для экономии памяти). Когда вы следующий раз сталкиваетесь с подобной задачей, бумажку с ответом можно быстро найти и использовать, а вот решение сразу не восстановишь.

Просто мозг не весь "опыт" хранит в виде четких представлений, которые можно взять с полки памяти и покрутить в сознании, рассмотрев со всех сторон и описав словами. Часть этого опыта лежит где-то чуток поглубже, и анализировать оный (разобрать все причины и следствия) человек толком не может, а вот использовать в выводах - пожалуйста. Хотя, как показывает практика, если долго копаться в своем сознании, то причины и следствия выводов, основанных на интуиции, иногда (как минимум) таки удается отыскать, восстановив решение той задачи, на которую хранился лишь ответ.

На самом деле, это можно объяснить ещё проще. То, что чаше всего приписывают интуиции, является результатом операции сравнения и повторения.

Я тоже думаю что интуиция это не осмысленный и не обработанный (сознательно) опыт.

Ну вроде как неоднократно всплывали истории, когда речь шла о пост-ИИ параметрах, когда всплывают некие скрытые параметры, типа "кошачности"/"собачности" картинок про которые человек не мог дать однозначного ответа.

Ну и тема расизма ИИ вроде раскрыта в последних абзацах, дабы раскрыть почему нужны агностики, а не вот эти вот гадатели по ребрам.

В рентгеновских снимках нет расизма, как нет его в вузовских учебниках по антропологии. Причём — учебниках первого курса. На втором уже изучают предметы поглубже, типа высокомолекулярной биохимии, которой плевать на политику и подобные мелочи

Да легко может быть расизм. Очень зависит от способа сбора данных. Вкусовых предпочтениях разных слоев общества и тд. Сетки учаться обобщать, это в том числе означает что они учатся игнорировать разные аутлаеры если они очень редко предоставлены в датасете. Те например, по статистике большинство черных может быть сильно беднее белых, если этот bias (например что богатых черных очень мало в выборке) попадет в медицинский датасет то может произойти то что произошло.

Кстати тот же Дробышевский считает что различия между рассами очень минимальные.

Так а что тут плохого произошло? В медицине как раз наоборот — разделение по расам позволяет подобрать более эффективное лечение для каждого отдельного взятого случая. По-моему совершенно очевидно, что негры черные не потому что у них кожа черного цвета, а потому что химические процессы в целом в организме немного по-другому протекают. Разделение крови на группы никто же расизм не принимает?

Мне кажется, проблема здесь может быть в том, что кроме подбора лекарств есть ещё и их разработка. И неграм не понравится (и я их пойму), если фармкомпании будут работать не над лекарствами для людей вообще, а над лекарствами для белых. Повезло тебе родиться черным - сорян, таргетной терапии от рака твоей черной кожи не будет, лекарство только для белых.

Так разработка лекарств — это бизнес. Нужно и инвестиции влить, и продажами их после окупить. Ну ок, повезло мне родиться белым, и лекарство и придумано, и производится, и в аптеки поставляется — вот только курс лечения обойдётся по цене квартиры в Москве. Потому и я тоже останусь без лекарства, и не потому что чёрный, а потому что бедный.

Ну так для этого и существует медицинская страховка - либо государственная, либо полугосударственная, либо частная.

Так и страхование — это тоже бизнес. Вы видели бомжей со страховками? Даже если медицина бесплатная и государственная, то она тоже спонсируется из бюджета за счёт налогов платёжеспособного населения. Вы готовы оплачивать лечение неработающим гражданам, которые и так уже живут исключительно за ваш счёт?

А почему у вас негры == неработающие?

Не у нас, а у них. И не «негры == неработающие», а «неработающие == негры». На то у них там вроде бы есть свои исторические причины, я слышал.
UFO just landed and posted this here

Потом окажется что цель - мутированный белок.

А виноваты, разумеется, учённые-рассисты.

Дробышевский - не самый большой авторитет. Я бы даже сказал - наоборот.

Могу порекомендовать книгу Ферле. Она хоть и "расистская", но доверия больше.

Ферле имеет "степень бакалавра в области математики, физики, химии, степени магистра в области экономики и доктора в области юриспруденции... является композитором-любителем, а также автором монографий по экономике Австрии, естественному праву и теории анархизма". В отличие от Дробашевского он в лучшем случае держал в руках пластиковый череп из школьного курса анатомии. И к нему доверия больше?

В науке вопросы не решаются соображением "у кого больше авторитет".

Ну в расах он разбирается, видимо, побольше, чем учёные из статьи. Которые сводят различия рас исключительно к цвету кожи. И, похоже, он всё же прав в том, что на западе расоведение не очень развито.

В естественной интуиции чаще всего невозможно проследить логическую цепочку, которая привела к конкретному результату.

В искуственной интуиции можно же наваять записывание логов принятия решений для того, чтобы по этим логам потом предоставить отчёт о порядке принятия решений (со всякими там их параметрами), приведших к тому или иному результату. Просто в этих так называемых ИИ наверно никто не заморачивается вятельством записи таких логов, раз показывают, что не могут понять - как этот "ИИ" пришёл к тому или иному результату решения задачи.

Когда объективная картина не соответствует повестке возникает: "Нам нужно взять паузу. Мы не можем спешить с внедрением таких алгоритмов" это и есть самый настоящий расизм.

Первое, что это напоминает, это ломброзианство, тоже не все глазами видели.
Так себе идея оказалась.
Генезис преступности привел Ч. Ломброзо к заключению, что должна существовать аналогия между карательной деятельностью государства, охраняющего социальную жизнь, и теми реакциями, которые обнаруживают как животные, так и растения на испытываемые ими внешние воздействия. Он оперировал понятием преступления не как юридическим, условным, меняющимся во времени и месте, а как понятием, относящимся к неизменным явлениям природы, объясняя преступление личностью преступника и не разделяя юридический и антропологический подходы к этому явлению.
Надеюсь, что здесь получше.

Пока не поняли ещё, что нужно радоваться видимо

А поставить более точный опыт? Монголов от вьетнамцев эта сеть может отличить? А испанцев от финнов?
И, само собой, учебник “Иммунология”, второе издание, 1986 год откровенно утверждал, что генетически иммунная система у разных рас разная.
генетически иммунная система у разных рас разная.

Вроде и температура тела тоже разная. Или нет?
Судя по всему, и форма грудной клетки.

Осталось выяснить у какой расы лучшая форма груди, а потом можно переходить и к другим органам... Иначе зачем эта сетка понадобилась учёным то.

Не уверен что в их краях будет достаточно размеченных данных для этого.

В моем понимании этим исследователям все же недоставало остроумия - они могли не ретушировать свои фотографии, но делить их на фрагменты и проверять, так ли отрабатывает ИИ на материале только верхней или нижней половины фотографии, левой или правой стороны, вообще любых иных фрагментов, может в какой-то части снимка геометрия окажется более показательной как источник различия, когда в другой части - уже не столько ...

Вы что такое говорите? Законодательно решено, что все люди одинаковые! Даже если им от этого будет хуже, они все равно одинаковые и нельзя делать никаких расовых разделений )

она сделала вывод, что люди с темной кожей всегда здоровее, чем белые пациенты, даже если у них одни и те же болезни. Потому что на них тратилось меньше денег.

А вот тут к ИИ претензий быть не может. Вывод (для машины) совершенно логичный: человек тратит на здоровье меньше денег - значит меньше болеет. Тут надо пинать человека, который занимался изначальной постановкой задачи и условиями для оценки.

По сабжу: давным-давно слышал байку про актера Джона Траволту. Известного, в числе прочего, своими танцевальными данными и отличной пластикой. Так вот, Джон, когда изучал теорию и практику танца, выяснил (не спрашивайте как), что у черных центр масс тела расположен иначе, нежели у белых и благодаря этому они танцуют так здорово. Ну и он сделал себе операцию по смещению центра масс стал копировать движения негров и в итоге немало преуспел в танцевальном искусстве.
ХЗ байка или нет, но, возможно, все дело действительно в относительных пропорциях частей скелета.

Другой пример, связанный со статьей, некоторые негритянские этносы отличаются тяжелыми костяком и небольшим процентом жировой клетчатки, отчего плохо держаться на воде и неохотно плавают, зато устойчивы к переломам.

Как известно - черные лучше бегают, белые лучше стреляют :)

— Как они ходят на таких каблучищах?! Как они сохраняют равновесие?!
— У них центр тяжести в другом месте!
© В джазе только девушки

В случае с девушками как раз все очевидно. И визуально, и анатомически.

Более широкие, чем у мужчин, бедра (для деторождения), наличие в малом тазу сложной инфраструктуры с хорошим кровоснабжением - это все здорово увеличивает массу нижней половины тела. Ну и центр тяжести ожидаемо смещается.

"Господа офицеры, никаких шуточек про грудь! " :)

с хорошим кровоснабжением

а как это влияет? плотность крови примерно равна плотности остального тела.


я думаю, что тут больше влияет то, что у мужчин шире плечи.

Скорее всего, фокус во взятых выборках снимков. Сделаю предположение, что выборка локализована внутри какой-то территории, где разные культуры и расы не смешиваются, а сосуществуют рядом. У них разный образ жизни, питание и прочее. В том числе разные наборы заболеваний.

Это легко проверить подав на вход обученной модели информацию о людях из других регионов. Уверен, что это первое, что они сделали - проверили результат на независимых данных, что убедиться, что исходные данные не несли какой-то дополнительной скрытой информации.

Уверен, что ничего подобного они не делали, а пользовались теми источниками данных, которые были у них под рукой. Данные из нескольких американских и канадских клиник и готово. Для начала, нужно как-то эти данные получить со всеми соответствующими формальностями. Тут же рядом с дружественными клиниками все налажено, а разбавить базу африканскими данными, чтобы «темнокожие» хорошо представляли негроидную расу, очень сложно. Нужно же найти кто эти данные даст, как-то договориться, оформить чтобы ничьи права не нарушить, с рентгеновскими снимками идёт же еще куча данных, рост-вес-возраст и тд, не каждая клиника в Африке готова такой датасет собрать.
Если бы они действительно собирали дополнительные данные по всему миру, у них не вставало бы вопроса про пигментацию, можно было бы просто посмотреть результаты для темнокожих не негроидов.

Данных CT - сколько угодно, в любом PACS (медицинская система хранения данных) есть функция анонимизированного экспорта - из метаданных убираются имя, фамилия, адрес и т.п. и готово.

С год назад была история, когда нейросеть учили на рентгеновских (кажется) искать ковид. В результате сетка привязывалась к почерку врача на снимке, сопроводительному тексту, положению пациента (у лежачих немного иначе выглядел снимок) и тому подобным вещам.

Слышал похожую историю про определение рака кожи или чего-то подобного. Там сетка привязывалась к тому, что часть фотографий была сделана в больницах, а часть люди делали себе сами (и присылали врачу чтобы он определил, стоит ли им обращаться в больницу). Те кто таки фотографировался в больнице с большей вероятностью имели проблемы со здоровьем, в итоге сетка по факту просто научилась отличать фотки сделанные обычными людьми от фоток сделанных врачом (и вроде делала это по наличию линейки рядом с повреждением кожи, врач ее всегда прикладывал на фото для определения размера повреждения, а обычные люди - нет).

Собственно именно для определения таких вот посторонних зависимостей и нужны подобные исследования. Чтобы понять, насколько результатам можно доверять в реальности, не вызваны ли они каким-то систематическим сдвигом исходных данных, не замеченных исследователями.

Ну, а я слышал байку про определение танков на фотках. Не-танки были надерганы отовсюду, танки – были сфотканы на конкретном полигоне. Сетка научилась детектировать фон полигона.

У меня мелькнула мысль, что искажение выборки может быть связанно с особенностями медицинской техники. Разные аппараты могут давать снимки с собственными особенностями, на которые и натаскивается ИИ.

То есть условные негры обследуются на дешевых аппаратах, а белые - на недешевых? Такое оправдание расизма посредством ИИ.

Если дать такому роботу что-то решать, то так можно и во времена рабовладения вернуться, или чего похуже.
Все эти вопли про расизм ИИ лишь отвлекают внимание от реальной проблемы. Которая заключается в том, что в большинстве корпораций (особенно крупных) полностью отсутствует механизм апелляции, и пользователь практически бесправен перед корпоративной машиной.
Скажем, если вам отказали в выдаче страховки, или банк отказался выдавать вам кредит, или видеохостинг заблокировал ваш аккаунт за «недопустимый контент», или какой-нибудь маркетплейс выписал бан без объяснения причин, то в большинстве случаев вы не можете сделать ни-че-го. Вариантов оспорить решение обычно не существует, даже если абсолютно очевидно, что оно бредово. И тут уж без разницы, искусственный интеллект принял это решение, или же вполне реальный индус/пакистанец, загруженный работой до полной потери соображения.
Те усилия, которые тратятся на борьбу с мифическим «расизмом ИИ» было бы эффективнее потратить на ограничение произвола корпораций, обязав их иметь действующие механизмы апелляций, чтобы баны по откровенно бредовым причинам можно было бы оспорить.
Тогда, кстати, и обучение ИИ в правильном направлении пойдёт живее, потому что все ложные срабатывания по результатам массовых апелляций очень быстро добавятся в обучающую выборку.
полностью отсутствует механизм апелляции, и пользователь практически бесправен перед корпоративной машиной

а какой может быть механизм апелляции, если решение принято ИИ и реальных причин никто не знает?


но я с вами согласен в том, что проблему рассматривают слишком узко.
если ИИ при приёме на работу будет предпочитать белых чёрным или мужчин женщинам — это считается дискриминацией. а если он будет предпочитать болельщиков спартака болельщикам динамо, то всё нормально.

Ну тут всё просто: в законе прописываются "защищаемые категории", по которым нельзя дискриминировать. Если беспокоит дискриминация болельщиков динамо, пишите своему депутату.

А нормально ли, что принимающий решение банк (нейросеть - часть его инструментов) не знает и не может узнать, почему он принял это решение?

Яндекс относительно отклоненных отзывов на маркете одно время активно отвечал "отзыв отклонён по результату анализа нейросетью, этот процесс автоматический и техподдержка на него повлиять не может."
Т.е. дословно "это нейросетка, у нас лапки, она нас поработила и влиять мы на нее не можем."

Да, но даже в случае отзывов на товар это не очень норм. А когда дело касается финансовых вопросов или здоровья - тем более. "Ваша страховка стала дороже потому что мы не знаем почему, нейросеть так решила".

Как-то создавал на Яндекс.Услуги задание на очистку пола от битума с оргалитом. Загружаю фотку пола, а Яндекс говорит, что на фотке какие-то ужасы и отказывается

Нейросеть заподозрила плохозамытое пятно крови? ;)))

Я после пары таких кейсов полностью перестал писать на маркет отзывы о товарах (После того как два или три подряд отзыва отклонила эта самая "нейросетка").

Хотя раньше с интересом это делал - с фотографиями, подробно описывал свой ЛИЧНЫЙ опыт использования продукта.

Нейросеть посчитала, что мои отзывы "заказуха и реклама", хотя там реальные номера заказов были (сделанные на самом же яндекс маркете).

Видимо для этой "нейросетки" односложные отзывы вида "оу, круто, окей, бро - ваще вещь" релевантнее, чем полноценный отзыв о товаре с плюсами и минусами.

Если вам нужна именно эта работа, то ради неё вы можете начать болеть за другую команду.

Перестать быть чернокожей женщиной технически тоже возможно, конечно, но сильно сложнее.

А каким вы видите решение проблемы, учитывая количество ежеминутно загружаемого контента? Даже если нанять, условно, лишнюю тысячу модераторов, ошибки человеческого фактора будут едва ли меньше чем ошибки нейронки. Я просто и есть тот самый модератор, и могу вас уверить, невозможно человеку со 100% точностью размечать контент. Всегда есть ошибки. Казалось бы очевидно нужна надстройка, в виде особо четко проверяющих, только у них тоже будут ошибки. И эта эскалация надстроек стремится в бесконечность.
С тем что процесс апелляции должен быть проще я согласен, но насчет оперативности бана не уверен. Этож ошибка выжившего, вас забанили незаслуженно, а 9 других аккаунтов по делу, только они очевидно об этом умалчивают.

Самый первый шаг в настоящем решении - это постановка вопроса в конкретных, а не субъективных терминах. Только при условии этого, можно переходить к дальнейшему поиску решения.

И на этом этапе, скорее всего, выяснится, что конкретной проблемы не существует (а есть множество "пойди туда, не знаю куда", об общих чертах которых нет возможности договориться).

А с задачами типа "ну надо же сделать что-нибудь" - это к политикам и базарным бабам, а не к инженерам.

Проблема не в том, что есть ошибки. А в том, что вердикт модератора считается истиной в последней инстанции и не подлежит обжалованию. При том, что у людей от аккаунта может очень многое зависеть, и его потеря может стать крайне болезненной.
Должна быть возможность подать апелляцию и получить вменяемый ответ, а не отписку «недопустимый контент», при том что вы в упор не видите, что же конкретно в вашем ролике может нарушать правила сервиса.

Да, есть много сервисов с формализованной техподдержкой на письма в которую отвечают те же люди что модерируют контент.
В итоге любое действие модератора, даже при наличии формальной возможности обжалования - непогрешимая истина в последней инстанции.

Наверное в первую очередь нужно стремиться к тому, чтобы от сервиса мало что зависело, и его ошибки или злоупотребления не могли бы сильно ни на что повлиять. Децентрализация и т.д.

В общем случае, это верно. В частном - это может быть перекладыванием с больной головы на здоровую.

Это нивелируется большим объемом выборки, если снимков от пяти-щести порядков, то вклад личностей уже не имеет значения
Должна быть возможность подать апелляцию и получить вменяемый ответ, а не отписку «недопустимый контент»

И как в таком случае ограничить ДДОС-атаку, в которой куча ботов загружает запрещённый контент, потом жалуется друг на друга, а потом требует подробного ответа (если на каком-то уровне будет юридически закреплено, что компания обязана отвечать на подобное)?

Я вижу разве что вариант платной услуги «а подскажите, пожалуйста, что не так». Возможно, даже с частичным возвратом денег, если это была ошибка модератора/сервиса.
И как в таком случае ограничить ДДОС-атаку, в которой куча ботов загружает запрещённый контент, потом жалуется друг на друга, а потом требует подробного ответа (если на каком-то уровне будет юридически закреплено, что компания обязана отвечать на подобное)?
Звучит как история про хакера и солонки.

Суть же не в 100% точности, а в возможности на основе успешных апелляций довести точность хотя бы до значений, где ложные срабатывания нейросети не несут характер, требующий внедрения в штат тысяч модераторов.

Я об этом как-то говорил на местной тусовке AI/ML-щиков. Если вам отказались давать кредит - это еще пол-беды, вы об этом хотя бы узнаете. А если у вас придорожный ресторан, и из-за ошибки (или намеренно) навигационное приложение направляет движение по другому шоссе - вы можете разориться до того, как поймете причину.

А если у вас придорожный ресторан, и из-за ошибки (или намеренно) навигационное приложение направляет движение по другому шоссе - вы можете разориться до того, как поймете причину.

Реальная история из жизни.
В МСК вокруг одного дома около метро постоянно ставили машины неместные. Приехали, поставили машину и поехали на работу на метро. То есть типа перехватывающая парковка стихийная. Жители дома, которым некуда было свои машины ставить, попытались сорганизоваться и поставить на въезде в придворовую территорию шлагбаум. Но то ли власти им отказали, то ли еще что - в общем, не выгорело.
И тут начинается история почти в духе "Черного зеркала". Жильцы массово стали указывать в Яндекс-картах (или 2Гис, не важно), что на въезде во двор стоит шлагбаум. И после какого-то количества таких пометок, на карте ПОЯВИЛСЯ ШЛАГБАУМ, которого нет в реальности! И неместные автомобилисты, не знакомые с реальной ситуацией, перестали заезжать во двор.
Решение неидеальное и временное, но история, я считаю, прямо киберпанк! :)

Решение неидеальное и временное, но история, я считаю, прямо киберпанк! :)

Это к вопросу о том, как будет выглядить "цифровой концлагерь", который старательно строят в разных странах. Никакого порядка и тотального контроля, постоянная война с алгоритмами и алгоритмов друг с другом. Подправив строчку в базе данных можно будет исчезнуть или поменяться так, как невозможно при традиционном документообороте.

И после какого-то количества таких пометок, на карте ПОЯВИЛСЯ ШЛАГБАУМ, которого нет в реальности!

"100000 леммингов не могут быть неправы!" (c) Яндекс.

Но вообще-то паттерн знакомый.

1970-е. ARPA объединяет компьютеры в сеть. Любой может общаться с любым, никакой авторизации, сеть-то военная, чужие здесь не ходят.
1980-е. Сеть начинает распространяться в университеты.
Студенты: "УРЯ, я могу зайти на любой компьютер!"
Админы: "Тля!!!". Со временем появляется авторизация логин-пароль.
1990-е. Обмен почтой по SMTP по-прежнему без всяких паролей, имя отправителя можно подставить какое угодно.
Спамеры: "УРЯ!"
Админы: "Тля!!!". Со временем появляются всевозможные авторизации для SMTP.
2000-е. Протоколы RIP/BGP не имеют способа подтверждения отправителя. В результате любой не совсем дурак может послать пакет, который заставит роутер перенаправить трафик куда надо.
Спецслужбы: "УРЯ!"
Админы: "Тля!!!". Появляются протоколы с авторизацией.
2010-е. Протокол SS7 не имеет авторизации. В результате любой не совсем дурак может перехватить звонок на требуемый номер телефона.
Пранкеры и спецслужбы: "УРЯ!"
Админы: "Тля!!!". (Но пока так ничего и не сделали).
2020-е. Прокатив тележку телефонов по улице, можно создать пробку. Любой дурак может поставить на Яндекс-картах шлагбаум, авторизации-то никакой.
.....
2090-е: Чебурнет только по паспорту, отпечатку ладони и скану радужки.

Жильцы массово стали указывать в Яндекс-картах (или 2Гис, не важно), что на въезде во двор стоит шлагбаум. И после какого-то количества таких пометок, на карте ПОЯВИЛСЯ ШЛАГБАУМ, которого нет в реальности!

следующий шаг: обратиться к своему депутату с причитаниями «украли шлагбаум, помогите восстановить». на возражения «какой шлагбаум, его тут никогда не было» отвечать: «ну как же, вот даже на яндекс-картах»

перевод виртуальности в реальность?
Хороший ход!
Реальная история из жизни.


Реально сейчас (практически ежедневно) играю с картами Гугла в игру: «Построить правильный маршрут из точки А в точку Б при движении городским общественным транспортом (есть разветвленная сеть троллейбусно-трамвайно-автобусных маршрутов + метро).
По ходу получаю весьма замысловатые варианты типа „совершить практически кругосветное путешествие“.
Совершенно незначительные изменения, внесенные в маршрут кардинально меняют ситуацию (например, сместить маркер на карте на пару миллиметров в масштабах квартала на экране смартфона).

Если с автомобильными и пешеходными маршрутами у гугла ОК, то стоя непосредственно на остановке трамвая (который точно идет к нужной точке) можно элементарно получить маршрут типа „пройти два квартала пешком, сесть на автобус и сделать две пересадки“
(настройка „Параметров“ помогает очень слабо)

не вижу проблемы. если ИИ может видеть разницу - он может рекомендовать более эффективное лечение.

Да вообще какой-то бред. Должна ли нейросеть, определяющая беременность, различать мужчин и женщин?

Там наверное суть в чём: нейросеть может принимать решения, влияющие на судьбу конкретного человека основываясь на «средней температуре по больнице», например, считать его преступником потому что он визуально похож на ряд преступников. Причём даже если это понимать и постараться не давать нейросети соответствующую информацию, она всё равно может её вывести неочевидным для нас образом.

Всегда плюсую старую добрую Мирру. Жаль, что на нашей планете ни у кого не хватит яиц для такого законодательства.

Там наверное суть в чём: нейросеть может принимать решения, влияющие на судьбу конкретного человека

Дык, проблема-то не техническая, а административная.

Нейросеть просто не должна принимать решения, влияющие на судьбу человека.

Точно так же, как "решения, влияющие на судьбу человека" не может принимать градусник, прибор для измерения давления или аппарат мрт.

Нейросеть - это такой же "прибор". Выплёвывает показание врачу. А врач уже принимает решение и несёт ответственность

Нейросеть, извините, посадить на электрический стул нельзя. Впрочем, как и градусник или аппарат мрт.

Если, простите, судья прикажет дать человеку пожизненное на основании его агрегированного кредитного рейтинга - мы же будем обвинять и наказывать такого судью, а не алгоритмы расчёта кредитного рейтинга перестраивать.

Ну мы же понимаем, что, например, когда нам приходит постановление об административном правонарушении за превышение скорости, то решение на самом деле принимает компьютер, а не тот инспектор, который формально подписывает сформированную компьютером бумажку. Это софистика.

Ну, или если вы очень сильно блюдёте гуманистические идеи, можете считать, что решение принимали программисты и те, кто эту систему допускал к эксплуатации. Давно, допустим, мёртвые, а тогда какая разница?

но ведь известны случаи, когда Газели приписывали скорость более 200 км/ч, и когда выписывали штраф а/м, перевозившемуся эвакуатором… компьютер «принимал решение», человек «формально подписывал»…

Такое возможно, компьютер не является непогрешимым. Но человек-то всё равно по факту не причём. Этого человека можно формально наказать, но такое наказание в этой ситуации будет ведь просто бессмысленным ритуалом.

а «формальная подпись» тогда — не «бессмысленный ритуал»?

Бессмысленный, конечно.

Пока что считается, что правосубъектностью может обладать только человек, и ещё чуточку животные. Очевидный пережиток прошлого.

то решение на самом деле принимает компьютер, а не тот инспектор,
который формально подписывает сформированную компьютером бумажку. Это софистика.

Подождите) Давайте расмотрим ваш замечательный пример и попытаемся понять - проблема, поставленная вами техническая или административная?

"Решение" по вашим словам в этой ситуации принимает даже не нейросеть, а ровно один условный переход в коде. "if (скорость по прибору > config.allowed_speed + delta) выписать штраф;"

Ну, а у нас в обществе есть целиком работающий на наши деньги социальный инстутитут, сотрудники которого ещё и присягу дают о том, что работают исключительно для нашей защиты и в наших интересах.

Мы как общество этот институт своими руками построили, каждая копеечка зарплаты каждого сотрудника этого института каждый месяц оплачивается исключительно из наших с вами денег. И этому институту мы взяли и делегировали задачу принимать решения о штрафах.

А этот социальный институт взял и позаимствовал у IT автоматизацию в объёме ровно одного IF'а для того, чтобы снять с себя кусочек работы (а заодно и кусочек ответственности).

---

Давайте допустим, что этот самый социальный институт начинает прямо люто бешено злоупотреблять этой самой автоматикой и ответственность целиком на вот эту единственную строчку кода перекладывать.

Это будет какая проблема? Административная (социальный институт, который мы построили, кормим своими деньгами, и каждый сотрудник которого дал присягу перед нами действовать в наших интересах начал делать фигню и надо с ним что-то делать) или техническая (о боже мой, нам нужно придумать другой язык программирования, чтобы IF'ы в нём каким-то волшебным образом не давали плохим людям злоупотрелять ими)?

Мне кажется, всё-таки чисто административная.

Давно, допустим, мёртвые, а тогда какая разница?

Всё ещё административная проблема.

Я тут вообще не вижу ни технической, ни административной проблемы. В обществе сложился консенсус, согласно которому люди делегировали волю по своему наказанию упомянутому Вами оператору IF. Социальный институт в его человеческой форме при этом можно вообще со временем аннулировать.

Если вдруг кто читал трилогию Снегова “Люди как боги”, то там обрисована единственная (на мой взгляд) правдоподобная модель коммунистического общества, в котором, вкратце говоря, общественные проблемы решаются тем, что функции государственного управления переданы машине. В отношении поставленной цели, то есть с самим коммунизмом, вопрос ещё может дискутироваться, а вот в отношении средства, то есть ИИ – так, несомненно, и будет. Если батлерианский джихад недовольные не запилят.

Люди хотят от Фемиды справедливости, а справедливость – это и есть захардкоженные IFы, материально воплощённые в компьютере. Глаза тётке завязали, весы в руку дали, а сама тётка уже и не нужна.

Нейросеть - это такой же "прибор". Выплёвывает показание врачу. А врач уже принимает решение и несёт ответственность

Несёт ли врач ответственность за неверные показания приборов, которые например повлияли на неверный диагноз? Наверняка нет (а даже если несёт, это явно несправедливо). Так и здесь: нейросеть — это, условно говоря, тоже прибор, но мы привыкли в целом доверять приборам, даже зная, что потенциально они могут показывать неверные данные измерений. Но с нейросетью проблема такая, что ничего не докажешь. Прибор обычно можно перепроверить другим прибором (другого производителя, работающим по другому принципу и т.д.), но что представить как альтернативу какой-нибудь полицейской нейросети?

Более того, может получиться так, что новые версии нейросети будут обучаться в том числе на ошибочных результатах, выданных предыдущими версиями: если человека признали виновным из-за того, что чаша весов склонилась не в его пользу из-за результатов, выданных нейросетью, то в данные для обучения следующей нейросети он попадёт как виновный. То есть, может ошибка будет всё более и более накапливаться...

То есть, с одной стороны, нейросети позволяют упрощать принятие решений, а, с другой стороны, вероятно стоит заранее побеспокоиться о том, чтобы нейросети не применялись в определённых случаях. Причём вообще, а не так, чтобы «применялись с осторожностью»: надо чтобы они не влияли на результат. Ну или чтобы они могли применяться только в интересах человека: допустим, осудили человека, и один из этапов обжалования — апелляция к нейросети, которая может направить дело на новое рассмотрение, но чтобы она применялась последней, чтобы ни у одного судьи не было данных о том, что виновность подсудимого подтверждена нейросетью.

Да как Вы смеете вообще такой вопрос задавать!!! Конечно же нет, ведь маткосодержащий человек может пожелать, чтобы его идентифицировали как мужчину!!!

Проблема, на самом деле, есть. Она в том, что поскольку "ИИ" оперирует, фактически, совпадениями (не отличая их от причинно-следственных связей) и обобщениями, но при этом мы не имеем возможности узнать, какими именно, не существует практической возможности удостовериться, что факторы, принятые во внимание, вообще связаны с явлением, эффект которого ИИ пытается предсказать или оценить.

Ровно это же когнитивное искажение присуще людям, но почему-то о нем применительно к людям говорят весьма часто, а к ИИ - крайне редко.

О чем вы вообще???

Есть обучающая выборка, может в ней 100к снимков, там есть данные: «снимок», «пол», «раса». Черный ящик нашел корреляцию. У него нет когнитивных искажений, он как ребенок — «говорю что вижу», без политики и моды

Бритва Оккама

Да хватит уже носиться с расизмом или его отсутствием, а также антропологией. Я нигде не отницаю, что узнавать расу по снимкам - возможно и нормально. Я говорю о более общей проблеме с тем, что "говорю, что вижу" - это признак имбецила, который, например, может не отличить игрушечную машину от настоящей, потому что это всё "фото машины", и так далее. Или наоборот, отказываться признавать машину, у которой три оси, а не две (потому что в обучающей выборке все такие были).

Вы застряли в контексте, из рамок которого обсуждение уже давно вышло.

Кроме очевидных данных «снимок», «пол», «раса» выборка может содержать и неочевидные.

Можно, например, построить следующую цепочку:

  1. в США представители негроидной расы в среднем на треть беднее, чем европеоидной;

  2. вследствие этого, представители европеоидной расы обращаются в более дорогие клиники;

  3. более дорогие клиники используют более дорогие и более современные рентгеновские аппараты;

  4. нейросеть прекрасно различает снимки, сделанные RA100 Super Premium и RA20 Basic;

  5. имеется прекрасная корреляция между цветом кожи и моделью аппарата, которую и использует нейросеть.

Это лишь один из возможных примеров лишних данных, на которые не обратили внимания исследователи, но которые были обработаны алгоритмом обучения нейросети.

в США представители негроидной расы в среднем на треть беднее, чем европеоидной;

И тут возникают тонкости, которые ML алгоритмам тоже не понятны. Афроамериканцы, которые потомки рабов, это весьма специфическая популяция, которая сильно отличается и от белых и от остальных африканцев и от черных потомков рабов на Карибах или например в Бразилии. Если брать современных выходцев из Африки, в первом или втором поколении, они часто благополучны и хорошо устроены - выходцы из Нигерии в среднем даже богаче чем средний американец и куда лучше образованы (и не мешаются с потомками рабов). Но опросник, где они указывают black в графе расы, этого не учитывает, не учтет это и алгоритм, который с одной стороны может не одобрить им кредит, с другой даст преференции, в которых они не нуждаются, отобрав у нуждающихся.

имеется прекрасная корреляция между цветом кожи и моделью аппарата, которую и использует нейросеть.

корреляция — да. но напомню:
Но она угадывала расу человека (белый, темнокожий, азиат) с удивительной 98%-й успешностью

То есть на ваш взгляд ИИ - некий "черный ящик", чьи решения закрыты от экспериментальной проверки? Вряд ли этот так, комплексы факторов, которые анализирует ИИ можно комбинировать по-разному, "тасовать колоду" и следом классифицировать реакцию. Просто еще не рожден такой предмет познания как "экспериментальный анализ реакций ИИ". Но в каком-то будущем такая идея все же кого-то озарит ))

Больной, не занимайтесь самолечением! ИИ сказал в морг - значит в морг!

Бред какой-то. Почему статья вообще хотя раз про расизм упоминает? Выглядит как «азаза, тупые учоные против расизма, а на самом деле расизм праф!». Например, в США «расу» можно с похожей вероятностью определить по почтовому индексу и зарплате. А современные сайты вообще определяют конкретно вас из ДЕСЯТКОВ МИЛЛИАРДОВ других подключений по размеру монитора, браузерному движку, шрифтам, таймзоне, версии юблока и т. д. Уж «расу»-то нейросетка по тысячам мелких деталей определить способна точно. Вообще повода для удивления не вижу. Примерный возраст она наверняка тоже может определить (и эйджизма тут нет). И собиралось ли тело по XX или по XY-инструкциям (и сексизма или ещё чего тут тоже нет).

Интересно, сколько гендеров она сможет определить по рентгену? 😏

Сколько в размеченной обучающей выборке укажут ученые — столько и определит.

проблема в другом. Наука сейчас придерживается мнения «ДНК всех людей, независимо от цвета их кожи и текстуры волос, совпадают на 99,9%, так что с генетической точки зрения понятие расы бессмысленно». А ИИ им говорит об обратном.

А ИИ им говорит об обратном.

Это неправда.

Из того, что ДНК большей частью совпадает не следует вообще никак отсутствие различий.

Наше ДНК, извините, на 90% совпадает с кошачьей и на 60% с бананами.

А если ИИ может отличить по обыкновенной фотографии белого от негра, это ИИ расист?
А если мужчину от женщины, видимо сексист.
А если не искусственный, я, например. Меня, наверное, тоже можно обозвать этими словами. Я же отличаю. В большинстве случаев.

Рентгеновский снимок должен сам определить, мужской он, женский или небинарный, а мы обязаны уважать его решение.

UFO just landed and posted this here
Это не у суда проблемы, а у того — кто пытается себя «определить»
UFO just landed and posted this here
Это уже извивы судебной казуистики, на теме модного блмства и прочей радужности. У биологии на этот счет сомнений нет

Как для судьи, так прекрасный ответ, без сарказма.

Вспомните Беспристрастного Свидетеля у Хайнлайна в "Чужом в чужой земле".

Охренеть… Нейросеть выучила то, что ее просили выучить с точностью 98%. Вывод? Ну конечно же это доказывает, что системы ИИ часто могут отражать предубеждения людей, будь то расизм, сексизм или что-то еще! Ну а какой еще? Нельзя же честно признать, что вероятно существует некий объективный фактор в этих снимках, который сетью и усваивается! Нет, надо обязательно толкать телегу, что все люди одинаковые, а если нейросеть что-то там видит — это предубеждения обучающих ее расистов! Мне натурально страшно за будущее ML|DS, если нахождение надежной корреляции (позволяющей решать поставленную задачу с точностью в 98%) — объявляется предубеждением, нуждающимся в коррекции!

Да вообще непонятно, что так носятся с этими расами. Какая разница, какого цвета кожа, главное чтобы человек был адекватный.

Для медицины раса - не пустой звук, а сложный фактор. Диабет у белого - не то же самое,ч то у азиата и черного. Как и пол собственно. Проблемы начинаются когда к чисто медицинским проблемам подмешивают социальные - например расчет цены страховки. Очень "приятно", будучи законоппослушным гражданином, получить цену на страховку в два раза больше лишь потому что повезло родиться не той расы.

Посмотрите как работает частное медицинская страхование в Германии. Я не уверен, что там учитывается раса, но возраст там учитывается точно. И пол. И сопутствующие заболевания. Как говорили мои знакомые немцы, что если угораздило вляпаться в частную страховку, то будешь каждый год платить всё больше и больше, пока у тебя почти весь доход не будет туда уходить.
Никакого -изма, тупо бизнес. Если ты более больной, то у тебя больше шансы наступления страхового случая, а значит с тебя надо брать больше страховой взнос.

Так это "частная страховка". Которую можно поменять. Это как купить здоровенный внедорожник и жаловаться, что бензин жрет. Купи микролитражку!

Аналогия в примере совершенно некорректная, потому что исходит из того, что заметной более выгодный вариант выбора обязательно существует. Это вовсе не обязательно так.

Так что ваш "аргумент" - и некорректная аналогия, и подмена тезиса одновременно.

"Более выгодный вариант", конечно, существует. Просто надо немного приложить усилий, а не просто - пошел и купил. Если медстраховка со стоматологией и протезированием дорогая, то едут в страну с дешевой стоматологией и делают там. И даже очень состоятельные американцы едут делать пластические операции в разные страны. Аналогия с внедорожником/минивэном тоже корректна: ежедневно на работу ездить на малолитражке, а в отпуск в дебри/к морю всей семьей, брать в аренду.

Выкрутиться не получится, потому что "... едут в страну" означает, что варианта, на самом деле, нет.

Про автомобили - это вообще абсурд, потому что существуют задачи, когда "большой внедорожник" - единственный автомобиль, который подходит.

Я вообще не понимаю, ради чего приводить такие "аргументы", кроме как ради "дартаньянства", то есть чтобы показать, что вы знаете "правильный" ответ, а все остальные - дураки, не знают.

 Ну то, что цена автостраховки зависит от района и может отличаться чуть ли не вдвое в соседнем квартале никого же не удивляет?

Удивляет, но ОСАГО в России - глубоко больная тема, переделывать там надо примерно всё.

Да вообще непонятно, что так носятся с этими расами. Какая разница, какого цвета кожа

Да не скажите, давеча Галлий Мациус своего грека за 20 тыс. денариев продал, а я двух галлов по 200 продать не могу.

Вы невнимательно читали. Проблема в том, что они не знают, как нейросеть это сделала. Значит в другой задаче, где нужно, например, решить кому отдать квоту на операцию, ИИ может выбрать не того, кому лучше, а белого. И авторы задачи не смогут это определить. Конкретно к этой задаче у них претензий нет - нейросеть справилась и это отлично.

ИИ может выбрать не того, кому лучше, а белого
А что значит «лучше»? Как это вообще так, нейросеть учили выбирать, кому лучше, а она решила выбирать несмотря ни на что белых? Так это просто значит, что её учили выбирать белых.

Не "несмотря ни на что", а давать им, например, пятипроцентное преимущество, которое обнаружат только спустя пару лет. Не потому, что "научили", как вы утверждаете, а как пробочный эффект.

Попробуйте сделать пару сетей по мануалам, вам намного понятнее станет, о чем речь - предсказуемость и понятность результата при работе с нейросетями не очень велика. Фраза "чему научили, то она и делает" к нейросетям относится далеко не всегда.

Расизм обитает в том же месте, что и разруха.

Тут не так давно израильтяне устроили исследование. И оказалось (какой сюрприз), что

из женщин получаются хреновые солдаты

...средний рост женщин на 12 см ниже среднего у мужчин, средний вес на 10 кг меньше, мышечная масса в среднем на 20 кг меньше. В процентах общая масса женщины в среднем на 20% меньше, чем у мужчин, масса мышц и скелета на 40-45% меньше, жировая масса на 20-25% больше. Масса без жира на сантиметр роста – 0.36 кг у мужчин, 0.26 кг у женщин. Величина мышечных волокон у женщин на 35% меньше, количество волокон – на 14% меньше. Мышечная масса верхней части тела у женщин на 50% меньше, чем у мужчин, нижней части – на 30%. Соответственно сила мышц у женщин по изометрическим измерениям это 50% в верхней части и 65% в нижней части, относительно мужчин. Площадь разреза плечевой кости у женщин на 25-35% меньше, бедренной кости – на 15% меньше. Площадь и объем позвонков на 25-30% ниже. Строение ног и таза – у женщин короче шаг, согласно исследованиям с повышением носимой нагрузки женщины, в отличие от мужчин, укорачивают шаг еще больше, увеличивают длительность времени, когда обе ноги на земле и т.д., в целом при ходьбе увеличенная кинетическая нагрузка, что является одной из причин повышенного травматизма. У женщин также кости голени на 12% тоньше и на 42% ниже сопротивление скручиванию.

Важный параметр: плотность костей. У женщин в возрасте призыва плотность костей не намного ниже, чем у мужчин, это обычно проявляется в пожилом возрасте, но в целом женщины в три раза больше мужчин подвержены остеопорозу, а во время боевой подготовки действуют сразу несколько дополнительных факторов: усиленная физическая нагрузка, недостаток кальция и витамина D. Поэтому женщины гораздо больше подвержены стрессовым переломам (они же усталостные переломы - "шиврей маамац" - stress fracture) из-за накапливаемой микротравмы. Стрессовые переломы, особенно стопы и голени – бич боевых солдат, в 80-е годы процент пострадавших иногда достигал 30% от призыва. Проблема стрессовых переломов для службы в том, что при них солдат получает освобождение от физических нагрузок на 2-8 недель, в зависимости от степени перелома, а при высокой степени и больше. Поэтому часто это означает списание с КМБ либо командного курса. Иногда курс можно пройти позже или "догнать" в конце, иногда это невозможно по административным причинам, иногда солдат в результате вообще списывается с боевой службы. Для профилактики необходим достаточный сон и отдых, а также достаточное потребление кальция и витамина D – по всем этим параметрам у солдат серьезный недостаток, особенно у боевых. С этим явлением боролись, и заставляя командиров соблюдать часы сна, и внедрением большего количества молочных продуктов, и постепенно снизили процент до 5-10% у мужчин в боевых войсках в среднем, в зависимости от рода войск. Но у женщин этот процент при равных нагрузках всегда значительно выше, потому что по любой медицинской статистике женский пол это первый фактор риска. И кроме динамической нагрузки, как бег и прыжки, женщины страдают от стрессовых переломов даже из-за длительного стояния, чего не наблюдается у мужчин. Поэтому из-за важности этого параметра он всегда особо отмечается в исследованиях.

У женщин ниже способность к аэробным и анаэробным нагрузкам – у них в среднем меньше объем сердца и легких, выработка сердца за единицу времени на 20-25% меньше, гемоглобин на 10-15% ниже, максимальное потребление кислорода на 20-25% меньше. По аэробным нагрузкам показатели женщин в среднем на 30% ниже, чем у мужчин, по анаэробным на 25%. Увеличение носимого веса, согласно исследованиям, замедляет выполнение десятикилометрового марша у женщин на 23-28% больше, чем у мужчин: округленно средний мужчина-солдат с максимальной скоростью пройдет 10 км с грузом в 30 кг за полтора часа, а женщина за два часа...

UFO just landed and posted this here

Против биологии не попрешь.

"Но попытаться можно!" (c) многие наши (в смысое американские) политики.

"Мыши плакали, кололись..." и далее по тексту.

У женщин выше иммунитет, выше устойчивость к кровопотерям, больше устойчивость к стрессам, высокая адаптивность организма. Под постоянными (!) нагрузками повышается уровень тестостерона - организм маскулинизируется, больше мыщцы, больше костей, больше злости.

Но есть беда - маскулинизированная женщина хуже рожает и вскармливает детей, часто репродуктивная функция просто отрубается. Иногда необратимо. Учитывая сравнительно короткий репродуктивный период у женщин это скверно.

В Израиле женщины почти не служат в боевых частях, в лучшем случае на КПП в тенечке, а обычно в офисе с бумажками.

Тот ИИ не расистский а гипперобъективный.

Вспоминается недавняя история с применение ИИ для диагностики Ковида. Вкратце, всё закончилось большим пшиком, потому как оказалось что результаты не применимы для клинической практики.

В этом переводе тоже забыли написать одну маленькую, но важную особенность - учёные научились определять не вообще рассу человека, а то что он написал в своей форме в госпитале - один из вариантов "чёрный, белый, азиат, не известно" т.е как человек себя само идентифицирует когда заполняет вопросник в больнице. Это, кстати обсуждается в исходной статье в Ланцете.

Общее правило, если в заголовке ведите что-то типа "ученые в шоке" то сразу в топку.

не вообще рассу человека, а то что он написал в своей форме в госпитале

И че?

1) А много людей врет о своей расе? Или не врет, но считает свою расу отличную от биологической?
2) Даже если ответ на первый вопрос да, то внезапно ИИ достиг еще больших успехов, потому что по рентгену смог предсказать МНЕНИЕ людей о своей расе, а не биологическую расу.

Да, практически научился мысли читать. Вот такой прогресс.

UFO just landed and posted this here

По заблуждению - тоже. Например, некоторые считают, что пуэрториканцы - все белые. Потому причисляют себя к White, Hispanic автоматически, зная, что предки - пуэрториканцы.

И что? Вы можете объяснить, как по рентгеновскому снимку можно с такой точностью определить, что там пациенты отмечали?
Научность публикации определяется вовсе не её сенсационностью, а заголовки призваны завлечь пользователей и в данном случае "шок" - не такое уж и преувеличение.

Просто отметка "чёрный","белый","азиат" в вопроснике это социальные данные, которые не связаны с биологией, потому как чисто чёрных в США скорее всего ~ 0.001 % , а все остальные это разные пропорции смесей разных рас.

Просто в очередной раз оказалось, что машинное обучение смогло найти скрытые корреляция во входных данных.Потому как такое уже бывало много раз , и каждый раз оказывалось что это не настоящее детектирование биологических признаков, а какаят-то скрытая фигня которая присутствует в данных и делает систему бесполезной. Например, система находит не рассу, а детектирует модель рентгеновской установки, потому как в Штатах полно больниц в которых ~ 80% "чёрных" , которые не платят за дорогую медицину и им делают снимок на каком-нибудь старье, которое 20 раз уже чинили, а "белые" ходят в более дорогие больницы где стоят новые системы от GE и Siemens. А азиаты вообще предпочитают больницы где врачи тоже азиаты и установки там от Toshiba и Shimadzu.

А учёным как раз хочется сделать систему которую такие корреляции не сбивают, собственно статья о том что система глубокого обучения опять зафакапилась, и не понятно как именно, но для пациентов применять пока нельзя. Пока не найдут способ это раз факапить.

Специально для тех кто в танке, цитата с основными выводами в статье:
"The results from our study emphasise that the ability of AI deep learning models to predict self-reported race is itself not the issue of importance. However, our finding that AI can accurately predict self-reported race, even from corrupted, cropped, and noised medical images, often when clinical experts cannot, creates an enormous risk for all model deployments in medical imaging."

Вы, как мне кажется, неверно понимаете приведенную цитату. Возможность модели определять расу по медицинским данным означает возможность результатов этого определения влиять на медицинские решения, что как бы типанехорошо по-умолчанию.

Вы правы насчёт того, что косвенные социальные данные легко захватываются моделями - и применение таких моделей действительно не имеет никакого смысла - только вот обеспечить 98%-ую точность распознавания социальные данные неспособны - дело в том, что явно меньше 98% негров пользуются устаревшими рентгеновскими аппаратами - равно как и дофига, неполиткорректно говоря, white trash-a, которые тоже не имеют денег на нормальную страховку. А почему модель определяет и азиатов? Они, в основном, ходят в те же больницы, что и средние белые.

Если ложных побед в этой области много, это не значит, что побед истинных не существует.

конкретно оригинальная статья в Ланцете не об истинной победе.
Ваши рассуждения о 98% негров - не в тему, это был просто мой умозрительный пример. Конкретно авторы статьи так и не смогли найти тот самый фактор который ИИ нашла чтобы определить "расу".

Ну судя по статье, они не особо-то и старались. Даже просто пропорции поленились исказить, не говоря уже о FFT.

Зато можно ещё опубликовать парочку статей на эту-же тему. Следующая будет называтся "в поисках скрытых факторов, определяющих расу", а потом будет ещё одна "новый способ подготовки данных успешно убирает корреляцию с расой". А потом коллеги из соседней лаборатории выпустят статью "всё-таки способ подготовки данных оставляет информацию о расе".

И все довольны, и хирш у всех растёт, потому как теперь все четыре статьи надо будет процитировать во всех статьях о клиническом применение глубокого обучения на рентгеновских снимках.

Может ИИ научился отличать рентгеновские аппараты друг от друга по снимкам?

Ага, снимки низкого разрешения из бесплатной больницы для негров, и снимки щуплых азиатов от всех остальных на качественном оборудовании дорогой больницы.

Сразу вспоминается боянистый боян, как нейросетка отличала гепардов от леопардов, а потом её подсунули леопардовый диван и всё встало на свои места :-)

Как вы думаете, если человеку (или животному?) который ни разу не видел диваны и даже не знает что такое существует, но прекрасно обучен выживать в дикой природе и умеет за доли секунды отличить гепарда от леопарда и принять разные решения для выживания показать леопардовый диван, как он отреагирует?

Там нейросетка и диваны умела определять, поэтому, чтобы её обхитрить, пришлось картинку повернуть на 90 градусов.

Да тут и безо всяких баек буквально недавно такое вылезало в ходе экспериментов у OpenAI :-)


А тут то что не так?

Все верно определено. В первом случае большую часть картинки занимает яблоко, скорее всего сорта гренни смит.

Во втором случае листок с надписью иПод

"Если на клетке слона прочтёшь надпись «буйвол», не верь глазам своим."

Да, может. Опять же, см. статью про фэйлы алгоритмов прогнозирования течения ковида.
Задача: по рентгеновскому снимку сделать прогноз течения болезни.
Ну нейросетка и сделала вывод: если снимок сделан в клинике, куда свозят тяжёлобольных, то и прогноз будет хуже.

А завтра по модели аппарата научатся с 99% точностью отличать черных от белых, потому что в разных клиниках будут стоять разные аппараты.

В одном из фантастическиз рассказов как раз про сложные взаимодействия двух рас некий расист уверенно определял афроамериканцев по особой форме плеч, в тексте описанной как "покатые". На чем и подловил своего знакомого, у которого цвет кожи был вполне себе белый, а вот происхождение отвечало негроидной расе... Насколько вижу по снимкам, плечи на них есть. Интересно, насколько автор того рассказа оказался наблюдательным))

Наш вывод о том, что ИИ может точно предсказывать расу, даже по зашумленным и искаженным изображениям, на самом деле создает огромный риск для всех развертываний таких моделей в медицинской визуализации.

А тут я вижу вопль корпораций - зачем подстраиваться под очевидные и объективные факторы (половые, расовые различия с биологической точки зрения) в лечении, проще же продавать всем одну "гендерно/расово нейтральную" пилюлю.

ЗЫ

Да и найти мастера фотошопа и поиграть с формой/размером костей хотя бы на паре снимков (сделать из негра белого и обратно)... это точно ученые были?

UFO just landed and posted this here
Я про-фотошопер, 20 лет стажа, плюс вузовское мед-образование, хоть и не полное. Могу переделать любой снимок до полной его неузнаваемости, причем так — что многочасовая ретушь будет совершенно незаметна. Но смысл??

Объясните мне, зачем кому-то напрягаться и менять снимки? Расовые различия очевидны и абсолютно бесспорны. Эти просто научный факт

Теории заговоров — последнее пристанище дилетантов. Биология и все ее разделы — это область естественных наук, типа физики. С ними бесполезно спорить и они полностью вне политики. Отрицать расовые различия — это как спорить с законами Ньютона. Бесполезно.
Расовые различия очевидны и абсолютно бесспорны

так напишите авторам статьи по каким признакам можно различить снимки, что они мучаются?

Дело не в наличие/отсутствии различий, а в том, что ИИ на рентгене может найти различие, а люди нет. И в чем это различие тоже не могут ответить. Нужно опять помочь Даше-исследовательнице найти афроамериканца в темной комнате)

Люди не могут, потому что не обладают рентгеновским зрением, чтобы это умение естественным образом развивалось в процессе жизнедеятельности. А профессиональный рентгенолог классифицирует отсматриваемые им снимки совсем по другим критериям, потому как задача определения расы по снимку ему не ставилась. Рентген обычно делают не просто так — а когда есть болезни и симптомы. Было бы странно в ответ на жалобы на боли в груди услышать «по снимку видно, что вы скорее негр, чем азиат».
Если бы сетка научилась отличать разные породы кошек (относящихся к одному биологическому виду, но хорошо различимых внешне) — был бы прорыв в распознавании.
Но поскольку сетка научилась отличать разные расы людей (относящихся к одному биологическому виду, но хорошо различимых внешне) — имеем скандал.

Легкоатлеты из института физкультуры рассказывали, что изучали строение скелета и мышц у легкоатлетов различных рас и выяснили, что у чернокожих спортсменов - другое строение "скелета" на уровне, что "рычаги разной длины". И сокрушались, что поэтому они имеют преимущество перед "белыми".

Не согласен
По черепу, по фото — это легко. Но строение грудной клетки? Это реальный прорыв в антропологии

Поймите вы простую вещь: это не политика, это биология
Но строение грудной клетки? Это реальный прорыв в антропологии

Ну как прорыв? Известных мелких физиологических отличий между расами немало, просто к ним добавится ещё одно, настолько мелкое, что невооружённым взглядом его до сих пор никто и не заметил (наверное).

Как же это бесит. Вот бы рассмотреть это в плане "неочевидные особенности строения скелета - новая задачка для антропологов". Нет, получаем "орущий soyjak.jpg" и притянутое за уши что "ИИ будет принимать расистские решения". Как будто уже сейчас эта сетка прикручена к роботу телемедицины, и он, узнав расу, сразу же скальпелем на лбу пациента вырежет, просите-с, N-WORD. Какие блин расистские решения, если решения как раз принимает врач, который из медицинской этики обязан лечить хоть негра, хоть массового педонекрокопрозоофила?

Расизм в наше время уже хуже ведьм и мастурбации в средневековье. Нельзя доводить все до такого лысенковского абсурда, что объективных различий не существует, потому что это против политкорректной повестки и прочих линий партии. Еще немного, чтобы никого не оскорбить своей расой, все будут вынуждены при личном общении надевать нейтрального (например синего) цвета маски и перчатки. Хотя... постойте...

— Я полагаю, доктор, что вы отличите череп негра от черепа эскимоса?

— Конечно.

— Но каким образом?

— Потому что это моя специальность. Различие бросается в глаза. Надглазная выпуклость, личной угол, изгиб челюсти…

НО непонятно, а почему собственно шум стоит?

Мне кажется, авторы набросили, а мы на это ведёмся. Тут надо вот чего иметь в виду: стандартная научная статья состоит из технической части и дискуссионной. В технической части авторы решают некоторую задачу и объясняют, как это делается. В данном случае речь идёт об интересной проблеме классификации по вот таким вот неочевидным входным данным. В дискуссионной части технический блок встраивается в более широкий контекст, то есть читателю объясняют, для чего вообще всё это нужно было делать.

Дискуссионная часть не является строго научной: это всего лишь некое приглашение рассмотреть такие-то и такие-то связи и сферы применения. У статьи 20+ авторов, и кто-то решил, что будет грамотно приправить техническую часть вот таким соусом. Как мы видим, он не ошибся: статья докатилась и сюда, а учитывая всяческие околоэтические моменты, связанные с AI, скорее всего, цитировать статью будут охотно.

При этом авторы сами выражаются весьма туманно: вот, видите, может иметь последствия! Но ничем конкретным не пугают, и правильно делают, ибо это вообще не фокус их статьи. А настоящий фокус -- именно в технической части, а не в рамочке, которая уже свою работу неплохо выполнила.

Я до сих пор не пойму, какие могут быть последствия в том, что ИИ отличает людей по их расе. Что от этого лечение изменится или как?
Пока это используется только для лечения, никаких особых последствий не будет. Они начнутся, когда кому-нибудь придёт в голову обучить на основе такого ИИ некий «жидодетектор», чтобы можно было в один клик прямо в смартфонном приложении определять принадлежность человека к некоторой расе.
И ладно бы только к расе. А вдруг по каким-нибудь неявным корреляциям ИИ можно обучить отличать по фото скажем «ватников» от «либералов»?

В случае чернокожих я думаю не особо интеллект надо подключать. А вот одну каплю черной крови, как требуется вычислить для настоящих поклонников "белой идеи" ни одна нейросеть по внешнему виду не определит...
Предложенный же вами детектор вообще из области ненаучной фантастики (если не пробивать человека через соц.сети). Хотя слышал о работе (фейк или нет, я не знаю), которая на основании тестов "Любимый герой комиксов" определяла будет ли человек голосовать за Трампа с достаточно хорошим процентом.

когда кому-нибудь придёт в голову обучить на основе такого ИИ некий «жидодетектор»

Визатор?

"— Извините, а чатлане и пацаки — это национальность?

— Нет.

— Биологический фактор?

— Нет.

— Лица с других планет?

— Нет.

— А в чём они друг от друга отличаются?

— Ты что, дальтоник, Скрипач — зелёный цвет от оранжевого отличить не можешь? Турист… "

А разве этот вопрос кто-то обсуждает? Авторы пишут, что сам факт того, что расу можно определить вот таким вот косвенным образом может иметь опасные последствия, но не более того. Опять же, раздел Discussion -- именно приглашение к диалогу и последующим работам. Кому интересно, тот подхватит и разовьёт.

Авторы боятся, что ИИ будет принимать сексисткие решения:
Нам нужно взять паузу. Мы не можем спешить с внедрением таких алгоритмов в больницы и вообще в крупные структуры, пока не будем уверены, что они не принимают расистских или сексистских решений.

Можете объяснить, как выглядят сексистские решения ИИ, обученного исключительно для распознавания болезней?

И вопрос в никуда авторам исследования: зачем было давать ИИ-ту информацию о расе пациента?

Я не знаю, откуда эта цитата. В статье её нет. Если кто-то из авторов так выразился в твиттере -- лучше спросить его, имеет право на мнение. В рамках научного дискурса никаких призывов я не нашёл.

Эта цитата из «нашей» статьи на Хабре (под которой мы общаемся, и которую обсуждаем).

Хорошо. Я могу пофантазировать, конечно, но это будет всего лишь мой дилетантский комментарий к цитате неясного происхождения. Считайте, что я не вижу проблем в "сексистских" решениях ИИ в контексте излечения пациента.

Тогда обращайте свой праведный гнев к virtual_explorer
Я то обсуждаю эту статью.

А почему нет, если дозировка/действующее вещество будет иметь различия в эффективности для разных рас. Да, это гипотетическое предположение и нужны исследования.... Но их сразу завернут по вполне понятным причинам.

неужели расисты всех стран были правы

В чем правы и при чем здесь расизм? Даже внутри одной расы имеются свои "подрасы" с характерными особенностями. ДНК и физиология разных рас определенно имеет некоторые различия, как минимум где-то присутствуют или отсутствуют гены, отвечающие за цвет кожи. Точно так же с высокой вероятностью должны быть различные генетические отличия, отвечающие за какие-то другие особенности строения организма. Просто потому что белая и черная расы были достаточно долго изолированы друг от друга, а это значит что и там и там в ДНК должны были накопиться разные мутации. Это же почти школьный факт по биологии видообразования.

Проблема здесь в том, что Гитлер и Ко натворили много нехороших дел и теперь все бояться даже думать о таких вещах.

Можно попробовать сделать GAN: одна сетка пытается подделать снимок так чтобы другая сетка ошибочно сказала "азиат".

Потом уже сравнивать какие именно пиксели и как подделывались.

А мулатов и прочих метисов первого, второго и далее поколений ИИ способен отличить? Или тупо цвет кожи влияет на контраст снимка?

Любопытно, что американское деление на расы далеко от антропологического. Так, индийцев они классифицируют как "азиатов", в то время как на три четверти монголоидный мексиканец может запросто пойти по категории "белый испаноязычный". Также неграми (сперва из-за расизма и сегрегационных законов, теперь из-за "квот" affirmative action) могут считать человека, который негр только на четверть и даже меньше.

То есть МЛ-модель, если она опиралась на антропологические признаки, сумела также правильно скомбинировать неявные подклассы в классы белый-азиат-негр, хотя сама "правильная" комбинация довольно искусственная.

Любопытно было бы узнать, что там за подклассы. Будь это модель на деревьях, а не нейросеть, выяснить было бы проще.

Проблема не в том, что ИИ детектирует, что люди физиологически разные, а в том, что нам пытаются подать это, как повод для дискриминации. Это проблема нынешней политкорректности - нам на законодательном уровне пропагандируют идею о том, что все одинаковые, и предлагают бороться не с причиной, а следствием. НЕТ - все разные! И не только расы и мужчины и женщины, а вообще все - каждый индивидуум - белый, черный, желтый, прямой, косой, тупой, умный. Проблема в том, что независимо от того, кто перед нами, мы никогда не должны скатываться в риторику, описанную Жванецким - “зачем спорить с хромым об искусстве, если ему сразу сказать, что он хромой?”. Вот это и есть шовинизм.

Следующая «новость»:
Нейросеть научилась отличать по фото кошек от котов. Казалось бы — при чем тут сексизм?!!

*Но пока только по фото сзади и с высоко поднятым хвостом )))

то есть - археологи по скелетам могут определить возраст, пол и предположить принадлежность к расе, и это норм.

А вот если нейросетка по рентгенам - то ужос-ужос, что же делать! (сарказм)

Антропологи уже лет 100, если не дольше, определяют расы по строению скелетов - по остеометрическим признакам. Учёные, проводившие исследование, не в курсе?

Учёные, проводившие исследование, не в курсе?
Картинка: <учёный изнасиловал журналиста>

Долго пытался понять, что плохого в том, что ИИ научился различать то, что сделала различным сама природа? Из текста этой статьи так не понял, что плохого.
Видимо, современная повестка настолько жёсткая, что требует отрекаться от самого очевидного: различий между белыми, неграми и азиатами.

Что дальше? Шок контент "у мужчины на снимке отсутствовала вагина, хотя он выбрал гендер женщины"?

Это не редакционный материал же, а в блоге компании.

а разве нельзя на тепловой карте подсветить атеншен или бекпропом глянуть, на что стригернулась сетка?!

Странно, первая идея, которая мне пришла в голову: теперь можно точнее ставить диагноз и назначать лечение, учитывая такие особенности. А эти ученые сразу начали говорить про расизм. Видимо каждый понимает результаты в меру своей испорченности.

Это поднимает тревожные вопросы о роли ИИ в медицинской диагностике и лечении: могут ли модели непреднамеренно проявлять расовую предвзятость при изучении подобных изображений?

В этот момент пробил себе лицо ладонью. Повесточка настолько глубоко засела в мозгах некоторых людей, что свои собственные проблемы с головой они готовы приписывать бездушным компьютерам.

Думаю тут проблема в том, что если у какой то этнической группы будет бОльший процент какой то болезни, и это попадёт в датасет. То нейронка увидет этот паттерн и будет его учитывать при выставлении диагноза

В одном из выпусков подкаста хабра обсуждали нейросеть которая училась определять то ли хасок, то ли волков. Потом оказалось что она выдаёт положтельный ответ если на фоне присутствует снег

Так и здесь. Нейронка может определить какой то этнический признак как ключевой признак болезни

Потому что в случае конкретного индивидуума, а не статистики по популяции, наличие когнитивного искажения подмены причинно-следственных связей корреляцией - это нехорошо. Но чтобы это понять, нужно понимать, почему это плохо и в случае принятия решения людьми, а в реальности это не все понимают.

UFO just landed and posted this here

Достаточно - для чего? Во многих ситуациях стандарт "лучше не делать ничего, чем непонятно что" - валидный выбор. А корреляции - это "непонятно что".

UFO just landed and posted this here

Я, конечно, не врач, но. по логике, так оно и должно быть, нет? Ну т.е. если у вашей этнической/возрастной/какой-либо еще группы есть какая-то предрасположенность, то это должно учитываться при постановке диагноза?

Нет, не при постановке диагноза. А при определении возможных диагнозов. Потому что диагностика - это не гадание по тому, вероятность чего, как причины наблюдаемых симптомов - больше.

Какой к черту расизм, какие предубеждения? Расы — это не только цвет кожи же. Например, форма разреза глаз, форма лица. Не сложно допустить, что есть какие-то особенности строения склелета — просто вот та кость на миллиметр длинее у одной расы, а вон та той кости есть впадинка (тоже едва заметная для глаза). Нейросетке этого хватит.


Вот то, что с этой находкой носятся и ученые шоке — вот это отражение человеческих предубеждений.

Нам нужно взять паузу. Мы не можем спешить с внедрением таких алгоритмов
в больницы и вообще в крупные структуры, пока не будем уверены, что они
не принимают расистских или сексистских решений.

Расистские и сексистские решения могут принимать не алгоритмы, а люди, интерпретирующие и использующие результаты их работы. Определение расы по косвенным признакам можна использовать как во благо, подбирая более эффективные и/или безопасные препараты, учитывая различия в биохимии, так и во вред, ограничивая доступ к некоторым возможностям или устанавливая разные условия. Алгоритм классификации работает независимо от цели, с которой его применяют. Точно так же, как пистолет, который, находясь в руках грабителя или полицейского, будет либо угрозой, либо защитой.

— Нет, серьезно. Он там управлял системой подземки — никаких нареканий, идеальный работник, а потом однажды эта штука просто забыла запустить вентиляторы, когда было надо. Поезд заезжает на пятнадцать метров под землю, пассажиры выходят, воздуха нет, бум!

— Эти штуки вроде как учатся на собственном опыте, правильно? — продолжает Джарвис. — Ну и все думали, что зельц научился запускать вентиляторы по какому-то очевидному признаку. Жару тела, движению, уровню углекислого газа, ну ты понимаешь. В результате выяснилось, что эта хрень просто смотрела за часами на стене. Прибытие поезда совпадало с предсказуемым набором паттернов на цифровом дисплее, поэтому она включала вертушки, когда видела один из них.

— Ага. Точно, — Джоэл качает головой. — А какие-то вандалы часы разбили. Или что-то вроде того.

(Питер Уоттс - Морские звезды)

Мне показалось, что многие комментаторы выше, неявно исходят из предположений, что человек (биологическая нейросеть), в отличие от электронной нейросети, всегда не предвзят и в состоянии объяснить, как он пришел к некоторому решению. Это очевидно не так.

Судьи после обеда добрее. https://www.kommersant.ru/doc/1639006

Люди сплошь и рядом "задним числом" придумывают "рациональное" объяснение своим решениям. Два разных человека на основе одних и тех же данных запросто могут выдать мнения/решения противоположные по смыслу. Люди постоянно ошибаются и, что самое неприятное, очень часто упорствуют в своих заблуждениях.

Осмелюсь предположить (гипотеза, разумеется, требует проверки), что уже сейчас, в большинстве случаев, серьезная, обученная профессионалами, нейросеть выдает правильные решения в большем количестве случаев, чем человек. Да, психологически принять неправильное решение от "железяки" сложнее. Ну или решение, которое мы считаем неправильным, а логику рассуждений нам не предоставили. С ситуацией, когда подобные решения выдают нам другие люди сталкивались примерно 146% здесь присутствующих. Начальник/учитель/клиент... запросто может выдать очевидную бредятину без обоснований. Делаем так "патамушта я так сказал".

Да нейросеть может ошибаться и будет ошибаться. Но люди ошибаются гораздо чаще. У нейросети не было и не могло быть тяжелого детства, дружбы/вражды с некоторой категорией людей, недостатка витаминов, солнечного света, гормонов, что влияет на настроение непредсказуемым образом.

Предположим, что человек прав в 98% случаев, а нейросеть в 99%. Да 1% "попавших под раздачу" (несправедлива забанили, назначили не то лекарство, посадили в тюрьму...) обидно. Но если бы решение принимал человек, таких было бы в 2 раза больше. Разумеется это не означает, что не должно быть механизма апелляции. Он так же нужен как и при принятии решений людьми.

Предположим, что человек прав в 98% случаев, а нейросеть в 99%. Да 1% «попавших под раздачу» (несправедлива забанили, назначили не то лекарство, посадили в тюрьму...) обидно. Но если бы решение принимал человек, таких было бы в 2 раза больше.

Проблема в том, что у нейросети этот самый 1% может оказаться вообще непонятно-несраведлимым решением для человека и это очень плохо.

Представьте две ситуации, человека нашли около трупа жены и любовника с дымящимся пистолетом, но он утверждает, что убил их грабитель сбежаший за минуту до, а он только поднял пистолет (см. побег из Шоушенка). Присяжные неправильно решили, что он виновен.

Представим другую систуацию, человека с идеальной характеристикой нейросеть вдруг обвинила в убийстве незнакомой женщины с другой части города на основе каких-то своих критериям (потому что он был рыжим, бегал по утрам и любил пить колу с водкой, а именно это статистиски было признаками маньяка).

Возможно, нейросеть даже не ошиблась, но насколько тяжелее это принять человеку. Представте, что вы совершенно ничего не делаете, даже не оказыватесь в не правильном место в неправильное время, но оказывайтесь виновным в преступлении и никто не может даже понять причины.

То есть виды ошибок очень разные и если человеческие ошибки мы принимаем вполне легко — да неприятно, что так сложились обстоятельства, но исходя из имеющих данных решение было обоснованным, то ошибки непонятно-машинные — очень пугающие.

Следующим этап, может быть, как было в книгах некоторых фантастов, будут сажать людей до того как они совершили какое-то тяжелое преступления или даже их задумали, только потому что нейросеть решила, что почти 100% они-таки совершат преступление.
С точки зрения эффективности это идеально, не ждать пока кто-то убьет другого, а сразу посадить убийцу, с точки зрения человеческого общества — ужасно, потому что получается наказание до преступления, которое может коснуться каждого без всякой свободы воли.

Вероятно вы правы. Общество скорее требует не максимизацию функции "Лучшее возможное решение на основе всего имеющегося массива информации", а "Наиболее понятное и психологически приемлемое решение", даже если оно ошибочное.

Важный момент - косвенных "улик" не должно быть достаточно для вынесения решения. Даже если вероятность по ним 99%.
Нейросеть или один из модераторов youtube сочли что мой контент неприемлем? Если я уверен, что это ошибка, должна быть возможность реальной апелляции. Можно даже за разумную денежку - оплату работы проверяльщиков, чтобы их не заспамили.

Если я уверен, что это ошибка, должна быть возможность реальной апелляции

Однако в случае, уголовного суда это будет означать, что после приговора нейросети будет апеляция к присяжным будут практически всегда и вероятность по-ошибке отпустить виноватого будет складываться, а то и перемножаться. Тогда зачем тут нейросеть? Условно нейросеть считает, что он виновен, но никак не может это объяснить, присяжным придется с нуля все решать и собирать доказательства. При этом будут реальные преступники, которых нейросеть ошибочно будет считать невиновными. Следовательно, количество ошибок когда будут отпускать виновных будет только увеличиваться.

Это практически классическая проблема комбинации двух нейросетей (в данном случае, одной человеческой), так как они совсем независимые мы не можем понять какие ошибочные решение (кроме случаев когда они обе вернули одинаковые ответы)
Тогда зачем тут нейросеть? Условно нейросеть считает, что он виновен, но никак не может это объяснить, присяжным придется с нуля все решать и собирать доказательства

в штатах, насколько я знаю, распространено решение подобной проблемы.
или ты идёшь на сделку со следствием, признаёшь вину и за это получаешь некоторое смягчение наказания, или же пытаешься доказать свою невиновность, но если проигрываешь, то получаешь по-полной.

Теперь ждем следующего шага - определение IQ по МРТ мозга.

А сколько будет визгу, когда в мозге различия найдутся…

Надо срочно запретить такие исследования, а то вдруг врачи узнают о физиологических различиях людей разных рас и начнут более эффективно их лечить, учитывая эти различия! Это же чистый расизм, так не пойдёт. Надо всех людей на планете лечить одинаковыми лекарствами и способами, придуманными европейцами для белых людей. Вот это не расизм.

Хм… мы боимся за искуственный интеллект и это вполне логично. Но интерсно, а где вообще гарантии того, что судьи-люди принимают взвешенные не предвзятые решения?? Мне кажется что "все" судьи вообще принимают решения в зависимости от количества денег участников судебного разбирательства. И особенно это проявляется в постсоветских странах.

И особенно это проявляется в постсоветских странах.

Отчего в некоторых постсоветских странах принято прибедняться? )

Кто сталкивался с индийской судебной системой, говорят, что там намного хуже. В рассылке одной некоммерческой организации, которую я читаю, о взятках в Индии по судебным делам организации пишут открытым текстом, как о само собой разумеющемся :-)

Другая идея: Почему в эволюции проявление расизма это нормально?
**Под расизмом я тут подразумеваю следующую дискриминацию: слабый вид — вымирает.

Зашёл в статью, чтобы почитать в комментариях техническую дискуссию по поводу того, как же по имеющейся натренированной нейросети определить конкретные признаки, на которые она натренировалась. А вижу кучу демагогии про расы, этику, страхи от ИИ... Хабр, как же так?

не понял, а разве это статистический факт, что люди с черным цветом кожи чаще совершают преступления (в.т.ч повторные)?

Из статьи так и не понял, что плохого в том, что ИИ научился определять рассу по снимкам? Понял, что создатели ИИ не могут точно сказать, как она это делает, но плохого в этом ничего нет... Интересно взять датасет из очень смешанной по расе страны, например, Бразилии и прогнать этот ИИ на снимках оттуда - будет ли ИИ назначать расу людям, которые сами не понимают, какой они расы?

Sign up to leave a comment.