Что должен знать Data Scientist про когнитивные искажения ИИ

Автор оригинала: Cassie Kozyrkov
image

Проблема когнитивных искажений ИИ возникает на уровне определения, но дело не только в термине. «искажение» — это перегруженный термин, смысл которого может изменяться в зависимости от контекста.

Так, вашему вниманию могут быть представлены следующие примеры определения отклонений:

  • В статистике: искажение (bias) — это разница между ожиданием оцениваемой величины и ее значением. Такое определение жутко формально, так что позвольте мне его перевести. Искажение описывает результаты, которые систематически не соответствуют ожиданиям. Представьте себе стрельбу из лука, у которого сбит прицел. Высокий уровень искажения не означает, что вы стреляете куда угодно (в этом случае речь идет о дисперсии), суть будет заключаться в том, что даже идеальный лучник будет постоянно промахиваться. В данном контексте слово «искажение» несет в себе небольшой эмоциональный оттенок.
  • В сборе данных (а также в статистике): когда вы собираете данные, ваша выборка может не являться репрезентативной для интересующей вас совокупности. «Искажение выборки» в данном случае – формальный термин. Такое искажение означает, что ваши статистические результаты могут содержать ошибки.
  • В когнитивной психологии: систематическое искажение от рационального. Каждое слово в этом содержательном определении, кроме «от», заряжено нюансами, специфическими для данной области. Перевод на понятный язык: речь идет об удивительном факте, заключающемся в том, что ваш мозг развил определенные способы реакции на различные объекты, и психологи изначально сочли эти реакции искажениями. Список когнитивных искажений поражает.
  • В нейросетевых алгоритмах: По сути, речь идет об отрезке, отсекаемом с координатной оси. («искажение» звучит круче, чем школьные математические термины, да?)
  • В социальных и физических науках: Любое из множества явлений, связанных с чрезмерным влиянием прошлых/актуальных условий на решения, принимаемые в настоящее время. Примерами также являются культурные предрассудки и инфраструктурная предвзятость.
  • В электронике: Фиксированное постоянное напряжение или ток, приложенные в цепи с переменным током.
  • В географии: Биас, в Западной Вирджинии. (от англ. Bias) (Я слышал, что Биас есть и в Франции).
  • В мифологии: Любой из этих древних греков.
  • О чем думает большинство экспертов по ИИ: речь об алгоритмических искажение идет тогда, когда компьютерная система отражает подсознательные ценности человека, который ее создал (разве не все, что создают люди, отражает подсознательные ценности?).
  • О чем думает большинство людей? О том, что наш опыт искажает наше восприятие и реакцию на информацию, особенно в контексте несправедливого отношения к другим людям и плохих поступков вообще. Некоторые люди используют это слово как синоним предрассудков.

Ох. У термина «искажение» много значений, и некоторые из них более острые, чем другие.

О чем идет речь в области машинного обучения и ИИ?


Машинное обучение и ИИ – молодые дисциплины, и они имеют привычку заимствовать термины откуда угодно (иногда, как кажется, не обращая внимания на исходный смысл), поэтому, когда люди говорят об отклонениях в ИИ, они могут ссылаться на любое из определений, приведенных выше. Представьте, что вы увидели витиеватую научную статью, обещающую исправить отклонения в ИИ, а в итоге оказывается (после прочтения нескольких страниц), что отклонения, о которых они говорят, относятся к статистике.

Тем не менее, модно говорить о том, что привлекает внимание средств массовой информации. Речь о жестоких отклонениях человеческого фактора. Увы, мы отталкиваемся от всевозможных предубеждений (прошлого опыта, искажающего наши восприятие и реакции), когда мы читаем (и пишем!) на эти темы.

Весь смысл ИИ в том, чтобы дать вам возможность объяснить свои пожелания компьютеру на примерах (данных!), а не в инструкциях. Каких примерах? Это ваш выбор в качестве учителя. Датасеты — это учебники, по которым ваш ученик может учиться. И знаете что? У учебников есть авторы-люди, как и у наборов данных.
Учебники отражают предвзятость их авторов. Как и у учебников, у наборов данных есть авторы. Они собираются в соответствии с инструкциями, сделанными людьми.
Представьте себе попытку обучить человека по учебнику, написанному предвзятым автором — вас удивит, если ученик в конце концов выразит некоторые из тех же предвзятых представлений? Чья это вина?

В ИИ удивительно то, насколько он не предвзят (в человеческой мере). Если бы у ИИ была своя личность и свои собственные мнения, он мог бы противостоять тем, кто подпитывает его примерами, из которых сочатся предрассудки. В итоге, все наоборот: алгоритмы машинного обучения и ИИ — это просто инструменты для воспроизведения тех шаблонов, которые вы им показываете. Покажите им плохие примеры, и они будут их повторять. Предвзятость в смысле последних двух пунктов не исходит от алгоритмов машинного обучения и ИИ, она исходит от людей.
Искажения исходят не от алгоритмов ИИ, они исходят от людей.
Алгоритмы никогда не думают самостоятельно. На самом деле, они совсем не думают (они – инструменты), поэтому мы, люди, должны думать за них. Если вы хотите узнать, что можно сделать с отклонениями в ИИ и углубиться в эту кроличью нору – вот вход.

image

Узнайте подробности, как получить востребованную профессию с нуля или Level Up по навыкам и зарплате, пройдя платные онлайн-курсы SkillFactory:



Читать еще


SkillFactory
Онлайн-школа по программированию

Комментарии 1

    –2
    Очередной стон Ярославны о том, что злая реальность не хочет соответствовать нашим гендерно и рассовонейтральным идеалам. :\\\

    Вместо кучи рассуждений и ссылок может лучше бы привели пример хотя бы одного искажения, фиксируемого у нас и обсуждение которого не вызывало бы гомерический хохот всех не связанных с blm? Они ведь есть!

    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

    Самое читаемое