Искусственный интеллект был создан для принятия организационных решений и государственного управления; он нуждается в человеческой этике, заявляет Джонни Пенн из Кембриджского университета
Искусственный интеллект (ИИ) повсюду, но он придуман полностью не историческим способом. Чтобы понять влияние ИИ на нашу жизнь, важно оценить обстановку, в котором он был создан. В конце концов, статистика и государственный контроль развивались рука об руку в течение сотен лет.
Рассмотрим информатику. Его происхождение прослеживается не только аналитической философией, чистой математикой и Аланом Тьюрингом, но и что удивительно, историей государственного управления. В книге «Правительственная машина: революционная история компьютера», изданной в 2003 году, Джон Агар из Университетского колледжа Лондона рисует диаграммы развития британской гражданской службы, как она увеличилась с 16 000 сотрудников в 1797 году до 460 000 к 1999 году. Он заметил, аномальное сходство между функциональностью человеческой бюрократии и электронно-вычислительной машиной. (Он признался, что не может утверждать, было ли это наблюдение тривиальным или глубоким).
Обе системы обрабатывали большое количество информации, используя иерархию предварительно установленных, но адаптируемых правил. Но один из них происходил от другого. Это показало важную связь между организацией социальных структур людей и цифровыми инструментами, предназначенными для их обслуживания. Г-н Агар связывает само происхождение информатики с Аналитической маши́ной Чарльза Бэббиджа, разработанной в 1820-х годах в Британии. Ее разработка была субсидирована правительством, предполагая, что она будет служить его спонсору. Проекты Бэббиджа, отмечает г-н Агар, следует рассматривать как «материализацию государственной деятельности».
Эта взаимосвязь между вычислительными системами и организационными структурами человека повторяет историю ИИ. В 1930-х и 1940-х годах Герберт Саймон (на фото ниже), политолог из Чикагского университета, который позже преподавал в Университете Карнеги-Меллона, решил разработать «научный» подход в основании управленческого устройства. Саймон до этого обучался под руководством Рудольфа Карнапа, члена Венского кружка логических позитивистов. Это подтвердило его убеждение, что существующим теориям не хватает эмпиризма. Его докторская диссертация в 1947 году стала книгой «Administrative Behavior», которая послужила основой, с помощью которой вся деятельность в организации могла быть понята с использованием матрицы принятия решений.
Саймон говорит
Он вносил огромный вклад во множество научных областей, не только в политическую науку и экономику, но и в информатику и искусственный интеллект. Он придумал термин «satisficing» (принять желаемое, а не стремиться к оптимальному) и разработал идею «ограниченной рациональности», за которую он получил Нобелевскую премию по экономике в 1978 году. Но еще в 1950-х годах Саймон был консультантом в RAND Corporation, влиятельном аналитическом центре, поддерживаемом американскими военно-воздушные силами.
В RAND Саймон и двое его коллег: молодой математик Аллан Ньюэлл и бывший страховой актуарий Дж. Клиффорд Шоу попытались смоделировать решение проблем человека с точки зрения того, как компьютер выполняет конкретную операцию. Для этого Саймон заимствовал элементы из системы, которые он разработал в «Administrative Behavior», чтобы научить компьютер «думать», подобно человеку, Саймон заставил его думать, как группа людей.
Продуктом труда троих ученых была виртуальная машина, названная Логическим теоретиком, нареченная первым рабочим прототипом искусственного интеллекта. Распечатки работающего Теоретика в период Летнего исследовательского проекта 1956 года в Дартмуте заставили обратить внимание на искусственный интеллект, который дал название и положил начало всей научной области. В заметках с конференции в Дартмуте один участник написал, что Теоретик помог преодолеть страх финансирования данной области исследования. Это было важно, потому что фонд финансирования искусственного интеллекта скептически относился к тому, что данная область исследований была полезной.
Как Саймон рассмотрел свои научные достижения? Через год после конференции в Дартмуте он и Ньюэлл представили свои результаты в публикации «Эвристическое решение проблем: следующее продвижение в исследовании операций». Ключевое выражение в названии: «исследования операций» появилось в Великобритании во время второй мировой войны, чтобы применять научные принципы и статистику для оптимизации военной деятельности, а затем и для корпоративных целей. Искусственный интеллект предназначался бизнесу.
В своем выступлении перед практиками операционных исследователей в Лондоне в 1957 году Саймон заметил Фредерика Тейлора, отца движения научного менеджмента, и Чарльза Бэббиджа, своих ментальных предшествеников. «Физики и инженеры-электрики не имели ничего общего с изобретением цифрового компьютера», — сказал Саймон. Настоящим изобретателем, по его мнению, был экономист Адам Смит. Он объяснил эту взаимосвязь: французский инженер-строитель Гаспар де Прони намеревался создать логарифмы, используя методы, созданные из «Богатства народов» Смита. Бэббидж, вдохновленный Прони, применил эту догадку в механической аппаратуре. В середине 1950-х годов Саймон превратил ее в программный код.
Традиция живет. Многие современные системы искусственного интеллекта не столько имитируют человеческое мышление, сколько менее одаренные умы бюрократических институтов; наши методы машинного обучения часто запрограммированы на достижение сверхчеловеческих масштабов, скорости и точности за счет самобытности, амбиций или морали на человеческом уровне.
Капитализм в коде
Эти вереницы истории искусственного интеллекта: принятие корпоративных решений, государственная власть и применение статистики в войне — не сохранились в доступном на народа понимании искусственного интеллекта.
Вместо этого новости о технических прорывах или экспертах, выражающих опасения, сопровождается изображениями, если не в виде хорошо вооруженного Терминатора, тогда разумом, роботом, неоновыми микрочипами или абсурдными математическими уравнениями. Каждый из них является не настолько сильным подтверждением авторитета естественных наук или информатики относительно, скажем, «мягких» наук, заимствовавших терминологию Саймона, политической науки, менеджмента или даже экономики, т.е. областей, ради которых он отправился в Стокгольм, чтобы получить свою Нобелевскую премию.
Возможно, в результате этого ошибочного впечатления публичные споры, продолжающиеся по сей день, о том какие преимущества, если таковые имеются, социальные науки могут принести в исследования искусственного интеллекта. По мнению Саймона, сам искусственный интеллект зародился в социальной науке.
Дэвид Рунсиман, политолог из Кембриджского университета, утверждал, что для понимания искусственного интеллекта мы должны сначала понять, как он действует в капиталистической системе, в которую встроен. «Корпорации — еще одна форма искусственного мышления, они предназначены для того, чтобы быть способными принимать решения самостоятельно», — объясняет он.
«Многие страхи, которые сейчас испытывают люди о грядущей эпохе интеллектуальных роботов, такие же, что у них были о корпоративных объединениях в течение нескольких сотен лет», — говорит г-н Рунсиман. Беспокойство состоит в том, что эти системы мы «никогда не сможем научиться контролировать».
Например, после разлива нефти в 2010 году, когда погибло 11 человек и опустошен Мексиканский залив, никто не попал в тюрьму. Угроза, о которой г-н Рунсиман предостерегает, заключена в том, что методы искусственного интеллекта, подобно тактикам ухода от общественной ответственности, будут использоваться безнаказанно.
Сегодня новаторские исследователи, такие как Джулия Ангвин, Вирджиния Юбенкс и Кэти О'Нил, показывают, как различные алгоритмические системы укрепляют насилие, разрушают человеческое достоинство и подрывают основные демократические механизмы, такие как ответственность, если они созданы безответственно. Вред не должен быть преднамеренным; необъективные наборы данных, используемые для обучения прогнозируемым моделям, также наносят ущерб. Учитывая дорогостоящий труд, необходимый для выявления и устранения причиненного вреда, необходимо создать что-то наподобии «этической службы», созданной в качестве отдельной индустрии. Г-жа О'Нил, например, теперь запустила собственный сервис, проверяющий алгоритмы.
В 1950-х годах, придумав термин «искусственный интеллект» для конференции в Дартмуте, Джон МакКарти, один из первых пионеров в этой области, писал в своих заметках: «Как только одна система гносеологии запрограммирована и работает, ничто другое не будет восприниматься всерьез, кроме того, что будет управлять интеллектуальными программами». По этой причине первоначальный лозунг DeepMind «Познайте разум. Используйте его, чтобы познать все остальное», выглядит почти имперским.
Предложение МакКарти заключалось в том, что влияние, а не власть, может решить научный консенсус в его области. DeepMind не нуждается в «познании» интеллекта (при условии, что такое даже возможно) ему просто нужно победить конкуренцию. Этот новый лозунг компании: «Познайте разум. Используйте его, чтобы познать все остальное», предполагает, что он тоже осознает необходимость дипломатии в эпоху тотального могущества Искусственного Интеллекта.
Стивен Кейв, директор Центра Левергульма по исследованию будущего, показал, что определение интеллекта использовалось на протяжении всей истории в качестве инструмента доминирования. Аристотель обратился к «естественному закону» социальной иерархии, чтобы объяснить, почему женщины, рабы и животные должны быть подчинены разумным людям. Учитывая это жестокое наследие, политика корпоративного и вычислительного агентства должна разрешать сложные вопросы, сформированные по половому, сексуальному и колониальному признаку относительно других личностных качеств.
Главная обязанность искусственного интеллекта заключается в том, что он обеспечивает масштабную автоматизированную категоризацию. Например, машинное обучение может быть использовано для отличия злокачественной родинки от доброкачественной. Эта «обязанность» становится угрозой, когда она направлена на решение проблем повседневной жизни. Неосторожные ярлыки могут притеснять и причинять вред, когда они утверждают ложную власть. В знак протеста против несправедливых ярлыков, которые используются для «познания» мира, многие молодые люди сегодня с гордостью бросают вызов нежелательным категоризациям, будь то традиционные гендерные или половые парности.
Машины, которые снова думают
Может быть многих удивит тот факт, что недостаточно изучены социальные, материальные и политические причины происхождения искусственного интеллекта. Действительно, об истории искусственного интеллекта написано немало: Саймоном в 1996 году и Ньюэллом в 2000 году. Большинство этих историй, однако, придерживаются некоторых ограничений, рассматривая его «главным образом в интеллектуальных терминах», по словам Пола Эдвардса, историка информационных технологий.
Каждая из двух почти официальных историй искусственного интеллекта — это история мыслей: «Машины, которые думают» Памелы МакКордак, «создавшей шаблон для большинства последующих историй» после первой публикации в 1979 году; и «Искусственный интеллект: волнующая история» Даниэля Кревье, опубликованный в 1993 году. Обе книги опирались главным образом на подробные интервью с ключевыми исследователями.
Пожалуй никто, в итоге, не стремился понять искусственный интеллект в более широком контексте, включающем развитие операционных исследований, «большой науки», актуарных наук и американского военного финансирования, так как это развивалось со времен второй мировой войны. Вычеркнутый из этих историй, ИИ может оказаться отделенным от своего исторического и политического контекста.
Без этого контекста искусственный интеллект также может казаться оторванным от системы наук, которые его создали. В своей беседе 1957 года с профессионалами в области операционных исследований Саймон отметил разнообразие прошлого своей научной области. Он описал вклад французских ткачей и механиков жаккардового станка, а также Смита, де Прони, Бэббиджа и его коллег в «мягких» науках как совокупный «долг», который еще предстоит погасить.
Это новое знание могло появиться так неожиданно, и из столь многих мест, что взволновало Саймона в его работе — и может побудить нас думать так же сегодня. Современный ИИ может не только отражать организационную догму, которая характеризовала его рождение, но и отражать нашу человечность.
Искусственный интеллект (ИИ) повсюду, но он придуман полностью не историческим способом. Чтобы понять влияние ИИ на нашу жизнь, важно оценить обстановку, в котором он был создан. В конце концов, статистика и государственный контроль развивались рука об руку в течение сотен лет.
Рассмотрим информатику. Его происхождение прослеживается не только аналитической философией, чистой математикой и Аланом Тьюрингом, но и что удивительно, историей государственного управления. В книге «Правительственная машина: революционная история компьютера», изданной в 2003 году, Джон Агар из Университетского колледжа Лондона рисует диаграммы развития британской гражданской службы, как она увеличилась с 16 000 сотрудников в 1797 году до 460 000 к 1999 году. Он заметил, аномальное сходство между функциональностью человеческой бюрократии и электронно-вычислительной машиной. (Он признался, что не может утверждать, было ли это наблюдение тривиальным или глубоким).
Обе системы обрабатывали большое количество информации, используя иерархию предварительно установленных, но адаптируемых правил. Но один из них происходил от другого. Это показало важную связь между организацией социальных структур людей и цифровыми инструментами, предназначенными для их обслуживания. Г-н Агар связывает само происхождение информатики с Аналитической маши́ной Чарльза Бэббиджа, разработанной в 1820-х годах в Британии. Ее разработка была субсидирована правительством, предполагая, что она будет служить его спонсору. Проекты Бэббиджа, отмечает г-н Агар, следует рассматривать как «материализацию государственной деятельности».
Эта взаимосвязь между вычислительными системами и организационными структурами человека повторяет историю ИИ. В 1930-х и 1940-х годах Герберт Саймон (на фото ниже), политолог из Чикагского университета, который позже преподавал в Университете Карнеги-Меллона, решил разработать «научный» подход в основании управленческого устройства. Саймон до этого обучался под руководством Рудольфа Карнапа, члена Венского кружка логических позитивистов. Это подтвердило его убеждение, что существующим теориям не хватает эмпиризма. Его докторская диссертация в 1947 году стала книгой «Administrative Behavior», которая послужила основой, с помощью которой вся деятельность в организации могла быть понята с использованием матрицы принятия решений.
Саймон говорит
Он вносил огромный вклад во множество научных областей, не только в политическую науку и экономику, но и в информатику и искусственный интеллект. Он придумал термин «satisficing» (принять желаемое, а не стремиться к оптимальному) и разработал идею «ограниченной рациональности», за которую он получил Нобелевскую премию по экономике в 1978 году. Но еще в 1950-х годах Саймон был консультантом в RAND Corporation, влиятельном аналитическом центре, поддерживаемом американскими военно-воздушные силами.
В RAND Саймон и двое его коллег: молодой математик Аллан Ньюэлл и бывший страховой актуарий Дж. Клиффорд Шоу попытались смоделировать решение проблем человека с точки зрения того, как компьютер выполняет конкретную операцию. Для этого Саймон заимствовал элементы из системы, которые он разработал в «Administrative Behavior», чтобы научить компьютер «думать», подобно человеку, Саймон заставил его думать, как группа людей.
Продуктом труда троих ученых была виртуальная машина, названная Логическим теоретиком, нареченная первым рабочим прототипом искусственного интеллекта. Распечатки работающего Теоретика в период Летнего исследовательского проекта 1956 года в Дартмуте заставили обратить внимание на искусственный интеллект, который дал название и положил начало всей научной области. В заметках с конференции в Дартмуте один участник написал, что Теоретик помог преодолеть страх финансирования данной области исследования. Это было важно, потому что фонд финансирования искусственного интеллекта скептически относился к тому, что данная область исследований была полезной.
Как Саймон рассмотрел свои научные достижения? Через год после конференции в Дартмуте он и Ньюэлл представили свои результаты в публикации «Эвристическое решение проблем: следующее продвижение в исследовании операций». Ключевое выражение в названии: «исследования операций» появилось в Великобритании во время второй мировой войны, чтобы применять научные принципы и статистику для оптимизации военной деятельности, а затем и для корпоративных целей. Искусственный интеллект предназначался бизнесу.
В своем выступлении перед практиками операционных исследователей в Лондоне в 1957 году Саймон заметил Фредерика Тейлора, отца движения научного менеджмента, и Чарльза Бэббиджа, своих ментальных предшествеников. «Физики и инженеры-электрики не имели ничего общего с изобретением цифрового компьютера», — сказал Саймон. Настоящим изобретателем, по его мнению, был экономист Адам Смит. Он объяснил эту взаимосвязь: французский инженер-строитель Гаспар де Прони намеревался создать логарифмы, используя методы, созданные из «Богатства народов» Смита. Бэббидж, вдохновленный Прони, применил эту догадку в механической аппаратуре. В середине 1950-х годов Саймон превратил ее в программный код.
Традиция живет. Многие современные системы искусственного интеллекта не столько имитируют человеческое мышление, сколько менее одаренные умы бюрократических институтов; наши методы машинного обучения часто запрограммированы на достижение сверхчеловеческих масштабов, скорости и точности за счет самобытности, амбиций или морали на человеческом уровне.
Капитализм в коде
Эти вереницы истории искусственного интеллекта: принятие корпоративных решений, государственная власть и применение статистики в войне — не сохранились в доступном на народа понимании искусственного интеллекта.
Вместо этого новости о технических прорывах или экспертах, выражающих опасения, сопровождается изображениями, если не в виде хорошо вооруженного Терминатора, тогда разумом, роботом, неоновыми микрочипами или абсурдными математическими уравнениями. Каждый из них является не настолько сильным подтверждением авторитета естественных наук или информатики относительно, скажем, «мягких» наук, заимствовавших терминологию Саймона, политической науки, менеджмента или даже экономики, т.е. областей, ради которых он отправился в Стокгольм, чтобы получить свою Нобелевскую премию.
Возможно, в результате этого ошибочного впечатления публичные споры, продолжающиеся по сей день, о том какие преимущества, если таковые имеются, социальные науки могут принести в исследования искусственного интеллекта. По мнению Саймона, сам искусственный интеллект зародился в социальной науке.
Дэвид Рунсиман, политолог из Кембриджского университета, утверждал, что для понимания искусственного интеллекта мы должны сначала понять, как он действует в капиталистической системе, в которую встроен. «Корпорации — еще одна форма искусственного мышления, они предназначены для того, чтобы быть способными принимать решения самостоятельно», — объясняет он.
«Многие страхи, которые сейчас испытывают люди о грядущей эпохе интеллектуальных роботов, такие же, что у них были о корпоративных объединениях в течение нескольких сотен лет», — говорит г-н Рунсиман. Беспокойство состоит в том, что эти системы мы «никогда не сможем научиться контролировать».
Например, после разлива нефти в 2010 году, когда погибло 11 человек и опустошен Мексиканский залив, никто не попал в тюрьму. Угроза, о которой г-н Рунсиман предостерегает, заключена в том, что методы искусственного интеллекта, подобно тактикам ухода от общественной ответственности, будут использоваться безнаказанно.
Сегодня новаторские исследователи, такие как Джулия Ангвин, Вирджиния Юбенкс и Кэти О'Нил, показывают, как различные алгоритмические системы укрепляют насилие, разрушают человеческое достоинство и подрывают основные демократические механизмы, такие как ответственность, если они созданы безответственно. Вред не должен быть преднамеренным; необъективные наборы данных, используемые для обучения прогнозируемым моделям, также наносят ущерб. Учитывая дорогостоящий труд, необходимый для выявления и устранения причиненного вреда, необходимо создать что-то наподобии «этической службы», созданной в качестве отдельной индустрии. Г-жа О'Нил, например, теперь запустила собственный сервис, проверяющий алгоритмы.
В 1950-х годах, придумав термин «искусственный интеллект» для конференции в Дартмуте, Джон МакКарти, один из первых пионеров в этой области, писал в своих заметках: «Как только одна система гносеологии запрограммирована и работает, ничто другое не будет восприниматься всерьез, кроме того, что будет управлять интеллектуальными программами». По этой причине первоначальный лозунг DeepMind «Познайте разум. Используйте его, чтобы познать все остальное», выглядит почти имперским.
Предложение МакКарти заключалось в том, что влияние, а не власть, может решить научный консенсус в его области. DeepMind не нуждается в «познании» интеллекта (при условии, что такое даже возможно) ему просто нужно победить конкуренцию. Этот новый лозунг компании: «Познайте разум. Используйте его, чтобы познать все остальное», предполагает, что он тоже осознает необходимость дипломатии в эпоху тотального могущества Искусственного Интеллекта.
Стивен Кейв, директор Центра Левергульма по исследованию будущего, показал, что определение интеллекта использовалось на протяжении всей истории в качестве инструмента доминирования. Аристотель обратился к «естественному закону» социальной иерархии, чтобы объяснить, почему женщины, рабы и животные должны быть подчинены разумным людям. Учитывая это жестокое наследие, политика корпоративного и вычислительного агентства должна разрешать сложные вопросы, сформированные по половому, сексуальному и колониальному признаку относительно других личностных качеств.
Главная обязанность искусственного интеллекта заключается в том, что он обеспечивает масштабную автоматизированную категоризацию. Например, машинное обучение может быть использовано для отличия злокачественной родинки от доброкачественной. Эта «обязанность» становится угрозой, когда она направлена на решение проблем повседневной жизни. Неосторожные ярлыки могут притеснять и причинять вред, когда они утверждают ложную власть. В знак протеста против несправедливых ярлыков, которые используются для «познания» мира, многие молодые люди сегодня с гордостью бросают вызов нежелательным категоризациям, будь то традиционные гендерные или половые парности.
Машины, которые снова думают
Может быть многих удивит тот факт, что недостаточно изучены социальные, материальные и политические причины происхождения искусственного интеллекта. Действительно, об истории искусственного интеллекта написано немало: Саймоном в 1996 году и Ньюэллом в 2000 году. Большинство этих историй, однако, придерживаются некоторых ограничений, рассматривая его «главным образом в интеллектуальных терминах», по словам Пола Эдвардса, историка информационных технологий.
Каждая из двух почти официальных историй искусственного интеллекта — это история мыслей: «Машины, которые думают» Памелы МакКордак, «создавшей шаблон для большинства последующих историй» после первой публикации в 1979 году; и «Искусственный интеллект: волнующая история» Даниэля Кревье, опубликованный в 1993 году. Обе книги опирались главным образом на подробные интервью с ключевыми исследователями.
Пожалуй никто, в итоге, не стремился понять искусственный интеллект в более широком контексте, включающем развитие операционных исследований, «большой науки», актуарных наук и американского военного финансирования, так как это развивалось со времен второй мировой войны. Вычеркнутый из этих историй, ИИ может оказаться отделенным от своего исторического и политического контекста.
Без этого контекста искусственный интеллект также может казаться оторванным от системы наук, которые его создали. В своей беседе 1957 года с профессионалами в области операционных исследований Саймон отметил разнообразие прошлого своей научной области. Он описал вклад французских ткачей и механиков жаккардового станка, а также Смита, де Прони, Бэббиджа и его коллег в «мягких» науках как совокупный «долг», который еще предстоит погасить.
Это новое знание могло появиться так неожиданно, и из столь многих мест, что взволновало Саймона в его работе — и может побудить нас думать так же сегодня. Современный ИИ может не только отражать организационную догму, которая характеризовала его рождение, но и отражать нашу человечность.
