Автор изначально опубликовал своё эссе на сайте, где читатели обычно будут более-менее знакомы с бэкграундом по этому вопросу. Читая этот текст "с нуля", конечно, многое может показаться более безосновательным, чем оно есть на самом деле; например, про некоторыесвойства AGI можно говорить с большой степенью уверенности. Я не рассчитываю, что это замечание будет выглядеть убедительно, поэтому вкину сюда немного авторитета и укажу на то, что многие исследователи из DeepMind, OpenAI, UC Berkeley, University of Oxford и т.д. как минимум обеспокоены вопросами обеспечения "безопасности" ИИ (aka "the problem of aligning smarter-than-human AI with operators’ goals"), а то и работают в этой области; из самых громких имен технарей можно выделить Шейна Легга (сооснователя DeepMind) и Стюарта Рассела.
Если хотите получить общее представление об этих вопросах — вот отличное введение: https://habrahabr.ru/company/parallels/blog/330204/. Ещё, если захотите копнуть чуть глубже, можете полистать материал по ссылкам, которые указаны в статье, и по тем, которые я указал выше о некоторых свойствах AGI.
Странно сравнивать в этой ситуации людей и нейросети. Отсутствие прозрачности процесса принятия решений создаёт определённые проблемы даже с нынешними алгоритмами. Чего уж говорить о будущих системах ИИ, превосходящих людей во всех областях знаний и умений.
Тезис об ортогональности гласит, что можно комбинировать любой уровень интеллекта с любой целью, поскольку интеллект и конечные цели представляют собой ортогональные, то есть независимые, переменные.
Также, отправляю вас на страницу, где в MIRI обосновывают, почему следует заниматься вопросами безопасности ИИ уже сейчас: https://intelligence.org/faq/#early/
Зато куда смелее выступили авторы недавней нашумевшей работы, выявившей корреляцию между потреблением напитков с СЗ и повышенным риском инсультов и деменции.
Обсуждая ИИ, намного продуктивней будет отбросить разные плохо определяемые понятия, вроде «сознания» или «свободы воли», и сконцентрироваться на действиях, которые агент может совершать.
As discussed earlier, the concept of “general intelligence” refers to the capacity for efficient cross-domain optimization. Or as Ben Goertzel likes to say, “the ability to achieve complex goals in complex environments using limited computational resources.” Another idea often associated with general intelligence is the ability to transfer learning from one domain to other domains.
Задача сложна, но я уверен, что она будет решена. Законы физики, судя по всему, нам не мешают, а конкурентный рынок, имея непреодолимый стимул в виде астрономических прибылей, рано или поздно создаст подобного интеллектуального агента.
Далее, поскольку ставки высоки, а наличие «теории, необходимой для создания универсальных агентов» и близко не гарантирует быстрое и надёжное решение проблемы безопасности, то начинать исследования будет разумно уже сейчас.
Если нужны профильные специалисты, процитирую абзац отсюда:
… Stuart Russell’s Cambridge talk is an excellent introduction to long-term AI risk. Other leading AI researchers who have expressed these kinds of concerns about general AI include Francesca Rossi (IBM), Shane Legg (Google DeepMind), Eric Horvitz (Microsoft), Bart Selman (Cornell), Ilya Sutskever (OpenAI), Andrew Davison (Imperial College London), David McAllester (TTIC), and Jürgen Schmidhuber (IDSIA).
Вообще, статья получилась адовая, но лень разбирать подробно. Надеюсь, другие это сделают за меня.
Я имел в виду, что у нас очень хрупкая система ценностей. И если между ними и установками ИИ будет расхождение, то нам может очень не понравиться результат.
Решение, скорее всего, будет не в ограничениях как таковых (сорри за неудачную формулировку), а в изобретении надёжного способа, как ИИ сможет понять нас.
Дети обладают эмпатией, хорошо усваивают различные нормы и многое другое потому, что наш мозг отлично приспособлен для этого. ИИ же можно представить как аутиста или инопланетянина.
От сведения к основам будет небольшой толк, т.к. вся суть в деталях. "Жить хорошо"? Чем утонченно ублажать людей, легче похитить их, засунуть электроды в голову и стимулировать центр удовольствия. "Жить долго"? Чем присматривать за мотогонщиками и любителями гамбургеров, легче оборудовать бункеры, похитить всех людей, погрузить в анабиоз (чтобы тела не жрали энергию зазря) и обновлять их тела при помощи нанороботов до конца времен.
Таких ситуаций буквально бесчисленное множество, так что тремя законами робототехники здесь не обойтись. ИИ по сравнению с нами будет искать решения в гораздо большем пространстве возможностей, поэтому важно ввести ограничения на все случаи жизни и создать надежную кнопку "Стоп".
Суть в том, что на данный момент мы не можем даже литературным языком в полной мере описать все "блага" и ценности человечества. Не говоря о том, чтобы формализовать всё это и построить достаточно надёжного (aka безошибочного) исполнителя.
Можно предположить, что у ИИ будут определённые мотивации. Чтобы максимизировать вероятность выполнения поставленной задачи, будет разумно преследовать инструментальные цели: обезопасить себя, запасаться ресурсами и устранить любые факторы, могущие помешать достижению основной цели. И в этих вопросах у ИИ по умолчанию может не быть "благоразумия" или "умеренности".
Автор изначально опубликовал своё эссе на сайте, где читатели обычно будут более-менее знакомы с бэкграундом по этому вопросу. Читая этот текст "с нуля", конечно, многое может показаться более безосновательным, чем оно есть на самом деле; например, про некоторые свойства AGI можно говорить с большой степенью уверенности. Я не рассчитываю, что это замечание будет выглядеть убедительно, поэтому вкину сюда немного авторитета и укажу на то, что многие исследователи из DeepMind, OpenAI, UC Berkeley, University of Oxford и т.д. как минимум обеспокоены вопросами обеспечения "безопасности" ИИ (aka "the problem of aligning smarter-than-human AI with operators’ goals"), а то и работают в этой области; из самых громких имен технарей можно выделить Шейна Легга (сооснователя DeepMind) и Стюарта Рассела.
Если хотите получить общее представление об этих вопросах — вот отличное введение: https://habrahabr.ru/company/parallels/blog/330204/. Ещё, если захотите копнуть чуть глубже, можете полистать материал по ссылкам, которые указаны в статье, и по тем, которые я указал выше о некоторых свойствах AGI.
Странно сравнивать в этой ситуации людей и нейросети. Отсутствие прозрачности процесса принятия решений создаёт определённые проблемы даже с нынешними алгоритмами. Чего уж говорить о будущих системах ИИ, превосходящих людей во всех областях знаний и умений.
Ошибка выжившего ведь
Также, отправляю вас на страницу, где в MIRI обосновывают, почему следует заниматься вопросами безопасности ИИ уже сейчас: https://intelligence.org/faq/#early/
Ещё бы они не были знакомы — в MIRI Стюарт Рассел (один из авторов книги) числится как research advisor :)
Вероятно, всё не так страшно: https://examine.com/nutrition/does-diet-soda-cause-strokes-and-dementia/
Да и по выбросу инсулина (точнее, его отсутствию) там пруфы довольно убедительно выглядят: https://examine.com/nutrition/do-artificial-sweeteners-spike-insulin/
Здесь можно почитать подробнее:
Далее, поскольку ставки высоки, а наличие «теории, необходимой для создания универсальных агентов» и близко не гарантирует быстрое и надёжное решение проблемы безопасности, то начинать исследования будет разумно уже сейчас.
Если есть что по факту сказать — говорите. Не надо переходить на личности.
Если нужны профильные специалисты, процитирую абзац отсюда:
Вообще, статья получилась адовая, но лень разбирать подробно. Надеюсь, другие это сделают за меня.
Я имел в виду, что у нас очень хрупкая система ценностей. И если между ними и установками ИИ будет расхождение, то нам может очень не понравиться результат.
Решение, скорее всего, будет не в ограничениях как таковых (сорри за неудачную формулировку), а в изобретении надёжного способа, как ИИ сможет понять нас.
Дети обладают эмпатией, хорошо усваивают различные нормы и многое другое потому, что наш мозг отлично приспособлен для этого. ИИ же можно представить как аутиста или инопланетянина.
От сведения к основам будет небольшой толк, т.к. вся суть в деталях. "Жить хорошо"? Чем утонченно ублажать людей, легче похитить их, засунуть электроды в голову и стимулировать центр удовольствия. "Жить долго"? Чем присматривать за мотогонщиками и любителями гамбургеров, легче оборудовать бункеры, похитить всех людей, погрузить в анабиоз (чтобы тела не жрали энергию зазря) и обновлять их тела при помощи нанороботов до конца времен.
Таких ситуаций буквально бесчисленное множество, так что тремя законами робототехники здесь не обойтись. ИИ по сравнению с нами будет искать решения в гораздо большем пространстве возможностей, поэтому важно ввести ограничения на все случаи жизни и создать надежную кнопку "Стоп".
Суть в том, что на данный момент мы не можем даже литературным языком в полной мере описать все "блага" и ценности человечества. Не говоря о том, чтобы формализовать всё это и построить достаточно надёжного (aka безошибочного) исполнителя.
Можно предположить, что у ИИ будут определённые мотивации. Чтобы максимизировать вероятность выполнения поставленной задачи, будет разумно преследовать инструментальные цели: обезопасить себя, запасаться ресурсами и устранить любые факторы, могущие помешать достижению основной цели. И в этих вопросах у ИИ по умолчанию может не быть "благоразумия" или "умеренности".