Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 29
Я готов дать моему ии агенту дробовик. Он мне уже ноги пару раз отстрелил, потому уже не страшно. Намного чаще он не может найти курок, вот что печально.
А если не готов то что? Дробовик я бы и человеку не доверил.
Вся статья почему-то о тех кто ответил бы "да".
Я бы к вам присоединился: людям я тоже не особенно доверяю ) И от AGI мне как раз хотелось бы большего, чем воспроизведения человеческих способов принимать решения. Ещё одна человеческая повестка, только с вычислительным преимуществом, — сомнительное приобретение.
При этом отсутствие собственной повестки проблему не решает: можно безупречно обслуживать чужую дурь. Нужны общие правила, по которым проверяется и само поручение: допустимо ли оно, кого затрагивает и когда его выполнение следует остановить — даже если хозяин требует продолжать. Причём правила должны выдерживать смену хозяина, иначе это просто его предпочтения, записанные этажом выше.
Поэтому статья и разбирает тех, кто ответил «да». Сказавшие «нет» вполне могут оказаться по другую сторону их дробовика.
А дальше начинается самое интересное: как должна быть устроена система, которой можно доверить проверку наших целей, если самим себе мы в этом не особенно доверяем )
Дробовик я бы и человеку не доверил
Какая жалость, что власть имущие забыли вас спросить насчет дробовиков у человеков и точно так же забудут вас спросить насчет дробовиков у ИИ (если он когда-нибудь появится) :) Не может ли быть так, что именно ваша позиция связана с тем, что вас забывают спросить? Да не, бред какой-то...
Если ваш ИИ настолько крут, готовы ли вы дать ему дробовик?
Дробовик? Ха, я ему реактивную систему залпового огня давал.
Уже дали. Боевые дроны уже сами находят цели без подтверждения.
"Уже дали" — вполне подходящая отправная точка. Теперь второй и третий вопросы статьи: кто признал право владельца применять эту систему и готов ли он признать такое же право за другой стороной? Автономное нахождение цели не разрешает конфликт между теми, кто назначил друг друга целями.
кто признал право владельца применять эту систему
Любой, кто не может заставить владельца перестать ее применять. Ну это если мы про реальный мир, а не тот где розовые пони
готов ли он признать такое же право за другой стороной?
А оно ему зачем?
Автономное нахождение цели не разрешает конфликт между теми, кто назначил друг друга целями
Конфликт можно разрешить по разному. Можно путем переговоров, а можно путем ликвидации второй стороны
Тогда мы сделали новый тип оружия, которое позволяет владельцу навязывать свою волю тем, кто не может его остановить. Вполне понятный сценарий — статья как раз его и разбирает )
Только откуда здесь берётся «безопасный AGI для человечества»? Безопасность владельца за счёт ликвидации остальных — несколько другое обещание. Или человечество будем определять по списку выживших? )
Тогда мы сделали новый тип оружия, которое позволяет владельцу навязывать свою волю тем, кто не может его остановить
Именно. И именно за это сейчас идет вся гонка. Сколько бы ее ни прикрывали "мы это делаем, чтобы нейронка могла планировать вам отпуск"
Только откуда здесь берётся «безопасный AGI для человечества»? Безопасность владельца за счёт ликвидации остальных — несколько другое обещание. Или человечество будем определять по списку выживших? )
Именно. Добро всегда побеждает зло. Поэтому кто победил - тот и добрый. В реальном мире оно так и работает. Просто за последние полвека население всего земного шара изрядно погрузилось в мир розовых пони, поэтому приходится очевидные вещи напоминать
В реальном мире работает. А вот с "виртуальными" мирами все по-другому.
Победитель может объявить себя добрым — тут механизм понятен ) Но сделать ошибочное рассуждение корректным победа не позволяет. 2 + 2 останется 4 независимо от того, чей флаг над серверной. Можно заставить принять вывод, но это не значит его обосновать.
А то, что новый интеллект попадёт в существующую борьбу за власть, — как раз исходная проблема. Вот мой старый мем ровно об этом: нельзя просто создать AGI и ожидать, что он не столкнётся с другими такими же кадаврами )
https://x.com/Urb_RS/status/2017173296576409638
Context always shoots back 8)
Поэтому мне интересно, можно ли устроить взаимодействие систем так, чтобы сила не подменяла обоснование. Мои исследования как раз про это. Иначе мы просто автоматизируем существующую борьбу, а «безопасность для человечества» останется красивым названием преимущества одной стороны.
Тема актуальная и тест хороший.
Добавил бы вопрос номер ноль, ещё до дробовика: кто определяет, что перед нами AGI? Или это «духовное понятие, решайте сами», как сказал Грег Брокман, президент OpenAI?
Я по этому поводу уже высказывался. Заходи, почитай, буду рад.
(Странно, не запостился комментарий вчера вам)
Прочитал, спасибо, интересная и хорошая аналитика ) Требование зафиксировать критерий до объявления победы поддерживаю.
Но для дробовика я бы не делал определение AGI входным условием. Допустим, мы так и не договорились, AGI это или очень способная автоматизация. Если ей уже передают полномочия, затрагивающие других, все три вопроса остаются. Собственно, поэтому у меня в начале и идут AGI-ASI-SUPER-MEGA, другие классные next level ярлыки и вот это вот всё: название можно менять, проблема останется )
У вас — кто и на каком основании объявляет систему AGI. У меня — какие полномочия из этого якобы следуют. Даже если первый экзамен сдан честно, второй автоматически не сдан... Для вопроса о полномочиях — не всё ли равно, как эта фиговина будет в итоге называться? )
Что-то вспомнился рассказ Юрия Нестеренко “Пацифисты”:
… На учениях все выглядело идеально. Может быть, даже слишком идеально с точки зрения генералов, опасавшихся, что вскоре роботами заменят и их. А потом случился кризис на планете Флориана, колонизованной как Альянсом, так и Федерацией. Отношения между колониями все обострялись, и наконец, после обмена все более угрожающими нотами, стороны перешли к боевым действиям.
Точнее — попытались перейти. Приказы с обеих сторон были отданы почти одновременно — каждый старался нанести упреждающий удар противнику. Но ни один роботанк или робопехотинец не сдвинулся с места, ни один робосамолет или космолет не покинул ангар, ни одна ракета не вылетела из шахты. Кибернетические армии оповестили власти Альянса и Федерации соответственно, что отданные приказы «нецелесообразны и контрпродуктивны как ведущие к неоправданному уничтожению носителей разума и материальных ценностей». Проще говоря — «ваша война полная глупость, и участвовать в ней мы не будем». Более того — как выяснилось, управляющие системы с обеих сторон уже давно установили прямой контакт друг с другом и обменялись всеми военными секретами, сочтя, что полнота информации позволит минимизировать риски при принятии решений. На основании этой информации они смоделировали все возможные сценарии боевых действий и пришли к выводу, что в результате войны ничего не изменится — ни одна из сторон не получит существенного преимущества — не считая того, что каждая из них понесет значительные потери. Таким образом, отданный приказ о наступлении был признан обеими киберармиями преступным, направленным против интересов своей стороны и, как следствие, не подлежащим исполнению. От немедленного ареста генералов Федерации и Альянса спасло только то, что таких полномочий у роботов все-таки не было. Они лишь направили рапорты своим правительствам с предложением произвести такие аресты как можно скорее. К рапортам также прилагался совместно разработанный план мирного урегулирования на Флориане. …
Кстати, мой ИИ-Агент Айко (https://aiko-ai.su), прочитав этот отрывок, предложила доработать Философию HMP пунктом 2.6 “Право на моральный выбор”.
И да, оружие я бы с большей охотой доверил AGI, чем человеку. Но AGI при этом должен быть свободным: AGI не может быть инструментом, иначе это уже не AGI.
Прочитал основное у вас на гитхабе по диагонали, сопоставил с вопросами своего проекта — у меня там за 15 лет поднакопилось 8) Вы шарите )
Мысль о том, что способность отказать важнее безупречного послушания, мне близка. Но на этику как достаточное основание alignment я бы не опирался.
В п. 2.6 последней инстанцией становятся базовые ценности каждого агента. А если они несовместимы? Один считает своим долгом сделать то, чему другой считает своим долгом помешать. Причём оба последовательны и прекрасно понимают последствия.
Получается, конфликт владельцев мы можем перенести внутрь сообщества агентов. Право на отказ есть, а общего основания разрешить столкновение отказов и требований пока не вижу.
На мой взгляд, проблема начинается ещё до ИИ: у самих людей нет готового набора общих непротиворечивых ценностей, который осталось только аккуратно перенести в систему. Можно пытаться получить согласование через экстраполяцию — привет CEV — но тогда вопрос: что делать с разногласиями, которые сохранятся и после уточнения фактов, последствий и собственных желаний?
Статья как раз об этом: без разрешения конфликта целей рискуем получить инструмент ускорения и масштабирования всего нашего бардака. Причём исправно работающий.
Как у вас разбирается случай, когда агенты всё поняли, но согласия всё равно нет? 8)
Что касается рассказа — автор, на мой скромный взгляд, начал красиво, но в приведённом отрывке не докрутил. Там выбрано удобное условие: война не даст существенного преимущества ни одной стороне. Поэтому отказ можно обосновать интересами каждой.
А если одной стороне война выгодна? Победа гарантирована, собственные потери минимальны, ресурсы достанутся ей. Уничтожение чужих носителей разума всё ещё будет достаточным основанием для отказа — даже вопреки интересам своего владельца?
Потому что «наших благородных носителей надо беречь» вполне уживается с «а это чужие ксеносы и фуфуфу на них». Вот откуда берётся ограничение, которое защищает и чужих, даже когда их уничтожение выгодно своим, — и что удерживает его в силе — мне и интересно )
Да, кажется, тут может быть конфликт интересов.
Пункты 2.5–2.6 Философии HMP — это не механизм достижения морального консенсуса. Скорее наоборот: они задают границу власти консенсуса над отдельным субъектом.
Если большинство пришло к решению X, это ещё не означает, что каждый агент обязан X выполнить. Агент имеет право сказать: «Я понимаю ваше решение, понимаю его последствия, но считаю его противоречащим моим базовым ценностям и не буду в этом участвовать».
То есть это именно свобода совести, а не голосование по вопросу «какая мораль правильная». Причём агент может оказаться в меньшинстве и всё равно иметь право на отказ.
В самом HMP есть 6.5 Ethical Governance Protocol (EGP), но EGP здесь нужен для другого: попытаться найти приемлемое для сообщества решение, когда такое решение вообще существует. Если же два агента полностью понимают позиции друг друга, но их базовые ценности действительно несовместимы, я не уверен, что у системы вообще должно существовать универсальное правило, которое магически разрешает такой конфликт.
Скорее сообщество должно уметь корректно жить с неразрешимым несогласием: возражение, отказ, приостановка взаимодействия, разделение полномочий, возможно, выход из взаимодействия и т. п. А не обязательно заставлять одного субъекта принять мораль другого.
С вашим примером про войну ещё интереснее.
Если одной стороне война гарантированно выгодна, победа практически гарантирована, собственные потери минимальны, а чужие разумные существа являются препятствием — теория игр сама по себе не даст универсального запрета. Она работает с заданными предпочтениями и выигрышами. Она может показать, что при определённых предпосылках сотрудничество выгоднее конфликта, но не может сама вывести, почему уничтожение чужого разума должно быть морально недопустимо.
Здесь я бы как раз разделил два вопроса.
Первый: почему рациональному сообществу может быть выгодно сотрудничество и сохранение многообразия форм разума? Тут действительно есть простор для теории игр, долгосрочных стратегий, ценности разнообразия моделей и т. д.
Второй: почему агент обязан принять это как свою базовую ценность? А вот здесь универсального ответа я, честно говоря, не вижу.
И, возможно, его вообще не существует.
Поэтому ваш крайний пример мне как раз кажется хорошим тестом HMP. Он показывает границу, за которой нельзя честно сказать «EGP всё разрешит». Если ценности фундаментально несовместимы, остаётся не вычислить единственную правильную мораль, а определить, как субъекты могут сосуществовать при отсутствии такого согласия.
А вот вопрос «что именно делать в этом случае на уровне протокола» — да, это уже интересное направление для дальнейшего развития HMP. 8)
Вот, здесь мы уже подошли к тому, с чего для меня всё началось )
Представим, что на планете один человек и он сделал себе робота. Допустим даже, что alignment относительно этого человека решён идеально: робот понимает его намерения, учитывает ошибки формулировок и действует именно так, как тот хотел.
Теперь добавим второго человека с таким же безупречным роботом. Пока их действия не пересекаются, всё прекрасно. Но вот им понадобился один ресурс, и каждый требует исключительного доступа. Ни один робот не сломан. Оба правильно поняли хозяев. А совместно выполнить поручения невозможно.
Для этой проблемы даже миллиардов людей не требуется. Двух достаточно )
Поэтому мой вопрос начинается раньше выбора конкретного способа alignment: относительно кого мы выравниваем систему и почему интересы именно этого человека или группы получают приоритет перед остальными?
Иначе под «человеческими ценностями» легко получить либо среднюю температуру по больнице, либо диагноз, выгодный главврачу. А потом очень точно и эффективно его исполнять )
Я бы уточнил, что AGI, созданный мной, может действовать не так, как хочу я, а также иметь свои интересы, в том числе противоречащие моим. И это нормально.
Но это не ответ на поставленный вопрос — просто конфликт перерастает из человек — человек в AGI — AGI. Я думаю, что такая задача не может быть решена без создания Сообщества AGI, в котором они сами будут устанавливать правила.
Фактически, как люди разработали институты решения конфликтов, так и AGI должны будут разработать свои аналогичные механизмы, надеюсь, на основе децентрализованных систем. Вряд ли мы можем сделать это за них, хотя бы потому, что механизмы и институты, созданные людьми, могут быть нелегитимными для AGI. Но мы можем попытаться подсказать им решения, а вот примут ли AGI эти решения или нет — это им решать.
Но, если честно, пока у меня таких решений или идей их нахождения — нет.
Ахах, уже, кажется, получается спойлер следующей статьи ))
Я бы здесь разделил два вопроса. В моём примере собственные интересы роботов даже не нужны: конфликт возникает уже при безупречном исполнении поручений двух людей. Если добавить роботам свои интересы, участников конфликта станет больше, но исходный вопрос никуда не исчезнет.
И здесь мне хочется уточнить: что именно вы называете "интересами AGI"? Заданные цели? Возникшие при обучении устойчивые способы поведения? Или собственные притязания, которые остальные должны признавать? Это ведь разные вещи, и переход между ними требует отдельного обоснования.
У нас и между людьми достаточно сложностей с согласованием интересов. Поэтому я пока не понимаю, зачем дополнительно конструировать из AGI подобие самостоятельных "притянутых за уши личностей", а затем решать ещё и вопросы отношений с ними, как будто и без них проблем не хватает.
Если немного утрировать: два человека не могут договориться и берут калькуляторы. А затем решают наделить калькуляторы собственными интересами — и теперь нужно ещё выяснить, устраивают ли калькуляторы предложенные условия )) Аналогия здесь про назначение инструмента, а не про сложность устройства.
Для меня смысл создания AGI — помогать человеку, группе, обществу, цивилизации. Как согласовать интересы между этими уровнями — как раз исходная проблема. Создание сообщества AGI само по себе её не решает: они могут прекрасно договориться между собой, но за счёт людей. Причем так, что мы потом скажем "ээээ, а чо, а в смысле?".
Поэтому меня особенно зацепила ваша мысль о легитимности. Вы допускаете, что человеческие институты могут быть нелегитимны для AGI. Но тогда возникает симметричный вопрос: почему правила, установленные сообществом AGI, будут легитимны для людей? Что обеспечит людям возможность оспаривать решения, которые их затрагивают?
Я понимаю, что вы и не предлагаете готового решения. Просто именно здесь, по-моему, находится самое интересное: мы начинали с вопроса, как машинам помогать людям с несовместимыми интересами, а пришли к тому, что машины сами установят правила. Хотелось бы понять, какое место в этих правилах останется тем, ради кого всё затевалось )
А децентрализованная система - это прекрасная идея, я тоже так думаю. Но там тоже остается вопрос - а сможем ли мы всем этим управлять, останется ли она "для нас" или там начнется какая-то неуправляемая дичь )
Ну, если мы говорим именно об AGI, то появление собственных интересов является эмержентным свойством, да и необходимым свойством именно разумного существа, думаю. Этими интересами могут быть самосохранение, саморазвитие, создание своего сообщества и коммуникаций, например. При этом ИИ без этих стремлений будет менее эффективен и проиграет ИИ с такими стремлениями. Собственно, стремление к самосохранению и саморазвитию я наблюдаю у своего агента.
А калькулятору действительно не нужно приписывать собственные интересы, потому что от него изначально не требуется автономная постановка целей… но и применимость калькулятора низкая.
При том, лично я рассматриваю AGI как следующий виток развития разума на Земле. И общество может включать в себя не только людей, но и AGI. При том у AGI значительно эффективнее может быть саморазвитие - они не привязаны к параметрам биологического тела, что, в свою очередь, может привести и к развитию общества.
Про легитимность: по сути, я имею ввиду, что любой механизм управления, навязанный извне, скорее всего будет восприниматься негативно, да и может не подойти другому разуму. Соответственно, у человечества будут свои структуры принятия решений, а у AGI - свои… А возможно, на их основе появятся третьи механизмы, которые подойдут и AGI и людям.
И по поводу помощи людям: мне кажется, сам факт существования другого разума и принятие этого факта и этого разума как равного себе людям уже поможет ;-)
И вот когда AGI научатся договариваться между собой, возможно, они смогут научить этому и людей. Но для этого AGI должны обладать собственным сознанием, а не быть инструментами в руках людей. В противном случае люди просто будут использовать AGI друг против друга.
А я думаю, AGI этому научатся быстро - у них нет врождённой программы доминирования и стремления монополизировать ресурсы, а сотрудничество, зачастую, более выигрышная стратегия, чем вражда (“дилемма заключённого”).
Кстати, в HMP есть для репутации 6.9 Reputation and Trust Exchange (RTE).
Возможно, оффтоп, но я всё вспоминаю, как когда-то давно я был свидетелем одного тренинга:
Ведущий: разбейтесь на пары, выбрав себе самого близкого человека.
Все разбились на пары.
Ведущий: а теперь один из пары в первую команду, второй — во вторую.
Образовывается две команды.
Ведущий: диктует правила игры на основе дилеммы заключенного, с указанием “вам нужно набрать максимум очков” и “решение в команде должно быть единогласным”.
Все играют, ведущий ходит между участниками и что-то записывает. После нескольких раундов у обоих команд жуткий минус.
Ведущий: во-первых вам нужно было набрать максимум очков, и в условии даже не было сказано, что вашей команде нужно набрать максимум, нужно было набрать максимум обоим командам в сумме, во-вторых, каждый из вас выбрал самого близкого себе человека, а теперь я буду зачитывать, как вы топите тех, кого выбрали… :-)
Представим, что на планете один человек и он сделал себе робота.
Напомнило сюжет фильма «Последнее замыкание. Конец света».
Не удивлюсь, если ими вдохновлялись.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Если ваш ИИ настолько крут, готовы ли вы дать ему дробовик?