Критика и предложения по статье IDs for AI Systems.
Уже в ближайшем будущем сеть будет наполнена ИИ агентами (отдельным ИИ сущностями, выполняющими разные действия). Персональные агенты, агенты компаний, государств… Скорей всего уже через пару лет почти у всех нас будут как минимум по одному своему агенту, как сейчас у нас есть профили в соцсетях.
Как понять кому принадлежит агент, с которым ты или твой агент сейчас собираетесь взаимодействовать? Можно ли ему доверять? Не фейк ли это? Брать ли трубку или заказывать ли на этом сайте билеты?
Агент ID - это что-то вроде телефонного номера, но более сложное, так как поведение определяется многими параметрами - промптом, базой знаний и моделью. Изменение любого из них приведет к изменению поведения агента. Можно рассматривать это как версию определенной программы, она как бы та же, но немного иная. По мнению авторов, каждая такая версия заслуживает своего ID.
ID так же необходим, чтобы расплести клубок всех возможных сложных взаимодействий между агентами. Если что-то пошло не так, то только обладая уникальным ID можно понять, в каком именно состоянии находился агент, когда это произошло. Это особенно важно, когда агенты будут ворочать огромными активами, например, финансовых компаний. Ну и с помощью ID можно просто заблокировать агента в каких-то ситуациях.
Агентов будет куда больше, чем юзеров. Более того, они будут создавать своих агентов, например, чтобы что-то запараллелить. Если один агент создает другой, то у второго будет свой ID.
Поведение ИИ меняется от того, что это за модель, что она знает, и какую задачу получила, в разработанной авторами парадигме ID будет выдаваться только, если все три - safe, но кем?
Технически - звучит прекрасно, остается найти институцию, которая будет выдавать агентам эти ID и проверять их на безопасность. Авторы предлагают, что это будет некий ID провайдер, которому доверяют все участники - корпорация, гос.институт, общественная организация ... . Но давайте на чистоту, кто, вы думаете, реально будет этим провайдером? Думаю это очевидно, информация - это современная сила, важный ресурс, правительства никому ее не дадут.
И вот тут начинаются проблемы (по крайней мере для 93% населения Земли*, кто не живет в прекрасных либеральных демократиях, особенно для 54%, кто живет при авторитаризме. Чтобы быть уверенным, что агент действительно безопасен, провайдеру нужно знать о нем все - базу знаний, задачу и модель. Т.е. все, что агент о вас знает, и все, что вы говорите ему сделать. А это может быть очень очень многое - какие у вас болезни, куда вы Едите, где едИте, с кем встречаетесь ... Можно сказать, что корпорации и правительства и так многое из этого о нас знают, да, но здесь этого будет на порядок больше и главное, оно будет сразу централизовано и проанализировано.
Конечно, если у вас соблюдают права человека, то вы можете попробовать сделать эту систему открытой, поставить какие-то общественный организации контролировать это все, может быть ограничить информацию необходимую предоставить провайдеру ... Но опять же, это может (!) сработать только у вот тех 7%, что насчет остальных? Мы получим супер мощную систему слежки.
Андрей, ты опять о негативе? Критикуешь, может предложишь что-то получше?
А вот и предложу.
Вообще, мне кажется, что эта статья - замечательный старт дискуссии, которую нам, как обществу, самое время вести.
Да, нам безусловно нужны ID чтобы агенты хоть как-то могли между собой взаимодействовать. Вот только эти ID должны выдаваться только и исключительно государственным и бизнес структурам, которые нуждаются в контроле. Подобно тому, как государство следит за соблюдением техник безопасности авиакомпаниями, чистотой на кухнях кафешек и прочим, оно должно обеспечить нас уверенностью, что агент компании, с которым мы говорим - действительно тот, за кого он себя выдает.
Но я абсолютно против персональных ID. Мне кажется, что информация, которой обладают персональные ИИшки должна рассматриваться как персональные данные и защищаться законом. Никто не должен знать с кем я провожу вечер (кроме этих людей), куда я покупаю билеты (кроме авиакомпании), и что не так с моей головой (кроме моих невролога и психиатра), если я сам не решу обратного.
Хотите верификации индивидумом, пусть это будет как в телеге - UserID и все, больше ничего, ну модель ИИшки можно добавить. Каждый человек несет персональную ответственность за поведение своих агентов, точнее за то, какие именно инструкции он им дал, а за модель** - корпорация. И если было совершенно преступление, то персональные данные могут быть открыты по решению суда.
В том, что я предлагаю нет ничего нового. Именно так мы сейчас управляем политическими, экономическими и силовыми системами. Существует огромный дисбаланс в ресурсах между институтами и человеком, именно поэтому последний должен быть защищен, а первые находиться под контролем.
В общем-то этот пост - это крик души к разработчикам современных ИИ систем думать не только об технической оптимизации, но и о политических последствиях для человечества.
Спасибо за внимание 🙏
* это все примерные числа, они зависят от конкретных определений авторитаризма и либеральной демократии используемых разными институтами. Границы не очевидны. Но по сути, все сходятся к <10% л. демократий и 50% авторитаризма.
** остается вопрос, как регистрировать собственные кастомные модели. Видимо нужно какое‑то техническое средство их проверки и выдачи «лиценции», как с регистрацией самодельный автомобилей.
