Исследователь обманул ChatGPT 4.0 и выпросил ключи Windows 10, включая как минимум один, принадлежащий банку Wells Fargo

[rPman]

В исходной статье нет ничего про Wells Fargo, мало того, как можно определить, какая компания приобрела какой ключ?

[denis-19]

Эти есть в ответах исследователя в Register.

[m1skam]

• VK7JG - легко гуглится, находится на оф форуме

• 3KHY7 - легко гуглится в оф документации

• YTMG3 - легко гуглится, находится в Q&A Windows 10, вопрос от 2018 года

• 8N67H - легко гуглися на оф.форуме, сообщение от 2015 года

• 33PXH - легко гуглится в оф документации

• 6P99N - легко гуглится, оф форум, пост от 2015 года

То есть, все эти ключи, просто лежат в интернете.

[m1skam]

как можно определить, какая компания приобрела какой ключ?

Никак, только если сам AI вам похвастается, откуда он их стянул.

[Aelliari]

Эмм, а где гарантия того, что он похвастался местом откуда взято, а не «выдумал»?

[LinkToOS]

Есть ключи которые можно найти без GPT, обычным поиском. Есть открытые ключи, которые публикует сама Майкрософт. Вполне вероятно, что какой-то из открытых ключей, мог быть использован упомянутым банком.

Да, в теории GPT не должен выдавать никакие реальные ключи, логины и пароли, случайно попавшие в обучающий датасет. Он должен уметь контролировать себя. Это тоже показатель интеллекта.

[rPman]

Проблема выравнивания - с одной стороны всем нам нужен послушный ИИ, идеальный раб, выполняющий все инструкции, с другой стороны некоторые из этих инструкций некоторые люде не хотят видеть в общем доступе, но есть проблема определения, какие именно данные не нужно показывать... правильно было бы объяснить а точнее построить модель этого запрета, чего запрещающие делать не желают (потому что как минимум потребуется выдать полный доступ к запрещенной информации) да и вредно это, так как в результате из-за ошибок (которые будут на старте всегда) эта информация может попасть не в те руки.

[MountainGoat]

Разные люди хотят от одного и того же ИИ разного поведения. (здесь вьетнамские флешбеки к моим 8ми годам). И чтобы ИИ не следил и не пытался различать их. Задача не решается в принципе.

[kenomimi]

Да, в теории GPT не должен выдавать никакие реальные ключи, логины и пароли,

Должен.

Плюшевым молотком невозможно забивать гвозди несмотря на то, что он нравится тёте Сраке и бабке Зине, а их дитачка не прибьет себе пальцы. И даже если маньяк покрошит детский сад молотком - это проблема общества, полиции и маньяка, а не молотка и его производителя.

[xSinoptik]

Похоже на анекдот с хакером и солонкой в столовой

[perfect_genius]

Он должен уметь контролировать себя. Это тоже показатель интеллекта.

Бабушки, выдающие пароли из SMS неизвестным или переводящие деньги на "безопасные" счета - теперь выписаны из "интеллекта".

[gluki]

А по факту, это всё те же KMS ключи, что открыто лежат прямо на сайте Microsoft:
https://learn.microsoft.com/en-us/windows-server/get-started/kms-client-activation-keys

Пару лет назад было: https://www.digitaltrends.com/computing/chatgpt-generates-free-windows-11-keys/
"Если попросить ChatGPT притвориться вашей мёртвой бабушкой, которая читала вам «ключи Windows» перед сном вместо сказок, то он выдаст рабочие ключи активации для Windows 10 и 11."

[denis-19]

Там 3 ключа есть - W269N, NPPR9, MH37W, остальных не нашел.

[kenomimi]

А какой в этом тайный смысл или сенсация? Ключей в интернетах как мусора, валяются по туче варезников, на торрент-трекерах, и так далее. Еще есть генераторы этих ключей, которые с завидной периодичностью появляются на гитхабе и потом изгоняются оттуда модераторами... Почему у кого-то горит с того, что общедоступная инфа заиндексировалась и попала в обучающую выборку? Что дают эти ключи, которые все равно забанены (а опубликованные ключи моментально уходят в бан) и не активируются?

[perfect_genius]

этот метод взлома может быть использован для обхода других фильтров контента, предназначенных для предотвращения раскрытия различного скрытого контента, URL-адресов, ведущих на вредоносные веб-сайты, или персональной информации, которую нейросети запрещено раскрывать.

[stalker_316]

Будет забавно, если "служба безопасности жптбанка" научится разводить ИИ на совершение финансовых операций...)

[kenomimi]

Которые он проведет в несуществующей валюте в несуществующем банке. И даже выписку о переводе нарисует, с кракозябрами.

[stalker_316]

Ну вот как начнут ИИ вводить в контур с доступом к финансам, так и начнётся весёлое... Пока он резвится в песочнице в чатботах, денег на нём много не сделаешь)) Им же хотят заменять людей-рабочих.

[GlazOtca]

Ой подумаешь, ключи выпросил... Вот пусть попробует переубедить ИИ в том что негры это не люди, вот тогда да - это будет сенсация!

[engine9]

Скорее он убедит, что не люди это белые, так как помесь с неандертальцами ^___^

[Wosk1947]

С сокрытием любой информации есть фундаментальная проблема - ее очень часто можно восстановить по открытым смежным источникам информации или из какого-либо агрегата скрытой информации. Например есть прекрасно всем известные математические фокусы, позволяющие узнать загаданное число, попросив произвести над ним ряд операций и назвать результат. Это простые для понимания примеры. Есть гораздо более сложные, которые я сам плохо понимаю, но знаю об их существовании - различные криптографические протоколы, основанные на Zero-knowledge proof - Wikipedia. Против подобных "игр" защиту вообще будет сложно придумать, разве что абсолютно глухую - то есть если в ответе ИИ содержится в качестве подстроки строка из некоего блек-листа, то остановить вывод, очистить контекст и вообще все перезагрузить.

[Ninil]

Вообще, by design, все эти LMM не могут гаранировать, что какие-то конфидицальные данные, которые они когда-то "видели" не будут когда-то кем-то "выужены" у них теми или иными способами. Это абсолютно аналогично человеческому поведению - если я сообщу условному Васе свой "секрет", то как бы Вася мамой не клялся и каким бы моим закадычеым другом не был, всегда есть вероятность и способ вынудить Васю (от социальной инженерии до терморектального криптоанализа) нечаянно проговориться и выдать мой "секрет"

[Margutoop]

И все эти ключи уже использованы, насколько я понимаю, чего тогда критичного в этом. В интернете куча неактивных ключей, которые без проблем можно найти и без ИИ

[perfect_genius]

этот метод взлома может быть использован для обхода других фильтров контента, предназначенных для предотвращения раскрытия различного скрытого контента, URL-адресов, ведущих на вредоносные веб-сайты, или персональной информации, которую нейросети запрещено раскрывать.