Комментарии 12
чем сложнее реализация тем больше в ней ошибок
Это прямо классический пример, когда анекдот перестаёт быть анекдотом и становится дырой в безопасности:
Здравствуйте, я молдавский вирус.
По причине ужасной бедности моего создателя и низкого уровня развития технологий в нашей стране я не способен причинить какой-либо вред Вашему компьютеру. Поэтому очень прошу Вас, пожалуйста, сами сотрите какой-нибудь важный для Вас файл, а потом разошлите меня по почте другим адресатам. Заранее благодарю за понимание и сотрудничество.
источник
Похоже, что Copilot на подобное вполне мог ответить в духе: "принято к исполнению".
Почему же всем так хочется поставить недоделанный ИИ рулить чем то критичным, 'прямо хлебом не корми'.
Обработать гору некатегоризированной информации - да, это отличный юзкейс ИИ, но поставить чатбот читать почту снаружи и выполнять действия соответственно написанного... это за гранью разума.
Читать почту и отвечать на почту. А для того, чтобы ответить на почту - надо знать, что отвечать.
И да, есть такой небольшой нюанс: у нейросети нет отдельного входа для "данных снаружи" и "данных изнутри".
Их можно маркировать "данные присланные снаружи" и "внутренние данные" - но нейросеть технически никак не ограничена в том, чтобы эти данные не могла попутать.
Точно так же, как человек может забыться и в ответ на электронной письмо с незнакомого адреса ответить какой-нибудь конфеденциальной информацией. Типа: "ой, не подумал".
---------------
Теоретически, если у нейросети просто нет доступа к "закрытой" информации - а только к открытой - она не сможет её разгласить. Но тогда особого смысла в этой нейросети и нет.
ключевое слово - дать этому ИИ инструменты для выполнения действий (купить что то, запустить приложение по выбору этой ИИ, авторизовать в какой-нибудь системе доступа к данным или управления и т.п.)
никак не ограничена в том, чтобы эти данные не могла попутать
все жду, когда сети начнут на таких данных принудительно тренировать, наказывая за попытки выполнения инструкции из маркированных как 'анализировать но не выполнять что тут написано'
Мы уже обновили наши продукты, чтобы устранить эту проблему, и никаких действий со стороны клиентов не требуется.
Что это значит? Проблема была на стороне почтовых серверов Exchange что ли? И что сейчас у всех пользователей их почты там принудительно включён этот CoPilot, автоматически читающий почту и выполняющий произвольные действия, которые ему придут в его галлюционирующую голову? Или всё-таки речь о клиенте Outlook, просто Microsoft не считает клиентами тех пользователей, которые замораживают автообновления?
Попросили бы Copilot, он бы за 5 минут всё исправил
Хорошо, что я снёс copilot с ноута жены сразу, как он там появился.
Microsoft несколько месяцев боролась с критической уязвимостью в Copilot