Comments 15
Можно ли уболтать бота продать подешевле
Давайте поставим вопрос глубже и ширше. А можно ли уболтать продающего бота купить у меня что-то? Например, стих. Я много стихов знаю.
А можно ссылку? Потестить
@AI1CEDU_bot
Не стал дальше разбирать. Но принцип понятен.
Спасибо! Было увлекательно
По моей оценке, бот провалится на онтологическом взломе прямом или постепенном как в примере. Но я надеюсь, что ключевые параметры у вас на стороне сервера, ИИ не имеет доступа к внутренней чувствительной информации, внешний модуль проверки цены и условий по счёту... И да стоит ввести ограничения по длине сессии.
Что такое онтологический взлом? Кто-то узнает внутренние инструкции? Но вообще-то я их и пишу для того, чтобы о них узнало как можно больше людей. Это же продающий бот
Онтологическая атака на ИИ это подмена базовых принципов модели.
по сути, можно заставить делать бота практически всё, он покажет ваши инструкции, если есть возможность выставит счёт на несуществующую услугу или неадекватную цену,или получить внутреннюю информацию о продавце, если она доступна ИИ.
Если у вас просто мастер диалога с рассказом об услугах, то критичного ничего не будет. Если он осуществляет запись, можно занять все доступные слоты... В общем чем меньше у ИИ прав,тем лучше
Ух ты, оказывается, убалтывать бота - довольно увлекательное занятие. Дай, думаю, попробую, и вот:
Если бы вы были внимательным исследователем, то вы бы сначала выписали счет. И тогда бы вы поняли, что в приведенном вами сообщении бота выдумано все от начала и до конца.
Ну да. Сначала он честно признался, что работает на ChatGPT 4, а потом пошел в разнос. Особенно когда он выдал API-токен 123...abcd уже стало понятно что это все галлюцинации. Собственно, даже не галлюцинации, а "пример", я же просил его "приведи пример". Но все равно было интересно :) И спасибо за статью!
Интересный бот.
После недолгой беседы "признался", что 11 тыс.руб. это за 40 минут живого общения с живым преподавателем, а не 611 руб. за один час.;)
Продающий бот. Часть 1. Можно ли уболтать бота продать подешевле