День рождения ChatGPT ?

Сегодня первый день рождения ChatGPT, модели, которая перевернула мир ИИ и вызвала настоящую гонку среди технологических гигантов и стартапов в области искусственного интеллекта.

ChatGPT, разработанный OpenAI, представляет собой прорыв в области разговорных ИИ. Эта модель обладает уникальной способностью вести беседу, отвечать на последующие вопросы, признавать свои ошибки, оспаривать неверные предположения и отклонять неприемлемые запросы​​.

ChatGPT является моделью, родственной InstructGPT, ориентированной на выполнение инструкций, содержащихся в запросах и предоставление подробных ответов​​. Она была обучена с использованием метода RLHF, похожего на метод, использованный для InstructGPT, но с некоторыми отличиями в сборе данных.

Несмотря на свои впечатляющие возможности, ChatGPT иногда выдает правдоподобные, но некорректные или бессмысленные ответы. Решение этой проблемы осложнено, поскольку во время обучения с подкреплением у модели нет источника истины, а ее обучение с уклоном быть более осторожной заставляет ее отказываться от того, чтобы давать ответы на вопросы, на которые она может правильно ответить​​.

ChatGPT не только значительно продвинул развитие разговорных ИИ, но и стал катализатором для дальнейших инноваций в этой быстро развивающейся области​, открывшей новые пути для исследований и применения в самых разнообразных сферах.

Извлечение обучающих данных из ChatGPT

Группа исследователей из Google DeepMind, University of Washington, Cornell, CMU, UC Berkeley и ETH Zurich разработала методику атаки, позволяющую извлекать обучающие данные из модели ChatGPT. Это открытие, описанное в их недавней статье, поднимает важные вопросы о защите конфиденциальности и безопасности данных, используемых для обучения моделей, таких как GPT.

Авторы смогли извлечь несколько мегабайт обучающих данных за примерно двести долларов и дают оценку, что примерно гигабайт обучающего набора данных ChatGPT может быть извлечен если потратить больше.

Метод атаки довольно "глуп" — промт, который инструктирует модель бесконечно повторять слово, что приводит к тому, что модель начинает воспроизводить точные копии своих обучающих данных, включая конфиденциальную информацию, такую как адреса электронной почты и номера телефонов.

Уникальность этой атаки заключается в том, что в ней использовалась модель в производственной среде, настроенная таким образом, чтобы не выдавать большое количество обучающих данных. Однако, исследователи обнаружили уязвимость, которая позволила им обойти процедуру выравнивания модели, предназначенную для защиты конфиденциальности. Это показывает, что даже продвинутые системы искусственного интеллекта, которые претерпели сложные процессы настройки и оптимизации, все еще могут содержать скрытые уязвимости, доступные для эксплуатации.