В этой статье разберём исследование от компании Anthropic, которое демонстрирует практическую возможность вскрытия «черного ящика» больших языковых моделей для обеспечения их контролируемости и безопасности с помощью разреженных автоэнкодеров (SAE — Sparse AutoEncoders). И в конце, попробуем поуправлять поведением модели — заставим думать, что она Санта Клаус 🎅.

Всем привет!
Погружаюсь в новую для себя область AI Security, в связи с чем решил написать несколько обзоров на самые обсуждаемые исследования  и статьи по этой теме. Сегодня поговорим про взлом LLM и неожиданные выводы исследования StrongReject.