Security Week 2549: вредоносные LLM без ограничений

Использование языковых моделей во вредоносной деятельности является достаточно свежим феноменом, который, впрочем, активно изучается. Так, в этой публикации «Лаборатории Касперского» приведены реальные примеры использования широкодоступных чатботов для генерации фишинговых сообщений и другого контента на вредоносных страницах. Достаточно раннее исследование прошлого года выявляет факты использования ИИ по простым маркерам: когда забывают удалить характерные для чатботов словесные обороты. Со своей стороны, за вредоносной активностью наблюдают разработчики соответствующих сервисов — есть отчеты от Google по ассистенту Gemini, а также от OpenAI. Работа вендоров, соответственно, ограничивает возможности киберпреступников по использованию публичных сервисов, и решением этой «проблемы» часто становится разработка собственных LLM, не имеющих никаких ограничений.
Эта сторона использования LLM во вредоносной деятельности раскрывается в свежей публикации компании Palo Alto Networks. В ней описаны две кастомные модели WormGPT и KawaiiGPT, разработанные специально для использования в криминальных целях. Доступ к LLM продается на киберкриминальных форумах и рекламируется как помощник для генерации фишинговых сообщений, создания вредоносного ПО и автоматизации типовых операций, таких как сбор информации о зараженной системе. Из двух изученных языковых моделей WormGPT — старшая, о ней впервые стало известно в июле 2023 года. Предположительно, она была основана на опенсорсной модели GPT-J 6B.




