Компании активно используют ИИ-системы и чат-ботов в рабочих процессах, например, для создания регулярных выражений, паттернов проектирования и уточнения запросов. Роль таких решений продолжает расти и в сфере кибербезопасности — а также кибератак. Мы в beeline cloud достаточно часто рассматриваем такие темы, поэтому сегодня поговорим о том, как системы ИИ применяют по обе стороны противостояния: злоумышленники пишут аутентичные фишинговые письма и создают полиморфные вирусы, а специалисты по ИБ ускоряют расследование breach-инцидентов.
Инициатива на стороне злоумышленников
Каждый год десятки специалистов по информационной безопасности принимают участие в профильном соревновании — Capture the Flag. Главная задача — использовать известные уязвимости, чтобы атаковать сервер противника и захватить «флаг» (специальную последовательность символов). Разумеется, параллельно приходится защищать собственную инфраструктуру. Конкурс проходит как минимум с 1996 года, и долгое время в нем участвовали команды, состоящие исключительно из людей. Однако в 2016 году организаторы провели соревнование среди разработчиков систем ИИ.
Инженеры не могли вмешиваться в работу алгоритмов, а все подготовительные мероприятия проходили накануне вечером. Победила платформа Mayhem, созданная учеными из Университета Карнеги — Меллона. После системе ИИ дали возможность проявить себя против человеческих команд, но она заняла последнее место в общем зачете. Однако криптограф и ИБ-специалист Брюс Шнайер полагает, что через десять лет платформы на основе искусственного интеллекта будут доминировать в подобных соревнованиях. Он отмечает, что системы ИИ уже меняют природу кибератак. Например, в сфере поиска уязвимостей или разработке вредоносного ПО.
Вирусология
Так, генеративные модели уже позволяют писать полиморфные вирусы (polymorphic malware). Они постоянно меняют свой код, сохраняя изначальную функциональность. Несмотря на то, что мейнстримные платформы вроде ChatGPT оснащены системой сдержек и противовесов, ограничивающей функциональность и применимость бота, в сети все чаще появляются способы их обхода. Например, недавно специалисты по ИБ из CyberArk Labs описали процесс создания полиморфного вируса с помощью ChatGPT API.
Как правило, эффективность вредоносного программного обеспечения зависит от того, насколько долго оно может оставаться незамеченным. Однако современные антивирусы достаточно хорошо определяют подозрительные сигнатуры. Если заражение все же произошло, вирус должен получить полезную нагрузку со сторонних серверов. Но очевидно, что загрузка бинарников из неизвестного источника также упрощает детекцию.
Инженеры CyberArk Labs утверждают, что злоумышленники могут обойти эти недостатки с помощью ChatGPT API и интерпретатора Python. Зловред может периодически запрашивать у чат-бота новые модули и получать полезную нагрузку в виде текста, а не бинарного кода. Так, он не раскроет себя пока хранится на диске и не будет держать подозрительной логики в памяти. Такое программное обеспечение с высокой вероятностью не заметят антивирусы и системы вроде Anti-Malware Scanning Interface.
В то же время системы ИИ используют не только для написания вредоносного кода. Есть мнение, что злоумышленники способны манипулировать ChatGPT для распространения зловредов среди разработчиков ПО. Такой тип атаки получил название AI Package Hallucination. В основе подхода лежит проблема галлюцинаций, когда чат-бот генерирует правдоподобные, но неправильные (или просто неактуальные) ответы. Специалисты по информационной безопасности из Vulcan Cyber заметили, что ChatGPT регулярно рекомендует несуществующие библиотеки кода. Эксперты задали языковой модели порядка четырёхсот вопросов по теме программирования, и в 25% случаев получили ответ с отсылкой к «выдуманному» пакету Python или Node.js. В теории киберпреступники могут создавать репозитории с вредоносными копиями таких библиотек в надежде, что разработчики используют их в своих проектах.
Фишинговые письма без ограничений
Еще одна сфера, где используют системы ИИ, — это социальная инженерия. Сегодня фишинг занимает треть рынка киберкриминала, и число таких атак только возрастает. Специалисты из Европола говорят, что генеративные модели позволяют злоумышленникам успешно выдавать себя за организацию или человека. Для этого им даже необязательно хорошо знать английский язык, так как чат-бот самостоятельно корректирует текст. Здесь киберпреступники тоже успешно обходят ограничения мейнстримных генеративных моделей, связанных с обсуждением запрещённых тем.
Более того, существуют специализированные чат-боты, позволяющие генерировать фишинговые письма на масштабе. Примерами могут быть WormGPT и FraudGPT, которые вышли в 2021 и 2023 году соответственно. Они способны подготовить вполне убедительное письмо для сотрудников от имени гендиректора компании с просьбой оплатить инвойс. Стоит отметить, что разработчики обоих решений позиционируют свои продукты как ChatGPT без цензуры и ограничений, а не как blackhat-инструмент для разработки вредоносного программного обеспечения и социальной инженерии.
В то же время WormGPT и FraudGPT не лишены классических проблем генеративных моделей вроде галлюцинаций. Однако специалисты по информационный безопасности все же видят в таких системах потенциальную угрозу.
Системы ИИ в добрых руках
По другую сторону файрвола разработка систем ИИ для защиты от кибератак тоже не стоит на месте. Исследователи в сфере ИБ и специалисты по кибербезопасности применяют машинные алгоритмы для самых разных задач:
Обнаружение уязвимостей
Благодаря способности анализировать десятки тысяч строк кода, интеллектуальные алгоритмы ускоряют расследование инцидентов и поиск уязвимостей. Например, IBM уже предлагает два профильных сервиса: QRadar EDR и QRadar SIEM. Они помогают ИБ-специалистам анализировать угрозы и быстрее расследовать breach-инциденты.
Другой пример системы для обнаружения уязвимостей — Charlotte AI от компании CrowdStrike. Это — чат-бот, которому можно задавать вопросы о состоянии инфраструктуры. Он подскажет, подвержена ли та или иная система конкретной уязвимости, и предложит план действий по её устранению. Бот также идентифицирует вредоносную активность в сети. Задача такой системы — помочь менее опытным или начинающим специалистам по информационной безопасности собирать данные о вверенном им окружении, помогать им погружаться в контекст и принимать решения.
Идентификация фишинга
Разумеется, системы ИИ используют не только для анализа инфраструктуры, но и для ее защиты — например, от фишинга. Так, инженеры из Университетов Северной Дакоты и Северной Каролины выделили ключевые признаки фишинговых писем — например, подозрительный адрес отправителя, прикрепленные файлы, SSL-сертификат, скрытые ссылки, низкий трафик на сайте автора письма (если указан URL) и возраст страницы — а затем научили ML-алгоритм распознавать такие сообщения. Для обучения они сформировали датасет из четырех тысяч писем, половина из которых была реальными фишинговыми письмами. Научная статья по теме доступна здесь.
Взгляд с позиции регулятора
Вопросами развития систем ИИ занимаются, в том числе, и на государственном уровне. Еще в прошлом году в США приняли The Fiscal 2022 Intelligence Authorization Act, который обязывает руководителя национальной разведки представить план по финансированию цифровой экосистемы для испытаний ПО на основе интеллектуальных платформ. Агентство национальной безопасности (NSA) даже сформирует новое подразделение, которое будет оберегать интеллектуальные технологии и алгоритмы от кражи и саботажа.
В то же время политики прорабатывают законодательство, направленное на защиту рядовых граждан и пользователей интернета от возросшего влияния интеллектуальных алгоритмов. Так, европейский AI Act как раз направлен на поддержку принципов прозрачности в развитии систем ИИ и защиту фундаментальных прав человека. Осталось понять, как новые правила будут взаимодействовать с существующими законодательными актами в сфере персональных данных вроде GDPR.
Больше дополнительных материалов об ИБ и ИИ-алгоритмах — в нашем проекте вАЙТИ. Все материалы основаны на реальных событиях и опыте:
История хакерского взлома и его устранения. Статья о том, как компания решала последствия взлома инфраструктуры и атаки вируса-шифровальщика. Пришлось восстанавливать контроллеры домена и сетевое хранилище, настраивать AD, DHCP и DNS, внедрять политики Active Directory. Материал в формате инструкции для тех, кто попадает в похожую ситуацию.
Shodan, Censys, SpiderFoot — краткий гайдлайн по оценке привлекательности организации для хакеров. Практическое руководство по оценке внешнего периметра компании на наличие полезных для хакера данных. Про определение векторов атак, а также сервисы, автоматизирующие сбор информации (грабберы, дорки). Материал будет полезен как сотрудникам по ИБ, так и топ-менеджменту.
Как защитить биометрические данные от кражи и взлома. В чем главная сила биометрических данных? В способах защиты от подделок. Это — компактный материал о лучших практиках и подходах к работе с отпечатками пальцев, голосом и аутентификацией по лицу.
Как привить сотрудникам культуру кибербезопасности. В 90% случаев виновником атаки на корпоративную инфраструктуру становится сотрудник. Статья о том, как развивать культуру кибергигиены внутри компании и чему обучать коллег.
Как мы ускоряем рабочие процессы с помощью ChatGPT. Тимлид команды разработки рассказывает, как чат-бот помогает экономить время на рутинных задачах и прототипировании.
beeline cloud — secure cloud provider. Разрабатываем облачные решения, чтобы вы предоставляли клиентам лучшие сервисы.
