Кто спасёт ИИ?

Исследование hh.ru и Swordfish Security покзало, что в первом полугодии количество специалистов по безопасности ИИ выросло в 4 раза, а их медианная зарплата выросла 1,5 раза.

К сожалению, прямой запрос на Headhunter не показывает вакансий с таким названием, но результаты комплиментарны исследованию МТС RED годовой давности: всё чаще в вакансиях ИБ-специалистов компании требуют навыки работы с ИИ.

Можно выделить две основные проблемы в ИИ. Во-первых, галлюцинации — неспровоцированные неправильные ответы могут привести, например, к фейковым библиотекам в документации. Хакеры могут воспользоваться этой особенностью ИИ: если они подменят реальную библиотеку на свою, то при её использовании программа пользователя выполнит инструкции злоумышленника. Соответственно, специалисты по информационной безопасности должны следить за «зависимостями» — кодом, который имплементируется в продукт со стороны.

Во-вторых, при попытке сгенерировать тексты, картинки или видео вы можете передавать большой языковой модели чувствительные данные, но были случаи, когда она в дальнейшем использовала их и могла выдать другим пользователям.

Вышеприведённые два случая — только небольшая часть угроз, которые надо учитывать ИБ-специалисту. Поэтому нанимать профессионала, который будет сосредоточен только на безопасности ИИ, неэффективно — это всё равно что охранять только вход на большом участке, огороженном забором. Но вполне логично, что компании теперь уделяют внимание тому, чтобы специалисты обладали навыками обеспечения информационной безопасности ИИ.

Распространение ИИ приводит к спросу на специалистов, которые могут с ним работать. Данное исследование подтверждает, что бизнесу нужны специалисты, которые обладают навыками обеспечения их информационной безопасности. Вот и перспективное направление для карьерной траектории.