А что вообще такое аудит искусственного интеллекта? Это процесс, который проверяет, соответствуют ли система ИИ и её алгоритмы безопасным, правовым и этическим стандартам.
Подробнее о требованиях к аудиту рассказал Петр Владимирович Ганелин, советник по стратегии АНО «НТЦ ЦК». Он выступал на экспертном клубе «Аудит безопасности систем ИИ», который организовала ИТ-компания «Криптонит».
Какими качествами должна обладать надёжная система ИИ?
Подотчетность и прозрачность.
Объясняемость. Важно, чтобы пользователь понимал цель и возможное влияние системы ИИ.
Обеспечение приватности. Система ИИ должна гарантировать пользователю анонимность, конфиденциальность и контроль за данными.
Достоверность и надежность. Систему ИИ надо постоянно тестировать и проверять, точно ли она работает так, как было задумано.
Безопасность. Система ИИ не должна приводить к состоянию, в котором человек подвергается опасности.
Устойчивость. Это способность поддерживать регулярную деятельность и предотвращать, защищаться и восстанавливаться после атак.
А на чем именно фокусируется аудит ИИ?
Обычно аудиты обращают особое внимание на:
ввод данных для обучения (источник, качество и достоверность);
модели и алгоритмы ИИ;
общее использование системы ИИ, с кем взаимодействует система, какие вопросы решаются с ее помощью (уровень принятия решений, их контроль уполномоченным человеком).
Какие проблемы есть в вопросах аудита систем искусственного интеллекта?
незрелые или отсутствующие методики (фреймворки), специфичные для аудита ИИ;
ограниченные прецеденты (малый опыт проведения аудитов подобного рода);
неоднозначность определения ИИ (отличие от экспертных систем);
быстрое изменение моделей (дообучение, федеративное обучение);
отсутствие сертифицированных аудиторов ИИ.
Доклад Петра Владимировича Ганелина «Требования к системам ИИ и организация аудита» был на V встрече экспертного сообщества по криптографии и большим данным, которую организовал «Криптонит» при поддержке Музея криптографии. Дискуссия была посвящена теме аудита безопасности систем ИИ.