OpenAI объявила о создании специальной команды для оценки и смягчения «катастрофических рисков», связанных с искусственным интеллектом. Компания сообщила, что эта группа будет оценивать и прогнозировать серьёзные проблемы, которые может вызвать развитие ИИ, включая ядерные угрозы, и продумывать методы защиты от них.
Команда также будет работать над смягчением химических и биологических угроз и над угрозой автономной репликации ИИ. Среди других рисков перечисляется способность ИИ обманывать людей, а также угрозы кибербезопасности.
«Мы считаем, что будущие передовые модели искусственного интеллекта, которые превысят возможности, присутствующие в современных моделях, могут принести пользу всему человечеству. Но они также представляют всё более серьёзные риски», — пишет OpenAI.
Группу возглавит Александр Мадри, экс-директор Центра машинного обучения Массачусетского технологического института. OpenAI отмечает, что команда также создаст политику разработки ИИ с учётом рисков. В документе будет описано, что компания делает для оценки и мониторинга моделей ИИ.
Генеральный директор OpenAI Сэм Альтман ранее предупреждал о возможности катастрофических событий, которые может вызвать развитие искусственного интеллекта. В мае Альтман и другие исследователи ИИ опубликовали заявление, в котором говорилось, что «снижение угрозы ИИ для человечества должно стать глобальным приоритетом». В одном из своих интервью Альтман предложил правительствам относиться к ИИ так же серьёзно, как и к ядерному оружию.
