Комментарии 2
В середине 1980-х Чарльз Перроу написал книгу "Normal Accidents". Вдохновили его, правда, главным образом атомные электростанции, но сама по себе концепция "управляемого риска" в сложных системах там проанализирована достаточно глубоко.
Шаг в правильном направлении. Однако до самомодификации (что кода, что данных - то есть накопления опыта) все нынешние системы безопасны, на мой взгляд. Скачёк начнётся после добавления возможности самомодификации. И вот тут никакие договорённости и тесты не помогут, потому что военные захотят всё и сразу.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
В Google DeepMind будут бороться с «неудержимым» ИИ