Обновить

Комментарии 2

В середине 1980-х Чарльз Перроу написал книгу "Normal Accidents". Вдохновили его, правда, главным образом атомные электростанции, но сама по себе концепция "управляемого риска" в сложных системах там проанализирована достаточно глубоко.

Шаг в правильном направлении. Однако до самомодификации (что кода, что данных - то есть накопления опыта) все нынешние системы безопасны, на мой взгляд. Скачёк начнётся после добавления возможности самомодификации. И вот тут никакие договорённости и тесты не помогут, потому что военные захотят всё и сразу.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации