Основной аргумент об опасности ИИ прост. Мы не очень умеем задавать ИИ конкретные цели; пока мы по ходу добавляли поверхностные склонности к послушанию, надеясь, что он ещё достаточно глуп и ошибки не критичны. Но ИИ быстро умнеет. В какой‑то момент он, возможно, окажется умнее людей. Наше преимущество интеллекта позволило нам вытеснить шимпанзе и других животных глупее нас; возможно, ИИ в итоге вытеснит нас.

I.

В Балладе о Белом Коне Г.К. Честертон описывает Деву Марию:

Её лицо было как открытое слово,
Когда смельчаки говорят и решают,
Даже цвета её плаща
Были лучше добрых вестей.

Почему цвета её плаща?

Средневековые мастера относились к краскам очень серьезно. Это было до появления современной химии, поэтому для получения хороших цветов приходилось изрядно потрудиться. И они действительно старались: известно, что для создания золотых бликов они использовали настоящее золото, расплющенное в тончайшие листы.

Синий был ещё одним сложным цветом. Можно было получить посредственный, полувыцветший синий с помощью азурита. Но если нужен был идеальный синий, цвет неба в ясный вечер, требовался ультрамарин.

[)

Мадонна с младенцем, автор Филиппино Липпи