Что пугает людей в перспективе технологической сингулярности на самом деле? Дело не в неконтролируемости и необратимости: поступь прогресса неконтролируема и необратима как минимум с начала Промышленной революции: сначала люди пытались остановить паровозы, потом, едва человечество поверило в силу пара — его сменил двигатель внутреннего сгорания, а потом произошла компьютерная и интернет-революция. Ни на одном из этих этапов люди не могли предсказать, что придёт им на смену, а никакое сопротивление и издержки перемен не могли их остановить.
Действительно пугающая часть технологической сингулярности не входит в определение «технологический рост станет неконтролируемым и необратимым, что приведет к непредвиденным последствиям для человеческой цивилизации», но подразумевается по умолчанию: это угроза вреда от этих перемен.
Чтобы разобрать этот страх, надо разобрать две вещи: что самое страшное может создать человечество и что самое худшее грозит человечеству, бесстрашно проследовав по этому пути до его логического экстремума.