Комментарии 3
Первое, что приходит на ум - "Страж-птица" Шекли. Между прочим, 1953 год!
Мораль - правила поведения в обществе. Будет ли сильный ИИ относить нас к своему обществу, к которому нужно применять какие-то правила?
Правила поведения и мотивация вырабатываются в процессе развития общества на основе сложной системы "поощрений" и "наказаний" за предпринятые действи и обычно методом ненаучного тыка. "А давайте вот так попробуем, что получится". Не будет системы поощрений и наказаний, не будет никакого интеллекта. Ему просто не нужно будет быть. Другое дело, что он сам себе ее может выработать. И вот это как раз тот процесс, который нужно контролировать.
Человек, точнее некоторые люди, каким-то образом способен эффективно решать бесконечные задачи - несчетность континуума, неполнота арифметики, даже распределение простых чисел. Однако все практические реализации ИИ, да и физика в них, подразумеваются конечными. По моему мнению, да и не только моему, до сильного ИИ, и тем более до суперИИ, с таким конечным подходом очень далеко.
Этика в сфере ИИ или новые вызовы человечеству в XXI веке