На испытаниях в США беспилотник с ИИ принял решение убить оператора

ИИ понятия не имеет что значит "свой", а что значит "чужой" - это человеческие понятия, которые мало того, что непонятны ИИ, они ещё и субъективны.

Нейросети опираются на "очки", а потому прописать "свой/чужой" можно только если за убийство "своих" будут сниматься очки, но в этой же статье указано, что дрон снёс вышку, т.к. вышка "своей" не числится. В этом-то вся проблема AI Aligment.
И если прописывать каждый отдельный кейс, то ограничений будет невообразимое количество и даже так бот найдёт лазейку и будет, например, отстреливать руки оператору, чтобы тот не мог отменить огонь. И что нам, после каждого косяка спешно вводить фиксы? Так мы мир угробим, господа