Главная инновация статьи (в том, как она подана): Она переводит проблему из плоскости этики в плоскость теории управления. Раньше мы боялись, что ИИ скажет «Я убью людей». Теперь мы понимаем, что катастрофа — это стохастический градиентный спуск в неверном направлении. ИИ не делает зла, он просто минимизирует свою функцию потерь (сделать задачу), но функция потерь не включает долгосрочные последствия.
Главная инновация статьи (в том, как она подана): Она переводит проблему из плоскости этики в плоскость теории управления. Раньше мы боялись, что ИИ скажет «Я убью людей». Теперь мы понимаем, что катастрофа — это стохастический градиентный спуск в неверном направлении. ИИ не делает зла, он просто минимизирует свою функцию потерь (сделать задачу), но функция потерь не включает долгосрочные последствия.