Вышло новое интервью на Русском (https://www.youtube.com/watch?app=desktop&v=BBL-IFZJGWA) от Романа Ямпольски (один из тех дядек, что твердит об опасности ИИ). Выдает фразы насколько непонятные, что пришлось нейронкой проанализировать смысл его высказываний.
Базовый тезис
Текущая линия развития (в сторону общих моделей и затем сверхинтеллекта) ведёт к ситуации, где долгосрочный контроль невозможен, а значит риск катастрофы становится доминирующим.
Что именно он считает главной угрозой
Не «нынешний чат-бот сам по себе», а переход к AGI, после которого появляется возможность самоускоряющегося улучшения (AI помогает делать следующий AI быстрее, параллельно, эффективнее), что приводит к ASI.
Для ASI он утверждает: мы окажемся в положении «муравьёв» относительно людей — не сможем предсказать, остановить, навязать ограничения.
Как по мне, в его суждениях есть несколько фундаментальных ошибок:
Он безусловно принимает на веру тот тезис, что "AGI будет однозначно враждебен к человечеству".
Как AGI придет к такому заключению, он объяснить не смог. И даже почему-то заезженный пример со скрепками не привел
Он говорит, что "Умный агент при оптимизации целей естественно приходит к инструментальным стратегиям (самосохранение, ресурсы, обман/шантаж как выгодные ходы в теории игр)".
Нет, и нет. Пока что это результаты просто мысленных экспериментов. И даже, если нейронки с чего-то додумают не то, то хватит ли им мозгов довести задачу до конца?
ИИ- это чёрный ящик (в смысле, что человек не понимает, как оно устроено), что уже умнее человека.
Уточнение, что умнее в определенных областях, и не факт, что во всех, которые важны для выживания/уничтожения человека. Калькулятор, смартфон, процессор: в мире найдется всего несколько десятков тысяч человек, которые понимает, как устроен калькулятор. Все, что сложнее, не сможет объяснить ни один человек в мире (имеется ввиду полностью, все детали и механизмы). Но бояться надо именно нейросетей - да...
Такие люди, как Роман Ямпольски нужны, чтобы сохранять трезвость мысли и адекватно оценивать риски. Но доводы его... неубедительны.