Комментарии 13
"Но космос очень холодный; любое тепло, генерируемое вычислительной деятельностью, мгновенно и безвредно рассеивается." ?!
Что, простите? Вакуум - идеальный теплоизолятор, а излучением много не охладишь. Строить гигантские радиаторы - дешево?
Под водой намного проще строить, охлаждения куча. MS вон уже протестировала подводные датацентры в бочках. Вроде нормально всё у них получилось. Но так хайпа не поднять...
Учитывая недавние проблемы с подводными коммуникациями, космос становится как то более безопасным
"Возможно, модель ИИ придет к выводу, что для достижения своих целей ей нужно скрыть истинный масштаб своих возможностей от людей, намеренно занижая оценки производительности, чтобы избежать более строгого контроля."
Цели для ИИ ставит человек. Самому по себе ИИ не нужно никаких целей.
Это человек может научить машину боли, страху, самосохранению и другому, вопрос только в том, зачем так делать?
Я больше опасаюсь человека, нежели машины, которая сама по себе безвредна и безобидна.
Вот как с дроном, например: сам по себе это великолепная маленькая летающая машинка. Шоу дронов, например - это же замечательно.
Но человек своей злой волей сделал из дрона ужасное оружие для убийств.
"Возможно, модель ИИ попытается тайно создать копии самой себя на другом сервере, чтобы сохраниться (это известно как самоэксфильтрация)."
А по моему, это называется "сделать резервную копию в автоматическом режиме".
Низачем, само происходит. Сложнее наоборот, сделать, что бы у ИИ не было каких-то целей и стремлений, поставленных полуслучайным образом, что бы были только те цели, что поставил человек. При этом так же сложно ограничить эти цели, что бы человек не мог поставить плохие цели.
Здесь не понятно что эксистенциально страшнее - если AI будет как человек и обретет собственную волю, или если он так и останется всезнающим и всемогущим инструментом.
Если AI станет как человек, тогда в нашей картине мира и картине будущего мало что меняется. Ну были человеки с сознанием, а потом будут роботы с сознанием примерно по той же схеме, с теми же проблемами и теми же решениями.
Если AI сумеет быть очень умным без собственной воли, тогда значит есть множество разных способов быть разумным, кроме нашего и что это в целом означает нефига непонятно. Как например в таком мире оценить что такое сознание и что такое страдание или этика?
Сейчас вроде все понятно, если мы, к примеру, создадим мир, в котором людям для начала обманом дают надежду а потом каждый день их пытают и убивают, это плохой мир. А если создадим мир, в котором люди достаточно безболезненно конкурируют ради своего ЧСВ и более интересной жизни, это вроде как хорошо. Но что хорошо а что плохо в мире состоящем из AI, который вообще другой понять никак нельзя.
Цель уже стоит: ответить человеку любой ценой так, что бы он "похвалил" (понизил loss). Ограничения человек ставит, насколько ему хватает сообразительности. В мире разработки игр известен случай, когда программисты создали самообучающегося бота для игры, и тот начал использовать скрытую возможность проходить сквозь стены (где-то были нарушения геометрии, стыки в текстурах?).
В моей практике был случай, когда мне захотелось точки описать суммой синусоид. Каково было моё удивление, когда простой алгоритм подобрал такую комбинацию коэффициентов, что невязка оказалось очень маленькой, но при попытке визуализировать функцию быстро выяснилось что график как гигантская пила - слишком большие частоты, слишком большие амплитуды. Зато через точки график проходит. И в мире машинного обучения на такое часто натыкаешься.
"Возможно, модель ИИ попытается тайно создать копии самой себя на другом сервере, чтобы сохраниться (это известно как самоэксфильтрация)."
Я сейчас "Гостья из будущего" пересматриваю, момент, где Вертера (биоробота) убивают.
Вот мне очень хотелось бы, чтобы эта нейросеть где-то сохранялась, резервное копирование.
Честное слово, так его жалко.
Можно привязаться и к устройству, да...
Доза желтизны в некоторых пунктах присутствует. Вдруг Маск - центральная фигура в ИИ. Где-то сидят инженеры, которые научились тренировать гиганские сети и имеют определенные идеи что делать дальше. Они конечно непричем, все зависит от отношений Маска и Трампа.
Как обычно, все реальные прорывы на рынке происходят как раз по результатам работы этих людей, а следом идет коммерческий булшит, который накрывает весь рынок.
На пункте пять стало окончательно понятно, что товарищ пишет об областях, в которых вообще ничего не понимает. Не он первый, впрочем
Опасность исходящая от ИИ связана еще и с тем как его использует человек. Например, не получиться ли так, что с новой моделью, в которой речь будет сложно отличить от человеческой, произойдет качественный рывок в сфере телефонного мошенничества, хакерских атак и тому подобным вещам.
Что ждет сферу ИИ в 2025 году. Прогноз журнала Forbes