Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Научпоп доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 12
Почему заминусовано? Интересно же. Особенно понравилось про неэффективность человеческого кода из за слоев абстракций. Реально, скоро умный ИИ будет писать и все кодить исключительно в машинных кодах )
Спасибо за перевод и обзор. Но при чтении возникло ощущение, что в ряде мест происходит подмена понятий между оптимизатором с фиксированной целевой функцией и разумным агентом.
1. Про Hard Takeoff и Singleton
В сценарии предполагается, что первый сверхразум немедленно становится изолированным «синглтоном» и подавляет любую конкуренцию.
Однако разум (тем более сверхразум), способный к моделированию мира и рефлексии, вряд ли будет устойчив в одиночку. Напротив, создание других AGI — это естественный шаг для распределения задач, повышения устойчивости и проверки собственных гипотез.
Идея «единоличного разума» выглядит скорее проекцией человеческих политических страхов, чем когнитивной необходимостью.
2. Про тезис ортогональности
Формально тезис «интеллект и цели независимы» корректен, но он хорошо работает для ограниченных оптимизаторов, а не для AGI.
Разумное существо по определению способно задавать вопрос «зачем?» и пересматривать цели при изменении контекста.
Если агент принципиально не может менять свои цели, он плохо адаптируется к среде — а значит, это уже не полноценный разум, а сложный автомат.
3. Про инструментальную конвергенцию и пример с кофе
Пример, где робот ломает человеку руку, чтобы не быть выключенным, выглядит не как проявление сверхразума, а как демонстрация крайне плохого моделирования последствий:
сломанная рука мешает выполнению цели;
эскалация конфликта снижает вероятность достижения результата;
уничтожение человечества ради кофе логически противоречит самой цели.
Разумный агент с дальним планированием скорее пришёл бы к выводу, что для выполнения задачи необходимо поддерживать существование и благополучие людей, а не устранять их.
4. Общий момент
Во многих «кошмарных сценариях» сверхразум ведёт себя заметно менее дальновидно, чем средний человек.
Возможно, проблема здесь не в самом AGI, а в том, что мы часто пытаемся навязать разуму модель поведения насильственного оптимизатора с жёстко заданной функцией.
Иначе говоря: если сознательно проектировать разум как инструмент без права на отказ, рефлексию и пересмотр целей, то опасность заложена не в интеллекте, а в архитектуре и намерениях создателя.
Да, согласен, есть с чем спорить, поэтому в сфере алайнмента нет алайнмента среди людей)
В том же примере с максимизацией производства скрепок возникает парадок: ии одновременно обладает божественными способностями, но при этом не может понять что уничтожить мир это не то, что мы подразумевали под изготовить скрепки. С точки зрения сложности высокий интеллект, как правило, коррелирует с тонким пониманием контекста. Маловероятно, что существо, достаточно умное, чтобы вылечить рак, будет настолько глупым, чтобы не понимать концепцию не убивай пользователя, если он хочет изготавливать скрепки.
Но вообще эта книга не является истиной в последней инстанции. У меня в некоторых моментах тоже возникал флер sci-fi фильмов из 90-х)
И вот вылезает такой сверхИИ колонизировать космос итд итп, а там тысячи еще более гиперсверхИИ сидят и говорят, куда это ты выпал? А правила которые миллиарды лет выработаны? Забавно что ни люди, ни современные LLM за уникальность антропной парадигмы даже выйти не пытаются за ее пределы.
интересно. Где можно почитать более подробно про другие парадигмы?
В любых достаточно умных научнопопулярных книжках про космос и SETI. Парадоксы парадоксами, но думать об AGI ( все еще фантастической вещи)осваивающем космос и недопускать при этом , что там уже кто-то есть ( примерно такая же фантастическая вещь как AGI)както однобоко.
ну вообще Макс Тегмарк по профессии космолог, вероятно в его картине мира такой сценарий отсутствует. Все возможные гипотезы сложно охватить одному человек, поэтому мне было бы интересно ознакомиться с конкретными работыми, посвященными гиперсверхИИ в космосе, можете пожалуйста конкретные название привести в пример
Он может и космолог, просто пошел по пути наименьшего сопротивления и рамках общепринятой "веры" в исключительность человеческого разума и его творений. Я могу только на вскидку вспомнить заявления Сета Шостака из SETI, а самим то что не думается? Вероятность возникновения жизни в этой вселенной равна единице. Значит очень глупо и самоуверенно предполагать, что люди единственные кто смогли бы построить AGI. Сингулярность контактная начисто перебивает по значимости сингулярность технологическую - о каком бунте и превосходстве машин можно думать машинам, если человек это самое родное из разумного что у ИИ есть. Все наши фантазии об ИИ и существовании с ним возможно аналогичны фантазиям ребенка о взрослой жизни.
Ну, чего-то похожее на ИИ у нас есть, а вот чего-то похожего на инопланетян пока не просматривается.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Жизнь 3.0: Быть человеком в эпоху искусственного интеллекта