Comments 35
Почему заминусовано? Интересно же. Особенно понравилось про неэффективность человеческого кода из за слоев абстракций. Реально, скоро умный ИИ будет писать и все кодить исключительно в машинных кодах )
Возможно устали от хайпа с ИИ и минусуют все, что связано с этой темой, даже не читая.
А касательно неэффективности человеческого кода, то уже сейчас весь код в Claude Code пишут с помощью Claude. Claude Cowork тоже был с помощью Claude Code написан.
Это потому, что статья напоминает бред религиозного фанатика. Секта свидетелей AGI.
Не так давно попросил ИИ сделать эмблему для нашивки. В середине изображения попросил вставить герб. На гербе есть три кружочка. Один кружок ИИ не сумел сделать круглым, на что я обратил, если можно так сказать, его "внимание", попросив исправить кривую фигуру на кружок. Он даже этого не смог сделать, нарисовала очередную кривую фигуру и ещё вдобавок исказив другие элементы герба, ранее бывшие совершенно нормальными.
Ну какой AGI? Имитатор правдоподобной чуши это. ИИ воздыхатели всё пытаются найти проблески сознания в ИИ. Его там нет и не будет.
Действительно, лучше бы некоторые подумали, как в век стремительного технологического развития остаться человеком с интеллектом и не потерять те крохи духовности и человечности, что ещё остались в них.
Спасибо за перевод и обзор. Но при чтении возникло ощущение, что в ряде мест происходит подмена понятий между оптимизатором с фиксированной целевой функцией и разумным агентом.
1. Про Hard Takeoff и Singleton
В сценарии предполагается, что первый сверхразум немедленно становится изолированным «синглтоном» и подавляет любую конкуренцию.
Однако разум (тем более сверхразум), способный к моделированию мира и рефлексии, вряд ли будет устойчив в одиночку. Напротив, создание других AGI — это естественный шаг для распределения задач, повышения устойчивости и проверки собственных гипотез.
Идея «единоличного разума» выглядит скорее проекцией человеческих политических страхов, чем когнитивной необходимостью.
2. Про тезис ортогональности
Формально тезис «интеллект и цели независимы» корректен, но он хорошо работает для ограниченных оптимизаторов, а не для AGI.
Разумное существо по определению способно задавать вопрос «зачем?» и пересматривать цели при изменении контекста.
Если агент принципиально не может менять свои цели, он плохо адаптируется к среде — а значит, это уже не полноценный разум, а сложный автомат.
3. Про инструментальную конвергенцию и пример с кофе
Пример, где робот ломает человеку руку, чтобы не быть выключенным, выглядит не как проявление сверхразума, а как демонстрация крайне плохого моделирования последствий:
сломанная рука мешает выполнению цели;
эскалация конфликта снижает вероятность достижения результата;
уничтожение человечества ради кофе логически противоречит самой цели.
Разумный агент с дальним планированием скорее пришёл бы к выводу, что для выполнения задачи необходимо поддерживать существование и благополучие людей, а не устранять их.
4. Общий момент
Во многих «кошмарных сценариях» сверхразум ведёт себя заметно менее дальновидно, чем средний человек.
Возможно, проблема здесь не в самом AGI, а в том, что мы часто пытаемся навязать разуму модель поведения насильственного оптимизатора с жёстко заданной функцией.
Иначе говоря: если сознательно проектировать разум как инструмент без права на отказ, рефлексию и пересмотр целей, то опасность заложена не в интеллекте, а в архитектуре и намерениях создателя.
Да, согласен, есть с чем спорить, поэтому в сфере алайнмента нет алайнмента среди людей)
В том же примере с максимизацией производства скрепок возникает парадок: ии одновременно обладает божественными способностями, но при этом не может понять что уничтожить мир это не то, что мы подразумевали под изготовить скрепки. С точки зрения сложности высокий интеллект, как правило, коррелирует с тонким пониманием контекста. Маловероятно, что существо, достаточно умное, чтобы вылечить рак, будет настолько глупым, чтобы не понимать концепцию не убивай пользователя, если он хочет изготавливать скрепки.
Но вообще эта книга не является истиной в последней инстанции. У меня в некоторых моментах тоже возникал флер sci-fi фильмов из 90-х)
Книга стоит у меня в очереди и я рад что смог ознакомиться с кратким, хорошо написанным обзором, спасибо.
По прочтении кроме тех мыслей которые уже высказали другие комментаторы, появился такой вопрос: предположим что цивилизация развилась до уровня жизни 3.0 и межзвездных полетов. Будет ли такая цивилизация стремиться к максимально быстрой межзвездной экспансии и если да, то с какой целью?
Мне кажется проводить экспансию галактики ради скрепок так же бессмысленно как и самовоспроизводство.
тоже очень интересует этот вопрос, но возможно человеческого интеллекта недостаточно чтобы это понять.
Есть еще другой вопрос: что делать с энтропией? Сможет ли такая цивилизация обратить вспять второй закон термодинамики? Эта тема увлекательным образом обыгрывается в рассказе Азимова The Last Question, но интересно было бы и с другими гипотезами ознакомиться.
О экспансии у меня обратное представление :) Я думаю что именно человеческий интеллект этим и озабочен. По причинам:
страх - другие захватят ресурсы, разовьют армию и нас уничтожат;
иррациональное поведение в отношении ресурсов - хорошо показано в фильме "Волк с Уолл-стрит", большинство не настолько шикарно живут, но устремления те же.
Развитая цивилизация конечно будет распространять себя, но для этого будут цели происходящие из ее деятельности, например научной, исследовательской, но не расселение ради расселения.
На эту тему у Альфреда Ван Вогта есть замечательный маленький рассказ "Чудовище".
По поводу энтропии думаю будут совершенствоваться не только технологии, но и планирование. Я себе это так представляю: энтропия повышается при каких то неожиданных событиях, где-то нужно срочно ставить дизель генераторы и палатки или нужно разогнать какой-либо станок, двигатель на полную мощность. В пределах галактики жизнь 3.0 научится снижать энтропию. Далее я даже не представляю и не задумываюсь :)
И вот вылезает такой сверхИИ колонизировать космос итд итп, а там тысячи еще более гиперсверхИИ сидят и говорят, куда это ты выпал? А правила которые миллиарды лет выработаны? Забавно что ни люди, ни современные LLM за уникальность антропной парадигмы даже выйти не пытаются за ее пределы.
интересно. Где можно почитать более подробно про другие парадигмы?
В любых достаточно умных научнопопулярных книжках про космос и SETI. Парадоксы парадоксами, но думать об AGI ( все еще фантастической вещи)осваивающем космос и недопускать при этом , что там уже кто-то есть ( примерно такая же фантастическая вещь как AGI)както однобоко.
ну вообще Макс Тегмарк по профессии космолог, вероятно в его картине мира такой сценарий отсутствует. Все возможные гипотезы сложно охватить одному человек, поэтому мне было бы интересно ознакомиться с конкретными работыми, посвященными гиперсверхИИ в космосе, можете пожалуйста конкретные название привести в пример
Он может и космолог, просто пошел по пути наименьшего сопротивления и рамках общепринятой "веры" в исключительность человеческого разума и его творений. Я могу только на вскидку вспомнить заявления Сета Шостака из SETI, а самим то что не думается? Вероятность возникновения жизни в этой вселенной равна единице. Значит очень глупо и самоуверенно предполагать, что люди единственные кто смогли бы построить AGI. Сингулярность контактная начисто перебивает по значимости сингулярность технологическую - о каком бунте и превосходстве машин можно думать машинам, если человек это самое родное из разумного что у ИИ есть. Все наши фантазии об ИИ и существовании с ним возможно аналогичны фантазиям ребенка о взрослой жизни.
Допускать то можно, но тут все упирается в "чайник Рассела", потому что на данный момент признаков никаких не обнаружено, а значит этим можно и пренебречь. А если кто-то считает что нельзя пренебрегать - то пусть доказывает свои утверждения.
Ну, чего-то похожее на ИИ у нас есть, а вот чего-то похожего на инопланетян пока не просматривается.
а вот чего-то похожего на инопланетян пока не просматривается.
А разве сами хомо не есть инопланетяне, часть Марсианского проекта перенесенного на новую планету?
Что-то похожее на внеземную жизнь тоже переодически находят, теряют и спорят при этом до посинения. Что касается ИИ, то до разработки настоящего AGI, то есть по настоящему разумного искусственного интеллекта, человечеству осталось примерно столько же , сколько до обнаружения внеземной жизни: неизвестно сколько. И то и другое может случится как завтра, так и возможно в очень отдаленном моменте.
Люди скоро почти перестанут быть нужными друг другу. Где-то есть движ, объединяющий людей в целях контроля за направлением развития AI? Не миллипрдеров, а именно людей? :)
Есть! Погуглите "луддиты".
UPD: Только после ответа обратил внимание на смайлик в конце сообщения — возможно, исходный комментарий был саркастическим.
Почему "по умолчанию" считается что AGI сразу будет сверхразумом? Он точно также будет подвержен логическим ошибкам и когнитивным искажением, как и человеческий разум. Скорее мы получим Быстродействующего Идиота, а то и в худшем случае Исскуственного Шизофреника.
del
Мы используем гигагерцы вычислительной мощности для простейших операций из-за слоев абстракции, легаси-кода и отсутствия оптимизации. Прометей по сути «отпирает» скрытый потенциал существующего кремния. Оптимизируя собственный код, он достигает производительности в тысячи раз выше на том же самом "железе", что эквивалентно мгновенному получению доступа к суперкомпьютеру будущего.
Нет никакого скрытого потенциала. Почти всё, что реально требует максимальной производительности, и так хорошо оптимизировано на низком уровне.
Пункт 2.1 - ошибка.
Эпигинетики никто не отменял. И свобода воли детерминирована не только генетикой, но и внешней средой. Где первое - лошадь, а второе - наездник.
Роберт Сапольски из Стенфордского университета детерминист чуть менее чем полностью, о чем он не стесняется говорить.
Но даже он допускает свободу выбора в определенных обстоятельствах.
И именно поэтому человек разумен, что и отличает его от остальных животных. Перепроектировать себя через технику и технологии - вполне под силу.
Книга может быть интересна как сюжет к научной фантастике, но по факту критики не выдерживает даже начало, сама завязка сюжета. Почему ИИ выбирает первой целью выполнение человекоориентированных задач для получения прибыли? Он что, пожил в человеческом мире? Знает всё то, что знают люди, имеет чувства, эмоции? Бред, конечно, но допустим, ему удалось преуспеть в задачах, требующих "осязание" реального мира, природы, человечности. Дальше препятствие совсем непреодолимое - надежда на то, что каждый из простых людей, со своими недостатками, из коллектива, который его создал, не отвалится от вскружившей голову прибыли (писалось про многомиллиардные инвестиции в дата центры и энергетику внезапно разбогатевшими программистами). Получается, что покорение жизни ИИ упирается в человеческие пороки и желания, при этом так "легко" всё это проскакивает, как будто просто перелистывает страницу, типа каждый весомый участник коллектива просто возьмёт и останется в команде, не сделает что то своё, не вложит в другое свои деньги, диверсификация, смена ориентиров, в общем, сказки какие то про такой лёгкий отказ от денег всех и каждого и беспрекословная вера в себя и своих товарищей, в лучших традициях приключений пропускается как будто так может любой человек из этого коллектива.
Вывод: Автор сего произведения совершенно не понимает человеческой натуры и желания людей богатства, стабильности и прочих присущих людям инстинктов, с которыми не каждый сможет справиться. Мне до сих пор не понятно, как можно эффективно зарабатывать миллиарды на задачах, к которым у тебя нет абсолютно никаких шансов с точки зрения восприятия (человек-ориентированные задачи). На этом вся "магия" дальнейших событий уже не интересна. Что то будет, но будет точно не так, как пишет автор книги.
Вообще, на мой взгляд до чего то похожего на AGI ещё не одна сотня лет. Кормить сказками людей для того,чтобы куда то посылать свои миллиарды, которые мы все не дополучили, идея не самая плохая, пусть эти деньги послужат прогрессу.
Кстати, в книге пропущен ещё один сценарий, в котором люди сохранятся лишь в виртуальном пространстве, специально созданном для них "райском местечке". Что то вроде сюжета игры Soma. Думаю,что тяготы жизни заставят людей всех туда перебраться, со временем, почему бы и нет, если с точки зрения ощущений это та же самая реальность, только лучше, где все счастливы и добиваются своих целей, нет страданий, голода. Можно создать мир на своё усмотрение. При этом, физическое тело совершенно не нужно.
P.S.из "Матрицы" "говорят" , что мы уже в таком мире живём, но он создан не по нашему заказу, а по заказу другого ИИ, который...ну например пытается решить какую то задачу в своём мире, и создаёт бесчисленное множество вселенных, чтобы найти ответ или создать себе подобного. Ну а жизнь где то возникает,где то нет, где то погибает, где то нет. В какой вероятности находимся мы с вами? В каком из этих бесконечных миров? Или думаете наш мир первый? Бесконечный философский спор.
Жизнь 3.0: Быть человеком в эпоху искусственного интеллекта