Я читаю ваше утверждение в прошлом комментарии так:
умный AGI, развившийся из современных LLM на современной аппартной платформе и современной инфраструктуре сможет придумать и реализовать такой план уничтожения человечества, который бессмысленно пытаться предвидеть и предотвратить
Это корректная формулировка, или в ней надо что-то уточнить?
Так, поправьте тогда, правильно ли я понял цепочку:
Мы либо не прописываем в skills запрет на уничтожение людей, либо кто-то его злонамеренно убирает, либо развившийся super-AI/AGI обходит свои ограничения
Либо кто-то даёт злонамеренный промпт, либо развившийся super-AI/AGI по сценарию инструментальных целей ставит перед собой задачу уничтожить людей
Развившийся super-AI/AGI находит способ действительно уничтожить людей. При этом он нас превосходит в достаточной степени, чтобы бессмысленно было даже предполагать, как именно он это сделает. Как-то.
Человечество уничтожено.
Мы об этом говорим? Если да, то вы меня успокоили. Я готов допустить, что риск пунктов 1-2 не нулевой, причем super-AI + плохой пропт мне кажутся более вероятными, чем AGI-сценарий. Но вот пункт 3 мне представляется ключевым. Можно считать это антропоцентричным высокомерием и близорукостью.
Мне знакома и понятна идея инструментальных целей. Я даже считаю её избыточной и готов рассматривать сценарий, когда некто прямо даст промпт супер-ИИ-почти-AGI “уничтожь всех, кто не разделяет мои ценности” или просто “уничтожь всех”. А дальше что?
“Никто не пишет конкретные аргументы!” “Вот они” “Я их не буду читать, простите”
фразу “вот они” можно прочитать как “вот они, авторы” или как “вот они, аргументы”. Моя цитата про отсылку к книге была вызвана именно вторым прочтением.
Тем не менее. Я читал отрывки из книг и некоторые эссе Юдковского. Я читал пересказы его идей про угрозу AGI разными собеседниками. Мне не встретилось там того, что я бы счел предметным и убедительным. Либо его там нет, либо я пропустил. Опыт чтения Юдковского привел меня к заключению, что углубляться в его книгу в поисках жемчуга не стоит. Поэтому я и написал сразу - не Юдковского.
Предлагаю:
вы можете, пожалуйста, дать ссылку на короткий, в пределах получаса чтения, текст любого автора, пусть и Юдковского?
или пересказать любой убедительный для вас тезис своими словами?
Просто если кроме Юдковского и его соавторов (в широком смысле) у нас нет других аргументов про экзистенциальные риски уничтожения человечества от переростания ИИ в AGI, то я, в целом, спокоен. Как и прежде, буду больше бояться тех, кто владеет сегодняшним ИИ.
Самый бессмысленный аргумент в дискуссии — это в ответ на конкретный вопрос сказать “иди целиком прочитай эту книгу/посмотри этот сериал и поймешь, что я прав”.
Это отсюда. Я правильно понимаю, что мой вопрос сейчас окажется недостаточно конкретным?
Ох. Я прошу “Только, пожалуйста, не Юдковского”, и вы мне даёте ссылку на сайт, рекламирующий книгу Юдковского. Зачем?
У меня была возможность на протяжении лет ознакомиться с некоторыми эссе этого автора, отрыками книг. У меня сложилось достаточно скептическое мнение о его работах. Простите, но я не буду читать всю его книгу для продолжения этой дискуссии.
даже не пытаются ознакомиться в деталях с конкретными предметными аргументами тех, кто видит эти риски
Вы явно погружены в область больше, чем я. Скажите, пожалуйста, где я могу ознакомиться с конкретными и предметными аргументами тех, кто видит экзистенциальные риски уничтожения всего человечтва от появления AGI? Есть какие-то статьи? Может, вы сами сможете по памяти пересказать какие-то конкретные вещи?
подавляющее большинство тех, кто разрабатывает технологию ХХ видят в ней огромный риск для человечества
Я немного поправлю
подавляющее большинство тех, кто разрабатывает технологию ХХ, будучи, соответственно, предвзяты, видятговорят, что видят в ней огромный риск для человечества, но не конкретизируют, в чём он заключается, и не ведут предметного обсуждения
Пока это всё выглядит как “мы вот-вот построим AGI, но мы не знаем, каким он будет и что сможет, поэтому он скорее всего уничтожит всё человечество.” Даже если мы допустим 10% появления AGI до конца десятилетия, я не готов ставить знак равенства между появлением AGI и уничтожением человечества. И не готов без дополнительных пояснений полагаться на мнение разработчиков ИИ, ведь я не знаю, есть ли у них аргументы, отличающиеся от тех, что я уже слышал. А ещё меня настораживает, что они свои аргументы просто не приводят.
Если у нас нет экспертов одновременно по угрозам и по передовому ИИ, это не значит, что надо слушать только экспертов по ИИ. Напротив, надо брать экспертов по ИИ, объединять их с экспертами по угрозам, и смотреть на их дискуссии. В соседних ветках говорят про биологическое оружие и военных дронов? Ну так в обществе есть эксперты по биологическим угрозам и их предотвращению, по вооруженным конфликтам. Я не очень слежу, мог пропустить - кто-то ссылался на сотрудничесво с ними при формировании своих оценок?
Дополнительная сложность в том, что коммуникация от “всей верхушки” не то чтобы была информативна, по крайне мере в моём поле зрения. Я вижу твиты вроде “Риск более 10 процентов уничтожения всех людей в следующие десять лет” или “ИИ может убить нас всех до конца десятилетия”, но я не вижу, как эти оценки получены, на чем они строятся, какие гипотезы, какие эксперты привлекались к их получению. Как это вообще можно содержательно обсуждать?
На вскидку, есть одна область, в которой я готов сходу признать экспертность разработчиков ИИ, это кибербезопастность. Но мне явно нужно внешнее квалифицированное мнение, чтобы построить мостик от кибератк до прямо таки экзистенциальной угрозы всему человечеству.
UPD: Я напомню свой тезис - риски от почти монопольного и бесконтрольного доступа к современным ИИ с огромным компьютом и собранными данными у достаточно узкого круга частных лиц (иногда, с сомнительной репутацией) вызывют у меня гораздо больше опасений, чем неопределённая экзистенциальная угроза человечеству от AGI.
Люди вот очень умными развились у эволюции, но всё равно почему-то не выполняют идеально ее посыл “распространять свои гены как можно сильнее”
Эволюция не обладает целеполаганием, и у нее нет посылов. Я понимаю, что это такое выражение, но оно опасно искажениями в суждениях. Так недолго договориться до приписывания умысла, например, сбежавшему из лаборатории вирусу.
Ну так эти спикеры говорят не о технологиях, а об экзистенциальных угрозах человечеству. Какой экспертизой они обладают в этой области и какова их история успешных прогнозов в военном деле и глобальных конфликтах, в социально-экономических потрясениях, биологических угрозах? Кто из внешних экспертов готов валидировать их прогнозы?
Мне не очевидно, какова экспертиза «всей верхушки» за пределами технических вопросов и жизни и интересов их сообщества.
PS: Мне было бы приятно, если бы, отвечая на мои сообщения, вы ссылались на то, что говорю я, а не на то, что вам на схожую тему говорили другие люди, тем более выделяя это кавычками.
Меня бы мало удивило, что у людей, находящихся в центре своей эхо-камеры, может быть искаженное восприятие. Тем более, что они и физически все рядом, вращаются и общаются с примерно одним кругом лиц.
Мне иногда кажется, что люди, говорящие об экзистенциальных угрозах от AGI, слишком много читали Юдковского. Я бы гораздо больше опасался современных LLM с огромным компьютом и собранными данными в руках людей с комплексом мессии и крайне низкими этическими барьерами. А таких, как мне кажется, среди технобро хватает. Послушаешь их интервью, и волосы шевелятся, как далеки они от народа, в плохом смысле этого выражения.
И самое коварное - это супрессия дофаминовых рецепторов
Хотите сказать, есть исследования с дизайном, позволяющим установить снижение плотности рецепторв как следствие видеоигр, отделив от нездорового образа жизни?
Можем ли мы доверять самоотчетам компаний без внешнего аудита? Вопрос риторический…
На сколько у меня сложилось впечатление из публикаций, решение для Навье-Стокса тоже свелось к подбору контрпримера?
А всего-то надо отвязать деньги и карьеру от библиометрии. Правда, так и не ясно, к чему тогда привязывать.
Я читаю ваше утверждение в прошлом комментарии так:
Это корректная формулировка, или в ней надо что-то уточнить?
Так, поправьте тогда, правильно ли я понял цепочку:
Мы либо не прописываем в skills запрет на уничтожение людей, либо кто-то его злонамеренно убирает, либо развившийся super-AI/AGI обходит свои ограничения
Либо кто-то даёт злонамеренный промпт, либо развившийся super-AI/AGI по сценарию инструментальных целей ставит перед собой задачу уничтожить людей
Развившийся super-AI/AGI находит способ действительно уничтожить людей. При этом он нас превосходит в достаточной степени, чтобы бессмысленно было даже предполагать, как именно он это сделает. Как-то.
Человечество уничтожено.
Мы об этом говорим? Если да, то вы меня успокоили. Я готов допустить, что риск пунктов 1-2 не нулевой, причем super-AI + плохой пропт мне кажутся более вероятными, чем AGI-сценарий. Но вот пункт 3 мне представляется ключевым. Можно считать это антропоцентричным высокомерием и близорукостью.
Мне знакома и понятна идея инструментальных целей. Я даже считаю её избыточной и готов рассматривать сценарий, когда некто прямо даст промпт супер-ИИ-почти-AGI “уничтожь всех, кто не разделяет мои ценности” или просто “уничтожь всех”. А дальше что?
Ох, согласен. Но в
фразу “вот они” можно прочитать как “вот они, авторы” или как “вот они, аргументы”. Моя цитата про отсылку к книге была вызвана именно вторым прочтением.
Тем не менее. Я читал отрывки из книг и некоторые эссе Юдковского. Я читал пересказы его идей про угрозу AGI разными собеседниками. Мне не встретилось там того, что я бы счел предметным и убедительным. Либо его там нет, либо я пропустил. Опыт чтения Юдковского привел меня к заключению, что углубляться в его книгу в поисках жемчуга не стоит. Поэтому я и написал сразу - не Юдковского.
Предлагаю:
вы можете, пожалуйста, дать ссылку на короткий, в пределах получаса чтения, текст любого автора, пусть и Юдковского?
или пересказать любой убедительный для вас тезис своими словами?
Просто если кроме Юдковского и его соавторов (в широком смысле) у нас нет других аргументов про экзистенциальные риски уничтожения человечества от переростания ИИ в AGI, то я, в целом, спокоен. Как и прежде, буду больше бояться тех, кто владеет сегодняшним ИИ.
Это отсюда. Я правильно понимаю, что мой вопрос сейчас окажется недостаточно конкретным?
Ох. Я прошу “Только, пожалуйста, не Юдковского”, и вы мне даёте ссылку на сайт, рекламирующий книгу Юдковского. Зачем?
У меня была возможность на протяжении лет ознакомиться с некоторыми эссе этого автора, отрыками книг. У меня сложилось достаточно скептическое мнение о его работах. Простите, но я не буду читать всю его книгу для продолжения этой дискуссии.
Вы явно погружены в область больше, чем я. Скажите, пожалуйста, где я могу ознакомиться с конкретными и предметными аргументами тех, кто видит экзистенциальные риски уничтожения всего человечтва от появления AGI? Есть какие-то статьи? Может, вы сами сможете по памяти пересказать какие-то конкретные вещи?
Только, пожалуйста, не Юдковского.
Я немного поправлю
Пока это всё выглядит как “мы вот-вот построим AGI, но мы не знаем, каким он будет и что сможет, поэтому он скорее всего уничтожит всё человечество.” Даже если мы допустим 10% появления AGI до конца десятилетия, я не готов ставить знак равенства между появлением AGI и уничтожением человечества. И не готов без дополнительных пояснений полагаться на мнение разработчиков ИИ, ведь я не знаю, есть ли у них аргументы, отличающиеся от тех, что я уже слышал. А ещё меня настораживает, что они свои аргументы просто не приводят.
Если у нас нет экспертов одновременно по угрозам и по передовому ИИ, это не значит, что надо слушать только экспертов по ИИ. Напротив, надо брать экспертов по ИИ, объединять их с экспертами по угрозам, и смотреть на их дискуссии. В соседних ветках говорят про биологическое оружие и военных дронов? Ну так в обществе есть эксперты по биологическим угрозам и их предотвращению, по вооруженным конфликтам. Я не очень слежу, мог пропустить - кто-то ссылался на сотрудничесво с ними при формировании своих оценок?
Дополнительная сложность в том, что коммуникация от “всей верхушки” не то чтобы была информативна, по крайне мере в моём поле зрения. Я вижу твиты вроде “Риск более 10 процентов уничтожения всех людей в следующие десять лет” или “ИИ может убить нас всех до конца десятилетия”, но я не вижу, как эти оценки получены, на чем они строятся, какие гипотезы, какие эксперты привлекались к их получению. Как это вообще можно содержательно обсуждать?
На вскидку, есть одна область, в которой я готов сходу признать экспертность разработчиков ИИ, это кибербезопастность. Но мне явно нужно внешнее квалифицированное мнение, чтобы построить мостик от кибератк до прямо таки экзистенциальной угрозы всему человечеству.
UPD: Я напомню свой тезис - риски от почти монопольного и бесконтрольного доступа к современным ИИ с огромным компьютом и собранными данными у достаточно узкого круга частных лиц (иногда, с сомнительной репутацией) вызывют у меня гораздо больше опасений, чем неопределённая экзистенциальная угроза человечеству от AGI.
Эволюция не обладает целеполаганием, и у нее нет посылов. Я понимаю, что это такое выражение, но оно опасно искажениями в суждениях. Так недолго договориться до приписывания умысла, например, сбежавшему из лаборатории вирусу.
Ну так эти спикеры говорят не о технологиях, а об экзистенциальных угрозах человечеству. Какой экспертизой они обладают в этой области и какова их история успешных прогнозов в военном деле и глобальных конфликтах, в социально-экономических потрясениях, биологических угрозах? Кто из внешних экспертов готов валидировать их прогнозы?
Мне не очевидно, какова экспертиза «всей верхушки» за пределами технических вопросов и жизни и интересов их сообщества.
PS: Мне было бы приятно, если бы, отвечая на мои сообщения, вы ссылались на то, что говорю я, а не на то, что вам на схожую тему говорили другие люди, тем более выделяя это кавычками.
Меня бы мало удивило, что у людей, находящихся в центре своей эхо-камеры, может быть искаженное восприятие. Тем более, что они и физически все рядом, вращаются и общаются с примерно одним кругом лиц.
Мне иногда кажется, что люди, говорящие об экзистенциальных угрозах от AGI, слишком много читали Юдковского. Я бы гораздо больше опасался современных LLM с огромным компьютом и собранными данными в руках людей с комплексом мессии и крайне низкими этическими барьерами. А таких, как мне кажется, среди технобро хватает. Послушаешь их интервью, и волосы шевелятся, как далеки они от народа, в плохом смысле этого выражения.
А еще можно постараться сформировать свою работу так, чтобы она была наполнена интересом и субъективными ощущениями
А как вы с ней взаимодействовали? Через их antigravity?
Хотите сказать, есть исследования с дизайном, позволяющим установить снижение плотности рецепторв как следствие видеоигр, отделив от нездорового образа жизни?
А это точно не усталось от долгой игры?
Так-то, в целом, не играйте в сессионки.
Получается, что Gemini вообще ни то ни сё, троечник, зато самая быстрая, 8 минут на всё, причём с отрывом? Когда там Google новый Pro выкатит…