В смысле «если»? Уже создали такую экспертную ассоциацию математиков. OpenAI их послушали, вежливо покивали и сделали по своему.
Одна из интерпретаций действий OpenAI это «Мы тут пока занимались своими делами и тренировали модели, попутно нарешали разных задачек. Нам самим не особо интересно, мы этим заниматься не будем. Но вы, вроде, таким интересуетесь - вот вам побочный продукт под лицензией APL2, разбирайтесь, если хотите.» И математиков это, конечно, знатно из колеи выбило.
У мало что понимаю в задачах классификации, но на основе статьи, я бы предположил, что те или иные аттрактивные инварианты должны быть в каждой цветной области. Но это не обязательно точки равновесия.
Если хотите развить исследование, то можно сделать так: берете точку в цветовом сегменте и на длительной эволюции проверяете, покинула ли она свой цветовой сегмент и не вернулась ли она в малую окрестность самой себя. Так можно попробовать нащупать более сложные инварианты, чем точки равновесия.
Я допускаю, что в исходной статье есть неточности в терминологии; не каждая неподвижная точка аттрактор и не каждый аттрактор - неподвижная точка.
По поводу сепаратрисы - мне сложно с ходу представить фрактальное разделение для гладкой производной, но вдруг. Но я не понял, при чем тут дискретность - вы же смотрите на график для непрерывной системы?
Спасибо, очень интересно. Если позволите, несколько замечаний.
Больше всего мне не ясно, почему вы решили, что ваша приозводня дифференцируема по координате. Но допустим. Тогда:
У нашей модели таких точек две, и обе есть наши аттракторы
Корректнее говорить всё-же про положение равновесия - это частный случай аттрактора, и не все аттаркторы - неподвижные точки.
При этом по картинке легко можно предположить, что положения равновесия минимум три. У вас два локально устойчивых положения равновесия (узлы или фокусы) со своими зонами притяжение. Граница зон притяжения - сепаратрисса, линия разграничения. Что происходит с точками на этой линии? Они могут убежать, но мы видим по картинке, что такого, скорее всего, не происходит - всё движение направлено к центру, нет траектрий наружу. Значит можно предположить наличие на линии разграничения седловой точки - неустойчивого положения равновесия, которое будет аттрактором для начальных условий на линии разграничения.
Любое утверждение вида «у модели стало столько аттракторов» осмысленно только при репорте также условий нахождения!
Простите, не могу согласиться. Число положений равновесия зависит от вашей функции скорости. А от условий нахождения зависит ваша способность их обнаружить.
Граница бассейнов достаточно резкая. То есть динамика не непрерывна по начальным условиям, что закономерно, исходя из постановки нашего шага h=1. Для динамических систем в простом случае такие границы валидные.
Линия разграничения всегда линия, разве нет? Это, вроде, никак не связано с выбром h и с “простотой” системы.
Я читаю ваше утверждение в прошлом комментарии так:
умный AGI, развившийся из современных LLM на современной аппартной платформе и современной инфраструктуре сможет придумать и реализовать такой план уничтожения человечества, который бессмысленно пытаться предвидеть и предотвратить
Это корректная формулировка, или в ней надо что-то уточнить?
Так, поправьте тогда, правильно ли я понял цепочку:
Мы либо не прописываем в skills запрет на уничтожение людей, либо кто-то его злонамеренно убирает, либо развившийся super-AI/AGI обходит свои ограничения
Либо кто-то даёт злонамеренный промпт, либо развившийся super-AI/AGI по сценарию инструментальных целей ставит перед собой задачу уничтожить людей
Развившийся super-AI/AGI находит способ действительно уничтожить людей. При этом он нас превосходит в достаточной степени, чтобы бессмысленно было даже предполагать, как именно он это сделает. Как-то.
Человечество уничтожено.
Мы об этом говорим? Если да, то вы меня успокоили. Я готов допустить, что риск пунктов 1-2 не нулевой, причем super-AI + плохой пропт мне кажутся более вероятными, чем AGI-сценарий. Но вот пункт 3 мне представляется ключевым. Можно считать это антропоцентричным высокомерием и близорукостью.
Мне знакома и понятна идея инструментальных целей. Я даже считаю её избыточной и готов рассматривать сценарий, когда некто прямо даст промпт супер-ИИ-почти-AGI “уничтожь всех, кто не разделяет мои ценности” или просто “уничтожь всех”. А дальше что?
“Никто не пишет конкретные аргументы!” “Вот они” “Я их не буду читать, простите”
фразу “вот они” можно прочитать как “вот они, авторы” или как “вот они, аргументы”. Моя цитата про отсылку к книге была вызвана именно вторым прочтением.
Тем не менее. Я читал отрывки из книг и некоторые эссе Юдковского. Я читал пересказы его идей про угрозу AGI разными собеседниками. Мне не встретилось там того, что я бы счел предметным и убедительным. Либо его там нет, либо я пропустил. Опыт чтения Юдковского привел меня к заключению, что углубляться в его книгу в поисках жемчуга не стоит. Поэтому я и написал сразу - не Юдковского.
Предлагаю:
вы можете, пожалуйста, дать ссылку на короткий, в пределах получаса чтения, текст любого автора, пусть и Юдковского?
или пересказать любой убедительный для вас тезис своими словами?
Просто если кроме Юдковского и его соавторов (в широком смысле) у нас нет других аргументов про экзистенциальные риски уничтожения человечества от переростания ИИ в AGI, то я, в целом, спокоен. Как и прежде, буду больше бояться тех, кто владеет сегодняшним ИИ.
Самый бессмысленный аргумент в дискуссии — это в ответ на конкретный вопрос сказать “иди целиком прочитай эту книгу/посмотри этот сериал и поймешь, что я прав”.
Это отсюда. Я правильно понимаю, что мой вопрос сейчас окажется недостаточно конкретным?
Ох. Я прошу “Только, пожалуйста, не Юдковского”, и вы мне даёте ссылку на сайт, рекламирующий книгу Юдковского. Зачем?
У меня была возможность на протяжении лет ознакомиться с некоторыми эссе этого автора, отрыками книг. У меня сложилось достаточно скептическое мнение о его работах. Простите, но я не буду читать всю его книгу для продолжения этой дискуссии.
даже не пытаются ознакомиться в деталях с конкретными предметными аргументами тех, кто видит эти риски
Вы явно погружены в область больше, чем я. Скажите, пожалуйста, где я могу ознакомиться с конкретными и предметными аргументами тех, кто видит экзистенциальные риски уничтожения всего человечтва от появления AGI? Есть какие-то статьи? Может, вы сами сможете по памяти пересказать какие-то конкретные вещи?
подавляющее большинство тех, кто разрабатывает технологию ХХ видят в ней огромный риск для человечества
Я немного поправлю
подавляющее большинство тех, кто разрабатывает технологию ХХ, будучи, соответственно, предвзяты, видятговорят, что видят в ней огромный риск для человечества, но не конкретизируют, в чём он заключается, и не ведут предметного обсуждения
Пока это всё выглядит как “мы вот-вот построим AGI, но мы не знаем, каким он будет и что сможет, поэтому он скорее всего уничтожит всё человечество.” Даже если мы допустим 10% появления AGI до конца десятилетия, я не готов ставить знак равенства между появлением AGI и уничтожением человечества. И не готов без дополнительных пояснений полагаться на мнение разработчиков ИИ, ведь я не знаю, есть ли у них аргументы, отличающиеся от тех, что я уже слышал. А ещё меня настораживает, что они свои аргументы просто не приводят.
Если у нас нет экспертов одновременно по угрозам и по передовому ИИ, это не значит, что надо слушать только экспертов по ИИ. Напротив, надо брать экспертов по ИИ, объединять их с экспертами по угрозам, и смотреть на их дискуссии. В соседних ветках говорят про биологическое оружие и военных дронов? Ну так в обществе есть эксперты по биологическим угрозам и их предотвращению, по вооруженным конфликтам. Я не очень слежу, мог пропустить - кто-то ссылался на сотрудничесво с ними при формировании своих оценок?
Дополнительная сложность в том, что коммуникация от “всей верхушки” не то чтобы была информативна, по крайне мере в моём поле зрения. Я вижу твиты вроде “Риск более 10 процентов уничтожения всех людей в следующие десять лет” или “ИИ может убить нас всех до конца десятилетия”, но я не вижу, как эти оценки получены, на чем они строятся, какие гипотезы, какие эксперты привлекались к их получению. Как это вообще можно содержательно обсуждать?
На вскидку, есть одна область, в которой я готов сходу признать экспертность разработчиков ИИ, это кибербезопастность. Но мне явно нужно внешнее квалифицированное мнение, чтобы построить мостик от кибератк до прямо таки экзистенциальной угрозы всему человечеству.
UPD: Я напомню свой тезис - риски от почти монопольного и бесконтрольного доступа к современным ИИ с огромным компьютом и собранными данными у достаточно узкого круга частных лиц (иногда, с сомнительной репутацией) вызывют у меня гораздо больше опасений, чем неопределённая экзистенциальная угроза человечеству от AGI.
Люди вот очень умными развились у эволюции, но всё равно почему-то не выполняют идеально ее посыл “распространять свои гены как можно сильнее”
Эволюция не обладает целеполаганием, и у нее нет посылов. Я понимаю, что это такое выражение, но оно опасно искажениями в суждениях. Так недолго договориться до приписывания умысла, например, сбежавшему из лаборатории вирусу.
Ну так эти спикеры говорят не о технологиях, а об экзистенциальных угрозах человечеству. Какой экспертизой они обладают в этой области и какова их история успешных прогнозов в военном деле и глобальных конфликтах, в социально-экономических потрясениях, биологических угрозах? Кто из внешних экспертов готов валидировать их прогнозы?
Мне не очевидно, какова экспертиза «всей верхушки» за пределами технических вопросов и жизни и интересов их сообщества.
PS: Мне было бы приятно, если бы, отвечая на мои сообщения, вы ссылались на то, что говорю я, а не на то, что вам на схожую тему говорили другие люди, тем более выделяя это кавычками.
В смысле «если»? Уже создали такую экспертную ассоциацию математиков. OpenAI их послушали, вежливо покивали и сделали по своему.
Одна из интерпретаций действий OpenAI это «Мы тут пока занимались своими делами и тренировали модели, попутно нарешали разных задачек. Нам самим не особо интересно, мы этим заниматься не будем. Но вы, вроде, таким интересуетесь - вот вам побочный продукт под лицензией APL2, разбирайтесь, если хотите.» И математиков это, конечно, знатно из колеи выбило.
Не могу отделаться от ощущения сильного злорадства Павла в отношении математиков… Павел?
У мало что понимаю в задачах классификации, но на основе статьи, я бы предположил, что те или иные аттрактивные инварианты должны быть в каждой цветной области. Но это не обязательно точки равновесия.
Если хотите развить исследование, то можно сделать так: берете точку в цветовом сегменте и на длительной эволюции проверяете, покинула ли она свой цветовой сегмент и не вернулась ли она в малую окрестность самой себя. Так можно попробовать нащупать более сложные инварианты, чем точки равновесия.
Я допускаю, что в исходной статье есть неточности в терминологии; не каждая неподвижная точка аттрактор и не каждый аттрактор - неподвижная точка.
По поводу сепаратрисы - мне сложно с ходу представить фрактальное разделение для гладкой производной, но вдруг. Но я не понял, при чем тут дискретность - вы же смотрите на график для непрерывной системы?
Спасибо, очень интересно. Если позволите, несколько замечаний.
Больше всего мне не ясно, почему вы решили, что ваша приозводня дифференцируема по координате. Но допустим. Тогда:
Корректнее говорить всё-же про положение равновесия - это частный случай аттрактора, и не все аттаркторы - неподвижные точки.
При этом по картинке легко можно предположить, что положения равновесия минимум три. У вас два локально устойчивых положения равновесия (узлы или фокусы) со своими зонами притяжение. Граница зон притяжения - сепаратрисса, линия разграничения. Что происходит с точками на этой линии? Они могут убежать, но мы видим по картинке, что такого, скорее всего, не происходит - всё движение направлено к центру, нет траектрий наружу. Значит можно предположить наличие на линии разграничения седловой точки - неустойчивого положения равновесия, которое будет аттрактором для начальных условий на линии разграничения.
Простите, не могу согласиться. Число положений равновесия зависит от вашей функции скорости. А от условий нахождения зависит ваша способность их обнаружить.
Линия разграничения всегда линия, разве нет? Это, вроде, никак не связано с выбром h и с “простотой” системы.
С lofi понятно, а вот про чиптюн впервые узнал, спасибо. Можете посоветовать конкретные композиции? Аналогично и про саундтреки, кто какие слушает?
Можем ли мы доверять самоотчетам компаний без внешнего аудита? Вопрос риторический…
На сколько у меня сложилось впечатление из публикаций, решение для Навье-Стокса тоже свелось к подбору контрпримера?
А всего-то надо отвязать деньги и карьеру от библиометрии. Правда, так и не ясно, к чему тогда привязывать.
Я читаю ваше утверждение в прошлом комментарии так:
Это корректная формулировка, или в ней надо что-то уточнить?
Так, поправьте тогда, правильно ли я понял цепочку:
Мы либо не прописываем в skills запрет на уничтожение людей, либо кто-то его злонамеренно убирает, либо развившийся super-AI/AGI обходит свои ограничения
Либо кто-то даёт злонамеренный промпт, либо развившийся super-AI/AGI по сценарию инструментальных целей ставит перед собой задачу уничтожить людей
Развившийся super-AI/AGI находит способ действительно уничтожить людей. При этом он нас превосходит в достаточной степени, чтобы бессмысленно было даже предполагать, как именно он это сделает. Как-то.
Человечество уничтожено.
Мы об этом говорим? Если да, то вы меня успокоили. Я готов допустить, что риск пунктов 1-2 не нулевой, причем super-AI + плохой пропт мне кажутся более вероятными, чем AGI-сценарий. Но вот пункт 3 мне представляется ключевым. Можно считать это антропоцентричным высокомерием и близорукостью.
Мне знакома и понятна идея инструментальных целей. Я даже считаю её избыточной и готов рассматривать сценарий, когда некто прямо даст промпт супер-ИИ-почти-AGI “уничтожь всех, кто не разделяет мои ценности” или просто “уничтожь всех”. А дальше что?
Ох, согласен. Но в
фразу “вот они” можно прочитать как “вот они, авторы” или как “вот они, аргументы”. Моя цитата про отсылку к книге была вызвана именно вторым прочтением.
Тем не менее. Я читал отрывки из книг и некоторые эссе Юдковского. Я читал пересказы его идей про угрозу AGI разными собеседниками. Мне не встретилось там того, что я бы счел предметным и убедительным. Либо его там нет, либо я пропустил. Опыт чтения Юдковского привел меня к заключению, что углубляться в его книгу в поисках жемчуга не стоит. Поэтому я и написал сразу - не Юдковского.
Предлагаю:
вы можете, пожалуйста, дать ссылку на короткий, в пределах получаса чтения, текст любого автора, пусть и Юдковского?
или пересказать любой убедительный для вас тезис своими словами?
Просто если кроме Юдковского и его соавторов (в широком смысле) у нас нет других аргументов про экзистенциальные риски уничтожения человечества от переростания ИИ в AGI, то я, в целом, спокоен. Как и прежде, буду больше бояться тех, кто владеет сегодняшним ИИ.
Это отсюда. Я правильно понимаю, что мой вопрос сейчас окажется недостаточно конкретным?
Ох. Я прошу “Только, пожалуйста, не Юдковского”, и вы мне даёте ссылку на сайт, рекламирующий книгу Юдковского. Зачем?
У меня была возможность на протяжении лет ознакомиться с некоторыми эссе этого автора, отрыками книг. У меня сложилось достаточно скептическое мнение о его работах. Простите, но я не буду читать всю его книгу для продолжения этой дискуссии.
Вы явно погружены в область больше, чем я. Скажите, пожалуйста, где я могу ознакомиться с конкретными и предметными аргументами тех, кто видит экзистенциальные риски уничтожения всего человечтва от появления AGI? Есть какие-то статьи? Может, вы сами сможете по памяти пересказать какие-то конкретные вещи?
Только, пожалуйста, не Юдковского.
Я немного поправлю
Пока это всё выглядит как “мы вот-вот построим AGI, но мы не знаем, каким он будет и что сможет, поэтому он скорее всего уничтожит всё человечество.” Даже если мы допустим 10% появления AGI до конца десятилетия, я не готов ставить знак равенства между появлением AGI и уничтожением человечества. И не готов без дополнительных пояснений полагаться на мнение разработчиков ИИ, ведь я не знаю, есть ли у них аргументы, отличающиеся от тех, что я уже слышал. А ещё меня настораживает, что они свои аргументы просто не приводят.
Если у нас нет экспертов одновременно по угрозам и по передовому ИИ, это не значит, что надо слушать только экспертов по ИИ. Напротив, надо брать экспертов по ИИ, объединять их с экспертами по угрозам, и смотреть на их дискуссии. В соседних ветках говорят про биологическое оружие и военных дронов? Ну так в обществе есть эксперты по биологическим угрозам и их предотвращению, по вооруженным конфликтам. Я не очень слежу, мог пропустить - кто-то ссылался на сотрудничесво с ними при формировании своих оценок?
Дополнительная сложность в том, что коммуникация от “всей верхушки” не то чтобы была информативна, по крайне мере в моём поле зрения. Я вижу твиты вроде “Риск более 10 процентов уничтожения всех людей в следующие десять лет” или “ИИ может убить нас всех до конца десятилетия”, но я не вижу, как эти оценки получены, на чем они строятся, какие гипотезы, какие эксперты привлекались к их получению. Как это вообще можно содержательно обсуждать?
На вскидку, есть одна область, в которой я готов сходу признать экспертность разработчиков ИИ, это кибербезопастность. Но мне явно нужно внешнее квалифицированное мнение, чтобы построить мостик от кибератк до прямо таки экзистенциальной угрозы всему человечеству.
UPD: Я напомню свой тезис - риски от почти монопольного и бесконтрольного доступа к современным ИИ с огромным компьютом и собранными данными у достаточно узкого круга частных лиц (иногда, с сомнительной репутацией) вызывют у меня гораздо больше опасений, чем неопределённая экзистенциальная угроза человечеству от AGI.
Эволюция не обладает целеполаганием, и у нее нет посылов. Я понимаю, что это такое выражение, но оно опасно искажениями в суждениях. Так недолго договориться до приписывания умысла, например, сбежавшему из лаборатории вирусу.
Ну так эти спикеры говорят не о технологиях, а об экзистенциальных угрозах человечеству. Какой экспертизой они обладают в этой области и какова их история успешных прогнозов в военном деле и глобальных конфликтах, в социально-экономических потрясениях, биологических угрозах? Кто из внешних экспертов готов валидировать их прогнозы?
Мне не очевидно, какова экспертиза «всей верхушки» за пределами технических вопросов и жизни и интересов их сообщества.
PS: Мне было бы приятно, если бы, отвечая на мои сообщения, вы ссылались на то, что говорю я, а не на то, что вам на схожую тему говорили другие люди, тем более выделяя это кавычками.