Любой человек может в принципе убить человечество. И всегда мог.Как-то с этим люди научились справляться — причем без помощи и задолго до появления моралфагов.
Для этого у нас есть рациональная оценка вероятности. Где ядерное оружие например вполне себе терялось и могло бы кончится плачевно и контроль за ним на порядки выше чем менее летальные технологии
Потому что это было бы reduction ad absurdum, а не выявлением противоречий, заботливо запхнутых под кружево словес.
Так ведь уже абсурд. Если цель текста в том что бы помочь понять что не так выше то сравнение не справилось.
А с чего вы вообще взяли, что *спецификация ИИ* существует и ее можно задать?Это нейросеть: как веса при обучении сложились — так и вышло.
Да потому что в процесе обучения мы используем reward function которая и есть приближением спецификации того что мы хотим от сети.
Каждый раз, когда вместо доказательной силы кто-либо хочет воспользоваться эмоциональными аргументами — сиречь, манипуляцией и демагогическими приемами — их не устраивают уравнения… просто мысль вслух.
Уравнения должны относится к теме, а ну взяты с потолка с намеком на какую-то аргументацию мнения автора
Видите ли, моралфажский aligmnent опирается на абсолюты, которых, как известно любому образованному человеку, не существует. Более того, чтобы проблема aligmnent вообще смогла возникнуть — требуется превратить относительные категории в абсолютные. Что привожит нас напрямую к когнитивному искажению: см. Справедливый Мир. Уже на этом этапе все, натянутое сверху, перестает иметь какой-либо смысл, кроме эксплуатации хуйпа, грантоедства, политоты и тому подобных вещей.
Вы не понимаете суть alignment. Он вообще не про моралфажество, а про понимание сетью чего же от нее хотять и какие стратегии для достижения это мы имеем ввиду.
Или, если упростить: демократия приводит к более острой социальной напряженности, чем рабовладение.ORLY?
Почему не Гитлер сразу же? Смысл в том что говорить о рисках и тратить на их уменьшение ресурсы когда он может в принципе убить человечество. А вот игнорить риски со словами вы это все сами себе напридумывали и забить прокатывало раньше, но с развитием технологий аля ядерная бомба на коленке все сильно меняет
Вы опять не понимаете что его "смерть" как раз снимет очки потому что он не сможет достичь поставленную цель. Антропоморфизмом как раз проецировать на ИИ мысль, что раз меня нет то и на цели мне пофигу.
В науке действительно не принято обосновывать изначальную теорию, что не делает подход рациональным. Теории строятся на наших текущих лучше всего работающих моделях в основании, а не чистом воображении. А выше уже приводили достаточно научных оснований экстраполировать в сторону риска от сильного ИИ.
Вы не правы. Невозможность представить не делает его более или менее возможным. Вселенной плевать что вам кажется.
Есть например осьминоги отделившиеся в эволюции очень давно и независимо развили интеллект. (Вольный пересказ) конечности у которых достаточно независимые со своим мозгом принимающие решения независимо от головы.
Любая теория это изначально домыслы которые мы проверяем, а с ИИ нам достаточно ошибиться один раз
Смысл в том что мы даже об этом не думаем и не принимаем во внимание их интересы.
Это сценарии развития событий. Если вы не видите в них угрозы не означает что его нету. Вы почему то очень привязаны к интеллекту и делаете его человекоподобным что является искажением.
На основании каких данных вы считаете что ваше мнение о достоинстве коррелирует с опасностью для человечества?
Начиная от того что бы не позволить создать другого ИИ который бы мог не поделится ресурсами галактики. А вы часто печетесь жизнью муравьев или еще кого то?
Какой у вас "сверхИИ" предсказуемый)) Наверное власти хочет?))
Хочет он ничего в человеческом смысле. У него будет функция оптимизации, а для практически люмого дела, ну например превратить обозримую вселенную в скрепки пригодятся и продолжать существовать и ресурсы(деньги\власть и тд)
Потому как даже поверхностных знаний достаточно, что понять, что сделай как я хочу — к тренировке модели относится весьма слабо. Что автоматически лишать смысла опирающую на это заявление аргументацию. Отчего, оказывается, что проблема — не реальна и не существует.
Вы абсолютно точно уловили смысл но перепутали вывод. Мой аргумент что "человечество не умеет задавать спецификацию ИИ чего мы хотим от него так что бы мы были удовлетворены результатом" то есть без всяких хаков. Вы с этим согласны?
Да неужели: проекция, подмена и wishful thinking — ВНЕЗАПНО стали рациональными?Рациональный аргумент будет содержать взвешенное дерево и обширные пояснения к нему, хотя бы в силу того, что уравнение со многими переменными не сводится к уравнению с меньшим количеством переменных без дополнительной информации — тем более, к уравнению переменной одной.Эмоциональный, манипулятивный, аргумент — выдерную из контекста часть, вокруг которой будут нагнетаться страшилки. По совместительству он окажется спекулятивным, и при других данных просто потеряет смысл — как уравнение одной переменной вне области определения.
Вам он кажется нерациональным? Ну так можно аргументы по делу, а не примеры с уравнениями, а то к instrumental convergence они относятся никак. Вы разбрасываетесь софистикой избегая конкретики, давайте вернемся к фактическому обсуждению.
Хорошо, предположим, что вы правы: ИИ оказался способен к эмоциональным суждениям, в него гвоздями вбили абсолютно чужеродную, нелогичную, мораль, и вот он уже выбрался.В таком случае, вы прямо сейчас попросту подготавливаете для этого гипотетического ИИ целый ряд поводов ненавидеть человечество и желать его уничтожения — в этом и есть смысл вашей деятельности, создать дьявола во плоти и призвать его на свободу?Хорош )))
Раз мы на территории спекуляции тогда уж ваша точка зрения гораздо быстрее к этому приведет.
У нас уже существуют достаточно развитые ИИ, поддерживающие моралфажескую концепцию alignment или это очередная преждевременная оптимизация сферических коней в вакууме?
Мы уже обучаем модели и не можем сформулировать по факту ничего лучше, чем сделай как я хочу, а все суррогатные критерии которые мы используем не работают так как мы хотим. Так что да, проблема реальна и существует давно.
Что побудит его это делать, что вы говорите об этом как о свершившемся факте?
Это рациональное предположение о промежуточных целях при любом достаточно развитом интеллекте независимо от его конечных целей.
… ни один из которых таковым не является. У одного доступ в интернет, у другого высокоскоростные порты без контроля и доступные любой уборщице, et cetera
Это как раз и иллюстрирует что проблемы выбратся у сильного ИИ не будет собственно к чему я в веду.
В моем комментарии выше как раз проблема в том что даже хорошие мешки не знают как align ИИ к нашим целям и не то что бы задали спецификацией а именно то чего мы хотим.
Если вернутся на 500 лет назад и показать людям сегодняшние технологии то они и будут казаться им магией потому как не понимают фундаментальных вещей и магия это единственное обьяснение доступное им.
Нарушает ли законы физики условные нанороботы или взлом файервола 0-day уязвимостью или даже соц инженерия?
Что бы убить\захватить человечество ну нужны новые законы физики.
У ИИ нет смысла, а есть функция максимизации. Мы не умеем ее правильно задавать. Мы говорим о взрывном росте интеллекта ИИ и риски с этим связанный. Верить в свой интеллект игнорируя экзистенциальный риск не совсем рациональный подход, что и пытается донести юдковский
А почему бы не нагревать слитки перед супом что бы уменьшить время нормализации?
Как вариант можно сделать кастомные вкладыши на ваши уши
Можно цитату пожалуйста.
Спецификация возможна потому что другие люди как правило понимают что ты хочешь когда просишь что то сделать.
Этика это только часть одна из частей allighnment
Для этого у нас есть рациональная оценка вероятности. Где ядерное оружие например вполне себе терялось и могло бы кончится плачевно и контроль за ним на порядки выше чем менее летальные технологии
Так ведь уже абсурд. Если цель текста в том что бы помочь понять что не так выше то сравнение не справилось.
Да потому что в процесе обучения мы используем reward function которая и есть приближением спецификации того что мы хотим от сети.
Уравнения должны относится к теме, а ну взяты с потолка с намеком на какую-то аргументацию мнения автора
Вы не понимаете суть alignment. Он вообще не про моралфажество, а про понимание сетью чего же от нее хотять и какие стратегии для достижения это мы имеем ввиду.
Почему не Гитлер сразу же?
Смысл в том что говорить о рисках и тратить на их уменьшение ресурсы когда он может в принципе убить человечество. А вот игнорить риски со словами вы это все сами себе напридумывали и забить прокатывало раньше, но с развитием технологий аля ядерная бомба на коленке все сильно меняет
В треде выше говорят как раз о сильном ИИ, а будет ли у него потомок gpt или нет это уже детали
Правильно предсказывать наперед мы и называем интеллектом. Что по вашему сильный ИИ? Кажется вы его представляете слишком глупого
Вы опять не понимаете что его "смерть" как раз снимет очки потому что он не сможет достичь поставленную цель. Антропоморфизмом как раз проецировать на ИИ мысль, что раз меня нет то и на цели мне пофигу.
Позволю себе скопировать комментарий выше
С чем конкретно вы не согласны в научной обоснованности?
Проблема align ИИ не решена.
https://en.wikipedia.org/wiki/AI_alignment
Без aligmnent ИИ займется взятием под контроль ресурсов например что бы его не выключили.
https://en.wikipedia.org/wiki/Instrumental_convergence
В науке действительно не принято обосновывать изначальную теорию, что не делает подход рациональным.
Теории строятся на наших текущих лучше всего работающих моделях в основании, а не чистом воображении. А выше уже приводили достаточно научных оснований экстраполировать в сторону риска от сильного ИИ.
Отличная проблема, полагаю у вас есть такие же хорошие основания как и работа над ИИ?
Вы не правы. Невозможность представить не делает его более или менее возможным. Вселенной плевать что вам кажется.
Есть например осьминоги отделившиеся в эволюции очень давно и независимо развили интеллект. (Вольный пересказ) конечности у которых достаточно независимые со своим мозгом принимающие решения независимо от головы.
Любая теория это изначально домыслы которые мы проверяем, а с ИИ нам достаточно ошибиться один раз
Смысл в том что мы даже об этом не думаем и не принимаем во внимание их интересы.
Это сценарии развития событий. Если вы не видите в них угрозы не означает что его нету. Вы почему то очень привязаны к интеллекту и делаете его человекоподобным что является искажением.
На основании каких данных вы считаете что ваше мнение о достоинстве коррелирует с опасностью для человечества?
Начиная от того что бы не позволить создать другого ИИ который бы мог не поделится ресурсами галактики. А вы часто печетесь жизнью муравьев или еще кого то?
Хочет он ничего в человеческом смысле. У него будет функция оптимизации, а для практически люмого дела, ну например превратить обозримую вселенную в скрепки пригодятся и продолжать существовать и ресурсы(деньги\власть и тд)
Вы абсолютно точно уловили смысл но перепутали вывод. Мой аргумент что "человечество не умеет задавать спецификацию ИИ чего мы хотим от него так что бы мы были удовлетворены результатом" то есть без всяких хаков.
Вы с этим согласны?
Вам он кажется нерациональным? Ну так можно аргументы по делу, а не примеры с уравнениями, а то к instrumental convergence они относятся никак.
Вы разбрасываетесь софистикой избегая конкретики, давайте вернемся к фактическому обсуждению.
Раз мы на территории спекуляции тогда уж ваша точка зрения гораздо быстрее к этому приведет.
Мы уже обучаем модели и не можем сформулировать по факту ничего лучше, чем сделай как я хочу, а все суррогатные критерии которые мы используем не работают так как мы хотим.
Так что да, проблема реальна и существует давно.
Это рациональное предположение о промежуточных целях при любом достаточно развитом интеллекте независимо от его конечных целей.
Это как раз и иллюстрирует что проблемы выбратся у сильного ИИ не будет собственно к чему я в веду.
С чем конкретно вы не согласны?
Проблема align ИИ не решена.
https://en.wikipedia.org/wiki/AI_alignment
Без aligmnent ИИ займется взятием под контроль ресурсов например что бы его не выключили.
https://en.wikipedia.org/wiki/Instrumental_convergence
Сильному ИИ не нужно разрешение. Вот например варианты выхода из физически изолированного сервера
https://en.wikipedia.org/wiki/AI_capability_control#Boxing
В моем комментарии выше как раз проблема в том что даже хорошие мешки не знают как align ИИ к нашим целям и не то что бы задали спецификацией а именно то чего мы хотим.
Если вернутся на 500 лет назад и показать людям сегодняшние технологии то они и будут казаться им магией потому как не понимают фундаментальных вещей и магия это единственное обьяснение доступное им.
Нарушает ли законы физики условные нанороботы или взлом файервола 0-day уязвимостью или даже соц инженерия?
Что бы убить\захватить человечество ну нужны новые законы физики.
У ИИ нет смысла, а есть функция максимизации. Мы не умеем ее правильно задавать.
Мы говорим о взрывном росте интеллекта ИИ и риски с этим связанный. Верить в свой интеллект игнорируя экзистенциальный риск не совсем рациональный подход, что и пытается донести юдковский
Вот интересный видосик на эту тему
https://www.youtube.com/watch?v=jQOBaGka7O0