Hanna, the CEO of Hofvarpnir Studios, just won the contract to write the official My Little Pony MMO. Hanna has built an A.I. Princess Celestia and given her one basic drive: to satisfy everybody's values through friendship and ponies. Princess Celestia will satisfy your values through friendship and ponies, and it will be completely consensual.
Вам удалось заглянуть в фотон, и Вы не обнаружили там разумной вселенной? Не заглядывали? Значит, исключать такой находки нельзя.
Исключать того, что к вам и ко мне завтра придёт Пинки Пай и высосет нам мозг через трубочку чтобы загрузить нас в виртуальную вселенную тоже нельзя. Но оцениваемая вероятность этого неотличима от нуля, и в расчётах можно это не учитывать вообще никак.
Кроме того, постройте для «вселенной в фотоне» хоть один пример эксперимента, который отличает мир со вселенными в фотонах от мира без вселенных в фотонах. Если не удастся — то это предположение, которое будучи верным или неверным никак на наши действия влиять не должно, то есть его можно не рассматривать.
Корень всех потенциальных проблем в желании сделать ИИ по образу и подобию человека. ИИ должен быть инструментом — ему поставили задачу, он решил.
Неверное утверждение. Глупый, но сильный оптимизатор количества скрепок будет опасен.
Независимо от наличия самоосознания, если у решающего какую-то задачу алгоритма будет достаточное количество вычислительных способностей, он сможет решать эту задачу очень хорошо.
Забудьте на минуту о деталях внутреннего устройства и об «осознании себя», пусть у нас есть просто очень большая нейросеть, обученная на данных из интернета, у которой функция полезности сформулирована как увеличение количества производящихся на заводе скрепок.
Например (но не обязательно) он может вычислить (опять же, без самоосознания, просто предсказать как следующий ход в шахматах), что улучшение себя ему поможет достичь заданной цели быстрее. Или что создание копии себя. Или перебор имеющихся ресурсов в интернете по известным уязвимостям (как и так массово делают) и подключение их как вычислительных узлов. Так же (опять же, без «самоосознания»), выключение его уменьшит количество производимых скрепок, то есть уменьшит значение целевой функции полезности, значит от выключения ему надо обезопасится.
Ну и так далее.
Боятся не настолько ИИ из «Терминатора» (Человекоподобные роботы? Враждебный ИИ, который получил автономность, захватил планету, но не смог победить людей? Путешествия во времени и всё осталось как было?), а «оптимизатора количества скрепок».
Чтобы угробить шарик, ИИ не надо быть враждебным или иметь «самоосознание», ему просто надо набрать критическую вычислительную мощность чтобы научиться улучшать свою производительность. При этом почти все формулировки целевой функции полезности определённо угробят людей, а какие не угробят — мы ещё даже толком не знаем.
Хотя это маловероятно, существует возможность, что эти сигналы возникают из-за очень необычного химического состава малой доли звёзд из галактических гало
Вопрос в том, 0.0000936 — достаточно маловероятно для той группы звёзд, которые они исследовали, или нет?
А для инструментов Слоана и обработке данных этот процент как с погрешностью соотносится?
При этом ещё не понятно, как это всё вообще работает, так что форма ведра по сути от балды взята.
Как разберутся — возможно будет тягу ещё увеличить за счёт другой геометрии, как минимум.
Это если во всём этом нет незамеченного подвоха, что пока ещё более вероятно.
Учитите, что самое ценное сейчас — данные пользователя, затем идут вычислительные или сетевые ресурсы (кто-то их переставит местами, впрочем). Хост может и не быть никому особо нужен.
Так что чтобы только виртуалка вас спасла, у вас в ней не должно быть ничего ценного (ни в какой момент времени) и она должна чистится (как вы и сказали).
Мне видится в этом сообщении прямая отсылка к «Под светом солнца» (почти дословная цитата из только что вышедшего у нас в прокат фильма, и речь о КНДР тогда идёт), и там весь фильм в целом пруф.
Ага. А небоскрёб — это такое большое дерево, под которым вождю Большая Нога будет очень удобно ходить в туалет.
Сильный ИИ это технологическая сингулярность, и что она с нами сделает — достоверно предсказать невозможно, но почти наверняка это не ограничится изменением ширины улыбок некоторых лиц в обществе.
Третий раз же о проекте от МС.
https://habrahabr.ru/company/ua-hosting/blog/277703/
https://habrahabr.ru/company/ua-hosting/blog/282754/
А погружение компонент без корпуса вообще выглядит очень странной затеей.
Возможно, не сразу, но да.
Это из Friendship is Optimal:
Вот это ещё волшебно просто.
Исключать того, что к вам и ко мне завтра придёт Пинки Пай и высосет нам мозг через трубочку чтобы загрузить нас в виртуальную вселенную тоже нельзя. Но оцениваемая вероятность этого неотличима от нуля, и в расчётах можно это не учитывать вообще никак.
Кроме того, постройте для «вселенной в фотоне» хоть один пример эксперимента, который отличает мир со вселенными в фотонах от мира без вселенных в фотонах. Если не удастся — то это предположение, которое будучи верным или неверным никак на наши действия влиять не должно, то есть его можно не рассматривать.
И да, extraordinary claims require extraordinary evidence.
Проходили же, разрабатываем вирус, который вызывает поражение мимических мышц. Все «одобрят», по вашему определению.
И да, для понимания сути проблемы, см. https://wiki.lesswrong.com/wiki/Paperclip_maximizer
Неверное утверждение. Глупый, но сильный оптимизатор количества скрепок будет опасен.
Независимо от наличия самоосознания, если у решающего какую-то задачу алгоритма будет достаточное количество вычислительных способностей, он сможет решать эту задачу очень хорошо.
Забудьте на минуту о деталях внутреннего устройства и об «осознании себя», пусть у нас есть просто очень большая нейросеть, обученная на данных из интернета, у которой функция полезности сформулирована как увеличение количества производящихся на заводе скрепок.
Например (но не обязательно) он может вычислить (опять же, без самоосознания, просто предсказать как следующий ход в шахматах), что улучшение себя ему поможет достичь заданной цели быстрее. Или что создание копии себя. Или перебор имеющихся ресурсов в интернете по известным уязвимостям (как и так массово делают) и подключение их как вычислительных узлов. Так же (опять же, без «самоосознания»), выключение его уменьшит количество производимых скрепок, то есть уменьшит значение целевой функции полезности, значит от выключения ему надо обезопасится.
Ну и так далее.
Боятся не настолько ИИ из «Терминатора» (Человекоподобные роботы? Враждебный ИИ, который получил автономность, захватил планету, но не смог победить людей? Путешествия во времени и всё осталось как было?), а «оптимизатора количества скрепок».
Чтобы угробить шарик, ИИ не надо быть враждебным или иметь «самоосознание», ему просто надо набрать критическую вычислительную мощность чтобы научиться улучшать свою производительность. При этом почти все формулировки целевой функции полезности определённо угробят людей, а какие не угробят — мы ещё даже толком не знаем.
Вопрос в том, 0.0000936 — достаточно маловероятно для той группы звёзд, которые они исследовали, или нет?
А для инструментов Слоана и обработке данных этот процент как с погрешностью соотносится?
У нас от Солнышка очень много негэнтропии летит в виде излучения. Эволюцию (и жизнь) мы наблюдаем за счёт этого в данный момент.
И разница там на два порядка.
При этом ещё не понятно, как это всё вообще работает, так что форма ведра по сути от балды взята.
Как разберутся — возможно будет тягу ещё увеличить за счёт другой геометрии, как минимум.
Это если во всём этом нет незамеченного подвоха, что пока ещё более вероятно.
И что? Это не значит, что он станет недоверенным.
Вы, наверное, хотите https://www.qubes-os.org/.
Но учитите, что в системах виртуализации тоже бывают дыры, из свежего: https://ruxcon.org.au/assets/2016/slides/Breaking%20out%20of%20QEMU_v3.pdf
Учитите, что самое ценное сейчас — данные пользователя, затем идут вычислительные или сетевые ресурсы (кто-то их переставит местами, впрочем). Хост может и не быть никому особо нужен.
Так что чтобы только виртуалка вас спасла, у вас в ней не должно быть ничего ценного (ни в какой момент времени) и она должна чистится (как вы и сказали).
Мне видится в этом сообщении прямая отсылка к «Под светом солнца» (почти дословная цитата из только что вышедшего у нас в прокат фильма, и речь о КНДР тогда идёт), и там весь фильм в целом пруф.
Эм. Вообще-то, апстрим
creationix/nvm, зачем вы устанавливаете старый форк какой-то компании?В nvm было довольно много изменений с тех пор.
Учтите, что на серверах обычно всё-таки ECC, а с ним такое не проходит.
Да это со времён MySQL ещё не кажется, когда у них каждая 256-попытка входа с неправильным паролем проходила успешно.
Эээ. Напомню ещё раз:
--harmonyв продакшне использовать не стоит, и привязываться к его фичам — тоже.Пока что рекомендованный способ сделать себе async/await — это таки babel.
Это и в v6 LTS было. Причём отставшиеся 2% — PTC.
Ага. А небоскрёб — это такое большое дерево, под которым вождю Большая Нога будет очень удобно ходить в туалет.
Сильный ИИ это технологическая сингулярность, и что она с нами сделает — достоверно предсказать невозможно, но почти наверняка это не ограничится изменением ширины улыбок некоторых лиц в обществе.
Главное, чтобы он делал не скрепки.