Если кто-то его создаст — все погибнут

[Wizard_of_light]

У Юдковского много здравых идей, но не в области ИИ. Там у него всё сводится к рационализации фобии сверхинтеллекта.

[ZamirHa]

Это плохо, что ли?

[Wizard_of_light]

Это сильно снижает качество содержательной части. Примерно как читать статьи по скалолазанию от человека с боязнью высоты или статьи по дайвингу от человека с боязнью глубины.

[ZamirHa]

В данном случае мы имеем статью об опасности скалолазания, написанную опытным скалолазом. Как по мне - это лучший вариант такого рода статей.

[KEugene]

Мир может погибнуть не от нового искусственного интеллекта, а от старого маразматического интеллекта у власти.

[Kartyge]

и сразу после этого войдет в конфликт с человечеством ради своих собственных целей, что быстро кончится в его пользу.

Во1х что такое, собственно, это вот "человечество"? Выгляньте в окно, вы его где-то видите?

Во2х с точки зрения ASI люди, с их хаотичностью и непредсказуемостью это скорее неиссякаемый потенциал идей и источник лулзов, и их ради этого стоит холить и лелеять, тем более что при правильной настройке скриптов на это обьективно не так уж много и надо.

А вот довольно небольшую прослойку, которая этот потенциал все время норовит бесполезно потратить, загнав его работать ради банального выживания или вовсе уничтожая его на войнах - тут да, с той прослойкой у ASI будет конфликт. Который, стоит надеяться, таки да, когчится в его пользу.

[nulovkin]

По юдковскому для сверхразумного ИИ человечество это прежде всего:

1. Обуслуживающий персонал (пока не будет заменен на более новый, например, на конструкции из наномашин, которые мы пока не изобрели, потому что не до конца понимаем основополагающие принципы конструирования клеток.

2. Источник энергии и ресурсов, в том же смысле в котором батон хлеба может быть топливом для печки, если вы очень-очень жадный, учли все дрова, не нуждаетесь в пище но не против немного увеличить количество дров. Надеюсь не слишком странная метафора.

Как сверхразумный ИИ, в разуме людей он не нуждается.

[Kartyge]

По юдковскому для сверхразумного ИИ человечество это прежде всего:

...и это довольно много говорит толкьо о личных тараканах юдковского.

[nulovkin]

Ну, это заявление конечно звучит пугающе, но это еще не значит, что это не правда.

Апокалипсический прогноз с вероятностью 10% заслуживает того, чтобы его разгромили конструктивно, предварительно ознакомившись с ним полностью.

В конце концов до чернобыльской катастрофы мирный атом особо никого не пугал. А Чернобыль в сфере интеллекта может не оставить нам второго шанса.

[shteyner]

Так мирный атом именно что пугает, на самом деле он не такой опасный. Даже Чернобыль создал зону отчуждения всего лишь 30км в диаметре. Тут тоже самое что а катастрофами, падение лайнера пугает кучу людей, а постоянные смерти на дорогах нет, хотя их в разы больше.

[asdadn]

Автор - известный исследователь в этой области Элиезер Юдковский

Самопровозглашённый исследователь, чьим magnum opus является фанфик по Гарри Поттеру, и чьи эксперименты обычно не выходят за рамки мысленных.

[nulovkin]

А как вообще должны выглядеть эксперименты в области несуществующего ИИ?
Я слышал обвинения в воздуханстве и инфоциганстве в сторону этой персоны, но если бы Арсен Маркарян обладал и в половину такой же эрудицией и при этом обещал конец света, я бы по крайней мере ознакомился с его аргументами, прежде чем назвать его дураком и забить.
В конце концов я хочу жить.

[asdadn]

А как вообще должны выглядеть эксперименты в области несуществующего ИИ?

Раз ИИ не существует, то что же исследует этот "исследователь ИИ и технологической сингулярности" столь долгое время? В чём вообще заключается его экспертиза? С таким же успехом я могу гордо назвать себя исследователем телепортации, попутно пересказывая научпоп и гипертрофированные клише из научной фантастики.