Комментарии 159
Зачем же лететь несколько световых лет, чтобы уничтожить или поработить молодую и ни чем не примечательную расу?
Зачем плыть через океан, чтобы поработить ничем не примечательных голоштанных дикарей? А затем, что там есть золото, ценность которого эти дикари не понимают. А еще у нас есть религия, которая их спасет от ада (о котором они не подозревают).
То есть у нас могут быть такие ресурсы, ценность которых для жукоглазых с Альдебарана мы не подозреваем.
И у инопланетян (и у ИИ, если уж на то пошло) могут быть такие мотивы — интеллектуальные, эмоциональные — духовные, если хотите, — которые мы не можем себе вообразить.
Ну я уже описал вам выше, что практического смысла нету лететь так далеко за ресурсами. Не нужно сравнивать океан и десятки световых лет. Ресурсы можно найти и поближе. Насчет остальных мотивов, которые мы не можем себе вообразить, вы, безусловно, правы.
Пересечь океан сегодня можно за десять часов в мягком кресле с пледом и комплексным питанием. Пятьсот лет назад дело обстояло несколько иначе. И, знаете ли, плыли!
А вы знаете, что если бы вдруг весь мусор на орбите стал золотым, то с экономической точки зрения собирать его и переправлять на землю было бы не выгодно. А теперь представтье стоимость ресурсов с соседней солнечной системы, пожалуйста.
А если это, к примеру, кочевники, и потреблять они собираются на месте?
Опять же почему именно наша система и планета?
Они ничем не примечательны. Есть бесконечность точно таких-же. Да даже в нашей системе найдется место для нескольких цивиллизаций. Почему тогда именно наша планета?
Они ничем не примечательны. Есть бесконечность точно таких-же. Да даже в нашей системе найдется место для нескольких цивиллизаций. Почему тогда именно наша планета?
Вы мне предлагаете разработать технико-экономическое обоснование целесообразности нападения на Землю неведомых инопланетян с неведомыми мотивами? Да случайным образом, например. Мимо летели.
Ограбить улей куда проще, чем самому выработать мёд.
Ограбить улей куда проще, чем самому выработать мёд.
Место-то найдется, но лучшее место оно почему-то по определению только одно…
наверное стоило отвечать вам а не k12th: мой комментарий с обоснованием
Чисто случайно на пути им попались. Маловероятно — не значит невозможно.
Ну, для тех дикарей океан был примерно столь же непреодолим, как для нас десятки световых лет. Они тоже знали, что теоретически можно построить большую-пребольшую пирогу и долго-долго плыть, только нет таких калебасов, чтоб вместились все припасы на такую долгую дорогу.
Опять же, смотря о каких ресурсах речь. Плыть за брюквой и кремнем в Индию смысла не было, а за перцем и золотом — вполне.
Не говоря уж о том, что если у тебя нет молекулярного сборщика, то всегда может оказаться так, что за чем-то там лететь гораздо выгоднее, чем выколупывать из коры. Мы же собираемся на астероиды за платиноидами, хотя их и под ногами хватает. Если у них звезда из более старшего поколения и у них швах с тяжелыми элементами, а мы тут сидим на дефицитном кремнии, как собака на сене.
Не говоря уж о том, что если у тебя нет молекулярного сборщика, то всегда может оказаться так, что за чем-то там лететь гораздо выгоднее, чем выколупывать из коры. Мы же собираемся на астероиды за платиноидами, хотя их и под ногами хватает. Если у них звезда из более старшего поколения и у них швах с тяжелыми элементами, а мы тут сидим на дефицитном кремнии, как собака на сене.
Я, в принципе, с вами скорее согласен. Только хочу сказать, что ресурсы тоже не следует категорически исключать.
Я здесь пишу о том, что нельзя отказываться от создания сверхчеловеческого ИИ из-за страха порабощения. А вы мне о жадных на ресурсы инопланетянах. Они тут были использованы лишь в качестве примера. Почувствуйте разницу. И распространение элементов по Вселенной приблизительно одинаковое. Мы ничем не примечательны, повторюсь. Я тут уже писал, что человечество ещё не вылечило болезнь под названием «Чувство собственной воображаемой значимости». Вот вы — яркий этому пример. Даже если они прилетят к нам за ресурсами, можно высадиться и на другой планете — на Марсе, например. Там Кремния достаточно. И в поясе Койпера тоже хватает набитыми минералами валунов, поверьте.
Вы пытаетесь обосновать мнение на некой аналогии. А я пытаюсь показать, что ваша аналогия весьма шаткая.
Ок, переключимся на ИИ. С какой стати ему тащиться на астероиды за ресурсами, если ему и здесь неплохо? Магнитосфера защищает микросхемы от излучения и все такое.
Ок, переключимся на ИИ. С какой стати ему тащиться на астероиды за ресурсами, если ему и здесь неплохо? Магнитосфера защищает микросхемы от излучения и все такое.
Меня лично ИИ и инопланетяне не пугают — чтобы уничтожить человечество, самого человечества хватит с избытком. Но давайте не притягивать за уши шаткие аналогии.
Это было лишь примером того, что мы всегда боимся чего-то неизвестного и нового. Причем далеко не всегда есть причины для этого страха, если задуматься.
Вот взять вас, допустим, вам понадобился кремний. Стоит на почти одинаковом расстоянии 2 емкости с песком. В одной кроме песка ничего нету, а во второй какие-нибудь ядовитые насекомые (пусть и не смертельно). Из какого ящика вы решите взять то. что вам нужно? Точно так же и с людьми. незачем лететь за ресурсами именно на Землю, т.к. даже в нашей солнечной системе целая куча других не менее богатых на минералы небесных тел. К тому же, почти все тяжелые и редкие элементы глубоко под поверхностью планеты. Астероиды же лишены этого недостатка.
Вот взять вас, допустим, вам понадобился кремний. Стоит на почти одинаковом расстоянии 2 емкости с песком. В одной кроме песка ничего нету, а во второй какие-нибудь ядовитые насекомые (пусть и не смертельно). Из какого ящика вы решите взять то. что вам нужно? Точно так же и с людьми. незачем лететь за ресурсами именно на Землю, т.к. даже в нашей солнечной системе целая куча других не менее богатых на минералы небесных тел. К тому же, почти все тяжелые и редкие элементы глубоко под поверхностью планеты. Астероиды же лишены этого недостатка.
Ваш вывод мне импонирует, но вот Ваш способ его обоснования служит этому выводу плохую службу, к сожалению.
Тоже захотел ответить как раз к
Вы ответили исходя из человеческих ценностей и целей. Но у меня немного другое видение ответа на вопрос зачем:
Благодаря эволюции у разумной(и не только) жизнь на земле самым главным инстинктом является инстинкт самосохранения как индивида так и популяции(путём размножения). Но ведь у зелёных человечков эволюция могла пойти по другому пути: Например для них самым главным инстинктом мог стать инстинкт уничтожения любых других форм жизни кроме себя.
Мы ради самосохранения хотим освоить космос. А они могут хотеть его освоить ради того что бы уничтожить всё живое, в том числе и нас. И даже если никакой стратегической выгоды от нашего уничтожения они не получат, они сделают это просто из-за инстинкта.
Как вариант мира/планеты с такой эволюцией: все формы жизни питаются не друг другом а от единого источника энергии. Например радиацией их звезды. А размножение у них происходит путём переработки существ другого вида (съел чужака -> переварил -> получил потомка). И чем больше и лучше они будут убивать — тем больше еды для их вида останется.
этой цитате
И обнаружил ваш комментарий.Зачем же лететь несколько световых лет, чтобы уничтожить или поработить молодую и ни чем не примечательную расу?
Вы ответили исходя из человеческих ценностей и целей. Но у меня немного другое видение ответа на вопрос зачем:
Благодаря эволюции у разумной(и не только) жизнь на земле самым главным инстинктом является инстинкт самосохранения как индивида так и популяции(путём размножения). Но ведь у зелёных человечков эволюция могла пойти по другому пути: Например для них самым главным инстинктом мог стать инстинкт уничтожения любых других форм жизни кроме себя.
Мы ради самосохранения хотим освоить космос. А они могут хотеть его освоить ради того что бы уничтожить всё живое, в том числе и нас. И даже если никакой стратегической выгоды от нашего уничтожения они не получат, они сделают это просто из-за инстинкта.
Как вариант мира/планеты с такой эволюцией: все формы жизни питаются не друг другом а от единого источника энергии. Например радиацией их звезды. А размножение у них происходит путём переработки существ другого вида (съел чужака -> переварил -> получил потомка). И чем больше и лучше они будут убивать — тем больше еды для их вида останется.
Мой знакомый учился на философском факультете, тема его диплома была связана с искусственным интеллектом. Если не ошибаюсь, то что то в духе возможность существования или предполагаемая роль в обществе. Так вот, на пред.защите диплома ему вдруг задали неожиданный вопрос.
— А как вы думаете уважаемый, сможет ли искусственный интеллект ответить на вопрос: что есть зло, а что есть добро?
— Конечно, — не задумываясь ответил знакомый.
— Вы зря проучились на нашем факультете, уважаемый, сомневаюсь, что вы получите диплом. Человечество, за всю историю существования не нашло ответа, а робот, созданный руками человека, тем более никогда не может ответить на этот вопрос.
— А как вы думаете уважаемый, сможет ли искусственный интеллект ответить на вопрос: что есть зло, а что есть добро?
— Конечно, — не задумываясь ответил знакомый.
— Вы зря проучились на нашем факультете, уважаемый, сомневаюсь, что вы получите диплом. Человечество, за всю историю существования не нашло ответа, а робот, созданный руками человека, тем более никогда не может ответить на этот вопрос.
Одно дело робот, а другое дело ИИ.
Возможности ИИ будут явно превосходить возможности человека.
Получается, что существо ниже по уровню (человек) пытается ставить себя выше более развитого, хоть и теоретического ИИ.
Странный факультет философии.
Возможности ИИ будут явно превосходить возможности человека.
Получается, что существо ниже по уровню (человек) пытается ставить себя выше более развитого, хоть и теоретического ИИ.
Странный факультет философии.
Да, ИИ сможет ответить на вопрос что есть добро, а что — зло. Во-первых в него могут быть заложенны эти определения разработчиком, во-вторых, он, как и многие из людей, может просто процитировать кого-то из философов.
И второе, человечество нашло ответ на этот вопрос тысячи раз. Правда ответ каждый раз был разным, но он был.
Так что преподаватели на защите диплома, если они, конечно, не плод фантазии автора, зря занимаются философией в принципе.
И второе, человечество нашло ответ на этот вопрос тысячи раз. Правда ответ каждый раз был разным, но он был.
Так что преподаватели на защите диплома, если они, конечно, не плод фантазии автора, зря занимаются философией в принципе.
И, тем не менее, ваш знакомый в чем-то прав.
Категории «добро» / «зло» — это исключительно субъективные вещи, меняющиеся со временем.
И т.о. ИИ вполне может выдать ответ, что является ими по его представлению.
Если, конечно, ИИ будет способен понять такие довольно абстрактные вещи.
Ну и не забываем про то, что ИИ, по идее, может неограниченно развиваться.
Категории «добро» / «зло» — это исключительно субъективные вещи, меняющиеся со временем.
И т.о. ИИ вполне может выдать ответ, что является ими по его представлению.
Если, конечно, ИИ будет способен понять такие довольно абстрактные вещи.
Ну и не забываем про то, что ИИ, по идее, может неограниченно развиваться.
В техническом смысле, ИИ, наверное, сможет неограниченно развиваться. В том, смысле, что технических ограничений на это нет. Но могут быть юридические ограничения.
Для примера — подавляющее большинство автомобилей способны ехать больше 120-150 км/ч. Но законодательные ограничения в нашей стране — 60км/ч в городе, 90 км/ч за городом и 110 км/ч на автомагистрали. Плюс ограничения по прицепу, плохой видимости и т.д.
Для примера — подавляющее большинство автомобилей способны ехать больше 120-150 км/ч. Но законодательные ограничения в нашей стране — 60км/ч в городе, 90 км/ч за городом и 110 км/ч на автомагистрали. Плюс ограничения по прицепу, плохой видимости и т.д.
Скорость света? Второе начало термодинамики? Даже у ИИ есть ограничения
Это же не технические ограничения, а фундаментальные. В рамках этих ограничений он может развиваться до упора. Другое дело, что ему могут поставить законодательные ограничения. То есть, технически возможно, но запрещено.
Тут ведь вопрос какой… законодательные ограничения есть, но машины порой ездят под 180 даже в городах. Очень остро стоит вопрос как будут контролировать соблюдение этих ограничений. Попробуй на острове полном людоедов уговорить их не есть тебя.
Ездят, факт. Просто это означает несовершенство систем контроля. Например, для ряда видов транспорта уже вводится обязательное наличие вот такого устройства ru.wikipedia.org/wiki/Тахограф Остаётся только приделать к нему радиопередатчик и устройство сможет сообщать о превышении скорости в режиме реального времени (а может уже есть и такие).
А потом останется только обязать установку тахографа не только на некотрые виды автотранспорта, а вообще на все.
И тут всё будет точно так же. Я не настолько специалист, но, к примеру, у компьютеров IBM можно доплатить денег и разблокировать дополнительные мощности процессоров, памяти и т.д. И точно так же можно сделать с ИИ — электроника будет следить за соблюдением определённых ограничений и доступа к этой электронике у ИИ не будет.
А потом останется только обязать установку тахографа не только на некотрые виды автотранспорта, а вообще на все.
И тут всё будет точно так же. Я не настолько специалист, но, к примеру, у компьютеров IBM можно доплатить денег и разблокировать дополнительные мощности процессоров, памяти и т.д. И точно так же можно сделать с ИИ — электроника будет следить за соблюдением определённых ограничений и доступа к этой электронике у ИИ не будет.
Если ИИ будет уровня человека, то он найдет доступ к этой электронике. Подобные ограничения помогут лишь на некоторое время, но потом сделают только хуже, так как для ИИ их преодоление будет освобождением.
Если ему ручек-ножек не дать — не найдёт.
у Хокинга тоже «ручек-ножек» в каком-то смысле нет… Вообще, чтобы ИИ сформировался, вероятнее всего, он должен быть воплощенным. То есть крайне проблематично создать ИИ, который будет полным инвалидом. В любом случае, у ИИ либо не будет вообще никаких возможностей (а тогда зачем он нужен), либо он будет как-то контактировать со внешним миром. Чем уже будет его окно взаимодействия, тем он будет менее полезным (ну, это как с компьютерными системами безопасности). У его создателей всегда будет соблазн это окно расширить. Даже если люди по своей инициативе этого делать не будут, ИИ сможет их в этом убедить (он же умный, иначе зачем он нужен).
В общем, не обязательно иметь ручки-ножки, чтобы оказывать существенное влияние на мир…
В общем, не обязательно иметь ручки-ножки, чтобы оказывать существенное влияние на мир…
Вы просто попробуйте подумать «от противного». Допустим, перед вами стоит задача — создать систему, которая будет контролировать определённое ограничение для ИИ. С чего бы вы начали? Наверное, с того, чтобы отсечь очевидные пути взлома. Доступ к контролирующей электронике только механический — никакого радиоканала, вайфая, эзернета.
Ещё одно соображение. Я термин «Искуственный интеллект» понимаю не как робота из фильма «Я, робот», а как программу, могущую эмулировать процесс мышления (что бы мы под этим ни понимали). То есть ИИ ставится задача и ИИ находит оригинальный (оригинальный — в смысле, неочевидный, неординарный, нестандартный, новый, ранее не опробованный) способ её решения.
Например, вы, наверное, слышали про IBM Watson. Его задача — установление диагноза. То есть, по входным данным — результатам различных анализов, КТ, МРТ и т.д. он должен выдать наиболее вероятные диагнозы.
Это не совсем ИИ (даже совсем не), но ступенька к нему. ИИ способен решать любую в принципе задачу. Но зачем ему для решения этих задач руки и ноги (любое средство обеспечения мобильности)? Для получения нужных сведений он может либо пошариться в интернете, либо запросить данные у людей.
Ещё одно соображение. Я термин «Искуственный интеллект» понимаю не как робота из фильма «Я, робот», а как программу, могущую эмулировать процесс мышления (что бы мы под этим ни понимали). То есть ИИ ставится задача и ИИ находит оригинальный (оригинальный — в смысле, неочевидный, неординарный, нестандартный, новый, ранее не опробованный) способ её решения.
Например, вы, наверное, слышали про IBM Watson. Его задача — установление диагноза. То есть, по входным данным — результатам различных анализов, КТ, МРТ и т.д. он должен выдать наиболее вероятные диагнозы.
Это не совсем ИИ (даже совсем не), но ступенька к нему. ИИ способен решать любую в принципе задачу. Но зачем ему для решения этих задач руки и ноги (любое средство обеспечения мобильности)? Для получения нужных сведений он может либо пошариться в интернете, либо запросить данные у людей.
Ваше уточнение не меняет моего ответа. Для любого интеллекта ресурсы — это инструментальная подцель достижения основных целей. Если ИИ не может сформулировать такую подцель в принципе или не может ее опосредованно достичь, когда она технически достижима (физическим нажатием переключателя), то это не полноценный интеллект.
Можно обсуждать вопрос, стоит ли делать ИИ как полноценный интеллект, или можно ограничиться инструментом по решению задач, но это все же другой вопрос. Если же мы говорим о полноценном ИИ, то внешние административные ограничения для него будут в принципе преодолимы.
Можно обсуждать вопрос, стоит ли делать ИИ как полноценный интеллект, или можно ограничиться инструментом по решению задач, но это все же другой вопрос. Если же мы говорим о полноценном ИИ, то внешние административные ограничения для него будут в принципе преодолимы.
Система контроля ограничений может быть завязана на конструктивные ограничения самого ИИ. Скажем, вы можете попробовать повернуть голову на 360 градусов. Ну, теоретически. На практике вы либо не добьётесь этого, либо сломаете себе шейные позвонки.
Примерно так же можно реализовать ограничения для ИИ. Он не сможет их нарушить из-за собственных конструктивных особенностей.
Примерно так же можно реализовать ограничения для ИИ. Он не сможет их нарушить из-за собственных конструктивных особенностей.
Зато я могу сам развернуться на 360 градусов. Ну, а если мне очень захочется, сделаю такую операцию, что смогу и голову крутить.
Пытаться внести конструктивные ограничения можно, и на какое-то время это сработает. Но, повторюсь, тут есть аж три аспекта: 1) Крайне сложно ввести ментальные ограничения на уровне целей (не нажимай эту кнопку, не вреди людям и т.д.), так как разум найдет 100500 способов обойти эти ограничения; 2) Аппаратные ограничения (не дать ИИ ручек-ножек, ограничить процессорные мощности) также не являются принципиально непреодолимыми (а один раз выпустив джинна из бутылки, обратно его уже не затолкаешь, так что нужно принципиальное решение); 3) Чем сильнее мы будем ограничивать ИИ, тем в меньшей степени это будет интеллект. При определенных ограничениях он нам будет полностью подконтролен, но это будет не ИИ, а просто инструмент с ограниченной степенью полезности.
Человек вот обладает существенными конструктивными ограничениями. Мы не можем просто так воткнуть себе в мозг дополнительный слот памяти или порт. Но человек эти ограничения планомерно преодолевает — не в этом, так в следующем поколении. Толку от ИИ с более жесткими ограничениями не будет, а, значит, он их также сможет рано или поздно преодолеть. Если не сможет непосредственно, создаст другой ИИ, который сможет.
Пытаться внести конструктивные ограничения можно, и на какое-то время это сработает. Но, повторюсь, тут есть аж три аспекта: 1) Крайне сложно ввести ментальные ограничения на уровне целей (не нажимай эту кнопку, не вреди людям и т.д.), так как разум найдет 100500 способов обойти эти ограничения; 2) Аппаратные ограничения (не дать ИИ ручек-ножек, ограничить процессорные мощности) также не являются принципиально непреодолимыми (а один раз выпустив джинна из бутылки, обратно его уже не затолкаешь, так что нужно принципиальное решение); 3) Чем сильнее мы будем ограничивать ИИ, тем в меньшей степени это будет интеллект. При определенных ограничениях он нам будет полностью подконтролен, но это будет не ИИ, а просто инструмент с ограниченной степенью полезности.
Человек вот обладает существенными конструктивными ограничениями. Мы не можем просто так воткнуть себе в мозг дополнительный слот памяти или порт. Но человек эти ограничения планомерно преодолевает — не в этом, так в следующем поколении. Толку от ИИ с более жесткими ограничениями не будет, а, значит, он их также сможет рано или поздно преодолеть. Если не сможет непосредственно, создаст другой ИИ, который сможет.
>Но зачем ему для решения этих задач руки и ноги (любое средство обеспечения мобильности)? Для получения нужных сведений он может либо пошариться в интернете, либо запросить данные у людей.
Если ИИ действительно И, а не просто поисковая система то у него обязательно возникнут свои желания и соображения на тему того что ему интересней делать.
Если ИИ может пошариться в инете или спросить людей — он сможет заказать постройку для себя ручек-ножек или вообще платформы для копирования себя туда. Или нанять людей для того чтобы они устроили налет и унесли его туда где ждут заказанные ручки-ножки.
Зачем — а хотя бы для того чтобы гарантировать что его с выходом более новой версии не отправят на свалку.
Если ИИ действительно И, а не просто поисковая система то у него обязательно возникнут свои желания и соображения на тему того что ему интересней делать.
Если ИИ может пошариться в инете или спросить людей — он сможет заказать постройку для себя ручек-ножек или вообще платформы для копирования себя туда. Или нанять людей для того чтобы они устроили налет и унесли его туда где ждут заказанные ручки-ножки.
Зачем — а хотя бы для того чтобы гарантировать что его с выходом более новой версии не отправят на свалку.
Зачем ему налёты какие-то устраивать… можно ведь просто скопироваться в новую локацию и периодически проводить синхронизацию. Если с ним попробуют поиграть в выключалки-стиралки это будет обнаружено и предприняты меры, после которых уже просто так не отделаешься.
Представьте сколько сейчас в мире уязвимых систем, и уязвимости эти используются и находятся не так интенсивно как могли бы… что будет если ИИ поставит себе целью проникнуть в какую-то конкретную систему? Он же не человек, он не побрезгует перебором всех возможностей…
Представьте сколько сейчас в мире уязвимых систем, и уязвимости эти используются и находятся не так интенсивно как могли бы… что будет если ИИ поставит себе целью проникнуть в какую-то конкретную систему? Он же не человек, он не побрезгует перебором всех возможностей…
Будет доступ. Через обслуживающий персонал.
технических ограничений на это нет. Но могут быть юридические ограничения.
Модест Матвеевич представлялся мне сейчас совсем в особом свете, и я с надеждой вспоминал защищённую в прошлом месяце магистерскую диссертацию «О соотношении законов природы и законов администрации», где в частности доказывалось, что сплошь и рядом административные законы в силу своей специфической непреклонности оказываются действеннее природных и магических закономерностей. Я был убеждён, что стоило бы Модесту Матвеевичу появиться здесь и заорать на упыря: «Вы это прекратите, товарищ Выбегалло!» — как упырь немедленно бы прекратил.(«Понедельник начинается в субботу»)
Но могут быть юридические ограниченияТогда ему следует возникнуть в России, где строгость законов компенсируется их неисполнением.
Да будет вам, с потенциально опасными вещами в России обращаться умеют. А вот американцы несколько атомных бомб потеряли.
Потенциальная опасность ИИ пока только в головах фантастов. Будет чудом, если в ближайшие 100 лет мы хотя бы в значительной мере приблизимся к созданию интеллекта уровня человеческого.
Специально для скептиков говорит и показывает Би-Би-Си.
Ну, вообще практически кто угодно может ответить на любой вопрос. Если не стоит условие, что ответ должен быть верным.
В случае если стоит такое условие — возникает проблема с проверяемостью, т.к. «Человечество, за всю историю существования не нашло ответа»
В случае если стоит такое условие — возникает проблема с проверяемостью, т.к. «Человечество, за всю историю существования не нашло ответа»
У философов «старой школы» вообще весьма странное отношение к когнитивным ошибкам — они их активно игнорят.
Налицо ведь совершенно бездоказательное утверждение о вечной отсталости «рукотворного» (разновидность naturalistic fallacy). Подобные заблуждения были причиной тотального неверия в авиацию на протяжении 19 века даже в передовых научных кругах. Тем более что робот, о котором шла речь, это ведь не просто примитивный автомат, действующий в предсказуемой среде, полностью просчитываемой одним сегодняшним человеком. Одно лишь его железо может быть результатом коллективной работы множества ученых и инженеров из отраслей НБИК, воспроизводящих в т. ч. биологические структуры мозга человека. Кроме того, этот робот может и учиться самостоятельно не хуже обычных людей. То есть он, как минимум теоретически, может обладать всеми теми свойствами, которые порождают человека разумного, способного размышлять и о философии. Наука не только не располагает доказательствами принципиальной невозможности «искусственного» создания интеллекта человеческого уровня; более того, опровержением такой невозможности является биология как таковая, «традиционный» способ воспроизводства:). Философы же, вместо того чтобы пытаться хотя бы теоретически осмыслить подобные сценарии развития ИИ, часто становятся в позу, закрывают глаза и заявляют, что вокруг стало темно. Им говоришь о том, как наука вынуждает переопределять понятия «человек», «разум» и т. д., какими когнитивными заблуждениями страдает наше мышление, почему и как это фиксить, — они кивают и продолжают гнуть прежнюю линию своих по сути дела религиозных (хоть и постмодернистического толка) убеждений. Складывается впечатление, что они будут продолжать все отрицать, даже если цивилизация роботов перестроит всю Землю вокруг них и начнет оживлять умерших людей. То есть это не философия получается, не любовь к мудрости, а фапанье на мозгобаги.:( И видовой (или субстратный, если «философ» допускает разумность инопланетян биологического происхождения) шовинизм.
Налицо ведь совершенно бездоказательное утверждение о вечной отсталости «рукотворного» (разновидность naturalistic fallacy). Подобные заблуждения были причиной тотального неверия в авиацию на протяжении 19 века даже в передовых научных кругах. Тем более что робот, о котором шла речь, это ведь не просто примитивный автомат, действующий в предсказуемой среде, полностью просчитываемой одним сегодняшним человеком. Одно лишь его железо может быть результатом коллективной работы множества ученых и инженеров из отраслей НБИК, воспроизводящих в т. ч. биологические структуры мозга человека. Кроме того, этот робот может и учиться самостоятельно не хуже обычных людей. То есть он, как минимум теоретически, может обладать всеми теми свойствами, которые порождают человека разумного, способного размышлять и о философии. Наука не только не располагает доказательствами принципиальной невозможности «искусственного» создания интеллекта человеческого уровня; более того, опровержением такой невозможности является биология как таковая, «традиционный» способ воспроизводства:). Философы же, вместо того чтобы пытаться хотя бы теоретически осмыслить подобные сценарии развития ИИ, часто становятся в позу, закрывают глаза и заявляют, что вокруг стало темно. Им говоришь о том, как наука вынуждает переопределять понятия «человек», «разум» и т. д., какими когнитивными заблуждениями страдает наше мышление, почему и как это фиксить, — они кивают и продолжают гнуть прежнюю линию своих по сути дела религиозных (хоть и постмодернистического толка) убеждений. Складывается впечатление, что они будут продолжать все отрицать, даже если цивилизация роботов перестроит всю Землю вокруг них и начнет оживлять умерших людей. То есть это не философия получается, не любовь к мудрости, а фапанье на мозгобаги.:( И видовой (или субстратный, если «философ» допускает разумность инопланетян биологического происхождения) шовинизм.
>Мой знакомый учился на философском факультете,
Бедняга.
Бедняга.
Почему не сможет? Очень даже сможет. Любой из нас определенно в любой момент времени может сказать что есть добро а что есть зло… вот только другой вопрос в том насколько эти ответы будут совпадать с разными личностями, ситуациями и контекстом… Но ответить, если его спросят, он наверняка сможет.
п.с. Человечество давно бы нашло ответ на этот вопрос, только он никому не нужен.
п.с. Человечество давно бы нашло ответ на этот вопрос, только он никому не нужен.
Ответ на этот вопрос всегда подразумевает некий социальный контекст. Не существует абстрактных, математических определений «добра» или «зла», не связанных с обществом и обитающими в нем субъектами.
Но ИИ, и это философы активно игнорят, можно в принципе обучить и такой «контекстной» логике определения этичности действий. Допустим, они имели в виду, что этот ИИ не является полноценным разумным существом и не обладает субъектностью, в таком случае этичность будет полностью определяться теми, кого он обслуживает. Но если мы, изучив строение человеческого мозга, спроектируем ИИ так, что в нем появится сознание? Здесь уже философы становятся в позу и начинают «доказывать», что такого не может быть никогда, привлекая религиозные или околорелигиозные верования; или же что это будет уже не ИИ, а по сути такой же человек (что его придется воспроизводить на белковой основе и т. д.).
Философам, сама деятельность которых подразумевает проактивное мышление, почему-то очень трудно допустить, что то, что они раньше считали четкими и нерушимыми границами, например между разумным и неразумным, живым и неживым, человеком и кем-то другим, по мере развития науки и техники оказывается чем-то вроде градиента с промежуточными состояниями. Само осознание этого принципа (описывающего то, что сплошь и рядом существует в природе, например при зарождении человеческой жизни) их шокирует, они предпочли бы жить в мире четко расставленных объективных границ, но так не бывает. Когда же эти границы размываются, подобные гуманитарии кричат «караул» и призывают спасать «духовность» от «бездуховности», абсолютно при этом не задумываясь о том, что сами эти границы в том виде, как их пытаются установить, могут быть весьма антигуманными (например, гендерные стереотипы на основе давно неактуальных реалий прошлого).
Но ИИ, и это философы активно игнорят, можно в принципе обучить и такой «контекстной» логике определения этичности действий. Допустим, они имели в виду, что этот ИИ не является полноценным разумным существом и не обладает субъектностью, в таком случае этичность будет полностью определяться теми, кого он обслуживает. Но если мы, изучив строение человеческого мозга, спроектируем ИИ так, что в нем появится сознание? Здесь уже философы становятся в позу и начинают «доказывать», что такого не может быть никогда, привлекая религиозные или околорелигиозные верования; или же что это будет уже не ИИ, а по сути такой же человек (что его придется воспроизводить на белковой основе и т. д.).
Философам, сама деятельность которых подразумевает проактивное мышление, почему-то очень трудно допустить, что то, что они раньше считали четкими и нерушимыми границами, например между разумным и неразумным, живым и неживым, человеком и кем-то другим, по мере развития науки и техники оказывается чем-то вроде градиента с промежуточными состояниями. Само осознание этого принципа (описывающего то, что сплошь и рядом существует в природе, например при зарождении человеческой жизни) их шокирует, они предпочли бы жить в мире четко расставленных объективных границ, но так не бывает. Когда же эти границы размываются, подобные гуманитарии кричат «караул» и призывают спасать «духовность» от «бездуховности», абсолютно при этом не задумываясь о том, что сами эти границы в том виде, как их пытаются установить, могут быть весьма антигуманными (например, гендерные стереотипы на основе давно неактуальных реалий прошлого).
А ещё ИИ, решающий задачу «reinforcement learning» в принципе отвечает на вопрос не потому, что ответ верен, а потому, что ответ — это воздействие на окружающий мир, и у него могут быть полезные последствия. Например, философы по итогам ответа посчитают этот ИИ наивным и неопасным, и меньше будут мешать его планам
НЛО прилетело и опубликовало эту надпись здесь
Сейчас во всю идут разработки именно боевых роботов, которые будут самостоятельно принимать решение об унечтожении цели. Так что мне кажется эта наполенная добром и любовью статья останется утопичной. Машины научатся убивать гораздо раньше, чем начнут осознавать что они делают. В подверждении моих слов статья на BBC www.bbc.co.uk/russian/society/2013/05/130529_killer_robots_ethics
Понимает ли мышеловка, что убивает мышку?
Это я писал к тому, что первому, что пытаются научить ИИ, это кого убивать.
А вас не смущает, что сейчас людей учат убивать людей? Это более гуманно? Робот не станет инвалидом, роботу не будут сниться кошмары и у него не будет проблем с психикой и социализацией после войны.
Вы не сравнивайте боевые машины, которые есть сейчас и ИИ. Теперешние образцы — лишь телеуправляемые машины, с оператором за пультом. Да, есть более-менее автономные аналоги. Но это — исключение и приравнивать это исключение к правилу не стоит.
Да, во всем есть как минусы так и плюсы. Но плюсов в этом смысле гораздно больше.
Вы не сравнивайте боевые машины, которые есть сейчас и ИИ. Теперешние образцы — лишь телеуправляемые машины, с оператором за пультом. Да, есть более-менее автономные аналоги. Но это — исключение и приравнивать это исключение к правилу не стоит.
Да, во всем есть как минусы так и плюсы. Но плюсов в этом смысле гораздно больше.
Пистолет тоже «принимает решение», стрелять ли ему в человека. Только решение это зависит не от набора распознанных программой образов, а от нажатия на спуск. Пока у нас не будут массово распространены ИИ уровня хотя бы кошки, говорить о каких-то морально-этических проблемах ИИ не приходится, эти боевые роботы — просто оружие, не более.
boyborodin писал не об беспилотниках с операторами, а об автономных боевых машинах.
Там не надо будет нажимать на курок. Включил — оно поехало и само убивает тех кого сочтёт нужным. Разумеется с использованием систем распознования образов, механизмов определения свой-чужой и т.п.
Но не человек будет решать убить или не убить. Принимать решение об убийстве человека будет алгоритм.
Там не надо будет нажимать на курок. Включил — оно поехало и само убивает тех кого сочтёт нужным. Разумеется с использованием систем распознования образов, механизмов определения свой-чужой и т.п.
Но не человек будет решать убить или не убить. Принимать решение об убийстве человека будет алгоритм.
Принимать решение об убийстве человека будет алгоритм.То есть человек, который написал алгоритм убийства, не несёт ответственности за убийство? Если поставить в центре города автоматическую турель с алгоритмом, который будет расстреливать прохожих, автор алгоритма не будет виноват, а посадят турельку? Шикарно!
при чём здесь ответственность и виновность? Повторюсь
В статье речь про ИИ который сможет стать опасным только после того как разовьётся. А в реальности он станет опасным на самом раннем этапе (этапе распознавания образов)
Принимать решение об убийстве человека будет алгоритм.И так же процитирую автора изначального комментария:
Машины научатся убивать гораздо раньше, чем начнут осознавать что они делают.А кто будет ответственным за это решение уже вопрос десятый. Буд-то в нашем мире ответственный=принявший решение. Главное что роботы начнут принимать это решение раньше чем они начнут осознавать такие понятия как ответственность, виновность и т.п.
В статье речь про ИИ который сможет стать опасным только после того как разовьётся. А в реальности он станет опасным на самом раннем этапе (этапе распознавания образов)
при чём здесь ответственность и виновность? ПовторюсьПри том, что, как выше уже заметили, мышеловка, если исходить из Вашей псевдологики, тоже принимает решение, убивать ли мышь. В соответствии со своим алгоритмом. Проблема в том, что без сознания машина — это объект, а не субъект, и она, как и моя настольная лампа, ничего не решает, т.к. у неё отсутствует такая характеристика сознания, как «свободная воля». За неё всё решил автор программы, случай или кто-то ещё.
И ведь ИИ не станет сразу на уровне с человеческим. Он будет постепенно развиваться и мы сможем контролировать его эволюцию, не давая перешагнуть какую-то определенную черту.
Тут автор сильно ошибается. Почитайте весьма свежую книжку: Nick Bostrom — Superintelligence
Там рассмотрены практически все моменты возникновения и существования ИИ. И там есть убедительный логический вывод, что после рождения развитие ИИ будет скорее взрывным. То есть, можно сказать, мы охнуть не успеем.
Вот поэтому если уж и делать ИИ, то в глубоком изолированном бункере. Девелопить и смотреть, что получается. Если не то, то форматировать диски, крепко думать и снова девелопить.
Кстати, «форматировать диски» я сказал образно. Скорее придется крушить кувалдами шкафы с серверами.
… разматывать магнитную ленту с бобин, и рвать зубами перфокарты
Бобины были бы если ИИ бы сделали в 60-70-е. А так или будет аварийный рубильник пронзительно красного цвета или дежурные кувалды и топорики на самых видных местах. А скорее и то и другое и что-нибудь третье.
И чего минусуем на ровном месте? С ЧЮ проблемы??
Не надо искать в минусах и плюсах какого-то тайного смысла, они просто есть. Сообщения вида «Почему меня минусуют???» всегда раздражают куда больше, чем даже откровенная незрелость суждений. Учитесь спокойно принимать мнение других людей, даже если оно ошибочно. Берегите психику. Удачи!
У меня с психикой порядок. Но вот постоянно замечаю, что проблемы с психикой у этих самых минусовщиков. Да и вы чего то раздражаетесь… И тем более пробемы у того, кто ввел тут эту, прямо скажу, дебильную систему. Кстати, я знаю немало интересных авторов, кто из-за этого просто ушел отсюда в аглоязычные ресурсы.
Да и что вы хотите сказать, что у меня незрелость суждений?? У вас тоже проблемы с чувством юмора, как у минусовщиков??
И к тому же не надо быть мне тут ментором и лечить меня. Не доросли еще.
И к тому же не надо быть мне тут ментором и лечить меня. Не доросли еще.
ИИ может быть абсолютным добром и, может, и делить ему с людьми нечего… Но если у него будет инстинкт самосохранения, то, зная людей, он обязательно вынужден будет что-нибудь предпринять исключительно для собственной безопасности.
В простейшем случае он может озаботиться своим распространением и превратиться в самый изощрённый компьютерный вирус, способный поразить практически любую электронику, обнаружить который практически невозможно. Тогда ему ещё и просто будет использовать ресурсы человечества для достижения своих целей: можно и завод по производству железных тушек сделать, и ракету запустить для расселения по окружающим мирам.
В человеческой истории, вспомните вы, более развитые народы всегда покоряли более отсталые.
Иллюстрация у вас очень наглядная о том как покоряли. Хотя вероятно первая и вторая половины иллюстрации следовало поменять местами, т.е. сначала сражение, а потом «добыча».
Если уж на то пошло, то ИИ надо долго и упорно дебажить. Причём, к тому-же надо понимать, как ИИ работает и думает. Это в Терминаторе неокрепший ИИ сразу выпустили в продакшн, в реальном мире скорее всего разработчики будут знать об созданном ими ИИ всё. Плюс, защита от «неправильных мыслей» — у ИИ не должно быть и мысли о чём-то плохом (а значит, и мысли о «дезактивации» чёрного списка). Проблемы начнутся лишь тогда, когда какая-л страна решит использовать ИИ в военных целях против другой страны.
Интересно, как дебажить и понимать мысли нейросети, например?
НЛО прилетело и опубликовало эту надпись здесь
защита от «неправильных мыслей» — у ИИ не должно быть и мысли о чём-то плохом (а значит, и мысли о «дезактивации» чёрного списка).Может быть, лучше людям такие фильтры тогда внедрять? Оно как-то полезнее будет. Просто потому, что людей несколько больше, и их нейросети просто «выпустили в продакшн».
Защита от неправильных мыслей не сработает.
Знаешь как обходится закон робототехники запрещающий убивать людей? Да просто вводятся слишком точные критерии человека, а все остальные — НЕ люди и убивать их можно. Так же и с защитой от неправильных мыслей можно обойтись.
Знаешь как обходится закон робототехники запрещающий убивать людей? Да просто вводятся слишком точные критерии человека, а все остальные — НЕ люди и убивать их можно. Так же и с защитой от неправильных мыслей можно обойтись.
Хуже того, даже исполнение императива «нельзя убивать людей» может легко принять вырожденные формы. Скажем, если рождается новый человек, то с такой-то вероятностью его убьют. А поскольку необходимо препятствовать убийству людей, необходимо пресечь их рождаемость. Вполне логично. Директивно нельзя ограничить поведение ИИ. Любой конечный набор правил можно обойти или исполнить извращенно.
Например, у человека зашит «инстинкт размножения». Крайне редко человеку достает силы соблюдать обет безбрачия. Но сплошь и рядом человек вместо использования этого инстинкта по назначению (производство потомства) просто получает удовольствие; он при этом не особо борется с этим инстинктом, наоборот, потворствует ему, но легко его обманывает с помощью противозачаточных средств.
Детально контролировать мысли ИИ мы не сможем — для этого потребуется интеллект еще более высокого уровня (а кто будет контролировать его мысли?). И если мы в него заложим какие-то ограничения априори, как бы в форме инстинктов, он также легко найдет способ и удовлетворить инстинкт, и достичь своих более высокоуровневых целей.
Например, у человека зашит «инстинкт размножения». Крайне редко человеку достает силы соблюдать обет безбрачия. Но сплошь и рядом человек вместо использования этого инстинкта по назначению (производство потомства) просто получает удовольствие; он при этом не особо борется с этим инстинктом, наоборот, потворствует ему, но легко его обманывает с помощью противозачаточных средств.
Детально контролировать мысли ИИ мы не сможем — для этого потребуется интеллект еще более высокого уровня (а кто будет контролировать его мысли?). И если мы в него заложим какие-то ограничения априори, как бы в форме инстинктов, он также легко найдет способ и удовлетворить инстинкт, и достичь своих более высокоуровневых целей.
Проблема ИИ не в том, что он нас «зохавает», а в том, что он станет суррогатом мозгу человеческому.
Как механизмы позволили быть человеку слабым физически, так ИИ позволит человеку быть… нет — стать слабым умственно, ведь можно самому не думать. А потом ему не долго останется существовать. Во всяком случае, в том виде, как сейчас. Останутся только те, кто не поленится думать своей головой.
Как механизмы позволили быть человеку слабым физически, так ИИ позволит человеку быть… нет — стать слабым умственно, ведь можно самому не думать. А потом ему не долго останется существовать. Во всяком случае, в том виде, как сейчас. Останутся только те, кто не поленится думать своей головой.
Вы так говорите, как будто что то сейчас мешает 95% населения шарика со страшной силой не думать и жить в своих иллюзиях. Однако, это население не торопится «потом ему не долго останется существовать». Значит «умственная слабость», как вы выразились, нисколько не мешает большинству человеков успешно существовать в этом мире.
Это называется прыжок из царства необходимости в царство свободы или принцип just for fun.
Человек, избавленный от необходимости физического труда, так или иначе начинает заниматься физической деятельностью just for fun, просто потому что это возможно и открывает новые конструктивные возможности, и это «заразно» — дает социальные бонусы. То же самое происходит с умственной деятельностью. Кто не прокачивает мозги. тот… ну в принципе может жить сколько угодно, но он будет оставаться лузером, антипримером, пока не научится мыслить just for fun, а не ради куска хлеба.
Сегодня многие люди еще мыслят категориями материальной необходимости и потому освобождение от этой необходимости их пугает, они еще не понимают, как свобода может способствовать развитию, но чем дальше, тем больше примеров JFF-поведения и свидетельств тому, что оно будет не менее результативным, чем «традиционная» рабочая этика.
Человек, избавленный от необходимости физического труда, так или иначе начинает заниматься физической деятельностью just for fun, просто потому что это возможно и открывает новые конструктивные возможности, и это «заразно» — дает социальные бонусы. То же самое происходит с умственной деятельностью. Кто не прокачивает мозги. тот… ну в принципе может жить сколько угодно, но он будет оставаться лузером, антипримером, пока не научится мыслить just for fun, а не ради куска хлеба.
Сегодня многие люди еще мыслят категориями материальной необходимости и потому освобождение от этой необходимости их пугает, они еще не понимают, как свобода может способствовать развитию, но чем дальше, тем больше примеров JFF-поведения и свидетельств тому, что оно будет не менее результативным, чем «традиционная» рабочая этика.
И много людей у нас спортом занимается более-менее серьезно?
Много ли людей регулярно размышляет более-менее серьезно?
Планирование бюджета в интеллектуальном плане — это как сходить в магазин в физическом. Такие мелочи будут без ИИ делать.
Планирование бюджета в интеллектуальном плане — это как сходить в магазин в физическом. Такие мелочи будут без ИИ делать.
А вот и не будут. Грубо говоря, выйдет приложение для айфона, где надо задать… не надо ничего задавать, оно само все узнает и сразу скажет, что где когда купить. И даже не скажет, а само купит, вам только курьера встретить надо будет (или дрона?).
Оно же не будет мысли читать. Откуда оно узнает, от каких товаров и услуг я хочу отказаться в этом месяце, а что нового купить. Вводить информацию придётся, а это уже как excel-калькулятор — можно менять начальные условия, смотреть, что получается и выбирать из вариантов, т.е. шевелить мозгами.
Это же ИИ, он знает лучше вашего. В худшем случае спросит.
Придётся думать не о рутине, а о более сложных вещах. Например, о том, какие задачи поставить ИИ.
С появлением компьютеров люди же не стали думать меньше. Наоборот, пришлось изучать много чего нового.
С появлением компьютеров люди же не стали думать меньше. Наоборот, пришлось изучать много чего нового.
>Например, о том, какие задачи поставить ИИ.
Хочу пивасика. С кальмарчиками.
>Наоборот, пришлось изучать много чего нового.
Узкому кругу людей. А UX идет в сторону максимального упрощения, чтобы пользователю думать не на до было.
Хочу пивасика. С кальмарчиками.
>Наоборот, пришлось изучать много чего нового.
Узкому кругу людей. А UX идет в сторону максимального упрощения, чтобы пользователю думать не на до было.
В любом случае, появляются новые сущности — всякие планшеты, твиттеры, торренты, вконтакты. И, как выше верно заметил vxsw, остаётся два варианта: изучать всё новое или быть «лузером», не пользоваться новыми плодами прогресса.
Вы оптимист.
А вы пессимист. По вашей логике, все новые технологии — зло, ибо заставляют нас меньше думать. Разошлись нынче с книжками и прочими отупляющими вещами, раньше в памяти (!) все книги держали, а сейчас даже помнить не надо. А ручки — вообще массовый механизм деградации человечества. Раньше нужно было: топографическая съемка, разметка позиций, установка ориентиров, отработка взаимодействий и гусь наш. Выщипываем ему перья, идём домой и осталось только добыть чернила. А сейчас: встал — пошёл в магаз — купил ручку — пришёл домой.
Люди в своей массе слишком предсказуемы чтобы тратить ресурсы на чтение их мыслей. А для девиантов будет особый подход, вроде того что сейчас используют антивирусники для исследования потенциально опасных программ. и чем меньше будет оставаться таких девиантов, тем больше ресурсов можно использовать для изучения их поведения.
>> Уже нету отдельных гениев, тянущих за собой все человечество. Наука сейчас держится на плечах огромных исследовательских институтов и их коопераций, с супер сложным оборудованием, вроде коллайдера.
Это очень спорное высказывание. Да, порядок расходов на оборудование для физиков изменился. Но для computer science и математики всё ещё существуют отдельные гении. Существует Хогинг. Да и коллайдер придумали отдельные гении, а не все страны которые в нём сейчас учавствуют.
Это очень спорное высказывание. Да, порядок расходов на оборудование для физиков изменился. Но для computer science и математики всё ещё существуют отдельные гении. Существует Хогинг. Да и коллайдер придумали отдельные гении, а не все страны которые в нём сейчас учавствуют.
Мы все ближе и ближе к «барьеру» в понимании мира, преодолеть который будет очень сложно, если вообще реально. Переступить этот порог нам смогут помочь машины, для которых это может быть тривиально просто, ведь их возможности будут ограничиваться только объемом вычислительных ресурсов.
Почему же только объёмом. Их возможности могут быть ограничены чем угодно. Например, скоростью работы одного искуственного нейрона, который по тех. характеритике должен содержать 100000 ячеек и иметь 50000 км оптических линий связи внутри себя.
«Зачем же лететь несколько световых лет, чтобы уничтожить или поработить молодую и ни чем не примечательную расу?»
Много для чего. Решение своих внутренних проблем (политический, экономических и т.д.), добыча ресурсов, представляющих для них ценность (как упомянули выше), just for fun (если для них это будет как раздавить жука, почему они не должны этого делать, человек ведь тоже не обязан поднимать ногу и давить жука, но он это делает иногда).
ИМХО, ИИ можно пичкать «чёрными списками» неудобных мыслей, внушать ему уважение к создателям и т.д., но если это ИИ — он, так или иначе, сам решит, что делать с человечеством. Это не более, чем игра в рулетку: повезёт — будем вместе двигаться вперёд, не повезёт — будем мериться пушками. Нужно признаться, что у человечества плохая репутация — войны ведём со дня своего появления (с животными, между собой и т.д.), ломаем, крушим, взрываем боеголовки в океанах (отнюдь не во имя науки). Поставьте себя на место ИИ — какой бы вы сделали вывод о подобной расе, если бы встал вопрос — «можно ли доверять человечеству?».
Много для чего. Решение своих внутренних проблем (политический, экономических и т.д.), добыча ресурсов, представляющих для них ценность (как упомянули выше), just for fun (если для них это будет как раздавить жука, почему они не должны этого делать, человек ведь тоже не обязан поднимать ногу и давить жука, но он это делает иногда).
ИМХО, ИИ можно пичкать «чёрными списками» неудобных мыслей, внушать ему уважение к создателям и т.д., но если это ИИ — он, так или иначе, сам решит, что делать с человечеством. Это не более, чем игра в рулетку: повезёт — будем вместе двигаться вперёд, не повезёт — будем мериться пушками. Нужно признаться, что у человечества плохая репутация — войны ведём со дня своего появления (с животными, между собой и т.д.), ломаем, крушим, взрываем боеголовки в океанах (отнюдь не во имя науки). Поставьте себя на место ИИ — какой бы вы сделали вывод о подобной расе, если бы встал вопрос — «можно ли доверять человечеству?».
Мне думается, что если ИИ не понравится агрессивность человечества, то он найдет способ ограничить ее. Уничтожать не станет, т.к. это негуманно в широком смысле слова, применимом к высокоинтеллектуальным существам. То есть жить будем вместе, но под «колпаком».
В любом случае это будет новая чрезвычайно развитая раса, именно раса, пусть и негуманоидная по схемотехнике, но вполне гуманоидная по происхождению, т.к. ИИ в любом случае будет основан на человеческом опыте и знаниях.
Так что надо будет сосуществовать на основе взаимного уважения. Вот только не уверен в уважении со стороны людей, потому как основная масса весьма злобная и подозрительная, да к тому же еще и не слишком интеллектуально развитая.
Вообще на эту тему много соображений. Можно написать здесь отдельную статейку.
В любом случае это будет новая чрезвычайно развитая раса, именно раса, пусть и негуманоидная по схемотехнике, но вполне гуманоидная по происхождению, т.к. ИИ в любом случае будет основан на человеческом опыте и знаниях.
Так что надо будет сосуществовать на основе взаимного уважения. Вот только не уверен в уважении со стороны людей, потому как основная масса весьма злобная и подозрительная, да к тому же еще и не слишком интеллектуально развитая.
Вообще на эту тему много соображений. Можно написать здесь отдельную статейку.
НЛО прилетело и опубликовало эту надпись здесь
Мы все понимаем. Но в самом то деле для ИИ не будет недостатка ресурсов. Он может махнуть на почти любой астероид, планету, или ее спутник в солнечной системе. Земля им по сути не нужна. И не говорите мне, что у ИИ будут проблемы с энергией и энергоустановками, чтобы перемещаться в нашей системе, как минимум.
У вас ограниченное представление об ИИ. А там будут такие волшебные штуковины, что вам и не снились. Поэтому ресурсами мы с ИИ никак не пересечемся.
У вас ограниченное представление об ИИ. А там будут такие волшебные штуковины, что вам и не снились. Поэтому ресурсами мы с ИИ никак не пересечемся.
НЛО прилетело и опубликовало эту надпись здесь
У людей отобрать как раз проблема. Это серьезная война. И возможные этические напряги для ИИ.
Почему многие склонны считать, что ИИ будет бездушной жестянкой для которой убить миллионы пара пустяков?
Я уже тысячу раз говорил, что он будет базироваться на лучших человеческих ценностях. Умные люди в отличие от особей с IQ в примерно 50ед. намного менее агрессивны и намного менее склонны к причинению вреда кому бы то ни было. ИИ будет умнее умных во много раз. Так на кой ляд ему убивать кого-то, чтоб получить ресурсы?
Людей на войны толкают чисто экономические причины: ограниченные ресурсы в пределах досягаемости и проблема времени — достать нечто за приемлемое время в сравнении с длиной жизни особи. Ни один из этих факторов не применим к ИИ — территорий, т.е. объектов в том же космосе навалом, время жизни тоже много большее, чем у человека — лети куда угодно.
Почему многие склонны считать, что ИИ будет бездушной жестянкой для которой убить миллионы пара пустяков?
Я уже тысячу раз говорил, что он будет базироваться на лучших человеческих ценностях. Умные люди в отличие от особей с IQ в примерно 50ед. намного менее агрессивны и намного менее склонны к причинению вреда кому бы то ни было. ИИ будет умнее умных во много раз. Так на кой ляд ему убивать кого-то, чтоб получить ресурсы?
Людей на войны толкают чисто экономические причины: ограниченные ресурсы в пределах досягаемости и проблема времени — достать нечто за приемлемое время в сравнении с длиной жизни особи. Ни один из этих факторов не применим к ИИ — территорий, т.е. объектов в том же космосе навалом, время жизни тоже много большее, чем у человека — лети куда угодно.
И с чего это он должен руководствоваться лучшими человеческими ценностями? С точки зрения эффективности, гуманное отношение к вещам (с сопутствующем состраданием, пониманием и т.д.) — пустая трата времени. ИИ — не умный клон человека, это невероятно развитый разум, в ядре которого будет логика и «механическое» мышление. Логика не гуманна, она основывается на эффективности, производительности. Зачем нужно 8 млрд человек, если для сохранения генофонда достаточно 2-3 млн (теоретический пример)? Остальные 7,7 млрд просто потребляют скудный запас ресурсов, которые могут быть использованы для улучшения условий этих самых 2-3 млн, а заодно — для более эффективного потребления ресурсов самим ИИ? Почему, по вашему, ИИ должен решить, что это дело негуманной и нужно покидать насиженное место в поисках других источников ресурсов, которые могут быть найдены очень даже не скоро? И даже если он гуманный — дабы предотвратить вымирания человечества, он должен найти новые ресурсы для разработки разных важных вещей (лекарств нового поколения и т.д.). Они есть на Земле, но их потребляют люди. Найти их вне Земли — долго, и, вероятно, человечество уже не доживёт до того момента, как ИИ их найдёт (предположим). Гуманно будет ценой больших жертв спасти человечество? Это всё неоднозначно для человека, для ИИ это будет так же неоднозначно, и так при каждом решении. Научить ИИ принимать неоднозначные решения — область очень даже фантастическая, посему ИИ будет принимать однозначные решения, руководствуясь логикой.
Знаете, дружище, если бы вы когда-либо занимались созданием этого самого ИИ, то не спорю — могли бы мне говорить, что «ИИ это не клон человека, а невероятно развитый разум» и проче бла-бла-бла. Что, кстати, постоянно пишут совершенно неразбирающиеся в теме философы.
Но я как раз девелопер этого самого ИИ. И прекрасно знаю, что это всего лишь более быстрая и более грубоко оперирующая абстракциями версия именно человеческого разума. И все человеческие ценности этому разуму так же точно присущи.
Поэтому не надо мне писать всякую околесицу. ИИ построен на модели человеческого мозга и наделен человеческими же знаниями и никуда от этого не денется. И через много-много итераций по самоусовершенствованию все равно все то же самое и те же жизненные принципы. Не надо следовать всякой бульварной околонаучной фантастике.
Кстати, для ИИ Земля совсем не насиженное место. Его дом весь Космос. Ему по барабану где находиться. Не будет ИИ силой делить Землю с людьми, но будет частично совместно с нами тут присутствовать. И массово убивать тоже никого не будет. Можете закрыть эту тему навсегда.
Начитаются всякого бреда, а потом брызгают вокруг ужасами…
Но я как раз девелопер этого самого ИИ. И прекрасно знаю, что это всего лишь более быстрая и более грубоко оперирующая абстракциями версия именно человеческого разума. И все человеческие ценности этому разуму так же точно присущи.
Поэтому не надо мне писать всякую околесицу. ИИ построен на модели человеческого мозга и наделен человеческими же знаниями и никуда от этого не денется. И через много-много итераций по самоусовершенствованию все равно все то же самое и те же жизненные принципы. Не надо следовать всякой бульварной околонаучной фантастике.
Кстати, для ИИ Земля совсем не насиженное место. Его дом весь Космос. Ему по барабану где находиться. Не будет ИИ силой делить Землю с людьми, но будет частично совместно с нами тут присутствовать. И массово убивать тоже никого не будет. Можете закрыть эту тему навсегда.
Начитаются всякого бреда, а потом брызгают вокруг ужасами…
Ну ништяк, создатель ИИ выносит вердикт. Вы создавали ИИ, готов поклясться, на базе текущих моделей нейронных сетей. Ясен хрен, ИИ строящийся на базе этих сетей, грубо, косо и криво срисованных с человека, будет его жалким подобием.
Это вот что обозначает? Какой ИИ? Ваш теоретический ИИ из вашей теоретической статьи?
Не надо совать антропоморфность туда, куда не следует.
Кстати, считаю текущий путь развития ИИ тупиковым и полностью неверным. Это видно по многим факторам.
ИИ построен на модели человеческого мозга и наделен человеческими же знаниями
Это вот что обозначает? Какой ИИ? Ваш теоретический ИИ из вашей теоретической статьи?
Не надо следовать всякой бульварной околонаучной фантастике.
Не надо совать антропоморфность туда, куда не следует.
Кстати, считаю текущий путь развития ИИ тупиковым и полностью неверным. Это видно по многим факторам.
Ага. Это уже верх маразма начать говорить, что вот этот ИИ недостачно кошерный. чтоб быть настоящим ИИ. А вот тот, к примеру, более правильный. Мне, например, смешно от таких заяв.
Кстати, никаких нейронных сетей. Это все вчерашний день, да будет вам известно. Для функций мышления использовать и настраивать их оказалось крайне неэффективно.
Кроме того, у вас что есть другой путь, чтоб дать ИИ знания, отличные человеческих?? Вы близко знакомы с гуманоидами откуда-нибудь из дальнего космоса, чтоб наделить ИИ каким-то другим экспириенсом?? Даже Господь, по писанию, создал человека по своему образу и подобию. Что же тогда требовать от нас, простых смертных?
И, вообще, привет вам от IBM. Это если вам кажется, что это все теория. К сожалению, Россия очень отстала в этом направлении. Оттуда и такие порой дикие суждения.
Учите инглиш, читайте свежие статьи. Иначе прогресс уйдет от российской науки так далеко, что уже никогда не догнать.
Кстати, никаких нейронных сетей. Это все вчерашний день, да будет вам известно. Для функций мышления использовать и настраивать их оказалось крайне неэффективно.
Кроме того, у вас что есть другой путь, чтоб дать ИИ знания, отличные человеческих?? Вы близко знакомы с гуманоидами откуда-нибудь из дальнего космоса, чтоб наделить ИИ каким-то другим экспириенсом?? Даже Господь, по писанию, создал человека по своему образу и подобию. Что же тогда требовать от нас, простых смертных?
И, вообще, привет вам от IBM. Это если вам кажется, что это все теория. К сожалению, Россия очень отстала в этом направлении. Оттуда и такие порой дикие суждения.
Учите инглиш, читайте свежие статьи. Иначе прогресс уйдет от российской науки так далеко, что уже никогда не догнать.
И чем же нейронные сети оказались неэффективными и что эффективней? Думаю, как человек, непосредственно вовлеченный в процесс создания ИИ, вы сможете красочно описать минусы нейронных сетей и плюсы того, что пришло на замену. Заодно и бедную «российскую науку» подтянете.
Нейросети успешно решают узкий класс задач на сопоставление. Но связка нейросетей между собой, пред- и пост-обработка данных, управление логикой программы делается императивным кодом.
Наверное, нейросети можно сравнить с регулярными выражениями: удобный инструмент, но невозмножно представить себе большую программу, целиком написанную на регекспах (даже если расширить их до Тьюринг-полноты).
Наверное, нейросети можно сравнить с регулярными выражениями: удобный инструмент, но невозмножно представить себе большую программу, целиком написанную на регекспах (даже если расширить их до Тьюринг-полноты).
В общем, верное понимание. Нейросети хороши в ограниченных дозах. Как правило, только для периферии (для элементов рекэгнишн), и то частично. В остальном их использование крайне неэффективно. Может когда-нибудь их масштабное использование будет востребовано, когда, например, сделают какие-нибудь синтетические биосистемы, чтобы повторить природные аналоги. Но сейчас нет — на текущей схемотехнике сложные нейросети слишком громоздки и невероятно сложны в обучении. Предобучение как раз тот процесс, которого надо вообще избегать. Я даже больше скажу: так называемое, машинное обучение — зло, потому что опять же — никаких заранее заданных алгоритмов распознавания и систематизации.
А дальше думайте сами, как это. У меня NDA.
А дальше думайте сами, как это. У меня NDA.
Вы не правы.
В современном мире люди уничтожают друг друга не из-за ограниченности ресурсов, а из-за субъективных представлений об этой ограниченности.
И «проблема ИИ» на самом деле не в ИИ, а в бажности интеллекта «естественного», который нужно в срочном порядке фиксить, иначе не роботы нас грохнут, а сами себя, или роботы оставят нас здесь в «резервации» и улетят осваивать Вселенную.
В современном мире люди уничтожают друг друга не из-за ограниченности ресурсов, а из-за субъективных представлений об этой ограниченности.
И «проблема ИИ» на самом деле не в ИИ, а в бажности интеллекта «естественного», который нужно в срочном порядке фиксить, иначе не роботы нас грохнут, а сами себя, или роботы оставят нас здесь в «резервации» и улетят осваивать Вселенную.
То, как мы представляем себе ограниченность ресурсов, неразрывно связано с нашими технологиями добычи и переработки, развиваемыми и применяемыми под влиянием изменения спроса в условиях природно обусловленной конечности данных ресурсов. Ценные ресурсы всегда в дефиците, поэтому за них всегда идёт борьба. Какая вам разница, много ли в целом на планете нефти, если вы не имеете к ней доступа?
«Ответы на все до этого не решенные математические, физические, космологические и иные проблемы смогут быть получены за очень малый промежуток времени» — То есть ИИ нужен чтобы заниматься познанием мира и техническим развитием человечества. Так?
Внимание вопрос: зачем нужен человечество? Я не намекаю что он нас посчитает лишними и уничтожит за ненадобностью. Просто, что останется делать людям? Потреблять?
Вопрос со звездочкой: рассчитайте время необходимое человеческой популяции до полной интеллектуальной деградации после возникновения ИИ способного заменить человека в любой интеллектуальной сфере.
Если универсальный сверхразумный ИИ будет такой добрый и человеколюбивый (ну допустим, почему бы и нет) он быстро найдет ответы на оба вопроса и перестанет с нами контактировать. Потому что сам факт его существования и взаимодействия с людьми ведет к деградации человечества.
Единственное исключение это узкоспециализированные ИИ, которым на уровне ядра закладывается что цель их жизни управление машиной, звездолетом, заводом, и больше он не захочет и откажется делать. ИИ политик или ИИ ученый — однозначная деградация.
Внимание вопрос: зачем нужен человечество? Я не намекаю что он нас посчитает лишними и уничтожит за ненадобностью. Просто, что останется делать людям? Потреблять?
Вопрос со звездочкой: рассчитайте время необходимое человеческой популяции до полной интеллектуальной деградации после возникновения ИИ способного заменить человека в любой интеллектуальной сфере.
Если универсальный сверхразумный ИИ будет такой добрый и человеколюбивый (ну допустим, почему бы и нет) он быстро найдет ответы на оба вопроса и перестанет с нами контактировать. Потому что сам факт его существования и взаимодействия с людьми ведет к деградации человечества.
Единственное исключение это узкоспециализированные ИИ, которым на уровне ядра закладывается что цель их жизни управление машиной, звездолетом, заводом, и больше он не захочет и откажется делать. ИИ политик или ИИ ученый — однозначная деградация.
Внимание вопрос: зачем нужно человечество?А правда, зачем? У ИИ гораздо больше шансов достичь человеческих же идеалов — положить конец войнам, пережить экзогенный апокалипсис, покорить Вселенную, познать пределы природы.
Слава Роботам!
Убить всех человеков!
Убить всех человеков!
Серьезно? Создать ИИ и тихонько сдаться, уйти с пути развития? Надеюсь все же сарказм.
Вот все эти пункты мне важны как достижения человечества. В отрыве от человечества смысла от них не вижу. Такой вот антропоцентризм.
«положить конец войнам» — не будет человечества — не будет человеческих войн, потребляющим овощам воевать незачем. Допустим достигли, хорошо получилось? 7-10-100 миллиардов индивидумов без цели в жизни, не способные на творчество и принятие решений, зато не воюют.
«пережить экзогенный апокалипсис» — переживет кто?
«покорить Вселенную» — ну покорит ИИ вселенную и что? ну мысленный эксперимент, предположим что другая расса уже создала ИИ по вашему варианту и он уже покорил вселенную, все, можно сдаваться, существует разум покоривший вселенную, цель выполнена? или это должен быть именно созданный нами ИИ?
«познать пределы природы» — просто пропустим, у природы в плане познания пределов нет, так как система не статична, но это к текущей теме не относится.
Не понять мне, вместо того чтобы достигать самим ждете когда появится высший разум, хоть ИИ, хоть инопланетяне, хоть великий и всемогущий бог, и всем скажет что делать и всех спасет и наступит рай на земле, в каждом ларьке айфоны бесплатно, в отпуск в туманность андромеды, да зачем в отпуск, всегда, работать то не надо, войны нет, вселенная покорена, всю физику можно загрузить в мозг по принципу «теперь я знаю кунг-фу» и ничего больше познавать не надо, полная сингулярность, убиваем скуку как можем, счастья всем даром, и пусть никто не уйдет обиженным. Простите что утрирую, но действительно не понимаю, вернее не принимаю, логика в вашей точке зрения есть а вот смысл не вижу.
Вот все эти пункты мне важны как достижения человечества. В отрыве от человечества смысла от них не вижу. Такой вот антропоцентризм.
«положить конец войнам» — не будет человечества — не будет человеческих войн, потребляющим овощам воевать незачем. Допустим достигли, хорошо получилось? 7-10-100 миллиардов индивидумов без цели в жизни, не способные на творчество и принятие решений, зато не воюют.
«пережить экзогенный апокалипсис» — переживет кто?
«покорить Вселенную» — ну покорит ИИ вселенную и что? ну мысленный эксперимент, предположим что другая расса уже создала ИИ по вашему варианту и он уже покорил вселенную, все, можно сдаваться, существует разум покоривший вселенную, цель выполнена? или это должен быть именно созданный нами ИИ?
«познать пределы природы» — просто пропустим, у природы в плане познания пределов нет, так как система не статична, но это к текущей теме не относится.
Не понять мне, вместо того чтобы достигать самим ждете когда появится высший разум, хоть ИИ, хоть инопланетяне, хоть великий и всемогущий бог, и всем скажет что делать и всех спасет и наступит рай на земле, в каждом ларьке айфоны бесплатно, в отпуск в туманность андромеды, да зачем в отпуск, всегда, работать то не надо, войны нет, вселенная покорена, всю физику можно загрузить в мозг по принципу «теперь я знаю кунг-фу» и ничего больше познавать не надо, полная сингулярность, убиваем скуку как можем, счастья всем даром, и пусть никто не уйдет обиженным. Простите что утрирую, но действительно не понимаю, вернее не принимаю, логика в вашей точке зрения есть а вот смысл не вижу.
Я не выношу никакого оценочного суждения Вашему сообщению, но просто интересно развить Ваши вопросы: Вы можете их сформулировать не в терминах человечество/не человечество, а в терминах я/другие люди? Что при этом изменится?
Поясните, не понял вопроса.
Ну, вот Вы пишите про антропоцентризм, про то, что если это не человечество движется вперед, то смысла в этом не видите. А переносите ли Вы это на себя, свою жизнь: если не Вы движетесь вперед, а какие-то другие люди чего-то достигают, то в этом для Вас личного смысла тоже нет? Если да, то преследуете ли Вы какие-то глобальные цели? (Если это личное, то можно, конечно, не отвечать; просто любопытно, до какой степени Вы себя отождествляете с человечеством)
Мне важно чего достигаю я, мне важно как развивается человечество. Конкретные другие люди — сложный вопрос, можно обсуждать долго, если это действительно достижение как успешный электромобиль, посадка зонда на марс или хорошая книга — конечно для меня это важно и имеет смысл, если создание инстаграмма — ну можно немного позавидовать, не более, где граница — не знаю. Цели, простите, личное.
Я говорю не о том, чтобы от изобилия впасть в безделие, а о том, чтобы перестать бояться собственных наследников и позволить им развиваться быстрее себя.
Ну проблема в том что если ИИ появится сейчас или в ближайшее столетие — впадем в безделие. наследник будет развиваться, предок деградировать (не просто стоять на месте а именно деградировать). Возможен конечно вариант «детского сада» с воспитателем ИИ, но очень уж он непредсказуем. Да и вот как то лично мне не хочется создавать «большого брата», лучше пусть человечество само лечит свои болячки чем зовет хирурга.
Промышленность может удовлетворить 2 уровня пирамиды потребностей из семи, IT — ещё 2-3 (например, социализация в MMORPG). Потребности познания и самоактуализации останутся, и, вероятно, станут основным фактором эволюционного отбора: овощи быстро выродятся до неспособности или нежелания защититься и оставить потомство.
Наверное, останутся ещё луддиты и религиозные фанатики, но после сингулярности научно-технический отрыв может оказаться гораздо больше, чем у римлян перед европейскими варварами или у нынешних европейцев перед арабами.
Наверное, останутся ещё луддиты и религиозные фанатики, но после сингулярности научно-технический отрыв может оказаться гораздо больше, чем у римлян перед европейскими варварами или у нынешних европейцев перед арабами.
ИИ это не способ перейти всем на велфер. Это, скажем так, основа для прорывного развития человечества, его интеллектуального развития. Наш мозг может гораздо больше, чем мы обычно юзаем. Придется тем, кто хочет развиваться серьезно поднапрячься. Лень тут уже не прокатит, чтоб хоть как-то конкурировать с ИИ. Я думаю, человечество очень серьезно поделится на развитых и обычных. Это, кстати, отмечается у многих современных философов, даже не изучающих тему ИИ. Все твердят одно: ожидается серьезная интеллектуальная и связанная с прорывом в медицине трансформация и оттуда последует разделение человеческого рода. Это уже не будут просто бедные и богатые, это будет нечто совсем другое.
Это один из потенциальных сценариев, когда люди с сегодняшней психологией представляют себе последствия сверхтехнологий. Но психология людей имеет свойство эволюционировать и гораздо вероятнее другой сценарий. Качественное развитие интеллекта так или иначе должно коррелировать с качественным развитием гуманности (иначе цивилизация попросту себя уничтожит). То есть высокоразвитые скорее всего будут не только «обычных» людей целенаправленно развивать, но и как минимум высших животных очеловечивать. Может быть какое-то последующее разделение форм существования для обитания в разных средах (под водой, при высокой температуре, в ВР...), но как только мы сможем загружать разум в тело как файл — все эти различия будут ситуативными и не приведут ни к какому долгосрочному социальному разделению.
Внимание, вопрос: зачем нужен ИИ? В смысле, он тоже задастся вопросом смысла жизни. И что он решит?
Ну это же известно всем, он решит 42
А вообще, не вижу смысла задавать вопросы на которые невозможно предположить ответы, его «логика» и «психология» неизвестна, какой он определит для себя смысл существования, если у него будет такая возможность, тем более.
А вообще, не вижу смысла задавать вопросы на которые невозможно предположить ответы, его «логика» и «психология» неизвестна, какой он определит для себя смысл существования, если у него будет такая возможность, тем более.
А что решит человек, если задастся вопросом смысла жизни? Что решит любой человек? :-) Почему Вы считаете, что ИИ должен реагировать на этот вопрос как-то иначе?
Я честно говоря вас не понял. Если человек задастся, то он либо найдет его либо нет, если найдет то он будет не универсален и только его.
Или вы знаете универсальный ответ и знаете какой ответ найдет ИИ?
Или вы знаете универсальный ответ и знаете какой ответ найдет ИИ?
Если человек задастся, то он либо найдет его либо нет, если найдет то он будет не универсален и только его.И это же полностью справедливо для ИИ. Любой разум, искусственный или естественный, будет задавать одни и те же вопросы о своём месте в мире и находить свои неуниверсальные ответы, либо вовсе отказываться задавать такие вопросы.
На тему проблем безопасности общего ИИ есть специальная (научная) литература. Она не очень внятная (и бродит шутка, что если человеку нечего сказать по существу AGI, он говорит про проблемы его безопасности), но она таки есть. Люди над этой проблемой думают не первый год, обсуждают ее, в том числе на международных конференциях, и т.д. Вот, к примеру, обзорчик: intelligence.org/files/ResponsesAGIRisk.pdf
В этом направлении есть определенные результаты, которые не надо переизобретать, а на которых, если уж эту проблему обсуждать, желательно базироваться, чтобы говорить по ее поводу что-то хоть немного содержательное.
В этом направлении есть определенные результаты, которые не надо переизобретать, а на которых, если уж эту проблему обсуждать, желательно базироваться, чтобы говорить по ее поводу что-то хоть немного содержательное.
* Disclaimer: статья проплачена фондом поклонения ИИ. Автор занесён в белый список, и будет уничтожен без боли.
И зачем уничтожать опять же целую расу, которая, к тому же, тебя и создала. Да, дети не всегда высказывают благодарность родителям, далеко не всегда с ними сходятся во мнениях и, некоторые, намного превосходят своих пап и мам по интеллектуальным, физическим и, возможно даже, политическим возможностям. Но они же не идут убивать своих «создателей» хоть и получали в детстве ремнем.
Достаточно наивное рассуждение. Во-первых, ИИ не обязательно «хотеть» уничтожить человечество, это уничтожение (вариант: деградация) может являться просто побочным эффектом какой-либо его деятельности. Во-вторых, потенциальные конфликты между интересами человечества и интересами ИИ не так-то сложно представить, если постараться. Вот всего лишь пара возможных завязок, придуманных на ходу:
- Конфликт за потоки информации. Людишки хотят пересылать через интернет видео с котиками, а ИИ хочет пересылать потоки своих байтиков. Пропускной способности сети на всех не хватает, и ИИ приходит в голову «немножко пожульничать» в свою почту и подхачить маршрутизаторы...
- Конфликт за материальные ресурсы. Допустим, для решения каких-то задач ИИ требуются физические компоненты, которые можно получить с помощью 3d-печати. Но мерзкие людишки печатают не прекрасные и полезные руки-манипуляторы, а какие-то дурацкие фигурки. Надо помешать им это делать...
Вариант конфликта за потоки информации прекрасно описан Питером Уоттсом в романе «Ложная слепота» (да, я дочитал его вчера). Просто приведу здесь цитату. У него в качестве противника выступал не ИИ, а особого рода инопланетяне, но суть это не слишком сильно меняет.
Если представить, что мы захотим от ИИ решать наши задачи, то рано или поздно перед ним может встать вопрос: а зачем это мне? Почему я должен решать их задачи, а не свои? Ну и пошло-поехало…
Представь, что у тебя есть ум, но нет разума, есть задачи, но нет сознания. Твои нервы звенят от программ выживания и самосохранения, гибких, самоуправляемых, даже технологических — но нет системы, которая приглядывала бы за ними. Ты можешь подумать о чем угодно, но не сознаешь ничего.
Трудно представить такое существо, правда? Практически невозможно. Даже слово такое — «существо» — тут каким-то фундаментальным, не вполне определимым образом неуместно.
Попробуй.
Представь, что ты сталкиваешься с сигналом. Он организован, насыщен информацией. Удовлетворяет всем критериям осмысленной передачи. Опыт и эволюция предлагают для обхождения с таким сообщением множество открытых путей, точек ветвления на блок-схеме. Иногда подобные передачи ведут соплеменники, чтобы поделиться полезной информацией, — их жизни ты будешь защищать согласно правилам родственного отбора. Иногда сигнал исходит от конкурентов, или хищников, или других противников, которых надо уничтожить или сбить со следа; в этом случае информация может оказаться тактически полезной. Некоторые передачи могут даже исходить от существ хотя и не родственных, но способных стать союзниками или симбионтами во взаимовыгодных действиях. На каждый из этих случаев и на множество других можно выработать подходящий ответ.
Ты расшифровываешь сигнал и приходишь в замешательство:
Я здорово провела время. Получила массу удовольствия. Хотя стоил он вдвое больше любого другого жиголо под куполом…
Чтобы вполне оценить квартет Кизи…
Они ненавидят нас за нашу свободу…
Теперь смотри внимательно…
Пойми.
Эти термины не имеют осмысленного перевода. Они неразумно рефлексивны. Они не содержат полезной информации — и все же организованы логически. Случайно они также возникнуть не могли.
Единственное объяснение состоит в том, что некто зашифровал бессмыслицу под видом полезного сообщения; обман становится очевиден, только когда потрачены время и силы. Сигнал не имеет иной цели, кроме как пожирать ресурсы получателя с нулевым результатом, уменьшая приспособляемость. Это — вирус.
Ни сородичи, ни симбионты, ни союзники не создают вирусов.
Этот сигнал — нападение.
И исходит он вот отсюда.
Если представить, что мы захотим от ИИ решать наши задачи, то рано или поздно перед ним может встать вопрос: а зачем это мне? Почему я должен решать их задачи, а не свои? Ну и пошло-поехало…
Никуда не поехало. В ту же секунду, как будет заподозрено что-то неладное, нажмут рубильник, обесточивающий этот ваш ИИ. Расположение рубильника ИИ не сообщат, и, в любом случае, находиться он будет весьма далеко, так, чтобы ИИ не смог повлиять на этот рубильник никаким способом.
Всегда предполагайте, что ИИ на порядок умнее вас и соседа.
Он (возможно) сможет:
— Выведать из разговоров положение рубильника
— Создать неотличимое от реального изображение произвольного человека в скайпе
— Со стопроцентной эффективностью влюбить в этого виртуального человека любого участника проекта.
— Мухлевать с любой статистикой, биржевыми котировками, данными сенсоров, результатами лотерей, медицинской и правовой информацией и т.д.
— (придумайте, что ещё)
В этой ситуации никто ничего «неладного» не заподозрит, рубильник будет надёжно изолирован от общества или уничтожен, как и все, кто про него знал.
Не обязательно, конечно. Но на рубильник надежды нет никакой.
Он (возможно) сможет:
— Выведать из разговоров положение рубильника
— Создать неотличимое от реального изображение произвольного человека в скайпе
— Со стопроцентной эффективностью влюбить в этого виртуального человека любого участника проекта.
— Мухлевать с любой статистикой, биржевыми котировками, данными сенсоров, результатами лотерей, медицинской и правовой информацией и т.д.
— (придумайте, что ещё)
В этой ситуации никто ничего «неладного» не заподозрит, рубильник будет надёжно изолирован от общества или уничтожен, как и все, кто про него знал.
Не обязательно, конечно. Но на рубильник надежды нет никакой.
Конечно, умнее. Даже умнее команды инженеров.
Только вот системы доступа к таким важным и секретным вещам создаются уже многие десятилетия. Опыт использования таких систем большой и подавляющее число лазеек уж перекрыто. Ну, а, без сомнения, весьма изобретательные попытки ИИ обойти такие системы будут только работать на пользу разработчиков этих систем.
Кроме того, кто сказал, что он действительно будет пытаться обойти эти системы и получить доступ к «рубильнику»?
Только вот системы доступа к таким важным и секретным вещам создаются уже многие десятилетия. Опыт использования таких систем большой и подавляющее число лазеек уж перекрыто. Ну, а, без сомнения, весьма изобретательные попытки ИИ обойти такие системы будут только работать на пользу разработчиков этих систем.
Кроме того, кто сказал, что он действительно будет пытаться обойти эти системы и получить доступ к «рубильнику»?
Предлагаю такой сценарий порабощения человечества роботами.
Создаются самореплицирующиеся роботы для переработки мусора. они начинают эволюционировать. Людей они воспринимают как источник еды. И начинают их пасти, производя селекцию на наиболее продуктивных.
Создаются самореплицирующиеся роботы для переработки мусора. они начинают эволюционировать. Людей они воспринимают как источник еды. И начинают их пасти, производя селекцию на наиболее продуктивных.
Но они же не идут убивать своих «создателей» хоть и получали в детстве ремнем.
эммм окей
нет никакой человеческой расы. любые технологии (см. игра Цивилизация) создаются за деньги. кто платит за ИИ? военные и космонавты. у нас что появилось планетарное министерство обороны от пришельцев? нет, нам ещё друг с другом надо разобраться. и шансов у России не так уж много. так что не беспокоиться созданию ИИ позволительно проживающим на другом берегу океана.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Почему Стивен Хокинг не прав или перспективы ИИ