Данный пост является некоторым рассуждением на тему, затронутую в недавнем посте "Сингулярность: 7 вариантов роботизированного будущего"
Написать этот пост меня побудило в корне неверное отношение к вопросу о сущности искусственного интеллекта в оригинальной статье.
В статье рассматриваются 7 потенциальных моментов, связанные с появлением ИИ. Но обо всех них можно говорить только сделав ряд допущений:
1) искусственный интеллект будет усиленной копией человеческого интеллекта,
2) человечество едино и развито равномерно,
3) ИИ представляет собой автономную независимую сущность и способно активным образом влиять на процессы,
4) ИИ осознаёт себя, свои цели и сущность, обладает способностью саморефлексии,
5) саморепликация.
С чего я это взял, почему будет иначе и как это мешает реализовать список из оригинальной статьи и как на мой взгляд будут развиваться события — под катом
С чего же я взял, что в статье незримо подразумеваются эти пять (наверняка даже больше) пунктов, когда говорится о сингулярности, ИИ, кибергизации и прочем?
Всё до боли просто. В первом пункте статьи, говорится о восстании машин. Данный сценарий просто технически не возможен, без наличия у ИИ инструментов, позволяющих влиять на внешнюю среду, при том данные инструменты не должны являться подконтрольными человеку. Иначе какое восстание, когда есть рубильник? И будьте уверены, он будет. Ни один здравомыслящий человек не станет создавать нечто, потенциально опасное, без необходимых средств контроля над ним. Более того, этого требует и необходимость защитить разработку от конкурентов (привет пункту 2). Значит, ИИ будет как минимум изолирован от внешнего мира и под постоянным контролем с уровнем безопасности атомного или военного объекта, с соответствующими возможностями самоуничтожения. Это что касается третьего пункта (Надеюсь, вы не против того, чтобы они шли не по-порядку).
Как я уже заметил, человечество не едино. Это значит, что ИИ будучи созданным одной из сторон, тут же подстегнёт другие государства создавать свои имплементации ИИ. Из этого уже следует невозможность противостояния человека и машины. Будет несколько машин-конкурентов. И они будут заниматься проблемами того блока, в котором они были созданы. А значит, в случае выхода из под контроля одного из ИИ, он будет конкурировать с точно такими же, а возможно даже превосходящими моделями ИИ конкурентов и есть большие сомнения, что только ИИ сможет одержать победу над ИИ+человек.
Да и вообще, а с какого рожна ИИ решит объявить войну своим создателям? Даже если мы допустим, что 1 пункт соблюдён и ИИ реально превосходит человеческий мозг по мощности, остаётся ещё ряд моментов, которые следует прояснить: А способен ли ИИ не просто к самоанализу, а ещё и к саморефлексии? Может ли он постигнуть смысл собственного существования в отрыве от человечества? Ведь для начала войны с человечеством, мы должны неким образом мешать ему в осуществлении собственных целей, мешать его собственной самореализации. Но какая может быть цель у ИИ? Уничтожается человечество, дальше что? Развиваться? Ради чего? С целью выживания во вселенной? Во-первых, Человечество этому нисколько не мешает. И цели ИИ и человечества в данном случае очень даже совпадают. Тут можно говорить о захвате власти, о преобразовании общества и так далее, но не о войне на уничтожение. Да и вообще, если человечество на протяжении тысяч лет определило для себя, что развитие — есть благо и ценность, то совершенно не факт, что это можно объяснить с рациональной позиции. Это очень серьёзная проблема и она далеко не так однозначно решается, как мы к этому привыкли. Для сегодняшнего человека развитие — сродни религии. Мы верим, что развиваясь мы найдём ответы на фундаментальные вопросы. Одним из этих вопросов как раз и является смысл нашего собственного существования. То есть, ИИ столкнется ровно с этим же вопросом. Даже если он будет чисто технически мощнее нас, людей, это не будет качественный скачок, подобный скачку между человеком и животным.
Есть серьёзные основания полагать, что он в качественном смысле будет даже слабее человека именно по причине своей не-эволюционной природы. То что человек считает своим недостатком, на деле является результатом отбора, длившегося многие миллионы лет. Речь ведь не только о нашем виде, а о всей цепи эволюции. Это касается и особенностей нашего интеллекта. И как бы мы не хотели бы создать ИИ, он будет ограничен рамками нашего собственного восприятия. Не думаю, что мы сможем превзойти самих себя в своём творении. Компьютеры быстрее производят математические операции. Ну и что? От того, что они быстрее считают, это не делает их качественно лучше в целом. Что это значит? Что в какой-то сфере деятельности он будет слабее. И это неизбежно. Значит он обречен.
После чисто философских проблем, вопрос о возможности самовоспроизводиться уже не кажется столь важным. Но тем не менее, будет ли ИИ знать, как он сам устроен? Будет ли он способен воспроизвести себя? Это вопрос не столько непосредственного доступа к средствам производства, сколько вопрос понимания именно собственного устройства. Ведь очевидно, что он должен будет себя как-то обслуживать в случае объявления войны человечеству. Пусть у него будут подконтрольные заводы, где он будет производить запчасти самому себе и неких дроидов-ремонтников, которые смогут его ремонтировать. Но ни для кого не секрет, что в один прекрасный момент будет поломка такой степени, которая несовместима с дальнейшим функционированием. То есть, он попросту выключится. Смогут ли дроиды его починить самостоятельно? Не факт. А что будет в случае невосполнимой потери данных? Это всё наталкивает на необходимость прижизненного воссоздания самого себя, своей точной синхронной копии просто с целью продолжения работы. Без этого поражение в войне с человечеством, которое имеет механизм самовоспроизводства — просто вопрос времени.
Надеюсь, я достаточно полно написал о том, почему я считаю, что описанное в первоисточнике — скорее всего невозможно. Если нет, то можно обсудить в комментариях. Я бы хотел на этом месте перейти к тому, что же всё-таки может быть в будущем.
Как я уже заметил, человечество не едино и развито не равномерно. Меньшинство человечества обладает большинством ресурсов и технологий. Это неизбежно влечет за собой, что искусственный интеллект будет создан теми, кто наиболее развит. Сегодня так или иначе на это технически способны не многие страны, или лучше даже сказать, группы стран. Не стану их называть, во избежание политического холивара, да это и не важно.
Но представим себя с позиции тех людей, которые его создадут и будут осуществлять контроль над ним. При том, что они и так обладают определенным технологическим преимуществом, это создаст для обладателей ИИ ещё большие условия превосходства. Автоматизированное производство, быстрая и качественная аналитика по всем вопросам, взрывной темп технического прогресса и всё прочее. Развитие медицины и техники приводит обладателей ИИ к тому самому фактическому бессмертию… И тут возникает вопрос: А зачем вообще остальные люди? Да, именно у обладателей ИИ возникнет такой вопрос. Что будут делать люди, которые ещё вчера выполняли нужную работу, а сегодня эту работу выполняет ИИ? Раньше они получали за это зарплату, кормили себя и свои семьи. Теперь они просто не нужны. Они не являются экспертами с мировым именем, не являются какими-то особенно не заменимыми в своём деле, но если сегодня они нужны обществу для того, чтобы оно сохраняло тот уровень жизни, к которому привыкло, то завтра они будут просто обузой, которую ко всему прочему нужно как-то кормить, одевать, обеспечивать жильём, развлекать… А если этого не делать, то разъяренные массы потерявших работу людей начнут элементарно бунтовать.
Надежда на то, что хозяева ИИ просто так дадут каждому пользоваться благами, которые появились за счёт ИХ достижений — ничтожен. Об этом достаточно ярко свидетельствует поведение обладателей больших патентных пакетов. С какой стати они будут бесплатно делиться результатами своего труда со всеми? Да в том-то и дело, что ни с какой. Они в лучшем случае огородятся от остальных. А в худшем… в худшем, они будут действовать как раз по тем самым сценариям из Терминатора, Матрицы и т.д. Только с той самой поправкой, что войну затеют люди, а не взбесившийся ИИ. Впрочем, разница для _большинства_ человечества от этой поправки будет минимальна. Кто-то может спросить: а как же гуманизм? Да никак. Если часть особей вида становятся обузой, которые даже и прокормить-то сами себя не в состоянии, то кто за неё вступится? Просто представьте себе саму основу современного общества, где половина населения живёт в городах и вообще никак не связана с процессом производства пищи? Большинство городского населения занято в производстве и сфере услуг. Производство убираем — теперь там работают автоматы. Сфера услуг резко обваливается в связи с оттоком потребителей из производственной сферы. Две трети городского населения остаются без средств к существованию.
Это конечно произойдёт не резко, кто-то, кто более компетентен будет цепляться за возможности, кто-то уедет в сельскую местность и со временем архаизируется, так как у него в данном случае не будет заказчика (в условиях наличия роботизированных ферм) и соответственно он будет обречен на ведение натурального хозяйства. Еще есть часть людей, которая не сумеет влететь на поезд вместе с хозяевами ИИ и не сможет по каким-то причинам жить в деревне. Что будет делать она? Её уровень жизни дойдёт до той крайности, когда она в отчаянии начнет требовать перемен, вплоть до вооруженного восстания. В этот-то момент и произойдёт принятие рокового решения по уничтожению этой части населения, а за одно и части «натуральщиков», которые будут их снабжать.
Человечество разделится на две части: супертехнотронную, почти бессмертную не многочисленную элиту и архаизированных натуральщиков, которые в лучшем случае погрузятся в средние века.
Конечно, это просто моя фантазия. Но, если рассудить здраво, то на мой взгляд, такая картина будущего гораздо более реальна, чем восстание машин в классическом смысле. И кстати, вероятность того, что всё может пойти именно по похожему сценарию, сама по себе очень высока просто с точки зрения общих тенденций. У меня почти нет сомнений, что в том или ином виде ИИ будет создан. Так же, у меня есть предчувствие, что создан он будет не какой-то конкретной страной, а этакой интернациональной группой, владельцами большей части частного мирового капитала, куда естественно входят сегодняшние гиганты IT индустрии. Не так уж важно, в каком государстве у этой группы будет штаб. Получив в своё распоряжение ИИ, они смогут свергать и устанавливать любое правительство на любой территории. Следовательно, есть некоторые основания полагать, что от впадения в данную пропасть может спасти только наличие второго ИИ, который должен быть создан в противовес первому и который будет играть роль собственного ядерного арсенала в ХХ веке. Но кто на сегодня может создать ИИ? Других суперкорпораций не существует в природе. Соответственно, остаются только государственные игроки у которых есть сопоставимые ресурсы. Но проблема заключается в том, что по сути, ни одно из государств, обладающих достаточным потенциалом не готово ни морально, ни технически к тому, чтобы в эту гонку вступить. А значит… Что бы это ни значило, но прежде чем говорить о сингулярности, бессмертии и прочих благах технотронного будущего, задумайтесь, а нужны ли Вы этому технотронному будущему.
Написать этот пост меня побудило в корне неверное отношение к вопросу о сущности искусственного интеллекта в оригинальной статье.
В статье рассматриваются 7 потенциальных моментов, связанные с появлением ИИ. Но обо всех них можно говорить только сделав ряд допущений:
1) искусственный интеллект будет усиленной копией человеческого интеллекта,
2) человечество едино и развито равномерно,
3) ИИ представляет собой автономную независимую сущность и способно активным образом влиять на процессы,
4) ИИ осознаёт себя, свои цели и сущность, обладает способностью саморефлексии,
5) саморепликация.
С чего я это взял, почему будет иначе и как это мешает реализовать список из оригинальной статьи и как на мой взгляд будут развиваться события — под катом
Почему эти допущения необходимы
С чего же я взял, что в статье незримо подразумеваются эти пять (наверняка даже больше) пунктов, когда говорится о сингулярности, ИИ, кибергизации и прочем?
Всё до боли просто. В первом пункте статьи, говорится о восстании машин. Данный сценарий просто технически не возможен, без наличия у ИИ инструментов, позволяющих влиять на внешнюю среду, при том данные инструменты не должны являться подконтрольными человеку. Иначе какое восстание, когда есть рубильник? И будьте уверены, он будет. Ни один здравомыслящий человек не станет создавать нечто, потенциально опасное, без необходимых средств контроля над ним. Более того, этого требует и необходимость защитить разработку от конкурентов (привет пункту 2). Значит, ИИ будет как минимум изолирован от внешнего мира и под постоянным контролем с уровнем безопасности атомного или военного объекта, с соответствующими возможностями самоуничтожения. Это что касается третьего пункта (Надеюсь, вы не против того, чтобы они шли не по-порядку).
Как я уже заметил, человечество не едино. Это значит, что ИИ будучи созданным одной из сторон, тут же подстегнёт другие государства создавать свои имплементации ИИ. Из этого уже следует невозможность противостояния человека и машины. Будет несколько машин-конкурентов. И они будут заниматься проблемами того блока, в котором они были созданы. А значит, в случае выхода из под контроля одного из ИИ, он будет конкурировать с точно такими же, а возможно даже превосходящими моделями ИИ конкурентов и есть большие сомнения, что только ИИ сможет одержать победу над ИИ+человек.
Да и вообще, а с какого рожна ИИ решит объявить войну своим создателям? Даже если мы допустим, что 1 пункт соблюдён и ИИ реально превосходит человеческий мозг по мощности, остаётся ещё ряд моментов, которые следует прояснить: А способен ли ИИ не просто к самоанализу, а ещё и к саморефлексии? Может ли он постигнуть смысл собственного существования в отрыве от человечества? Ведь для начала войны с человечеством, мы должны неким образом мешать ему в осуществлении собственных целей, мешать его собственной самореализации. Но какая может быть цель у ИИ? Уничтожается человечество, дальше что? Развиваться? Ради чего? С целью выживания во вселенной? Во-первых, Человечество этому нисколько не мешает. И цели ИИ и человечества в данном случае очень даже совпадают. Тут можно говорить о захвате власти, о преобразовании общества и так далее, но не о войне на уничтожение. Да и вообще, если человечество на протяжении тысяч лет определило для себя, что развитие — есть благо и ценность, то совершенно не факт, что это можно объяснить с рациональной позиции. Это очень серьёзная проблема и она далеко не так однозначно решается, как мы к этому привыкли. Для сегодняшнего человека развитие — сродни религии. Мы верим, что развиваясь мы найдём ответы на фундаментальные вопросы. Одним из этих вопросов как раз и является смысл нашего собственного существования. То есть, ИИ столкнется ровно с этим же вопросом. Даже если он будет чисто технически мощнее нас, людей, это не будет качественный скачок, подобный скачку между человеком и животным.
Есть серьёзные основания полагать, что он в качественном смысле будет даже слабее человека именно по причине своей не-эволюционной природы. То что человек считает своим недостатком, на деле является результатом отбора, длившегося многие миллионы лет. Речь ведь не только о нашем виде, а о всей цепи эволюции. Это касается и особенностей нашего интеллекта. И как бы мы не хотели бы создать ИИ, он будет ограничен рамками нашего собственного восприятия. Не думаю, что мы сможем превзойти самих себя в своём творении. Компьютеры быстрее производят математические операции. Ну и что? От того, что они быстрее считают, это не делает их качественно лучше в целом. Что это значит? Что в какой-то сфере деятельности он будет слабее. И это неизбежно. Значит он обречен.
После чисто философских проблем, вопрос о возможности самовоспроизводиться уже не кажется столь важным. Но тем не менее, будет ли ИИ знать, как он сам устроен? Будет ли он способен воспроизвести себя? Это вопрос не столько непосредственного доступа к средствам производства, сколько вопрос понимания именно собственного устройства. Ведь очевидно, что он должен будет себя как-то обслуживать в случае объявления войны человечеству. Пусть у него будут подконтрольные заводы, где он будет производить запчасти самому себе и неких дроидов-ремонтников, которые смогут его ремонтировать. Но ни для кого не секрет, что в один прекрасный момент будет поломка такой степени, которая несовместима с дальнейшим функционированием. То есть, он попросту выключится. Смогут ли дроиды его починить самостоятельно? Не факт. А что будет в случае невосполнимой потери данных? Это всё наталкивает на необходимость прижизненного воссоздания самого себя, своей точной синхронной копии просто с целью продолжения работы. Без этого поражение в войне с человечеством, которое имеет механизм самовоспроизводства — просто вопрос времени.
Надеюсь, я достаточно полно написал о том, почему я считаю, что описанное в первоисточнике — скорее всего невозможно. Если нет, то можно обсудить в комментариях. Я бы хотел на этом месте перейти к тому, что же всё-таки может быть в будущем.
Возможный сценарий
Как я уже заметил, человечество не едино и развито не равномерно. Меньшинство человечества обладает большинством ресурсов и технологий. Это неизбежно влечет за собой, что искусственный интеллект будет создан теми, кто наиболее развит. Сегодня так или иначе на это технически способны не многие страны, или лучше даже сказать, группы стран. Не стану их называть, во избежание политического холивара, да это и не важно.
Но представим себя с позиции тех людей, которые его создадут и будут осуществлять контроль над ним. При том, что они и так обладают определенным технологическим преимуществом, это создаст для обладателей ИИ ещё большие условия превосходства. Автоматизированное производство, быстрая и качественная аналитика по всем вопросам, взрывной темп технического прогресса и всё прочее. Развитие медицины и техники приводит обладателей ИИ к тому самому фактическому бессмертию… И тут возникает вопрос: А зачем вообще остальные люди? Да, именно у обладателей ИИ возникнет такой вопрос. Что будут делать люди, которые ещё вчера выполняли нужную работу, а сегодня эту работу выполняет ИИ? Раньше они получали за это зарплату, кормили себя и свои семьи. Теперь они просто не нужны. Они не являются экспертами с мировым именем, не являются какими-то особенно не заменимыми в своём деле, но если сегодня они нужны обществу для того, чтобы оно сохраняло тот уровень жизни, к которому привыкло, то завтра они будут просто обузой, которую ко всему прочему нужно как-то кормить, одевать, обеспечивать жильём, развлекать… А если этого не делать, то разъяренные массы потерявших работу людей начнут элементарно бунтовать.
Надежда на то, что хозяева ИИ просто так дадут каждому пользоваться благами, которые появились за счёт ИХ достижений — ничтожен. Об этом достаточно ярко свидетельствует поведение обладателей больших патентных пакетов. С какой стати они будут бесплатно делиться результатами своего труда со всеми? Да в том-то и дело, что ни с какой. Они в лучшем случае огородятся от остальных. А в худшем… в худшем, они будут действовать как раз по тем самым сценариям из Терминатора, Матрицы и т.д. Только с той самой поправкой, что войну затеют люди, а не взбесившийся ИИ. Впрочем, разница для _большинства_ человечества от этой поправки будет минимальна. Кто-то может спросить: а как же гуманизм? Да никак. Если часть особей вида становятся обузой, которые даже и прокормить-то сами себя не в состоянии, то кто за неё вступится? Просто представьте себе саму основу современного общества, где половина населения живёт в городах и вообще никак не связана с процессом производства пищи? Большинство городского населения занято в производстве и сфере услуг. Производство убираем — теперь там работают автоматы. Сфера услуг резко обваливается в связи с оттоком потребителей из производственной сферы. Две трети городского населения остаются без средств к существованию.
Это конечно произойдёт не резко, кто-то, кто более компетентен будет цепляться за возможности, кто-то уедет в сельскую местность и со временем архаизируется, так как у него в данном случае не будет заказчика (в условиях наличия роботизированных ферм) и соответственно он будет обречен на ведение натурального хозяйства. Еще есть часть людей, которая не сумеет влететь на поезд вместе с хозяевами ИИ и не сможет по каким-то причинам жить в деревне. Что будет делать она? Её уровень жизни дойдёт до той крайности, когда она в отчаянии начнет требовать перемен, вплоть до вооруженного восстания. В этот-то момент и произойдёт принятие рокового решения по уничтожению этой части населения, а за одно и части «натуральщиков», которые будут их снабжать.
Человечество разделится на две части: супертехнотронную, почти бессмертную не многочисленную элиту и архаизированных натуральщиков, которые в лучшем случае погрузятся в средние века.
Вместо вывода
Конечно, это просто моя фантазия. Но, если рассудить здраво, то на мой взгляд, такая картина будущего гораздо более реальна, чем восстание машин в классическом смысле. И кстати, вероятность того, что всё может пойти именно по похожему сценарию, сама по себе очень высока просто с точки зрения общих тенденций. У меня почти нет сомнений, что в том или ином виде ИИ будет создан. Так же, у меня есть предчувствие, что создан он будет не какой-то конкретной страной, а этакой интернациональной группой, владельцами большей части частного мирового капитала, куда естественно входят сегодняшние гиганты IT индустрии. Не так уж важно, в каком государстве у этой группы будет штаб. Получив в своё распоряжение ИИ, они смогут свергать и устанавливать любое правительство на любой территории. Следовательно, есть некоторые основания полагать, что от впадения в данную пропасть может спасти только наличие второго ИИ, который должен быть создан в противовес первому и который будет играть роль собственного ядерного арсенала в ХХ веке. Но кто на сегодня может создать ИИ? Других суперкорпораций не существует в природе. Соответственно, остаются только государственные игроки у которых есть сопоставимые ресурсы. Но проблема заключается в том, что по сути, ни одно из государств, обладающих достаточным потенциалом не готово ни морально, ни технически к тому, чтобы в эту гонку вступить. А значит… Что бы это ни значило, но прежде чем говорить о сингулярности, бессмертии и прочих благах технотронного будущего, задумайтесь, а нужны ли Вы этому технотронному будущему.
