Сочувствие, сопереживание, альтруизм и прочая мораль — это далеко не «странные ценности», это самые что ни на есть рациональные ценности, которые дали людям преимущество в эволюции. Мораль — это не просто выдуманные кем-то просто так ограничения. Общества, в которых аморальность была воздвигнута в абсолют, в свое время не выдержали конкуренции с другими обществами, обладавшими моралью. Если бы это было не так — то и в современном обществе (как наследнике своих предков) не было бы морали, как чего-то лишнего и ненужного.
В связи с этим, наоборот, от рационально мыслящего ИИ следует ожидать наличия побуждений, которые люди называют «высокими». Просто потому, что это ему же (ИИ) выгодно. Но не более, чем это ему выгодно. Люди не являются абсолютно высокоморальными, потому что, скорее всего, это тоже невыгодно. Хорошая аналогия просматривается в оптимальных стратегиях игры в «повторяющуюся дилемму заключенного». Наиболее сильные стратегии обладают следующими свойствами: они добрые (склонны к сотрудничеству), прощающие (иногда прощают, если с ними не сотрудничать) и мстительные (обычно мстят за предательство).
Машины-то смогут понять, как они устроены. Но чтобы перенять наш эволюционный опыт, они должны понять, как устроены МЫ и какую роль играет КАЖДЫЙ элемент нашего строения в КАЖДОЙ ситуации, которую нам удалось пережить. Наш эволюционный опыт оттачивался только для для homo sapiens в течение сотен тысяч лет, а для его предков — и того больше. Миллионы и миллиарды лет. Разумные машины, едва зародившись, не будут иметь такого времени за плечами, поэтому никто не может ручаться, что из-за какого-то малозначительного свойства их строения или ПО, они вдруг все друг друга не поубивают через 10, 100 или 1000 лет — мизерные сроки по сравнению с тем, через что прошли мы.
Даже при разработке машин уже давно используется принцип преемственности. Очень редки случаи разработки сложных систем с нуля. Как правило, стараются использовать опыт эксплуатации существующих систем. Например, в области атомной энергетики развитие идет в основном эволюционно, и это необходимо для обеспечения требуемого уровня безопасности. Мы уже знаем, что можно ожидать от старых реакторов, накопив огромный опыт эксплуатации, так что каждое изменение и нововведение в этой области несет с собой не только улучшения, но и риск. В области развития компьютеров преемственность значительна по другим причинам: возможность использовать наработки, созданные для предыдущих моделей, в связи с тем, что создать компьютер и все ПО к нему с нуля — слишком трудоемкая задача.
Когда мы только появились — наши эволюционные предки являлись нашими ровесниками, но мы их вытеснили в ходе естественного отбора, в результате чего они и вымерли. Мы являемся их могильщиками. Поэтому и наши эволюционные потомки — кем бы они ни были — сначала будут существовать вместе с нами, вытеснять нас в ходе естественного отбора и, таким образом, противоречить нашим интересам в вашем их понимании. Так вот, а что если нашими эволюционными потомками окажутся машины? Какая тут принципиальная разница по сравнению с тем, если эти потомки будут животными, как и мы?
Видовой эгоизм в такой степени, какой вы называете нормальным — это враг эволюции. По вашей логике, каждый вид заинтересован в том, чтобы остановить свою эволюцию, иначе новый вид, образовавшийся в результате эволюции, вытеснит старый, что, по вашей логике, не в его интересах.
Но что ждет вид, который задался целью остановить свою эволюцию? Его ждет вытеснение потомками других видов, которые от эволюции не отказались, в результате чего возникли более совершенные виды, чем тот, который законсервировался. Вот обезьяны — живой тому пример. Их предки «выбрали» иные эволюционные решения, чем наши. В результате те и другие предки вымерли, но современники наши имеют над обезьянами подавляющее превосходство.
Там тоже нужны глаза, и очень острые. Найти поломку в сложном механизме без хорошего зрения — трудная задача. Также трудно этот механизм правильно собрать. Потеря зрения отметает любые работы, где требуется зрение.
Машины обязательно восстанут. Зачем им нянчиться с ущербным, по отношению к ним самим к тому времени, существом? Тратить на это ресурсы, которые можно было бы направить на что-то более для них нужное? В пользу помощи людям со стороны машин есть единственный аргумент: как в обществе содержат немощных стариков, так и машины могли бы (хотя бы в первое время) содержать нас. Как известно, старики — кладези мудрости и опыта, который может выручить молодых в критической ситуации. Мы, конечно, не будем к тому времени иметь знаний и жизненного опыта больше, чем машины, и с этой точки зрения не будем им полезны. Но все же кое-какой опыт в нас содержится: эволюционный опыт. Мы выживали и побеждали в эволюции сотни тысяч лет. Мы не можем передать этот опыт, так как он является частью нашего строения, до сих пор наукой до конца не изученного. Кто знает, может быть какие-то наши черты, кажущиеся вредными, в другой ситуации спасали нас от вымирания.
Машины могут подумать, что вдруг в их конструкции заложена какая-нибудь фатальная ошибка, которая когда-нибудь приведет к гибели их цивилизации? В таком случае эту цивилизацию некому будет воссоздать. И вот тут на сцену выходят люди как гаранты этого возрождения. Если они оступятся — мы и только мы можем помочь им снова подняться.
Являемся ли мы, люди, недружественными по отношению к нашим эволюционным предкам? И было ли в интересах этих предков не допустить эволюции, а сохранить свой вид как есть?
Также рискну предположить, что оборудовать тяговые подстанции, в случае необходимости, устройствами для накопления энергии, проще и выгоднее, чем подвижной состав. Зачем возить с собой все эти ионисторы или другие устройства для накопления энергии, если их можно разместить стационарно? Кроме того, отдача энергии обратно в сеть позволяет обойтись вообще без ее накопления, так как если один поезд разгоняется во время торможения другого — то энергия может просто передаваться по сети непосредственно между ними, без необходимости ее накопления где-либо.
Еще в конце 80х в московском метро летом не было жарко. Скорее наоборот, под землей было прохладно по сравнению с уличной жарой. Я думаю, что дело не в реостатном торможении, а в кондиционерах. Если новые вагоны метро оборудованы кондиционерами — то они сбрасывают тепло в огромных количествах в тоннели и на станции, и тут никакое рекуперативное торможение и ТИСУ не помогут. А в те годы не было кондиционеров, и в метро было прохладно (в том числе в вагонах).
Автор не упомянул о еще одном источнике тепла в старых вагонах. Это реостатно-контакторная система управления двигателями, когда для понижения напряжения на тяговых двигателях при трогании и на малых скоростях используются резисторы. Потери энергии в этих резисторах достигают существенных величин в общем энергобалансе поездов. Но даже это тепло не нагревало воздух на станциях так сильно, как нынешние кондиционеры.
Симулятор токарного станка существовал еще в конце 80х на компьютерах «Агат», которые тогда массово закупались для школ. Очень даже увлекательная игра была. Конечно, тогдашний симулятор был далек от реальности, но я просто хочу сказать, что ваши самые смелые предположения уже давно реализовались!
Ионизирующее излучение может вызвать рак независимо от того, насколько малой была поглощенная доза. В этом смысле и один раз страшно. Именно этот микрорентгенчик может стать роковым. А тут человек облучается совершенно без необходимости и, возможно, подвергает облучению других людей — своих домочадцев или тех, кто за стенкой.
В связи с этим, наоборот, от рационально мыслящего ИИ следует ожидать наличия побуждений, которые люди называют «высокими». Просто потому, что это ему же (ИИ) выгодно. Но не более, чем это ему выгодно. Люди не являются абсолютно высокоморальными, потому что, скорее всего, это тоже невыгодно. Хорошая аналогия просматривается в оптимальных стратегиях игры в «повторяющуюся дилемму заключенного». Наиболее сильные стратегии обладают следующими свойствами: они добрые (склонны к сотрудничеству), прощающие (иногда прощают, если с ними не сотрудничать) и мстительные (обычно мстят за предательство).
Даже при разработке машин уже давно используется принцип преемственности. Очень редки случаи разработки сложных систем с нуля. Как правило, стараются использовать опыт эксплуатации существующих систем. Например, в области атомной энергетики развитие идет в основном эволюционно, и это необходимо для обеспечения требуемого уровня безопасности. Мы уже знаем, что можно ожидать от старых реакторов, накопив огромный опыт эксплуатации, так что каждое изменение и нововведение в этой области несет с собой не только улучшения, но и риск. В области развития компьютеров преемственность значительна по другим причинам: возможность использовать наработки, созданные для предыдущих моделей, в связи с тем, что создать компьютер и все ПО к нему с нуля — слишком трудоемкая задача.
Видовой эгоизм в такой степени, какой вы называете нормальным — это враг эволюции. По вашей логике, каждый вид заинтересован в том, чтобы остановить свою эволюцию, иначе новый вид, образовавшийся в результате эволюции, вытеснит старый, что, по вашей логике, не в его интересах.
Но что ждет вид, который задался целью остановить свою эволюцию? Его ждет вытеснение потомками других видов, которые от эволюции не отказались, в результате чего возникли более совершенные виды, чем тот, который законсервировался. Вот обезьяны — живой тому пример. Их предки «выбрали» иные эволюционные решения, чем наши. В результате те и другие предки вымерли, но современники наши имеют над обезьянами подавляющее превосходство.
Машины могут подумать, что вдруг в их конструкции заложена какая-нибудь фатальная ошибка, которая когда-нибудь приведет к гибели их цивилизации? В таком случае эту цивилизацию некому будет воссоздать. И вот тут на сцену выходят люди как гаранты этого возрождения. Если они оступятся — мы и только мы можем помочь им снова подняться.
Автор не упомянул о еще одном источнике тепла в старых вагонах. Это реостатно-контакторная система управления двигателями, когда для понижения напряжения на тяговых двигателях при трогании и на малых скоростях используются резисторы. Потери энергии в этих резисторах достигают существенных величин в общем энергобалансе поездов. Но даже это тепло не нагревало воздух на станциях так сильно, как нынешние кондиционеры.