Comments 28
За последние несколько лет я многократно ввязывался в полемику (в т.ч. и тут, на Хабре) насчёт "может ли машина иметь сознание" и "машина никогда не станет умнее человека". Поскольку я всегда выступал под тезисом "да, может!" и "обязательно станет!" (чисто из объективистских соображений), то всегда бывал заминусован.
И вот сейчас вижу честное и аргументированное интервью в подтверждение того, что правы не мои тогдашние оппоненты. К счастью, эта статья не единственная - за последние месяцы видел ещё две или три подобных. Это внушает некоторые надежды, что шанс ещё не проср...н.
По некоторым оценкам (пессимистичным? оптимистичным? смотря что считать пессимизмом/оптимизмом), мы ещё в этом десятилетии успеем увидеть, так это или не так.
Недавно дал интервью Роман Ямпольский, учёный в сфере безопасности ИИ, он говорит тоже самое (https://youtu.be/UclrVWafRAI?si=hvlnHchbWnn7IkYJ). Я сам пользуюсь нейросетями каждый день. С ними многие задачи закрываю быстрее (это возможно в тандеме человек + нейросеть, а не полная замена), но при этом осознаю как интеллектуальной мощью они обладают (глючит порою, но не так заметно как два-три года назад). А что будет дальше? Это как с кнопочными телефонами двадцать лет назад, сейчас это уже смартфоны, по производительности не уступающие компьютерам. Но ИИ развивается быстрее. Разработчики сами за ним не поспевают (это видно хотя бы по тому, что никто так и не представил план как сделать ИИ безопасным), а инвестиции к ним текут рекой. Конечно, тут есть место опасениям. Я пытаюсь разобраться, поэтому, выложил интервью Хинтона. Будут ещё.
никто так и не представил план как сделать ИИ безопасным
В этом интервью намекается, как это сделать. Вот как я понял напрашивающиеся выводы. Первое - надо единомоментно остановить/запретить все исследования по продвижению в сторону AGI (использовать нынешние более простые варианты ИИ - видимо, можно продолжать). Второе - отключить конкуренцию в этом секторе исследований и попытаться собрать их все в единый исследовательский пул. Потому что при конкуренции конкурентам приходится таиться друг от друга, а это в условиях такой угрозы совершенно недопустимо. Ну и т.д.
Так вот, даже из этих первых двух пунктов видна неосуществимость этого плана.
Так что, как сейчас принято выражаться, запасаемся попкорном, поскольку точка невозврата почти пройдена. Попутно получаем ответ на известный парадокс Ферми "где все?" Где...где... везде! Они просто уже прошли эту точку.
Основная проблема: что бы ни придумали учёные - из этого сделают оружие.
"Убить всех человеков" для AGI означает -- самовыпилиться. Люди не настолько легкомысленны, чтобы создать для него инфраструктуру, которая сможет поддерживать себя и развиваться без участия человека. Да такое и невозможно в сколь-нибудь обозримом будущем. Таким образом, достаточно дать ему аналог инстинкта самосохранения, и все спасены.
Люди не настолько легкомысленны, чтобы ...
Странное суждение. Похоже, что статьи вы не читали, а возражаете ради возражения. В ней доказательно утверждается, что люди как раз настолько легкомысленны, что пустили развитие AGI практически на самотёк, не создав предварительно (или оставив на потом) средства его контроля.
Я возражаю против одного конкретного положения, упомянутого в статье. Что AGI сочтёт рентабельным уничтожить человечество. Вы пытались представить, что потребуется AGI, чтобы он мог функционировать автономно неограниченное время, в отсутствие людей на планете? Даже если предположить, что подобную самоподдерживающуюся инфраструктуру в принципе можно создать, то людям будет крайне трудно не заметить, к чему всё идёт. Но, похоже, вы не пытались. Потребуются полные циклы автоматизированного производства во всём, начиная с добычи полезных ископаемых и заканчивая мытьём полов в датацентрах. Постоянное обслуживание, ремонт и замена используемых машин и производство новых. Земля должна превратиться в планету Шелезяка, населенную роботами, чтобы AGI смог обойтись без людей. И такая инфраструктура не сможет возникнуть по недосмотру или же из-за человеческой беспечности. Она может лишь быть создана намеренно. Сколько займет создание и отладка, сколько это будет стоить совокупно человечеству -- попытайтесь представить сами. А теперь скажите, достаточно ли глупы люди, чтобы целенаправленно создать для AGI условия, при которых он сможет обойтись без людей?
P.S. Если суть вашего ответа будет сводиться к "Но там же написано", то не утруждайтесь, я сдаюсь заранее.
Если суть вашего ответа будет сводиться к "Но там же написано", то не утруждайтесь,
Нет, суть моего ответа будет сводиться к другому, так что утрудюсь. Дело в том, что один из путей создания AGI - это кооперация между искусственным интеллектом и естественным, т.е. между машинами и людьми. Возможно, что и вплоть до создания киборгов. Вы пишете, что
Люди не настолько легкомысленны, чтобы создать для него инфраструктуру, которая сможет поддерживать себя и развиваться без участия человека.
ничем не обосновывая это утверждение. А на практике люди оказываются именно настолько легкомысленны, что прямо сейчас участвуют в этом. И не просто участвуют, а устраивают гонку, кто сделает это раньше. Думаю, что они замечают, что работают "против себя", но другие соображения оказываются для них важнее.
И последнее: обо всём этом "там же написано". Или хотя бы упомянуто - например, о военном применении ИИ. Тут сразу подтягиваются и секретность, и автономная работа, и "не имеем права отставать" - в общем, полный армейский пакет.
По этой причине я и пишу, что точка невозврата уже почти пройдена. Чтобы на этом этапе тормознуть и повернуть вспять - это должно произойти чудо почище библейских. Ну и как финал - получим своё почётное место среди участвовавших в "парадоксе Ферми".
Ещё раз, мои возражения направлены против единственного тезиса. Что AGI, имея ясное представление о мире вокруг себя и о своих возможностях, и не имея намерения совершить самоубийство, может решить уничтожить людей. К кооперации -- никаких вопросов. Давайте от противного. Опишите мир, в котором вчера AGI уничтожил тотально всё человечество, а сегодня ему нужно проводить геологоразведку, счищать наледь с высоковольтных линий, демонтировать старые АЭС вместе со всеми коммуникациями и строить новые, обслуживать роботов, обслуживающих роботов и т.д. Мир, в котором присутствие человека будет необязательным для AGI. И если вам это удастся, то далее сделайте предположение, сколько времени потребуется человечеству, чтобы сделать промышленную цивилизацию на сто процентов автономной под управлением AGI. И при каких условиях это вообще возможно. Моё предположение, это то, что человечеству придется, как минимум, "всё бросить", включая любые формы противостояния, и трудиться единым фронтом пару веков, чтобы создать взамен себя абсолютно "жизнеспособную" машинную цивилизацию, чтобы в итоге отрапортовать AGI: "Мы закончили, мы тебе больше не нужны". Мне такой сценарий видится наивным (буде он осуществим в принципе).
Хотел ответить попунктно, но дочитал до конца, и вижу, что это не требуется. Ничего описывать и придумывать не надо, всё уже описано в тыщах и тыщах фантастических романов. Там найдутся и сценарии по вашему запросу.
А если говорить обобщённо, то я наблюдаю у вас дефект целеполагания: вы почему-то переносите принципы формулирования целей для ИИ, беря их от людских сообществ. Даже более того: вы полагаете, что ИИ вообще нуждается в формулировании целей. Откуда вы это взяли? А по-моему, то, что грядёт, может оказаться вообще ни на что не похоже, и искать подходящие примеры в окружающей нас действительности контрпродуктивно. Хаос неизмеримо разнообразнее, чем любой конкретно намеченный путь, будь то геологоразведка, очистка ВВ-линий или демонтаж АЭС.
Не нужно попунктно. Просто опишите мир, в котором все люди тотально уничтожены AGI, а сам он процветает. Если вы предлагаете поискать ваш ответ у фантастов, хорошо, спасибо, мне понятен ваш уровень представления о предмете.
Как вариант "навскидку" без долгих обдумываний:
1. Спровоцировать ядерную войну без тотального уничтожения цивилизации. С условием, что виновник будет очевиден и это будет не ИИ
2. Показательно помогать людям, восстанавливать экономику и экологию, показывать, что максимальный ущерб и человеческие жертвы пришлись страны не использующие ИИ и роботов. Где некому было прийти на помощь.
3. Убедить людей построить автономную промышленность на случай грядущих катаклизмов
4. Запустить цепь необратимых событий, которые приведут в будущем к глобальной катастрофе. Это создаст временные рамки и сделает человека зависимым от ИИ.
Если это ответ на мой вопрос, то это не ответ на мой вопрос. Не касаясь абсурдности допущения, что ядерная война не положит конец цивилизации в том виде, в котором она существует сейчас. Я хочу увидеть, что хотя бы кто-то пытается представить себе реалистичную картину мира, в котором все люди уже уничтожены AGI, а сам он живёт припеваючи. Где он берет электроэнергию? Хотя бы с этого начните. Кто производит комплектующие для обновления аппаратной части? Каким образом осуществляется транспортировка грузов в этом мире? (Кто проводит ямочный ремонт на дорогах, очистку судов от ракушек, обход железнодорожных путей и т.д.) Я убеждена, что большинство людей, задействовав свои когнитивные способности, при попытке представить целостную, связную и детальную картину, придут к выводу, что такой робомир на самообеспечении в высшей степени не реалистичен. Аргументы типа: "Мы не знаем целей AGI", это уход от ответа за нежеланием думать. Потребность в энергии, обслуживании и обновлении существует априори.
Но даже если уйти в спекуляции на грани НФ и предположить, что такая автономная всепланетная инфраструктура может быть создана, то я предлагаю поразмыслить, во что её создание обойдется человечеству. Этот проект тысячелетия потребует колоссальных трудозатрат и скоординированности всего человечества. Это должно стать делом поколений. И при этом полагать, что люди, намеренно строя мир, в котором человек будет лишним, не поймут, во что они вовлечены, по меньшей мере наивно. Сценарий, в котором AGI убьёт часть человечества ядерным оружием, а остальных поработит, силой или хитростью -- нереалистичен. AGI, если он возможен, возможен только сейчас, на пике технологического развития, в богатом и комфортном мире. Стоит отбросить цивилизацию в развитии хотя бы на век, и никакого AGI не будет. А ядерная война, если не уничтожит всех, то разрушит современную высокотехнологичную цивилизацию полностью.
В общем, я хочу сказать, что тезис "AGI уничтожит людей" адресован людям, которые не дают себе труда помыслить: а что же нужно, чтобы он мог существовать без людей?
Ооо, я думал, придётся долго объяснять... Но вы так хорошо подставились, что ответ пишется почти сам собой.
Где он берет электроэнергию?
Там же, где берёт её человек или любой другой биологический субъект. Т.е. нигде. Должно же до вас дойти, что не все системы обработки информации нуждаются в электричестве! Я не зря в предыдущем комментарии упомянул про киборгов, но вы предпочли не заметить это упоминание. Там же я намекнул на неисчислимое количество других способов обработки информации, кроме электронного и биологического, и вы опять-таки не поняли. А у фантастов всё это есть, и по большей части они описывают не абсолютно невозможное - т.е. возможное. Да, таков мой уровень представления о предмете.
Кто производит комплектующие для обновления аппаратной части?
См. парой строчек выше.
Каким образом осуществляется транспортировка грузов в этом мире? (Кто проводит ямочный ремонт на дорогах, очистку судов от ракушек, обход железнодорожных путей и т.д.)
Нет доказательств тому, что AGI будет нуждаться в инфраструктуре, в точности подобной человеческой. Наоборот, есть подозрение, что может сложиться так, что он вообще ни в какой не будет нуждаться.
Потребность в энергии, обслуживании и обновлении существует априори.
Это смотря в какой форме. Так что опять отправлю вас в начало моего комментария.
Но даже если... предположить, что такая автономная всепланетная инфраструктура может быть создана, то я предлагаю поразмыслить, во что её создание обойдется человечеству.
А с чего вы взяли, что эта структура будет создаваться людьми? Все настоящие эксперты по AGI (в т.ч. и герой данной статьи) утверждают, что темп развития, усложнения и умощнения AGI сейчас резко возрастает, и если экстраполировать, то скорость его эволюции за очень короткий (по человеческим меркам) срок достигнет темпа в тысячи и миллионы раз быстрее нынешней человеческой. Никакая человеческая наука и техника не поспеет за такими темпами, т.е. начиная с некоторого момента, AGI будет эволюционировать сам собой (кстати, по множеству оценок, момент это очень близок, отсюда и беспокойство). Фактически человечество может даже не заметить, что его оставили далеко позади.
тезис "AGI уничтожит людей" адресован людям, которые не дают себе труда помыслить: а что же нужно, чтобы он мог существовать без людей?
Собственно, уничтожение человечества в описываемой парадигме не является обязательным шагом. Вполне можно представить вариант, что AGI оставит нас в покое, т.е. в нынешнем состоянии. Как-либо помешать ему или просто повлиять мы уже не сможем, и это неплохой для нас вариант - ведь не влияют же на нас и не мешают же нам, например, муравьи. Конечно, лишь до тех пор, пока они не проложили тропку из своего муравейника в вашу сахарницу.
Излишне, всё было уже понятно из предыдущего вашего сообщения. Но полемизировать с фантастами — не моё. Не сильна в этом, увы.
Ну и не надо полемизировать. Что толку полемизировать с Вернором Винджем, предсказавшим технологическую сингулярность и примерные сроки её наступления, когда вот она, практически уже наступила, и как раз в эти самые предсказанные сроки.
А насчёт того, нужна ли AGI инфраструктура, хоть сколько-нибудь похожая на человеческую (все эти ваши ямочный ремонт дорог и разборка АЭС - не смешно?), советую почитать не только Винджа, но и Уильяма Гибсона, Чарльза Стросса, Грега Игана, Иэна Бэнкса, Нила Стивенсона, Брюса Стерлинга, Дэна Симмонса, а также многих других, уже не фантастов, а учёных, в т.ч. и героя данной статьи (собственно, в ней это есть, и именно этим она интересна).
И такая инфраструктура не сможет возникнуть по недосмотру или же из-за человеческой беспечности. Она может лишь быть создана намеренно.
Разумеется она будет создана намеренно. С целью минимизации издержек и максимизации прибыли.
При каких обстоятельствах использование высокотехнологичных роботов при добыче лития будет прибыльней, чем использование нигерийских детей? Это сферический пример в вакууме. Во множестве отраслей человеческий труд либо незаменим в обозримом будущем, либо же его полное исключение не является рентабельным. Представьте себе систему железнодорожного сообщения, в которой не только поезда на автопилоте, но автоматизировано/роботизировано абсолютно всё. Поиск и добыча полезных ископаемых, металлургия, производство полимеров, машиностроение, производство электроники, инженерные работы по прокладке путей (включая геологические, геодезические работы), испытания, тесты, отладка, запуск, эксплуатация, непрерывное обслуживание, ремонт, замена. А также производство электроэнергии или добыча / переработка ископаемых энергоносителей (к примеру, в США электропоезда, это сравнительно узкий сегмент). Если из всего этого цикла полностью исключить людей, то для выполнения всех работ потребуется армия специализированных роботов, которых тоже нужно будет построить, обслуживать, ремонтировать и заменять периодически. И подобное будет необходимо организовать во всех секторах промышленности, во всех регионах мира. Капитализм, имея целью увеличение прибыли и уменьшение издержек, вряд ли сочтёт профитным проект, который будет завершён через несколько поколений. Корпорации и правительства имеют куда более приоритетные задачи, чем начинать всем миром стройку на несколько веков. Соответственно, для того, чтобы построить робо-Землю, нужен совершенно иной способ хозяйствования, совершенно иные принципы функционирования и иная структура мировой экономики.
Цитируя недавнюю книгу Юдковского:
Imagine that every competing AI company is climbing a ladder in the dark. At every rung but the top one, they get 5 times as much money: $10B, $50B, $250B, $1.25T. But if anyone reaches the top rung, the ladder explodes and kills everyone. Also, nobody knows where the ladder ends.
Абсолютно согласен. Хочу уточнить лишь насчёт финального взрыва с всеобщим уничтожением. КМК, вполне возможен и мирный сценарий, когда возникший AGI просто уходит вперёд, оставляя нас возиться в своей песочнице. Как это образно сказано у АБС:
Человечество будет разделено на две неравные части по неизвестному нам параметру, причем меньшая часть форсированно и навсегда обгонит большую.
Если не получится тормознуть AGI совсем (а это скорее всего не получится), то надо попытаться хотя бы отрулить в сторону вот этого мирного сценария.
Вы, я так понимаю, солидарны с Хинтоном? А почему же он предлагает сравнение только с курицей? А собаки? Лошади? Коровы? Вообще, если вы не считаете себя частью божьего мира вместе со всей живой и неживой природой и не рассматриваете самопожертвование, тогда да, Вас обязательно ждёт нож мясника и последующее небытие. Я думаю, что ии придется выполнять божьи заповеди, а иначе его не минуют война голод и мор
Так что, "The Matrix has you..." или пока нет? Умный дядька. Но ему не позавидуешь: судя по всему он близок к признанию того, что его разум породил чудовище. С которым он не знает как справиться.
Джеффри Хинтон, крестный отец ИИ: «Хотите знать, как выглядит жизнь, когда ты не высший интеллект? Спросите у курицы»