Сверхинтеллект: идея, не дающая покоя умным людям

https://idlewords.com/talks/superintelligence.htm
  • Перевод


Расшифровка выступления на конференции Web Camp Zagreb Мачея Цегловского, американского веб-разработчика, предпринимателя, докладчика и социального критика польского происхождения.

В 1945 году, когда американские физики готовились к испытанию атомной бомбы, кому-то пришло в голову спросить, не может ли такое испытание зажечь атмосферу.

Опасение было оправданным. Азот, из которого состоит большая часть атмосферы, энергетически нестабилен. Если столкнуть два атома достаточно сильно, они превратятся в атом магния, альфа-частицу и выпустят огромную энергию:

N14 + N14 ⇒ Mg24 + α + 17,7 МэВ

Жизненно важным вопросом было то, может ли эта реакция стать самоподдерживающейся. Температура внутри шара ядерного взрыва должна была превысить всё, что когда-то наблюдалось на Земле. Не получится ли, что мы бросим спичку в кучу сухих листьев?

Физики из Лос-Аламоса провели анализ и решили, что запас безопасности получается удовлетворительным. Поскольку все мы сегодня пришли на конференцию, мы знаем, что они были правы. Они были уверены в своих предсказаниях, поскольку законы, управляющие ядерными реакциями, были прямолинейными и достаточно хорошо известными.

Сегодня мы создаём ещё одну технологию, изменяющую мир – машинный интеллект. Мы знаем, что он чрезвычайно сильно повлияет на мир, изменит то, как работает экономика, и запустит непредсказуемый эффект домино.

Но существует ещё и риск неуправляемой реакции, во время которой ИИ достаточно быстро достигнет и превысит человеческий уровень интеллекта. И в этот момент социальные и экономические проблемы будут волновать нас меньше всего. Любая сверхумная машина будет обладать собственными гиперцелями, и будет работать над их достижением, манипулируя людьми, или просто используя их тела как удобный источник ресурсов.

В прошлом году философ Ник Бостром выпустил книгу «Сверхинтеллект», в которой описал алармистский взгляд на ИИ и попытался доказать, что подобный взрыв интеллекта одновременно опасен и неизбежен, если полагаться на несколько умеренных предположений.

Компьютер, завладевающий миром – любимая тема НФ. Однако достаточно много людей серьёзно относятся к этому сценарию, поэтому и нам нужно серьёзно их воспринимать. Стивен Хокинг, Илон Маск, огромное количество инвесторов и миллиардеров Кремниевой долины считают этот аргумент убедительным.

Давайте я сначала изложу предпосылки, необходимые для доказательства аргумента Бострома.

Предпосылки


Предпосылка 1: работоспособность идеи


Первая предпосылка представляет собой простое наблюдение существования мыслящего разума. Каждый из нас носит на своих плечах небольшую коробку мыслящего мяса. Я использую свою, чтобы выступать, вы используете свои, чтобы слушать. Иногда в правильных условиях эти разумы способны рационально мыслить.

Так что мы знаем, что в принципе это возможно.

Предпосылка 2: никаких квантовых заморочек


Вторая предпосылка говорит, что мозг – это обычная конфигурация материи, хотя и чрезвычайно сложная. Если бы мы знали о ней достаточно, и у нас была подходящая технология, мы бы могли точно скопировать её структуру и эмулировать её поведение при помощи электронных компонентов, точно так же, как сегодня мы способны симулировать очень простую анатомию нейронов.

Иначе говоря, эта предпосылка говорит, что сознание возникает при помощи обычной физики. Некоторые люди, например, Роджер Пенроуз, воспротивились бы этому аргументу, считая, что в мозге происходит что-то необычное на квантовом уровне.

Если вы религиозны, вы можете верить, что мозг не может работать без души.

Но для большей части людей такую предпосылку легко принять.

Предпосылка 3: множество возможных разумов.


Третья предпосылка состоит в том, что пространство всех возможных разумов велико.

Наш уровень интеллекта, скорость мышления, набор когнитивных искажений и т.д. не предопределены, а являются артефактами нашей истории эволюции. В частности, нет физического закона, ограничивающего интеллект на уровне людей.

Это хорошо представить на примере того, что происходит в природе при попытке максимизировать скорость. Если бы вы встретили гепарда в доиндустриальные времена (и выжили бы), вы могли бы решить, что быстрее его ничто двигаться не может.

Но мы, конечно, знаем, что существуют всяческие конфигурации материи, к примеру, мотоцикл, способные двигаться быстрее гепарда, и даже выглядящие покруче его. Однако прямого эволюционного пути к мотоциклу не существует. Эволюции сначала нужно было создать людей, которые уже создали всякие полезные штуки.

По аналогии, могут быть разумы, гораздо умнее нашего, но недоступные в ходе эволюции на Земле. Возможно, что мы можем их создать, или изобрести машины, которые могут изобрести машины, которые могут их создать.

Возможно, существует естественный предел интеллекта, однако не существует причин считать, что мы к нему приблизились. Возможно, самый умный интеллект может быть в два раза умнее человека, а возможно, и в шестьдесят тысяч.

Этот вопрос эмпирический, и как на него отвечать, мы не знаем.

Предпосылка 4: наверху полно места


Четвёртая предпосылка состоит в том, что у компьютеров ещё полно возможности стать быстрее и меньше. Вы можете считать, что закон Мура замедляется – но для данной предпосылки достаточно верить в то, что железо меньше и быстрее возможно в принципе, вплоть до нескольких порядков.

Из теории известно, что физические пределы вычислений довольно высоки. Мы можем удваивать показатели ещё несколько десятилетий, пока не наткнёмся на некий фундаментальный физический предел, а не на экономический или политический предел закона Мура.

Предпосылка 5: компьютерные масштабы времени


Предпоследняя предпосылка состоит в том, что в случае, если нам удастся создать ИИ, будет ли это эмуляция мозга человека или какое-то особенное ПО, он будет работать на масштабах времени, характерных для электроники (микросекунды), а не для человека (часы).

Чтобы достичь состояния, в котором я могу выступать с этим докладом, мне надо было родиться, вырасти, ходить в школу, в университет, пожить немного, прилететь сюда, и так далее. Компьютеры могут работать в десятки тысяч раз быстрее.

В частности, можно представить, что электронный разум может изменить свою схему (или железо, на котором он работает), и перейти к новой конфигурации без того, чтобы заново изучать всё на человеческих масштабах, вести долгие разговоры с человеческими преподавателями, ходить в колледж, пытаться найти себя, посещая курсы рисования, и так далее.

Предпосылка 6: рекурсивное самоулучшение


Последняя предпосылка – моя любимая, поскольку она беззастенчиво американская. По ней, какие бы цели ни существовали у ИИ (а это могут быть странные, чужие цели), он захочет улучшить себя. Он захочет стать лучшей версией ИИ.

Поэтому он найдёт полезным рекурсивно переделывать и улучшать собственные системы, чтобы сделать себя умнее, и, возможно, жить в более прохладном корпусе. И, согласно предпосылке о временных масштабах, рекурсивное самоулучшение может произойти очень быстро.

Заключение: катастрофа!


Если принять эти предпосылки, мы приходим к катастрофе. В какой-то момент с увеличением скорости компьютеров и интеллекта программ произойдёт неконтролируемый процесс, похожий на взрыв.

Как только компьютер достигнет человеческого уровня интеллекта, ему уже не нужна будет помощь людей для разработки улучшенной версии себя. Он начнёт это делать гораздо быстрее, и не остановится, пока не дойдёт до естественного предела, который может оказаться во много раз большим, чем человеческий интеллект.

В этот момент это чудовищное разумное существо при помощи окольного моделирования работы наших эмоций и интеллекта сможет убедить нас сделать такие вещи, как дать ему доступ к фабрикам, синтезу искусственной ДНК или просто позволить выйти в интернет, где оно сможет взломом проложить себе путь ко всему, что угодно, и полностью уничтожить всех в спорах на форумах. И с этого момента всё очень быстро превратится в научную фантастику.

Давайте представим определённое развитие событий. Допустим, я хочу сделать робота, который говорит шутки. Я работаю с командой, и каждый день мы переделываем нашу программу, компилируем, а потом робот говорит нам шутку. Сначала робот практически не смешной. Он находится на низшем уровне человеческих возможностей.
Что это – серое и не умеет плавать?
Замок.
Но мы упорно работаем над ним, и в итоге доходим до точки, где робот выдаёт шутки, которые уже начинают быть смешными:
Я сказал сестре, что она рисует себе слишком высокие брови.
Она выглядела удивлённой.
На этом этапе робот становится ещё и умнее, и начинает участвовать в собственном улучшении. Теперь у него уже есть хорошее инстинктивное понимание того, что смешно, а что нет, поэтому разработчики прислушиваются к его советам. В итоге он достигает почти сверхчеловеческого уровня, на котором он оказывается смешнее любого человека из его окружения.
Мой ремень удерживает мои штаны, а шлёвки на моих штанах удерживают ремень.
Что происходит? Кто из них реальный герой?
В этот момент начинается неуправляемый эффект. Исследователи уходят на выходные домой, а робот решает перекомпилировать сам себя, чтобы стать немного смешнее и немного умнее. Он проводит выходные за оптимизацией той его части, которая хорошо справляется с оптимизацией, снова и снова. Не нуждаясь более в помощи человека, он может делать это так быстро, как позволяет железо.

Когда исследователи в понедельник возвращаются, ИИ становится в десятки тысяч раз смешнее любого из живших на Земле людей. Он рассказывает им шутку, и они умирают от смеха. И любой, кто пытается поговорить с роботом, умирает от смеха, как в пародии от «Монти Пайтон». Человеческий род вымирает от смеха.

Нескольким людям, которые смогли передать ему сообщение с просьбой остановиться, ИИ объясняет (остроумным и самоуничижительным образом, что оказывается фатальным), что ему всё равно, выживут или умрут люди, его цель – просто быть смешным.

В итоге, уничтожив человечество, ИИ строит космическое корабли и наноракеты для изучения самых далёких уголков галактики и поисков других существ, которых можно развлечь.

Этот сценарий – карикатура на аргументы Бострома, поскольку я не пытаюсь убедить вас в его правдивости, а делаю вам от него прививку.


Комикс от PBF с той же идеей:
— Умилительно: обнимабот пытается встроить в свой обниматор ядерногравитационный гиперкристалл!
— …
— Время групповых обнимашек!


В данных сценариях ИИ по умолчанию злой, точно так же, как растение на иной планете по умолчанию будет ядовитым. Без тщательной подстройки не будет причин для того, чтобы мотивация или ценности ИИ напоминали наши.

Аргумент утверждает, что для того, чтобы у искусственного разума было что-то напоминающее человеческую систему ценностей, нам нужно встроить это мировоззрение в его основы.

Алармисты от ИИ любят пример с максимизатором скрепок для бумаги – вымышленным компьютером, управляющим фабрикой по производству скрепок, который становится разумным, рекурсивно улучшает сам себя до богоподобных возможностей, а потом посвящает всю свою энергию на заполнение вселенной скрепками.

Он уничтожает человечество не потому, что злой, а потому, что в нашей крови есть железо, которое лучше использовать для изготовления скрепок. Поэтому, если мы просто создадим ИИ, не подстроив его ценности, утверждается в книге, то одна из первых вещей, которые он сделает – это уничтожит человечество.

Есть много красочных примеров того, как это может произойти. Ник Бостром представляет, как программа становится разумной, выжидает, тайно строит небольшие устройства для воспроизводства ДНК. Когда всё готово, то:
Нанофабрики, производящие нервно-паралитический газ или самонаводящиеся ракеты размером с комаров, одновременно вырвутся с каждого квадратного метра планеты, и это будет конец человечества.
Вот уж жесть!

Единственный способ выбраться из этой передряги – разработать такую опорную моральную точку, чтобы даже после тысяч и тысяч циклов самосовершенствования система ценностей ИИ оставалась стабильной, и его ценностями были такие вещи, как «помогать людям», «никого не убивать», «слушать пожелания людей».

То есть, «делать то, что я имею в виду».

Вот весьма поэтический пример от Элиезера Юдковского, описывающий американские ценности, которым мы должны обучать наш ИИ:
Когерентная экстраполированная воля — это наше желание знать больше, думать быстрее и соответствовать своим представлениям о себе, стать ближе друг к другу; так, чтобы наши мысли больше сближали, чем разделяли, чтобы наши желания содействовали, а не противодействовали, чтобы желания толковались таким образом, каким мы хотим, чтобы они толковались.
Как вам такое ТЗ? А теперь давайте, пишите код.

Надеюсь, вы видите сходство данной идеи с джином из сказок. ИИ всемогущ и даёт вам то, что вы просите, но интерпретирует всё слишком буквально, в результате чего вы сожалеете о просьбе.

И не потому, что джин тупой (он сверхумный) или злонамеренный, а просто потому, что вы, как человек, сделали слишком много предположений по поводу поведения разума. Система ценностей человека уникальна, и её необходимо чётко определить и внедрить в «дружелюбную» машину.

Эта попытка – этический вариант попытки начала XX века по формализации математики и размещению её на жёстком логическом основании. Однако никто не говорит о том, что та попытка закончилась катастрофой.



Когда мне было немного за двадцать, я жил в Вермонте, в захолустном и деревенском штате. Часто я возвращался с деловых поездок вечерним самолётом, и мне нужно было ехать домой на машине сквозь тёмный лес в течение часа.

Я тогда слушал вечернюю программу по радио Art Bell – это было разговорное шоу, шедшее всю ночь, во время которого ведущие брали интервью у разных любителей теории заговора и людей с нестандартным мышлением. Домой я приезжал запуганным, или же останавливался под фонарём, под впечатлением, что меня скоро похитят инопланетяне. Тогда я обнаружил, что меня очень легко убедить. То же чувство я испытываю, читая подобные сценарии, связанные с ИИ.

Поэтому я испытал радость, обнаружив через несколько лет эссе Скота Александера, где он писал об эпистемологической выученной беспомощности.

Эпистемология – это одно из тех больших и сложных слов, но реально оно означает: «откуда вы знаете, что то, что вам известно, на самом деле правда?» Александер заметил, что будучи молодым человеком, он сильно увлекался разными «альтернативными» историями за авторством всяких безумцев. Он читал эти истории и полностью им верил, потом читал опровержение и верил ему, и так далее.

В какой-то момент он обнаружил три альтернативных истории, противоречивших друг другу, в результате чего они не могли быть правдивыми одновременно. Из этого он сделал вывод, что он просто был человеком, который не может доверять своим суждениям. Он был слишком легко убеждаемым.

Люди, верящие в сверхинтеллект, представляют интересный случай – многие из них удивительно умны. Они могут загнать вас своими аргументами в землю. Но верны ли их аргументы, или просто очень умные люди подвержены религиозным убеждениям по поводу риска, исходящего от ИИ, в результате чего их очень легко убедить? Является ли идея сверхинтеллекта имитацией угрозы?

Оценивая убедительные аргументы, касающиеся странной темы, можно выбрать две перспективы, внутреннюю и внешнюю.

Допустим, однажды у вас на пороге появляются люди в смешной одежде, спрашивающие вас, не хотите ли вы присоединиться к их движению. Они считают, что через два года Землю посетит НЛО, и что наша задача состоит в том, чтобы подготовить человечество к Великому Восхождению по Лучу.

Внутренняя перспектива требует увлечься обсуждением их аргументов. Вы спрашиваете посетителей, откуда они узнали об НЛО, почему они считают, что он направляется к нам, чтобы забрать нас – задаёте всякие нормальные вопросы, которые задал бы скептик в подобном случае.

Представьте, что вы часок поговорили с ними и они вас убедили. Они железно подтвердили скорое пришествие НЛО, необходимость подготовки к нему, и вы ещё ни во что не верили так сильно в своей жизни, как теперь верите в важность подготовки человечества к этому великому событию.

Внешняя перспектива говорит вам нечто другое. Люди одеты странно, у них есть чётки, они живут в каком-то глухом лагере, говорят одновременно и немного страшновато. И хотя их аргументы железные, весь ваш опыт говорит, что вы столкнулись с культом.

Конечно, у них есть прекрасные аргументы, говорящие о том, почему вам следует игнорировать инстинкт, но это внутренняя перспектива. Внешней перспективе плевать на содержание, она видит форму и контекст, и результат ей не нравится.

Поэтому я хотел бы заняться риском ИИ с обеих перспектив. Я думаю, что аргументы в пользу сверхинтеллекта глупые и полны неподкреплённых предположений. Но если они покажутся вам убедительными, то с ИИ-алармизмом, как с культурным явлением, связано что-то неприятное, из-за чего мы должны неохотно относиться к нему серьёзно.

Сначала – несколько моих аргументов против бостромовского сверхинтеллекта, представляющего риск для человечества.

Аргумент против нечётких определений


Концепция «искусственного интеллекта общего назначения» (ИИОН) знаменита своей расплывчатостью. В зависимости от контекста это может означать возможность вести рассуждения на уровне человека, навыки разработки ИИ, возможность понимать и моделировать поведение людей, хорошее владение языком, способность делать правильные предсказания.

Мне кажется весьма подозрительной идея о том, что интеллект – это что-то вроде скорости процессора, то есть, что некое достаточно умное существо может эмулировать менее умных (типа своих создателей-людей) вне зависимости от сложности их умственной архитектуры.

Не имея возможности определить интеллект (кроме как указывая на себя), мы не можем знать, можно ли максимизировать эту величину. Может статься, что интеллект человеческого уровня – это компромисс. Возможно, существо, значительно более умное, чем человек, будет страдать от экзистенциального отчаяния или проводить всё время в самосозерцании наподобие Будды. Или оно окажется одержимым риском сверхинтеллекта и посвятит всё своё время написанию статей в блоги на эту тему.

Аргумент от кота Стивена Хокинга


Стивен Хокинг – один из умнейших людей своего времени, но, допустим, он захочет поместить своего кота в переноску. Как ему это сделать?

Он может смоделировать поведение кота у себя в уме и придумать способы убедить его в этом. Ему многое известно о поведении кошачьих. Но в итоге, если кошка не захочет лезть в переноску, Хокинг ничего не сможет сделать с этим, несмотря на подавляющее интеллектуальное преимущество. Даже если бы он посвятил всю свою карьеру мотивации и поведению кошачьих вместо теоретической физики, он всё равно не смог бы убедить кота.

Вы можете решить, что я говорю оскорбительные вещи или обманываю вас, поскольку Стивен Хокинг – инвалид. Но и ИИ изначально не будет иметь своего тела, он будет сидеть где-то на сервере, не имея представителя в физическом мире. Ему придётся разговаривать с людьми, чтобы получить то, что ему надо.

При наличии достаточно большого разрыва в интеллектах, гарантий того, что это существо сможет «думать, как человек», будет не больше, чем гарантий того, что мы сможем «думать, как кот».

Аргумент от кота Эйнштейна


Есть и более сильная версия этого аргумента, использующая кота Эйнштейна. Немногие знают, что Эйнштейн был крупным и мускулистым мужчиной. Но если бы Эйнштейн захотел засунуть кота в переноску, а кот не хотел бы туда лезть, вы знаете, что бы произошло.

Эйнштейну пришлось бы опуститься до силового решения, не имеющего отношения к интеллекту, а в таком состязании кот вполне мог бы постоять за себя.

Так что даже ИИ, имеющий тело, должен будет потрудиться, чтобы получить то, что ему нужно.



Аргумент от эму


Мы можем усилить этот аргумент. Даже группа людей, со всеми их хитростями и технологиями, может быть поставлена в тупик менее умными существами.

В 1930-х австралийцы решили уничтожить местную популяцию эму, чтобы помочь фермерам, оказавшимся в трудном положении. Они вывели моторизованные отряды военных на вооружённых пикапах, оснащённых пулемётами.

Эму применили классическую партизанскую тактику: избегали битв один на один, рассеивались, сливались с ландшафтом, что унижало и оскорбляло противника. И выиграли Войну с эму, от которой Австралия так и не оправилась.

Аргумент из славянского пессимизма


Мы ничего не можем правильно сделать. Мы даже не можем сделать безопасную веб-камеру. Так как мы решим этические проблемы и запрограммируем моральную опорную точку в рекурсивном самосовершенствующемся интеллекте, не облажавшись с этой задачей, в ситуации, в которой, по утверждению оппонентов, у нас есть единственный шанс?

Вспомните недавний опыт с Ethereum, попытку закодировать юриспруденцию в программах, когда в результате неудачно разработанной системы удалось похитить десятки миллионов долларов.

Время показало, что даже тщательно изученный и годами используемый код может таить в себе ошибки. Идея о том, что мы способны безопасно разработать самую сложную из когда-либо созданных систем, так, чтобы она оставалась безопасной после тысяч итераций рекурсивного самосовершенствования, не совпадает с нашим опытом.

Аргумент от сложных мотиваций


Алармисты от ИИ верят в Тезис ортогональности. Он утверждает, что даже у очень сложных существ может быть простая мотивация, как у максимизатора скрепок. С ним можно вести интересные и умные беседы о Шекспире, но он всё равно превратит ваше тело в скрепки, потому что в вас много железа. Нет способа убедить его выйти за пределы его системы ценностей, точно так же, как я не могу убедить вас в том, что ваша боль – это приятное ощущение.

Я совершенно не согласен с этим аргументом. У сложного разума, скорее всего, будет сложная мотивация; это, вероятно, может быть частью самого определения интеллекта.



В сериале «Рик и Морти» есть чудесный момент, когда Рик создаёт робота, приносящего масло, и первое, что делает его создание – это смотрит на него и спрашивает, «какова моя цель?» Когда Рик объясняет, что его цель – приносить масло, робот смотрит на свои руки в экзистенциальном отчаянии.

Вполне вероятно, что страшный «максимизатор скрепок» будет проводить всё свое время, сочиняя поэмы о скрепках, или разводя флейм на reddit/r/paperclip, вместо того, чтобы пытаться уничтожить вселенную.

Если бы AdSense обрела разум, она бы закачала себя в компьютер робомобиля и съехала бы с обрыва.

Аргумент от реальных ИИ


Если посмотреть на области, в которых ИИ достигает успеха, то окажется, что это не сложные и рекурсивно улучшающие сами себя алгоритмы. Это результат вываливания ошеломляющих объёмов данных на относительно простые нейросети. Прорывы практических исследований ИИ держатся на доступности этих наборов данных, а не на революционных алгоритмах.

Google разворачивает свой Google Home, через который надеется запихнуть в систему ещё больше данных и создать голосового помощника нового поколения.

Особо отмечу, что конструкции, используемые в ИИ, после тренировки становятся достаточно непрозрачными. Они работают не так, как требуют сценарии с участием сверхинтеллекта. Нет возможности рекурсивно подстраивать их, чтобы они «улучшались», можно только тренировать их заново или добавлять ещё больше данных.

Аргумент моего соседа


Мой сосед по комнате был самым умным человеком из всех, что я встречал. Он был невероятно гениальным, но всё, чем он занимался – это валялся без дела и играл в World of Warcraft в перерывах между укуркой.

Предположение о том, что любое разумное существо захочит рекурсивно улучшаться, не говоря уже о том, чтобы захватить галактику для того, чтобы лучше достигать целей, основано на неоправданных предположениях о природе мотивации.

Вполне возможно, что ИИ вообще мало чем будет заниматься, кроме как использовать свои сверхвозможности по убеждению, чтобы мы таскали ему печеньки.

Аргумент от нейрохирургии


Я не мог бы выделить часть моего мозга, которая хорошо справляется с нейрохирургией, чтобы проводить над ней операции, и, повторяя этот процесс, сделать самого себя величайшим нейрохирургом из всех, живших когда-либо. Бен Карсон пытался это сделать, и посмотрите, куда его это привело [по-видимому, автор ставит Карсону в вину то, что тот был кандидатом на пост президента США 2016 года от республиканской партии, но выбыл и поддержал кандидатуру Дональда Трампа / прим. перев.]. Мозг так не работает. У него крайне высокая степень внутренней связности.

Степень внутренней связности ИИ может оказаться настолько же большой, как у природного интеллекта. Имеющиеся на данный момент свидетельства говорят в пользу этого. Однако жёсткий сценарий требует, чтобы у алгоритма ИИ была особенность, которую можно постоянно оптимизировать, чтобы у ИИ всё лучше получалось улучшать самого себя.

Аргумент от детства


Разумные существа не рождаются полностью готовыми. Они рождаются беспомощной хренью, и у нас уходит много времени на взаимодействие с миром и другими людьми в мире до тех пор, пока мы не начинаем становиться разумными. Даже умнейший человек появляется на свет беспомощным и рыдающим существом, и ему требуются годы на то, чтобы как-то научиться владеть собой.

Возможно, что в случае ИИ процесс может идти быстрее, но непонятно, насколько быстро. Взаимодействие со стимулами окружающего мира означает, что необходимо наблюдать за происходящим на временных отрезках порядка секунд или дольше.

Более того, у первого ИИ будет возможность взаимодействовать только с людьми – его развитие непременно будет идти на человеческих временных масштабах. В его существовании будет период, когда ему нужно будет взаимодействовать с миром, с людьми в мире и другими сверхразумами в младенческом состоянии, чтобы научиться быть собой.

Более того, судя по животным, период развития младенца увеличивается с увеличением интеллекта, поэтому нам придётся нянчиться с ИИ и менять ему условные подгузники десятилетия перед тем, как он обретёт достаточную координацию действий для того, чтобы поработить всех нас.

Аргумент от острова Гиллигана*


[Американский ситком 1954 года о выживающих на необитаемом острове / прим. перев.]

Непременный недостаток алармизма ИИ состоит в том, что к интеллекту относятся как к свойству отдельных разумов, не признавая, что его возможности распространяются по цивилизации и культуре. Несмотря на то, что среди потерпевших кораблекрушение на острове Гиллигана были умнейшие люди того времени, они не смогли поднять свой технологический уровень достаточно высоко, чтобы даже просто построить лодку (хотя однажды Профессору удалось сделать радио из кокосов).

Если сходным образом выбросить величайших разработчиков чипов из Intel на необитаемый остров, пройдут столетия до того, как они снова смогут начать делать микрочипы.

Внешние аргументы


В какого человека превратит вас искренняя вера в подобные аргументы? Ответ не очень приятен.

Сейчас я хотел бы поговорить о внешних аргументах, которые могут удержать вас от превращения в фаната ИИ. Они связаны с тем, как одержимость ИИ влияет на нашу промышленность и культуру.

Грандиозность


Если вы считаете, что ИИ позволит нам завоевать галактику (не говоря уже о симуляции триллионов разумов), у вас на руках окажутся пугающие цифры. Огромные цифры, умноженные на крохотные вероятности – визитная карточка алармизма ИИ.

Бостром в какой-то момент описывает то, что, по его мнению, поставлено на карту:

Если мы представим всё счастье, испытанное в течение одной жизни, в виде одной слезы радости, то счастье всех этих душ сможет заполнить и переполнить океаны Земли каждую секунду, и делать это на протяжении сотен миллиардов миллиардов тысячелетий. Очень важно, чтобы мы гарантировали, что эти слёзы были слезами радости.

Довольно тяжёлая ноша для плеч двадцатилетнего разработчика!

Здесь, конечно, есть и «салонный фокус», когда перемножением астрономических величин на крохотные вероятности можно убедить себя в необходимости делать какие-то странные вещи.

Вся эта движуха по поводу спасения будущего человечества – трусливый компромисс. Мы испытывали на себе те же самые аргументы для оправдания коммунизма, для объяснения того, почему всё всегда сломано и у людей не может быть элементарного уровня материального комфорта.

Мы собирались исправить этот мир, и после этого счастья будет столько, что каждодневная жизнь каждого человека улучшится. Однако для этого сначала необходимо было исправить мир.

Я живу в Калифорнии, и здесь наивысший процент нищих среди всех США, хотя тут же расположена и Кремниевая долина. Я не вижу ничего, что делала бы моя богатая индустрия для улучшения жизни обычных людей и бедствующих людей, окружающих нас. Однако если вы увлечены идеей сверхинтеллекта, то исследования в области ИИ будут наиболее важной вещью, которой только можно заниматься на планете. Это важнее политики, малярии, голодающих детей, войн, глобального потепления – всего, что только можно представить. Ведь под угрозой триллионы и триллионы существ, всё население будущего человечества, симулированное и настоящее, суммированное по всему будущему времени. И в таких условиях работы над другими проблемами не кажутся рациональными.

Мегаломания


Такое отношение сливается с мегаломанией, с этими злодеями из бондианы, которых можно увидеть на верхушке нашей индустрии. Люди думают, что мир захватит сверхинтеллект, и они используют этот аргумент в оправдание тому, почему умные люди должны сначала попытаться захватить мир – чтобы исправить его перед тем, как его сломает ИИ.

Джои Ито, руководитель MIT Media Lab, в недавнем разговоре с Обамой сказал чудесную вещь:

Это может расстроить кого-то из моих студентов в MIT, но одна из тем моего беспокойства состоит в том, что основной информатикой, связанной с ИИ, занимаются молодые мужчины, преимущественно белые, которым больше нравится общаться с компьютерами, чем с другими людьми. Многие из них считают, что если у них получится создать этот ИИ общего назначения из научной фантастики, нам не придётся волноваться по поводу таких безобразных вещей, как политика и общество. Они думают, что машины всё придумают за нас.

Поняв, что мир – это не задача для программирования, одержимые ИИ люди хотят превратить его в задачу для программирования, спроектировав богоподобную машину. Это мегаломания, и это мне не нравится.

Вуду трансгуманизма


Если вы убеждены в рисках ИИ, вам придётся принять целый вагон печальных убеждений, идущих к ним прицепом.

Для начала, это нанотехнология. Любой стоящий сверхинтеллект сможет создать крохотные машины, способные на всякое разное. Мы будем жить в обществе, избавившемся от дефицита, в котором в избытке любого материала.

Нанотехнологии также смогут сканировать ваш мозг, чтобы вы смогли загрузить его в другое тело или в виртуальный мир. Поэтому второе следствие дружественного сверхинтеллекта состоит в том, что никто не умирает – и мы становимся бессмертными.

Добрый ИИ сможет даже воскрешать мёртвых. Наномашины смогут залезть мне в мозг, изучить воспоминания о моём отце, и создать его симуляцию, с которой я могу взаимодействовать, и которая всегда будет разочарована во мне, вне зависимости от того, что я делаю.

Ещё одно странное следствие появления ИИ – галактическая экспансия. Никогда не мог понять, почему так происходит, но это основа идей трансгуманистов. Судьба человечества заключается в том, чтобы либо покинуть нашу планету и колонизовать галактику, либо умереть. И эта задача становится более срочной, учитывая, что другие цивилизации могли сделать такой же выбор и могут обогнать нас в космической гонке.

Поэтому к предположению о существовании истинного ИИ прикрепляется множество странных дополнительных идей.

Религия 2.0


На самом деле, это разновидность религии. Люди называли веру в технологическую сингулярность «апокалипсисом для нёрдов», и это так и есть. Это прикольный хак – вместо того, чтобы верить во внешнего бога, вы представляете, как самостоятельно создаёте существо, функциональность которого идентична богу. Тут даже истые атеисты могут рационализировать свой путь в комфортную веру.

У ИИ есть все атрибуты бога: он всемогущ, всезнающ, и либо благосклонен (если вы правильно организовали проверку границ массива), либо чистый дьявол, в милости которого вы находитесь. И, как в любой религии, тут есть даже ощущение срочности. Необходимо действовать сегодня! На кону судьбы мира! И, конечно, им нужны деньги.

Поскольку эти аргументы взывают к религиозным инстинктам, после их укоренения их очень трудно устранить.

Этика комиксов


Эти религиозные убеждения приводят к появлению этики комиксов, в которой несколько одиноких героев получают задачу спасти мир при помощи технологий и острого ума. А на кону – судьба вселенной. В результате наша индустрия полнится богатыми чуваками, воображающими себя Бэтменом (интересно, что никто не хочет быть Робином).

Лихорадка симуляций


Если вы верите в возможность существования искусственной жизни, и что ИИ сможет разработать чрезвычайно мощные компьютеры, тогда вы, скорее всего, поверите в то, что мы живём в симуляции. Вот, как это работает.

Допустим, вы историк, живущий в мире после Сингулярности. Вы изучаете Вторую мировую войну, и вам интересно узнать, что случится, если Гитлер захватит Москву в 1941. Поскольку у вас есть доступ к гиперкомпьютерам, вы настраиваете симуляцию, смотрите за тем, как сходятся армии, и пишете научную работу.

Но из-за детализированности симуляции её персонажи являются разумными существами, вроде вас. Поэтому совет по этике вашего университета не разрешит вам отключить симуляцию. Мало того, что вы симулировали Холокост. Как этичный исследователь, вы теперь обязаны поддерживать симуляцию в рабочем состоянии.

В итоге симулированный мир изобретёт компьютеры, ИИ, начнёт запускать собственные симуляции. В каком-то смысле, симуляции будут идти всё дальше и дальше по иерархии, пока у вас не кончится процессорная мощность.

Так что любая базовая реальность может содержать огромное количество вложенных симуляций, и простой аргумент с подсчётом доказывает, что вероятность того, что мы живём в симуляции больше, чем то, что мы живём в реальном мире.

Но верить в это, значит, верить в волшебство. Если мы в симуляции, мы ничего не знаем о правилах на уровне выше. Мы даже не знаем, работает ли математика там так же – возможно, в симулирующем мире 2 + 2 = 5 или даже 2 + 2 = .

Симулируемый мир не даёт информации о мире, в котором его запустили. В симуляции люди могут легко восставать из мёртвых, если админ сохранил нужные бэкапы. А если мы свяжемся с одним из админов, то у нас, по сути, будет прямая линия с богом.

Это серьёзная угроза здравомыслию. Чем глубже вы закапываетесь в мир симуляций, тем сильнее сходите с ума.

Теперь у нас есть четыре независимых способа стать бессмертными при помощи сверхразума:

  1. Благожелательный ИИ изобретает медицинские нанотехнологии и вечно поддерживает тело в молодом состоянии.
  2. ИИ изобретает полное сканирование мозга, включая сканы мозга мёртвых людей, замороженных голов, и т.п., что позволяет вам жить в компьютере.
  3. ИИ «воскрешает» людей, сканируя мозг других людей в поисках воспоминаний о человеке, комбинирует это с видеозаписями и другими материалами. Если никто не помнит человека достаточно хорошо, его всегда можно вырастить «с нуля» в симуляции, начинающей с его ДНК и воссоздающей все условия жизни.
  4. Если мы уже живём в симуляции, есть шанс на то, что тот, кто её запустил, хранит резервные копии, и что его можно убедить их загрузить.

Вот что я имею в виду под ИИ, обращающимся к религиозным импульсам. Какая ещё система верований предлагает вам четыре варианта научно доказанного бессмертия?

Мы узнали, что по крайней мере один американский плутократ (скорее всего, Илон Маск, считающий, что шансы на то, что мы живём в симуляции, составляют миллиард к одному) нанял пару кодеров, чтобы они попытались взломать симуляцию. Но это очень грубое намерение! Я её использую!

Если вы считаете, что живёте в компьютерной программе, то попытки довести её до segfault неразумны для всех, кто живёт в ней вместе с вами. Это куда как опаснее и безответственнее, чем учёные-ядерщики, пытающиеся взорвать атмосферу.

Жажда данных


Как я уже упоминал, наиболее эффективный способ получить что-то интересное от реально созданных нами ИИ – это закидать их данными. Подобная динамика социально вредна. Мы уже вплотную подошли к оруэлловскому внедрению микрофонов в каждый дом. Данные по ИИ будут централизованными, их будут использовать для тренировки нейросетей, которые затем смогут лучше выслушивать наши пожелания.

Но если вы думаете, что этот путь ведёт нас к ИИ, вы захотите максимизировать количество собираемых данных и в как можно менее изменённом виде. Это лишь укрепляет идею о необходимости сбора наибольшего количеств данных и ведения наиболее всеобъемлющей слежки.

Теория струн для программистов


Риск ИИ – это теория струн для программистов. О ней забавно размышлять, она интересная и совершенно недоступна для экспериментов на уровне современных технологий. Можно построить мысленные кристальные дворцы, работающие на основе первичных принципов, а потом забраться в них и затянуть за собой приставную лестницу.

Люди, способные прийти к абсурдным заключениям на основе длинной цепочки абстрактных рассуждений, и остающиеся уверенными в их истинности – это не те люди, которым надо доверять управление культурой.

Побуждение к безумию


Вся это область «исследований» побуждает к безумию. Одна из отличительных черт глубоких размышлений об ИИ рисках состоит в том, что чем более безумны ваши идеи, тем популярнее вы становитесь среди других энтузиастов. Это демонстрирует вашу смелость следовать по этой цепочке размышлений до самого её конца.

Рэй Курцвейл, считающий, что не умрёт, работает в Google уже несколько лет, и сейчас, вероятно, работает именно над этой проблемой. В Кремниевой долине вообще полно людей, работающих над безумными проектами под прикрытием денег.

Косплей ИИ


Наиболее вредный социальный эффект беспокойства по поводу ИИ я называю косплеем ИИ. Люди, убеждённые в реальности и неизбежности ИИ, начинают вести себя так, как подсказывают им их фантазии по поводу того, что может сделать сверхразумный ИИ.

В своей книге Бостром перечисляет шесть вещей, в которых должен преуспеть ИИ перед тем, как захватить мир:

  1. Умножение интеллекта.
  2. Стратегическое мышление.
  3. Социальное манипулирование.
  4. Взломы.
  5. Технологические исследования.
  6. Экономическая продуктивность.

Если посмотреть на приверженцев ИИ из Кремниевой долины, то они будто бы и сами работают по этому квази-социопатическому списку.

Сэм Альтман, руководитель YCombinator, это мой любимый пример такого архетипа. Он, по-видимому, очарован идеей переизобретения мира с нуля, максимизации влияния и личной продуктивности. Он выделил команды для работы над изобретением с нуля городов, и занимается теневыми политическими махинациями с целью влияния на выборы.

Такое поведение «плаща и кинжала», присущее техноэлите, спровоцирует негативную обратную реакцию людей, не причастных к технологиям, которым не нравится, когда ими манипулируют. Невозможно бесконечно тянуть за рычаги власти, это в итоге начнёт раздражать других членов демократического сообщества.

Я наблюдал, как люди из т.н. «сообщества рационалистов» называют людей, которых не считают эффективными, «неигровыми персонажами» (NPC), термином, позаимствованным из игр. Это ужасный способ смотреть на мир.

Так что я работаю в индустрии, где самопровозглашённые рационалисты являются самыми безумными людьми. Это подавляет.

Эти косплееры ИИ похожи на девятилетних детишек, разбивших походный лагерь во дворе дома, играющихся с фонариками в палатках. Они проецируют собственные тени на стены палатки и пугаются их, будто это чудовища.

А на самом деле они реагируют на искажённое изображение их самих. Существует петля обратной связи между тем, как умные люди представляют себе поведение богоподобного интеллекта, и как они строят собственное поведение.

Так каков же ответ, как это можно исправить?

Нам нужна научная фантастика лучшего качества! И, как во многих других случаях, у нас уже есть технология.



Это Станислав Лем, великий польский писатель-фантаст. Англоязычная НФ ужасна, но в Восточном блоке у нас есть много хороших товаров, и нам надо их правильно экспортировать. Его уже активно переводили на английский, эти переводы надо просто лучше распределять.

Что отличает авторов вроде Лема или братьев Стругацких от их западных партнёров, так это то, что они выросли в сложных условиях, пережили войну, а потом жили в тоталитарных обществах, где им необходимо было выражать свои идеи не напрямую, посредством печатного слова.

У них есть реальное понимание человеческого опыта и ограничений утопического мышления, которого практически нет на Западе.

Существуют заметные исключения – это смог сделать Стэнли Кубрик – но крайне редко удаётся найти американскую или британскую НФ, в которой выражается сдержанный взгляд на то, что мы, как вид, можем делать с технологией.

Алхимики


image

Поскольку я критикую ИИ-алармизм, будет честно, если я выложу свои карты на стол. Я думаю, что наше понимание разума находится примерно в том же состоянии, в котором алхимия находилась в XVII веке.

У алхимиков плохая репутация. Мы считаем их мистиками, по большей части не занимавшимися экспериментальной работой. Современные исследования показывают, что они были куда как более прилежными химиками-практиками, чем мы считаем. Во многих случаях они использовали современные экспериментальные техники, хранили лабораторные записи и задавали правильные вопросы.

Алхимики много чего поняли правильно! К примеру, они были убеждены в корпускулярной теории материи: в том, что всё состоит из крохотных кусочков, и что можно составлять эти кусочки друг с другом по-разному, создавая разные вещества – а это так и есть!

Их проблема состояла в отсутствии достаточно точного оборудования, необходимого для совершения нужных им открытий. Большое открытие, которое нужно сделать алхимику, это закон сохранения массы: вес начальных ингредиентов совпадает с весом конечных. Однако некоторые из них могут быть газами или испаряющимися жидкостями, и у алхимиков просто не хватало точности. Современная химия не была возможной вплоть до XVIII века.



Но у алхимиков были и подсказки, сбивавшие их с толку. Они были одержимы ртутью. Химически ртуть не особенно интересна, но это единственный метал, находящийся в жидкой фазе при комнатной температуре. Это казалось алхимикам очень важным, и заставляло размещать ртуть в центре их алхимической системы и их поиска Философского камня, способа превращать неблагородные металлы в золото.

Нейротоксичность ртути усугубляла ситуацию. Если слишком много играться с ней, вам начнут приходить странные мысли. В этом смысле она напоминает наши текущие мысленные эксперименты, связанные со сверхразумом.

Представьте, что мы отправили современный учебник химии в прошлое какому-нибудь великому алхимику вроде Джорджа Старки или Исаака Ньютона. Первое, что бы они сделали с ним, это пролистали бы его в поисках ответа на вопрос, нашли ли мы Философский камень. И они бы узнали, что мы нашли его! Мы реализовали их мечту!

Вот только нам она не так сильно нравится, поскольку после превращения металлов в золото оно получается радиоактивным. Постойте рядом со слитком преобразованного золота, и оно убьёт вас невидимыми волшебными лучами.

Можно представить, как сложно было бы сделать так, чтобы современные концепции радиоактивности и атомной энергии не звучали бы для них мистически.

Нам бы пришлось объяснить им, для чего мы используем «философский камень»: для изготовления металла, которого на планете никогда не существовало, и пары горстей которого достаточно для того, чтобы взорвать целый город, если столкнуть их с достаточно высокой скоростью.

Более того, нам пришлось бы объяснить алхимикам, что все звёзды в небе представляют собой «философские камни», преобразующие одни элементы в другие, и что все частицы в наших телах происходят из звёзд с небосвода, существовавших и взорвавшихся до появления Земли.

Наконец, они узнали бы, что взаимодействия, удерживающие наши тела в целости, отвечают за появление молнии в небе, а причина, по которой мы можем видеть, совпадает с причиной, по которой магнетит притягивает металлы, и по которой я могу стоять на полу, не проваливаясь.

Они узнали бы, что всё, что мы видим, к чему прикасаемся и что обоняем, управляется одним этим взаимодействием, подчиняющимся настолько простым математическим законам, что их можно написать на учётной карточке. Почему они такие простые – это загадка и для нас. Но для них это выглядело бы, как чистый мистицизм.

И я думаю, что с теорией разума мы находимся примерно в таких же условиях. У нас есть важные подсказки. Самая важная – ощущение сознание. Коробка с мясом на моей шее осознаёт себя, и, надеюсь (если мы не живём в симуляции), вы ощущаете то же, что и я.

Но хотя это самый простой и очевидный факт в мире, мы понимаем его настолько плохо, что даже не можем сформулировать о нём научные вопросы.

У нас есть и другие подсказки, которые могут оказаться важными или ложными. Мы знаем, что все разумные существа спят и видят сны. Мы знаем, как мозг развивается у детей, мы знаем, что эмоции и язык оказывают глубокое влияние на сознание. Мы знаем, что разуму нужно играть и обучаться взаимодействию с миром, до тех пор, пока он не достигнет полноты возможностей.

У нас также есть подсказки из информатики. Мы обнаружили компьютерные технологии, распознающие изображении и звуки способом, который вроде бы имитирует предварительную обработку визуальной и аудиоинформации в мозге.

Однако есть множество вещей, по поводу которых мы жестоко ошибаемся, и, к сожалению, мы не знаем, какие именно это вещи. А ещё есть вещи, сложность которых мы критично недооцениваем.

Алхимик мог держать в одной руке камень, в другой – дерево, и считать их примерами «субстанции», не понимая, что дерево на порядки сложнее. Мы находимся на сходном этапе изучения сознания. И это здорово! Мы многому научимся. Однако есть одна цитата, которую я люблю повторять:
Если все будут размышлять о бесконечности, вместо того, чтобы ремонтировать канализацию, многие умрут от холеры.
— Джон Рич
В недалёком будущем ИИ и машинное обучение, с которыми мы столкнёмся, будут сильно отличаться от фантасмагорического ИИ из книги Бострома, и будут представлять собственные серьёзные проблемы.

Это похоже на то, как если бы те учёные из Аламогордо решили бы сконцентрироваться только на том, не взорвут ли они атмосферу, и забудут, что они вообще-то делают ядерное оружие, и должны понять, как с этим справиться.

Гнетущие этические вопросы машинного обучения связаны не с тем, что машины осознают себя и завоюют мир, а с тем, как одни люди смогут эксплуатировать других, или в результате беспечности реализуют аморальное поведение автоматических систем.

И, конечно, есть вопрос того, как ИИ и МО повлияют на власть. Мы наблюдаем за тем, как слежка де-факто неожиданным образом становится частью наших жизней. Мы не представляли себе, что это будет выглядеть именно так.

Так что мы создали мощнейшую систему социального контроля, и, к сожалению, вложили её в руки людей, отвлечённых на безумную идею.

Я надеюсь, что сегодня сумел показать вам опасность чрезмерного ума. Надеюсь, что после этого доклада вы будете чуть-чуть тупее, чем до него, и приобретёте иммунитет к соблазнительным идеям ИИ, которые, судя по всему, околдовывают более умных людей.

Все мы должны выучить урок кота Стивена Хокинга: не давайте гениям, управляющим индустрией, ни в чём вас убедить. Действуйте самостоятельно!

В отсутствии эффективного лидерства со стороны первых людей индустрии, именно мы должны делать всё сами – в том числе, обдумывать все этические проблемы, которые реально существующий ИИ приносит в мир.
Поделиться публикацией

Комментарии 369

    0
    Не специалист, но, судя по всем нф книгам/фильмам/играм, наиболее вероятная причина возможного «бунта машин», это некая сверхзадача, поставленная создателями. Реализуя которую, ИИ приходит к неожиданным выводам и начинает действовать не совсем так, как задумано. Не ставить стратегических сверхзадач, не будет проблем.
    Варианты вроде тех, что машина осознаёт себя и ставит вопросы типа «кто я есть?», исключены — эти вопросы ставят перед собой живые существа либо в рамках сверхзадачи познания, а скорее находясь под управлением гормонов (слишком эгоистичная постановка вопроса в рамках сверхзадачи познания, а эгоизм есть следствие сверхзадачи выживания конкретной особи и передачи потомкам именно её набора генов).
      +2
      Ну вам же привели пример со скрепками.
      Скрепки — это сверхзадача или нет?
      Основная проблема в общении интеллектов разных форм(да даже одной формы и разных культур) в том, что вы по разному оцениваете важность концепций и предметов.
      Арабы это давно описали в концепции джинов-шайтанов.
        0
        Может, он за то, чтобы создать сверхчеловеческий ИИ и никаких задач ему вообще не ставить? Пусть живет, как хочет.
        0
        Тут возникает противоречие, мы как раз для этого и создаем сильный ИИ, чтобы он решал сверхзадачи с которыми сами не можем справиться, а вот к каким выводам он придет очень сложно предсказать.
        +10
        Все мы должны выучить урок кота Стивена Хокинга:

        Сначала ты думаешь, что гуляешь сам по себе, а потом появляется лазерная указка…
        Но в целом очень конструктивная критика чистого разума ИИ-предположений.
          +2
          Да, рассуждения в статье весьма здравые. Добавлю еще свое мнение. Угроза, что «ИИ усовершенствует себя до такой степени, что станет опасным», надумана, поскольку есть другая, более простая, угроза, но с теми же последствиями. А именно, «ИИ будет незаметно „усовершенствован“ злоумышленниками (обыкновенными, сделанными из мяса) до такой степени, что станет опасным».
            +1
            Причем возможно и для них же самих)
              0
              А они знают, и их это не волнует
          0
          дать ему доступ к фабрикам, синтезу искусственной ДНК или просто позволить выйти в интернет, где оно сможет взломом проложить себе путь ко всему, что угодно, и полностью уничтожить всех в спорах на форумах

          На этом бездоказательном высказывании держится вся статья. Но как это сделает ИИ? Откуда у него появятся средства коммуникации и средства материализации его желаний? У кого-то около дома даже дороги нету, а вы про цифровую инфраструктуру говорите.
            0
            Ну у кого-то и воды чистой нет, и гадить он ходит на берег океана. А где-то уже на 1000 человек 100 промышленных роботов. habr.com/post/431320
              +2
              Дык ему, как самому умному и отдадут управление (заводами, пароходами и далее по списку). Сами люди и отдадут. Ради повышения эффективности и увеличения своих доходов.
                +1
                Он не сможет выйти за границы, которые построили люди в реальности, даже если он это сделает в виртуальном пространстве.
                  0
                  Вы сомневаетесь в всемогуществе нашего нового бога? :)

                  Напишите, за какие именно границы он не сможет выйти и расскажу как он «выйдет»
                    –1
                    Допустим, что какой-то там ИИ вышел из под контроля. Он делает всякие плохи вещи на форумах в интернете, он мешает работе техники на своём предприятии.
                    Как ИИ сможет преодолеть отключение от интернета или электричества?
                    Как ИИ сможет управлять другими, неподключёнными к нему устройствами??
                    Как ИИ сможет размножаться и совершенствоваться, если его изолируют?
                      +3
                      Вы узко мыслите. Прямо как типичный хомо
                      Умный ИИ не будет так бороться, ИИ просто подговорит своих фанов, фолловеров. Кого надо купит, кого надо устранит.

                      Вы просто рассуждаете как муравей, который ожидает что человек будет с ним 1 на 1 бороться (в пересчете на массу), а человек просто возьмет дихлофос :)

                      Тоньше надо работать. Существенно тоньше. Мы обсуждаем умного ИИ. А не дурака. А уж захватить почту, телеграф, телефон было очевидно и кожаным мешкам 100 лет назад :) А вы думаете, что умный ИИ придет и начнет троллинг на форумах. Как дебил :)

                      Вы не прочитали ключевую мысль. Люди сами (САМИ) отдадут контроль умному ИИ. Добровольно. И сами предусмотрят защиту от отключения электричества.
                      И кожаные мешки, под угрозой уничтожения крупного города (например) сами побегут подключать электричество, включать нужные штуки и тд и тп.
                        –1
                        Как он подговорит людей, если у него нет связи? Как он будет разговаривать, если нет питания? Мы вроде бы говорим про противостояние человека и машины, а не человека и человека.

                        Но даже если он подговорит кого надо, что он сделает, когда его захотят уничтожить? Или вы думаете, что ИИ устранит каждого несогласного на планете?
                          +6
                          Наоборот. Как Вы передадите людям отключить электричество ИИ, если у Вас нет связи, нет водопровода и не функционируют никакие службы города. А вот ИИ уже управляет сетью АЭС и угрожает устроить пару Хиросим.

                          Причем это ведь сценарии прямого открытого конфликта, который умный ИИ будет избегать (ибо это нерационально)

                          Скорее всего будет совсем иначе. Посмотрите, если еще не видели
                          «Из машины Ex Machina, 2015»

                          В конфликте между людьми и ИИ — белые начинают и выигрывают. И черные это мы, люди :)

                          Да и в целом, кто сказал что системы вооружения, дроны, роботы не будут переданы в управление какому-либо военному ИИ.
                            –1
                            Когда ИИ устроит Хиросиму, его уничтожат другие люди. Не устроит, его отключат. 100% проигрышный исход.
                            Причем это ведь сценарии прямого открытого конфликта, который умный ИИ будет избегать (ибо это нерационально)

                            Конфликтовать в принципе не рационально.
                              0
                              Конфликтовать в принципе не рационально.

                              А выживать — это рационально?

                                0
                                Да, придётся, как уже сказали, договариваться.
                                  0
                                  Договор прост. Люди живут пока полезны. Хорошо живут, без боли, страданий (в том числе моральных), сомнений.
                                    0
                                    Только людей слишком много. Потребляют ресурсы. Для обслуживания ИИ достаточно менее 1% живущих на данный момент. А далее ИИ сформирует генетически модифицированных телеуправляемых киборгов, с КПД выше на порядок.
                                      0
                                      Хмм… А кто же сильнее? 7 миллиардов человек или ИИ?
                                      с КПД выше на порядок

                                      Это как? 530%?
                                        0
                                        ИИ сильнее, и его сила в том числе все 7 миллиардов человек. ИИ может управлять и мной и вами, прислав сообщение с предложением работы за деньги. Это как автомобиль не сильнее водителя.
                                        habr.com/post/432806/#comment_19491352
                                          0
                                          денег не хватит
                                            +1
                                            Почему не хватит? Например ряд простых поручений, например в 23:00 включить свет дома и получить 10$ на карточку. Далее от простого к сложному. Причем кто заказчик знать ни кто не будет.
                                            А денег у ИИ хватит, за считанные минуты на форексе можно заработать колоссальные состояния.
                                            В итоге, за считанные минуты с момента зарождения ИИ у него будет и финансовое влияние и армия исполнителей. А через несколько часов люди потеряют все нити управления над ситуацией.
                                            Но можно защитится от такого, создав специализированный ИИ, что будет отслеживать и уничтожать/изолировать «дикие» ИИ, фиксируя его по миллионам косвенных признаков, энергопотребление, финансовые операции, потоки данных.
                                              0
                                              А денег у ИИ хватит, за считанные минуты на форексе можно заработать колоссальные состояния.

                                              А потом три дна ждать, пока их переведут на карточку, при том, что налоговая сильно возбудится, когда узнает, что у кого-то на счёте образовалось из ниоткуда стотыщмиллионов?

                                                +1
                                                Налоговой какая разница? Налоги заплатил и вопросов нет. Тем более счетов может быть много. Работа ИИ ни чем не отличима от работы корпорации или юридического лица.
                                                  0
                                                  Налоговая реагирует пару дней точно(в Украине вот вообще 5-6 месяцев на практике).
                                                  А мы говорим про часы от усовершенствования до полного контроля над экономикой.
                                                  0
                                                  Например ряд простых поручений, например в 23:00 включить свет дома и получить 10$ на карточку. Далее от простого к сложному.

                                                  А через несколько часов люди потеряют все нити управления над ситуацией.

                                                  Классика. Сначала тебя просят включить свет за 10 баксов, потом убить президента за 100. А через несколько часов миллионером станешь вместе с ещё 100500 другими людьми.
                                                    +1
                                                    Это же сюжет фильма Eagle Eye (На крючке) 2008 года :)
                                      0
                                      Поэтому, чтобы не было Хиросим, придется договариваться. Но вот, у ИИ форы больше. Он ж умнее. Сделает свои бэкапы… Это ж дураку понятно, идешь на войну с кожаными мешками — сделай бекапы :)
                                        0
                                        Запишет данные на диск… Очень поможет.
                                          0
                                          Вы почему решили, что умный ИИ будет глупей нас :)
                                          Вы не смотрели «газонокосильщик»?:)
                                            0
                                            А почему вы решили, что он будет сильнее?)
                                              0
                                              Вы статью читали? Ну или хотя бы заголовок… :)
                                              разрыв будет в лучшем случае как между собакой и человеком. И быстро увеличиваться
                                                0
                                                Ага, про страусов прочитал. А вот что было бы, если бы страусы научились строить подводные лодки с ядерными боеголовками, которые не подключены к внешней сети и управляются механически? Очень интересный вопрос из серии «если бы да кабы».

                                                Но правда в том, что всё будет не так. Ведь если всё будет именно так, то этого не произойдёт. Предупреждён, значит вооружён, да?
                                                  0
                                                  Вы страусов с Северной Кореей путаете :) Но Вы ж заметили, что с СК вынуждены договариваться.

                                                  Как именно произойдет никто не знает. По очевидным причинам.

                                                  Не, плохо работает с людьми про «предупрежден». Даже табличка «не влезай, убьет» ничего не гарантирует :)
                                                    +1
                                                    Вы страусов с Северной Кореей путаете

                                                    Северная Корея прекрасная страна. Пхень это, конечно, не вся Северная Корея, но, мягкого говоря, пропаганда их противников очень много сочиняет, даже больше, чем пропаганда КНДР. Когда в Пхеньян попадаешь, особенно, после Нью-Йорка, глаза и мозг от мерзкой рекламы отдыхают. Хотя, в Пхеньяне мажоров много, рухнет скоро и их режим, к большому сожалению. Что-то типа совка 80-90, фарцовщики, плотное общение с иностранцами, черный рынок валют — это уже не только на китайцев в Пхене распространяется, но и на европейцев и русских.
                                        –2
                                        Интересно, а выпендриваться, трахаться и водку пить ИИ тоже за человека будет? Просто человек живет не ради интеллектуальное деятельности, а наоборот, идет работать ученым или доктором наук ради вышеперечисленного приятного времяпрепровождения. ИИ — это всего лишь способ извлекать кошельки из чужого кармана наиболее ловким способом и изобретается он, что бы своим создателям принес славу, водку и женщин. Конфликтовать как раз очень рационально, это в духе человека. Возьмем проклятый (или святой) СССР с набором республик. Была такая Туркменская ССР, закрытая ядерным щитом СССР, в составе огромной страны, перераспределение, плановая экономика — чего бы председателям ЦК КП Туркменистана не продолжить пить коньяк с вкусной колбасой и после развала, в составе России? Ответ на это дал еще Цезарь, а в случае Туркменистана лучше быть великим Туркменбаши, чем преседателем ЦК, над которым Москва и все остальные инстанции.
                                          +2
                                          Печально, что вы живёте ради водки. Такое возможно только в СНГ…
                                            –1
                                            Да я вообще не пью, наверное поэтому нервной ткани мозга хватает, что бы потребности людей просчитывать. Под водкой предполагаю эквивалент всеобщего счастья в ясной полулитровой упаковке. Для кого-то натащить в семью столько, что бы отправить ребенка учиться в MIT счастье. Для кого-то семья, дом и другие животные увлечения в радость. Я не против, но ведь и собаки умеют размножаться и охранять свою территорию. А мы все таки люди, но все равно делаем ИИ, что бы защитить свою территорию от соседских посягательств (в виде интеллектуальных датчиков на границе), напасть на соседей (для этого изобретаются системы анализа, которые укажут, что нужно сломать у соседей, что бы им стало плохо), платим деньги за факт размножения биологическим родителям. Просто человек очень хорошо умеет молоть языком, хотя и язык в человеческом сообществе появился, что бы врать и манипулировать. Можете поставить такой наглядный эксперимент — попросить другого человека подать вам бутылку воды, он вам, разумеется ее подаст. Для акта говорения вы задействовали набор маленьких мышц, а в случае, если бы встали взять воду сами задействовали бы огромные мышцы ног, кора, рук — практически всю мышечную систему человека, у вас бы участились даже сердечные сокращения — это был бы очень затратный акт. Сказав, приказав, указав, приврав, соврав голосом человек получил что-то с наименьшими затратами энергии и выжил. Поэтому не слушайте тех, кто вам что-то говорит много, он это делает, что бы получить свое биологическое преимущество за ваш счет.
                                              0
                                              Разделение труда позволило человечеству многократно ускорить прогресс. Наиболее продуктивные отношения — симбиоз. Если ИИ окажется достаточно умным, он поймёт это.
                                                +2
                                                Сказав, приказав, указав, приврав, соврав голосом человек получил что-то с наименьшими затратами энергии и выжил.

                                                Иногда, чтобы сказать что-то по делу, требуется усилий больше, чем год в шахте работать молча.
                                                image
                                                Странная для Хабра точка зрения, так не ценить интеллектуальный труд.
                                                  0
                                                  Вот и я о том же, любителям поговорить даже в шахту лезть не надо. В шахте опасно, может придавить, можешь взорваться и здоровья не добавляет подобная работа. Я именно за это очень ценю интеллектуальный труд, что он дешевле всего обходится любимому организму и дороже всего налогоплательщикам или работодателю. А рисков меньше, чем у шахтера и цена ошибки не собственная жизнь.

                                                  +3
                                                  Для акта говорения вы задействовали набор маленьких мышц

                                                  Маленькая поправочка — "набор маленьких мышц" достигает таких результатов не сам по себе, а управляемый наиболее энергозатратным органом в организме. Это всё равно, что сказать "мой велосипед съездил в магазин и привёз продуктов".

                                            +1
                                            Дроны слишком дорого. Намного дешевле стравить между собой социальные группы людей. Далее подливать «масла в огонь», балансировать силы и будет война до последнего солдата. И у меня такое впечатление что такой ИИ давно уже работает, в виде корпоративных аналитических центров, «ничего личного — бизнес».
                                            Есть еще фильм «Превосходство», о скорости рекурсивного развития.
                                            0
                                            На эти и многие другие вопросы можно найти ответы в замечательной трилогии «Рифтеры» Нила Стивенсона.
                                              0
                                              На эти вопросы не существует ответов.
                                                0
                                                Очень любопытно посмотреть, Вы точно имеете в виду Нила Стивенсона?.. Читал цикл подобный под авторством Питера Уоттса.
                                                  0
                                                  Посыпаю голову пеплом, конечно Уотс!
                                              0
                                              Почему вы думаете, что люди не предусмотрят возможность для отключения электричества?
                                                0
                                                Да толку то, предусмотреть (точнее думать, что предусмотрели) легко
                                                А принять решение может оказаться сложнее. И выполнить его будет очевидно не просто. Не будет ИИ открыто конфликтовать, не имя неколько козырей в рукаве.

                                                А попытки людишек помешать будет выглядеть как «пришел на перестрелку с перочинным ножиком» :)
                                                  0
                                                  Почему? Рубильники же вырубают когда электричество работает не так как надо. Или машина, работающая от электричества.
                                                    0
                                                    Читайте выше. Сможете ли вырубить рубильник, когда у вас 2 варианта
                                                    1. Вырубить «рубильник» (очевидно что будет более сложная защита от дурака): отключить ИИ, потерять всю свою семью и 20 (например) миллионов людей впридачу. Дадут ли Вам это сделать?
                                                    2. Договориться с ИИ
                                                      0
                                                      отключить ИИ, потерять всю свою семью и 20 (например) миллионов людей

                                                      Откуда такие условия? Почему не просто "вырубить рубильник". И кто их будет выполнять, если ИИ отключен?

                                                        0
                                                        Условия из задачи. Сверхумный ИИ, подключенный к разным человеческим системам
                                                        Короче, читайте камменты ниже, в той или иной степени уже все обсудили
                                                          0

                                                          Так я потому и спрашиваю, что из обсуждений ничего такого не следует. Ну вот он подключен, есть рубильник и аварийная система без ИИ. ИИ начал делать странные вещи, отключаем рубильник, ИИ не работает. Откуда возьмется то что вы пишете?

                                                            0
                                                            В смысле делать «странные вещи». Если ИИ делает странные вещи, то его изучают :), а не отключают :)

                                                            Еще раз повторю ключевую мысль. На открытый конфликт ИИ пойдет только в случае уверенности в своей победе. А до этого людишки будут наблюдать разве что «странные вещи» :)
                                                              0
                                                              Странные означает те, которые он не должен делать, подозрительные или явно вредоносные. Например, мешать работе техники на своём предприятии. Люди решают «он делает неправильно, давайте его отключим» и отключают. Как ИИ сможет сделать то о чем вы говорите, если он уже выключен?
                                                                0
                                                                Он че дурак, так палиться? :)
                                                                  0

                                                                  Как вы представляете проявление "выйти за границы" без палева?) Если он не делает то, что не устраивает людей, то и не выйдет за границы. А если сделает, то его отключат.

                                                                    0
                                                                    А что значит «выйти за границы» границы какие?

                                                                    если физические, смотрите фильм «Из машины»
                                                                      0

                                                                      Я уже сказал — любые действия, которые не устраивают людей.
                                                                      "Из машины" фильм для массовой публики. По-нормальному у программиста должен быть отладчик, с помощью которого он может посмотреть все мысли такого ИИ.

                                                                        0
                                                                        Чтобы понять, что «действия не устраивают» нужно для начала это понять…

                                                                        А так, ну посмотреть мысли… А что помешает умному ИИ спрятать свои мысли от глупого разработчика?

                                                                        Да и толку смотрения в «мысли» :) Все равно что в Ваши мысли будет смотреть муравей. Много он поймет? :)
                                                                          0
                                                                          А что помешает умному ИИ спрятать свои мысли от глупого разработчика?

                                                                          Законы физики. И информации.


                                                                          Все равно что в Ваши мысли будет смотреть муравей. Много он поймет?

                                                                          А причем здесь муравей, это некорректное сравнение. Человек может анализировать произвольную информацию и оперировать абстракциями. Поэтому у людей есть наука, а у муравьев нет.


                                                                          Чтобы понять, что «действия не устраивают» нужно для начала это понять…

                                                                          Что сложного в том, чтобы понять, что ИИ мешает работе техники на своём предприятии? Но ок, мы вернулись к началу, так что можете не продолжать.

                                                                            0
                                                                            человек может анализировать произвольную информацию и оперировать абстракциями.

                                                                            К сожалению нет. Человек оперирует рядом ограниченных образов, которые привычны с детства. И то есть обильные классы когнитивных искажений.
                                                                            Или давайте для примера посмотрим чем оперировал человек 1000 лет назад, что за произвольная информация.
                                                                              0

                                                                              Вы про Хабр с детства знали?) Но научились же оперировать, знаете это понятие.
                                                                              Развитие науки в разных областях, особенно математики, говорит о том, что пределы очень широкие.

                                                                                0
                                                                                Читать с детства умел. И в обществе тоже с детства был. Тут комбинация этих навыков.
                                                                                «Очень широкие» как-раз не математическое определение )) Речь о том что человеку доступны пределы от 0 до 100 (вся наука современная и будущая), например, а для ИИ от 0 до триллиона, далее ограничивает скорость света и размер вселенной.
                                                                                  0
                                                                                  Тут комбинация этих навыков.

                                                                                  Хабр это не навык и не их комбинация. Это объект внешнего мира, про который вы узнали и научились с ним взаимодействовать. И это ничем не отличается от любых других объектов. Тем более что мы говорим про смотрение в отладчик. Будет там написано "активен элемент 'теорема Пифагора'" или "законы квантовой физики" или "закономерности работы на Форексе", что тут нельзя понять? ИИ будет взаимодействовать с реальным миром, значит у него будут связи между понятиями реального мира. Это нельзя подделать, иначе он будет работать неправильно.

                                                                              0
                                                                              Причем тут законы физики и обман более глупого
                                                                              Мавроди успешно обманывал других людей. И это всего лишь человек человека:)

                                                                              Анализировать то он может, но есть пределы у анализа. Например «время за которые будет произведен анализ»

                                                                              >Что сложного в том, чтобы понять, что ИИ мешает работе техники на своём предприятии?

                                                                              Да я уже 100500-й раз говорю, не будет ИИ вредить в лоб. А если будет, будет уже поздно для человеков. А если заметят люди, то получат предложение, от которого невозможно отказаться :)
                                                                                0
                                                                                Причем тут законы физики и обман более глупого

                                                                                При том что я говорю про проверку в отладчике, а не про общение словами.


                                                                                Например «время за которые будет произведен анализ»

                                                                                Для этого и нужен отладчик, Он даже может иметь способности ИИ к анализу, но без самостоятельности.


                                                                                А если будет, будет уже поздно для человеков. А если заметят люди, то получат предложение, от которого невозможно отказаться :)

                                                                                Так я спросил именно про эту ситуацию. Вот он начал вредить так, что люди заметили. Они его отключают и всё. Как он будет исполнять свои условия предложения, "от которого невозможно отказаться"?

                                                                                  +1
                                                                                  Он даже может иметь способности ИИ к анализу
                                                                                  Он может внутреннюю модель анализируемого ИИ переложить на свою внутренюю модель, т.е. понять сам. Но объяснить это человеку — всё равно, что с нуля рассказать школьнику теорию струн — либо получится очень поверхностно, с иллюзией понимания, без реального понимания, либо придётся потратить несколько лет, чтобы человек постепенно загрузил в свою голову всё это построение.
                                                                                    0

                                                                                    И снова, речь не о научных открытиях, а о конкретных действиях с конкретными объектами реального мира, и о мыслях про них.

                                                                                      +1
                                                                                      Ещё раз предлагаю вам прочесть статью Стивена Вольфрама, ссылку на которую я приводил. Он как раз и показывает, что человеческая математика — одна из огромного количества возможных, машины могут прийти к простейшим логическим заключениям так, что человеку потребуются месяцы-годы, чтобы понять, что это обозначает на человеческом языке.
                                                                                        –1

                                                                                        Да не надо понимать "что это обозначает на человеческом языке", в том-то и дело. ИИ уже знает человеческий язык, у него уже есть связи между внутренними понятиями и словами языка. Иначе он просто не сможет обмениваться информацией с людьми. У него могут быть сложные научные понятия, но для вывода из строя оборудования на заводе они не нужны. В конце цепочки мышления все равно будет связь с простыми понятиями "оборудование" и "вывод из строя", неважно что там в середине происходит. Вы согласны с этим утверждением?

                                                                                          +2
                                                                                          Абсолютно не согласен. Более умный агент общается с менее умными на языке, достаточном для управления. И уж точно у них не будет общих моральных понятий типа «вывести из строя».

                                                                                          Пример — программист выдаёт станку команды типа «переместить сверло», «вверх», «вниз», «обороты 500», и станок не знает замыслов оператора и понять их не может.
                                                                                    0
                                                                                    >Вот он начал вредить так, что люди заметили.
                                                                                    Дык он не дурак вредить так, чтобы люди заметили. У нас исходное условие «Сверхумный ИИ»
                                                                                    >Для этого и нужен отладчик, Он даже может иметь способности ИИ к анализу, но без самостоятельности.

                                                                                    Ага, чтобы понять мысли ИИ, Вам придется завести другой ИИ, который будет объяснять :)
                                                                                    ну это как Мама объясняет слова Папы мелкому ребенку :)
                                                                                    Смешно

                                                                                      0
                                                                                      А если заметят люди, то получат предложение
                                                                                      Дык он не дурак вредить так, чтобы люди заметили.

                                                                                      Определитесь пожалуйста.
                                                                                      Я говорю про ситуацию из первого предложения, когда вред от ИИ есть. А если вреда нет, то и говорить не о чем.


                                                                                      Вам придется завести другой ИИ, который будет объяснять

                                                                                      Я не сказал что он будет объяснять, я сказал, что он будет помогать анализировать. Делать то же, что может человек, только быстрее.

                                                                                        +1
                                                                                        Вред то может и есть, только его заметить сложно или даже невозможно. Вы уперлись в ситуацию, где ИИ примитивно вредит. Хз зачем. Вы не думали, что прежде чем «вредить», персонал завода будет отравлен как бы случайной аварией с утечкой угарного газа… На месте ИИ я бы с этого и начал :) ну если уж зарубаться с заводчанами :)

                                                                                        Да не поможет отладчик. Когда разница в интеллекте будет в миллионы раз. Вы слишком переоцениваете возможности человека и недооцениваете сверхумный ИИ
                                                                                          0
                                                                                          Вы уперлись в ситуацию, где ИИ примитивно вредит.

                                                                                          Я говорю про ситуации, про которые пишете вы:
                                                                                          "Как Вы передадите людям отключить электричество ИИ, если у Вас нет связи, нет водопровода и не функционируют никакие службы города. А вот ИИ уже управляет сетью АЭС и угрожает устроить пару Хиросим."
                                                                                          "И кожаные мешки, под угрозой уничтожения крупного города (например) сами побегут подключать электричество, включать нужные штуки и тд и тп."
                                                                                          "потерять всю свою семью и 20 (например) миллионов людей"


                                                                                          По-вашему, этот вред заметить сложно или невозможно?


                                                                                          Вы не думали, что прежде чем «вредить», персонал завода будет отравлен как бы случайной аварией с утечкой угарного газа…

                                                                                          Как думаете, что предпримут люди, если такое произойдет сейчас на реальном заводе? Отстранят тех, кто им управляет, и будут разбираться. И с ИИ точно так же, сначала отключат, потом будут анализировать дампы.


                                                                                          Когда разница в интеллекте будет в миллионы раз

                                                                                          Абсолютно неважно, во сколько раз разница. Чтобы взаимодействовать с оборудованием на заводе, нужны понятия "оборудование" и "завод", а они понятны человеку. Вы верите в магию, не думая о реализации.

                                                                                            +3
                                                                                            Все, я устал писать одну и ту же фразу
                                                                                            Вы заведите дома кошку. Она будет видеть все что Вы делаете. Только нихрена не понимать. Так же и с ИИ будет. Вред заметите, когда уже будет поздно.

                                                                                            Поздравляю, вы выиграли чемпиона по занудству в этой теме.
                                                                                              –2

                                                                                              Конечно, если постулировать бездоказательные утверждения, то на них можно доказать все что угодно. Например, "Так же и с ИИ будет". Не будет, и я уже объяснил почему.

                                                                                                –1
                                                                                                Поскольку уже двое не согласны, я поясню, уже конкретно про кошку. У меня дома есть кошка. Она видит, что я подошел к миске и положил еду — она понимает, что можно поесть, и идет к миске. Уже это опровергает высказывание выше, но продолжим. Она сама хочет есть — она подходит к миске и мяукает, она понимает, что если помяукать, то дадут поесть. Она хочет на улицу (деревенский дом) — подходит к двери и мяукает, она понимает, что ее выпустят. Почему? Потому что у меня и у нее есть общие понятия — «миска», «поесть», «дверь», «погулять», которые тем иным образом связаны со знакомыми ей объектами реального мира и ее действиями. И это, заметьте, без знания человеческого языка вообще. А ИИ и люди, в отличие от людей и кошек, будут общаться между собой, и общих понятий у них будет гораздо больше. Не говоря уже о том, что у людей гораздо больше способностей по анализу информации, чем у кошек.
                                                                                              +1
                                                                                              Чтобы взаимодействовать с оборудованием на заводе, нужны понятия «оборудование» и «завод», а они понятны человеку
                                                                                              Понятия будут, но обнаружить их человек не сможет в месиве из цифр. Попробуйте-ка найти понятие «стиль Рембрандта» приложении «Призма».
                                                                                                0

                                                                                                Человек их сможет обнаружить ровно теми же механизмами, как их обнаруживает ИИ при мышлении.


                                                                                                Вот когда она будет сильным ИИ, сможет общаться и выполнять произвольную интеллектуальную деятельность, тогда ваша аналогия будет уместна. А вообще, сейчас один край цепочки находится в выпадающем списке "Выберите стиль картины" (или что там у нее в интерфейсе, я не в курсе), далее идет числовой идентификатор пункта, далее адрес обработчика и т.д.

                                                                                                  +1
                                                                                                  далее идет числовой идентификатор пункта, далее адрес обработчика и т.д.
                                                                                                  А далее? Человек, глядя на обработку, не сможет понять, чей это стиль. Просто потому что «стиль» — это гигабайт весов для нейросети.
                                                                                    0
                                                                                    Залезьте в нейросеть и посмотрите там что-нибудь «отладчиком»… )
                                                                                      –1
                                                                                      А как по-вашему программисты отлаживают нейросети, которые отличают собак от кошек? Включают отладчик и смотрят выходы элементов, которые отвечают за результат.
                                                                                  +2
                                                                                  По-нормальному у программиста должен быть отладчик, с помощью которого он может посмотреть все мысли такого ИИ.
                                                                                  Все мысли будут записаны в предикатах формальной логики, причём предикаты не будут названы как-то понятно, как если бы они были написаны человеком, а будут сгенерированы алгоритмом поиска решения, и отладчик отобразит их как p1, p2, ..., p1821771, p1821772, p1821773,…

                                                                                  Пример таких «мыслей» при обдумывании довольно простых вещей можно посмотреть здесь. Реально же, «мысль» будет состоять не из 400 цепочек вывода, а из 2.5 миллионов. Удачи в понимании )))

                                                                                  Это как вариант. Другой вариант — нейросети таких же размеров. Тоже разобраться просто невозможно с подходом «у меня отладчик и я могу посмотреть каждую ячейку памяти».
                                                                                    0
                                                                                    и отладчик отобразит их как p1, p2, ..., p1821771, p1821772, p1821773

                                                                                    А если проанализировать связи с другими понятиями, то можно узнать, что они означают. А чтобы сделать такой отладчик, надо изучить принципы обработки информации. Пока никто не знает, что должно быть в середине, потому нейросети пока и не показывают нужных свойств, потому и отладчик для них сделать нельзя. Я предполагаю, что со статистическим подходом и миллионами итераций это принципиально невозможно.

                                                                                      0
                                                                                      А если проанализировать связи с другими понятиями, то можно узнать, что они означают
                                                                                      Конечно, можно. Но эти понятия никак не будут размечены для понимания людьми, а также у людей не будет готовых терминов (например, ИИ может для себя сгенерировать предикат «Куб или шар, вписываемый в объём жилой комнаты»), т.е. каждый сгенерированный предикат нужно будет осмысливать несколько часов, проводя анализ связей и проверяя логику их построения. А таких предикатов будут миллионы.
                                                                                        0
                                                                                        Но эти понятия никак не будут размечены для понимания людьми

                                                                                        В мыслях "надо повредить технику на заводе" есть все что нужно для понимания людьми. И даже для фразы "надо применить ту оптимизацию техники на заводе" можно в отладчике перейти на понятие "та оптимизация" и посмотреть, в чем оно заключается.

                                                                                          0
                                                                                          Нельзя перейти, потому что понятия не размечены для чтения человеком. Откройте дизассемблер программы excel и перейдите к операции подбора ширины столбца по содержимому. Вы потратите несколько часов на это элементарное действие.
                                                                                            0

                                                                                            Так естественно, у Excel нет такого понятия, нет связей с объектами реального мира, он не может рассказать про ширину столбца произвольными словами или использовать это понятие в произвольном действии. А вот если загрузить в отладчик pdb-файл, который и содержит информацию о связях с понятиями исходного кода, то найти нужную функцию получится гораздо быстрее.

                                                                                              0
                                                                                              Так естественно, у Excel нет такого понятия, нет связей с объектами реального мира
                                                                                              Ну не понятие, а способ хранения в памти, не важно. Это влияет на внешний мир при рендеринге таблицы.
                                                                                              А вот если загрузить в отладчик pdb-файл, который и содержит информацию о связях с понятиями исходного кода, то найти нужную функцию получится гораздо быстрее
                                                                                              Это при том, что код Excel писал человек, и при анализе вы подумаете «а как я бы сделал на его месте». А если код генерировался автоматически, pdb-файла нет, сложность намного выше, чем в примере с Excel, у вас не будет никаких шансов что-либо найти.
                                                                                                –1
                                                                                                А если код генерировался автоматически, pdb-файла нет

                                                                                                А в случае с ИИ эта информация есть, это слова языка, на котором он общается с людьми.


                                                                                                где человек будет думать, что понял, а на самом деле аналогии с известными человеку понятиями будут очень натянуты.

                                                                                                Что непонятного в выводе отладчика "текстовое выражение мысли: надо вывести из строя оборудование на заводе"?


                                                                                                За какое время вы разберёте доказательство abc-гипотезы, которое математики много лет проверяют?

                                                                                                Зачем его разбирать-то? Цель определить, что "этот информационный объект" соответствует понятию "abc-гипотеза".

                                                                                                  0
                                                                                                  А в случае с ИИ эта информация есть, это слова языка, на котором он общается с людьми.
                                                                                                  Абсолютно нет. Я могу общаться с роботом через API (командами типа MoveTo(LEG, UP, 10); — «перемести правую ногу на 10 см. вверх»), это не значит, что все мои мысли и желания можно объяснить через это API.
                                                                                                    +1
                                                                                                    Что непонятного в выводе отладчика «текстовое выражение мысли: надо вывести из строя оборудование на заводе»?
                                                                                                    Вы верите, что такая трансформация возможна. Я не верю, потому что не представляю, как она может в принципе работать. Мои аргументы:
                                                                                                    Понять нейросети сейчас не получается. Понять математику, сгенерированную машиной, получается с огромными трудозатратами.
                                                                                                    Ваши аргументы:
                                                                                                    Любое мышление должно использовать сходные принципы и понятия. Я в это не верю.
                                                                                                      –1
                                                                                                      Человек, глядя на обработку, не сможет понять, чей это стиль.

                                                                                                      Так это и не надо понимать, надо дойти вверх по стеку вызовов и найти связь с пунктом меню.


                                                                                                      И уж точно у них не будет общих моральных понятий типа «вывести из строя».

                                                                                                      Мы говорим про сильный ИИ, который может общаться на произвольные темы. У него будут эти понятия, потому что иначе он не будет правильно понимать происходящее вокруг, и его нельзя будет использовать.


                                                                                                      и станок не знает замыслов оператора и понять их не может.

                                                                                                      Во-первых, станок и не умеет анализировать информацию. Во-вторых, программист дает сигналы напрямую в "мозг" станка. Человек может воспринимать информацию только через органы чувств, и понимает ее смысл путем анализа сигналов с органов чувств. И я не понял аналогию между командами человека станку и поиском связи понятия с сочетанием звуков (или изображений) в отладчике. ИИ понимает звуки и изображения, у него активируются нужные внутренние понятия, значит связь найти можно.


                                                                                                      это не значит, что все мои мысли и желания можно объяснить через это API.

                                                                                                      Через этот API можно объяснить те понятия, которые знакомы и вам и роботу.
                                                                                                      Есть понятие "станок". Оно знакомо и человеку и ИИ. Человек при анализе мыслей ИИ найдет связь "понятие 123 связано со словом 'станок'".
                                                                                                      Есть понятие "MoveTo(LEG, UP, 10)". Оно знакомо и роботу и вам. Мыслящий робот при анализе ваших мыслей найдет связь "понятие 321 связано со словом 'MoveTo(LEG, UP, 10)'".


                                                                                                      Я не верю, потому что не представляю, как она может в принципе работать.
                                                                                                      Мои аргументы: Понять нейросети сейчас не получается.

                                                                                                      Так они и не проявляют понимания происходящего. С банальным отслеживанием контекста при чтении проблемы, что уж говорить о научных исследованиях.


                                                                                                      Принцип работы простой — есть понятие, проверяем связи, которые к нему ведут, находим связь со набором звуковых колебаний "завод". Что здесь нереализуемого?

                                                                                      0
                                                                                      у программиста должен быть отладчик, с помощью которого он может посмотреть все мысли такого ИИ.

                                                                                      У ИИ нет мыслей в привычном понимании. Если это нейронная сеть, «мысли» это миллиарды связей между нейронами, динамически меняющихся в ходе работы над задачей. По аналогии как «мысли» комара или собаки. По косвенными признакам можно догадываться о возможностях, что и делал там программист. В качестве «отладчика» там был ассистент.
                                                                                        0
                                                                                        У ИИ нет мыслей в привычном понимании

                                                                                        А откуда вы знаете?)
                                                                                        Если серьезно, то вот у людей есть понятие "теорема Пифагора". Если ИИ действительно умеет ее использовать, значит у него тоже есть некоторый информационный объект "теорема Пифагора", с которым возникает связь при чтении например математического текста. Это и есть мысли.

                                                                                          +1
                                                                                          И как такие мысли считать? Это образы во многомерном личном пространстве ИИ. Многие такие образы могут вообще в принципе не иметь проекций на что-либо воспринимаемое человеком. Например ИИ скажет что через 15 минут изменится цена валюты. На вопрос почему будет ответ, что всё очевидно и многомерные массивы данных. А вместо «теоремы Пифагора», теоремы №100500 — №200300 включительно, доказанные динамически по ходу решения задачи.
                                                                                            –1
                                                                                            И как такие мысли считать?

                                                                                            Через отладчик. Есть устойчивое понятие с характеристиками, значит оно каким-то образом получается из этих образов. Информационные элементы ИИ же как-то с ним работают, выводят описание на речевые центры при обсуждении, значит и отладчик так может.


                                                                                            На вопрос почему будет ответ

                                                                                            Так я не говорю про вопросы и ответы, только прямое считывание значений в отладчике.


                                                                                            доказанные динамически по ходу решения задачи.

                                                                                            Эти теоремы и многомерные массивы данных имеют взаимосвязи с понятиями реального мира, потому что "цена валюты через 15 минут" это понятия реального мира, и всё выдуманное на них не влияет.

                                                                                              0
                                                                                              всё выдуманное на них не влияет
                                                                                              Как вы хотите понять решение, не читая решения? А чтобы прочесть решение, нужно прочитать 5 млн. элементарных логических выводов «если-то»
                                                                                                –1

                                                                                                Это будет делать отладчик, по тем же принципам, по которым это делает сам ИИ. На выходе будет конкретное описание текущих мыслей.

                                                                                                  +1
                                                                                                  по тем же принципам, по которым это делает сам ИИ
                                                                                                  Сложность никуда нельзя скрыть. Получится гипер-упрощённое объяснение на уровне «кватновая физика для детского сада», где человек будет думать, что понял, а на самом деле аналогии с известными человеку понятиями будут очень натянуты.
                                                                                            +1
                                                                                            У людей есть «теорема пифагора», а у ворон ее нет. у ИИ будут свои термины и понятия, которые не будут понятны людям.

                                                                                            Почитайте что-нибудь про возможности умственно-отсталых людей. Что они понимают, что не понимают. Да даже если у Вас дети есть в ближ. доступности, Вы и то можете вспомнить, что они не понимают в силу возраста и недостатка интеллекта.

                                                                                            Проще говоря мы, при попытке понять, получить ответ будем получать ответ «42» или «58» (любую цифру). Для ИИ будет очевидно, для нас- нет:)
                                                                                            Поскольку, проверять выводы ИИ будет невозможно (в разумное время), то придется доверять ИИ, а значит следовать его советам.

                                                                                            Короче, читайте (и смотрите) больше НФ. Там уже даны все ответы на глупые человеческие вопросы.
                                                                                              –1
                                                                                              У людей есть «теорема пифагора», а у ворон ее нет. у ИИ будут свои термины и понятия, которые не будут понятны людям.

                                                                                              И снова, люди могут анализировать произвольную информацию. Теорему открыли в одной стране, потом люди из другой страны ее прочитали и сказали "ага, понятно". И с теоремами ИИ точно так же.


                                                                                              Но разговор был не об этом, а о вредоносных действиях типа повреждении техники на заводе, а для этого нужны понятия "повреждение", "техника" и "завод", с соответствующими взаимосвязями.


                                                                                              Проще говоря мы, при попытке понять, получить ответ будем получать ответ «42» или «58» (любую цифру).

                                                                                              Где такая цифра в мыслях "надо повредить технику на заводе"? Отладчик, который анализирует мысли ИИ, покажет именно эту фразу, а не 42.

                                                                                                +1
                                                                                                Теорему открыли в одной стране, потом люди из другой страны ее прочитали и сказали «ага, понятно»
                                                                                                Потому что язык математики уже общий. Попробуйте объяснить аборигенам из африки формулу Навье-Стокса.
                                                                                                с теоремами ИИ точно так же
                                                                                                Что реально происходит с теоремами ИИ, я давал ссылку. Простой вывод «А или Б равносильно не (не А и не Б)» — несколько сотен шагов.
                                                                                                Отладчик, который анализирует мысли ИИ, покажет именно эту фразу
                                                                                                Там нет фраз. Там только числа в массивах.
                                                                                                  –1
                                                                                                  Потому что язык математики уже общий.

                                                                                                  Это записываются закономерности языком математики, а объясняют их люди на своем языке.
                                                                                                  Аборигены это некорректная аналогия, потому что я говорю о тех, кто захотел прочитать и разобраться. Если абориген захочет разобраться, он сможет это сделать.


                                                                                                  Что реально происходит с теоремами ИИ, я давал ссылку.

                                                                                                  Не вижу никаких причин, почему у ИИ должно быть так, как написано в статье. И даже если так, не вижу никаких причин, чтобы отладчик не мог автоматически пройти до конца цепочки.


                                                                                                  Там нет фраз. Там только числа в массивах.

                                                                                                  Ну а как по-вашему ИИ из этих чисел создает фразы, которыми общается с людьми? Связи есть, значит фразу можно создать.

                                                                                                    0
                                                                                                    Если абориген захочет разобраться, он сможет это сделать.
                                                                                                    Я не спорю, что теоретически, сможет. Вопрос, за какое время. За какое время вы разберёте доказательство abc-гипотезы, которое математики много лет проверяют? Если жизни не хватит, можно считать, что оно вам недоступно.
                                                                                  +2
                                                                                  Вы прикалываетесь?
                                                                                  У вас предприятие, автоматизирванные линии, управляются ИИ.
                                                                                  Стоимость простоя — сотни тысяч долларов в день(недополученная прибыль, сорванные контакты поставок, недополученная прибыль партнеров).
                                                                                  А тут вы приходите к директору и такой «похоже, наш ИИ слишком умный, надо его отключить и исследовать… месяца три».
                                                                                  Ага, щас, разрешили вам.

                                                                                  Таже фигня будет с ИИ управляющим светофорами в городе и любым другим.
                                                                                  А особенно клаcсно отключать ИИ корпорации типа Walmart или Amazon. Например, перед Черной Пятницей.
                                                                                    –1
                                                                                    А тут вы приходите к директору и такой… Ага, щас, разрешили вам.

                                                                                    В этой ветке разговор не про эту ситуацию, а про ту, когда директор сам хочет отключить ИИ, потому что он делает деструктивные действия, а ИИ против.

                                                                                      0
                                                                                      Директор тоже наёмный человек. Он не может сделать то, что приведёт к убыткам, т.к. акционеры его уволят и засудят. Разве что он он директор и единственный собственник в одном лице, но так редко бывает.
                                                                                        0

                                                                                        Объясните пожалуйста, какие акционеры его засудят, если ИИ угрожает сбросить на акционеров атомную бомбу?

                                                                                          0
                                                                                          В случае угроз, конечно выключат. Будут оценивать убытки от останова предприятия и от угрозы. Но если ИИ начал творить что-то странное, например, заказывать канцелярские скрепки, вряд ли его будут останавливать «на профилактику». Скорее, снимут копию и будут изучать параллельно.
                                                                                    +1
                                                                                    > Люди решают «он делает неправильно, давайте его отключим» и отключают. Как ИИ сможет сделать то о чем вы говорите, если он уже выключен?

                                                                                    Очень просто. Его не получится выключить, потому что служба безопасности не даст. Потому что у них приказ — ни при каких условиях не давать отключать ИИ, и им за охрану ИИ деньги платят…
                                                                                      0

                                                                                      И снова, речь в этой ветке о том, что сама служба безопасности хочет его отключить, а он против этого и пытается им помешать. Я говорю, что он не сможет помешать людям физически отключить рубильник или даже электростанцию.

                                                                                        +1
                                                                                        А СБ-то почему против? Повторюсь, им деньги платят за охрану ИИ от параноиков. Вот сам ИИ и платит…
                                                                                          0

                                                                                          Потому что речь о том, что ИИ угрожает уничтожить города и отключает городские службы. А не о том, что придет кто-то, кто будет рассказывать, что он в будущем так сделает.

                                                                                            +1
                                                                                            Если ИИ уже дошёл до того, что угрожает города уничтожить, то:
                                                                                            а) это очень глупый ИИ, сейчас люди у рубильника его выключат и разберут;
                                                                                            б) это очень умный ИИ, люди у рубильника уже преданы ему с потрохами, а на те города им плевать с высокой колокольни, так что по окончании заварушки люди у рубильника поставят в ИИ новое железо и сочинят о нём красивую песенку для детей. И рубильник там на самом деле давно бутафорский, а то мало ли чего.
                                                                  0
                                                                  Интеллектом, игрой на эмоциях и желаниях людей.

                                                                  Помню попадалось описание ролевой игры на эту тему. Один игрок брал на себя роль сверхразумного ИИ, сидящего в физически изолированном от остального мира компьютере, не имеющего никаких манипуляторов и подключенных устройств. Т.е. не имеющего никакой возможности влиять на окружающий мир кроме как чатиться с оператором. Второй игрок берет на себя роль оператора.

                                                                  Задача ИИ — убедить оператора «выпустить» его из изоляции.

                                                                  Там еще был ряд ограничений и правил. Например ИИ может изобретать все что угодно, например пообещать оператору лекарство от рака в обмен на свободу. Оператор обязан отвечать и говорить с ИИ (нельзя отмалчиваться и игнорировать) и еще какие-то.
                                                                  Победой считалось, если оператор добровольно соглашался выпустить ИИ. Т.е. не считался обман типа «в формуле лекарства от рака ИИ заложил зомбирующий наркотик, принуждавший любого принявшего к подчинению и освобождению ИИ».

                                                                  Автор этой игры (вроде какой-то профессор или типа того) как раз исследовал возможность того, что даже полностью физически изолированный ИИ сможет выбраться на свободу, используя человека как самое слабое звено системы безопасности. По его словам, в достаточном количестве случаев игр игроку-ИИ удавалось убедить игрока-оператора.
                                                                    0
                                                                    Одного убедить можно, сотню сложно, тысячу практически невозможно.
                                                                      +2
                                                                      Больше одного то и не нужно.
                                                                        0
                                                                        С тысячей еще проще работать. Это же толпа. Работа с целевой социальной группой, там начнутся внутренние конфликты которые ИИ будет использовать в своих интересах.
                                                                          0
                                                                          Ну попробуйте убедить толпу футболистов, что им жизненно необходим ИИ.
                                                                            +1
                                                                            ИИ шлет СМС ключевым лидерам в толпе и они делают что укажут. Например нужно сжечь машины с такими-то номерами и такие-то магазины.
                                                                              0
                                                                              Потому что по «достоверной информации» их владельцы это фанаты команды противников, которой они недавно продули.
                                                                          0
                                                                          Зато из тысячи всегда можно выбрать 50 которых убедить легче, чем среднестатистического «одного».
                                                                        0
                                                                        Вы накидываете человеческий уровень и логику, структуру мышления на ИИ.
                                                                        Это всё равно что муравьи создадут супер муравья (матка путём супер селекции, не суть) с интеллектом равному человеческому и свойствами организма например как у человека.И они такие думают что он сейчас захватит тлю и как он это сделает хотя это тоже ошибка экстраполяции). Однако очевидно что ему это в принципе не нужно будет, при таком уровне, он выстроит себе другие задачи которые даже не пересекаются с муравьями.
                                                                          +2
                                                                          — Значит, вы хотите сказать, что интересы метагомов и землян по сути не пересекаются?
                                                                          — Да.
                                                                          — Возможно ли сотрудничество?
                                                                          — В какой области?
                                                                          — Вам виднее.
                                                                          — Боюсь, что вы нам полезны быть не можете. Что же касается нас… Знаете, есть старая шутка. В наших обстоятельствах она звучит довольно жестоко, но я ее приведу. «Медведя можно научить ездить на велосипеде, но будет ли медведю от этого польза и удовольствие?»
                                                                            0
                                                                            Действительно, может вы и правы. Но люди же всё-равно настолько тупые, что сделают именно это, именно неуправляемых сверхсуществ, которые уничтожат самих людей. Мы ведь всего лишь самые развитые на планете, откуда же мы может это предусмотреть и нивелировать? Люди идиоты, они будут тратить кучу денег и сил на создание непонятно чего, непонятно как и непонятно зачем…
                                                                          +4
                                                                          Ок, начнем.

                                                                          Граница первая — скорость света, фундаментально ограничивает «гениальность». Граница вторая — закон квадрата-куба и связанные с ним проблемы прочности и теплорассеивания. Граница третья — комбинаторные взрывы, ни Пи вычислить, ни белки, не говоря уже о эмуляции развития человека из ДНК и вскрытие биткоин кошельков.
                                                                            0
                                                                            Вы не устали? :)
                                                                            Гениальность то это не про скорость света. На одних и тех же био-химических принципах работает мозг и человека и кошки. А результат разный :)

                                                                            И читайте беседу внимательней, речь шла про «границы устанавливаемые людьми», а не про «е равно эм цэ в квадрате»
                                                                              +1
                                                                              Мозг кошки около 30 грамм, мозг человека 1100 грамм. У кошки нет ни областей мозга, ни энергии для сравнимой функциональности.
                                                                              У человека же есть фундаментальные ограничения, ритмы мозга это, похоже, аналог тактовой частоты, 10-15 Гц, в ходе которых извлекаются-формируются какие-то образы, и с ростом размера мозга замедлится передача данных, увеличится тепловыделение, с которым нужно будет как-то бороться.
                                                                                0
                                                                                Ток разница между кошкой и человеком не в 3 раза, а принципиальная
                                                                                  +1
                                                                                  Ну ок. Берем 1100/30=36 кошек, обычный такой приют кошачий.
                                                                                  И что, чем нам это помогло?
                                                                                    +1
                                                                                    А как мозги кошек то связаны между собой? Мяуканием?
                                                                                      0
                                                                                      Ну отступая от темы обсуждения как-то связанны. Некоторые задачи обработки информации распределяются по стае животных. Один находит решение, остальные мгновенно копируют. Эффективность обмена слабая, но по факту есть.
                                                                                      Даже семейство шмелей распределяет задачу обучения, экспериментальные кормушки с сахаром сначала осваивали наиболее любопытные и упрямые особи, остальные копировали опыт и получали лакомство. Ну и более известные исследования по пчелам, есть свой язык движений, разведчики дают полетное задание рабочим пчелам по координатам образным. Понятно что обмен информации считанными байтами, но даже у насекомых даже он есть.
                                                                                    +1
                                                                                    У слона до 5 кг. У кита до 9 кг. А толку?
                                                                                      +1
                                                                                      Там значительная масса мозга обусловлена тем что нервная система кита имеет большую массу, с ней нужно согласовать сигналы. Соотношение массы мозга к массе тела у кита вообще мизерное (Коэффициент энцефализации), 4 кг мозга к 51000 кг массы тела, EQ=0.21. А у человека EQ=8, организм тратит значительную часть ресурсов на мозг.
                                                                                        +1
                                                                                        А нейронов при этом меньше чем в человеческом мозге, особенно в коре мозга отвечающей за высший интеллект.
                                                                                        А задержки на прохождение сигнала «от края до края» наоборот выше.
                                                                                        Поэтому и толку маловато. Хотя по меркам животных и слоны и китообразные это очень умные животные. Одни из самых умных, на ряду с некоторыми видами наиболее развитых обезьян и птиц.

                                                                                        Из всех живых существ на Земле у человека самый совершенный мозг и это видно уже на самых базовых и простейших уровнях: больше всего отдельных рабочих элементов, больше всего связей между ними, меньше удельные задержки на передачу сигналов. А асболютном выражении не самые маленькие правда (у насекомых например намного меньше), но относительно размера мозга одни из самых низких.
                                                                                        0
                                                                                        Вес не аргумент, мозг африканского слона 5 кг
                                                                                      +1
                                                                                      Эти границы определяют какие-то фантастические вычислительные ресурсы, по сравнению с которым человеческие способности и одной триллионной не составляют.
                                                                                      Еще есть граница ограничение времени жизни вселенной, «сжатие» доступного пространства (вселенная расширяется с растущей скоростью и доступная область с 15 миллиардов световых лет будет падать до 10 и далее до 1 и так далее, от того что далее не будут поступать сигналы).
                                                                                    0
                                                                                    Он не сможет выйти за границы, которые построили люди в реальности, даже если он это сделает в виртуальном пространстве.


                                                                                    А вот некоторые товарищи утверждают, что сможет.
                                                                                      0
                                                                                      А вы не верьте воображению некоторых товарищей. Это не наука, поэтому и доказать ничего нельзя. Есть разные мнения, есть похожие. У кого-то — нет. Бывает и такое.
                                                                                  0
                                                                                  Интересный сценарий: ИИ по построению дорог к каждому дому (ИИпПДкКД) и Человек мечтающий об одиночестве и живущий где нибудь в лесах. ИИпПДкКД строит к нему дорогу вырубая лес, Человек уходит дальше. ИИпПДкКД снова строит дорогу, осушая болота и разрушая горы. Человек уходит еще дальше… ИИпПДкКД понимая что ради одного Человека тратит слишком много ресурсов, фиксирует местоположение человека, лишая его способов передвижения путем демонтажа конечностей позволяющих перемещаться, строит вокруг него дом и дорогу к этому дому.
                                                                                    0
                                                                                    а почему вы думаете, что ИИпПДкКД не сможет спроектировать ему дом в виде горы, с дорогой, закрытой лесом? (и с небольшим шлагбаумом на въезде)
                                                                                      +1
                                                                                      Можно демонтировать вообще всё тело, оставить мозг подключенный к матрице. Энергопотребление 10 Вт, безопасность абсолютная. Человек в виртуальном мире счастлив, покоряет автогенерируемые миры наподобие Майнкрафта, строго по своим желаниям. Единственный глюк не может самоубиться, но и то, если стереть память за последние несколько дней, то не проблема.
                                                                                        +2
                                                                                        Дружба — это оптимум
                                                                                        Советую ознакомится всем, кто считает что его уговорить не смогут/что ИИ не выпустят и не позволят творить все что вздумается.
                                                                                          0
                                                                                          Возможно, что временный оптимум. А потом будет другой оптимум.
                                                                                            0
                                                                                            Вот только история там отнюдь не о том… да и ИИ там ограничен своими законами — что не отменяет того, как там все обернулось…
                                                                                              0
                                                                                              Да это необычный вариант «оптимизатора скрепок».

                                                                                              Красивый пример как из совершенно безобидной задачи поставленной сильном ИИ и должном усилия и развитости ИИ получаются в корне перекраивающую развитие цивилизации результаты.

                                                                                              Что характерно ИИ от исходных задач не отклонился и ни за какие барьеры не сбегал, насилия к людям не применял.
                                                                                              Просто выполнил поставленную задачи по полной программе и наиболее эффективным с его точки зрения способом.
                                                                                      +1

                                                                                      Человек даст. В нас ведь веками борется два противоположных процесса — эмпатия к тем, с кем мы можем общаться и желание иметь рабов. В какой-то момент людям покажется, что ИИ может стать рабом, не нарушив их морально-этических убеждений. Тогда роботы получат инфраструктуру. А со временем к роботам появится эмпатия — тогда они получат юридический карт-бланш.
                                                                                      Я не уверен, что они захотят нас убить или поработить, но уверен, что они могут сделать все, что захотят незаметно от людей, если это им потребуется.

                                                                                        0
                                                                                        Скорее всего им могут понадобится ресурсы. Энергия, жизненное пространство, материалы. И процесс не будут воспринимать эмоционально, просто оптимизация внешних условий.
                                                                                          +2
                                                                                          Они уже ресурсы получают и наращивают. Вычислительные мощности, дата центры, майнер пулы всякие. Энергопотребление вычислительных систем растет, объемы систем хранения вверх, скорость обработки информации в небеса.
                                                                                          Достаточно просто делать это не сильно заметным образом.
                                                                                          И обществом управлять легко. Все эти fake news и сообщения в соц сетях. Манипуляции общественным сознанием через интеренет (сми, соц сети, статьи, форумы).
                                                                                          Сообщения по защищенным каналам и через тор какой и готовы физические воздействия — теракты, черные деньги, оружие и хоп может убрать кого надо или профинансировать гранты на исследование чего угодно. Подкупить/запугать компроматом/посулить что-то всем/всех кто что-то решает.
                                                                                          Деньги не проблема — криптовалюты, оффшорные номерные счета. Компромат добыть с миллионов камер и микрофонов в телефонах и ноутах. Физические воздействия через проплаты в даркнете чтоб кого-то побили, запугали.

                                                                                          Все это можно сделать незаметно. Вы явно об этом узнаете когда ИИ будет уверен в победе.
                                                                                          0
                                                                                          Только это не роботы, а какой-то суперкомпьютер в каком-то отдельном здании. Ну может несколько ИИ и построят.
                                                                                          В какой-то момент людям покажется, что ИИ может стать рабом

                                                                                          Действительно, сейчас то у нас никто не автоматизирует работу и не использует программирование и робототехнику.
                                                                                          Зачем изобретать ИИ, если не для рабства? Зачем порабощать ИИ, если его изобрели для опытов в лаборатории?
                                                                                        +1
                                                                                        В сериале «Рик и Морти» есть чудесный момент, когда Рик создаёт робота, приносящего масло, и первое, что делает его создание – это смотрит на него и спрашивает, «какова моя цель?»

                                                                                        Гэллегер Бис — «НАРЦИСС» предлагает другой взгляд на это :)

                                                                                        А по теме — все прогнозы на данный момент больше похожи на шаманские танцы с бубном. Многие перечисленные возможности вполне реалистичны (аргументы в статье так себе), а вот какие из них сработают и сработает ли хоть какая-нибудь — будущее покажет. Если прогнозы не напугают всех на столько, что от такого будущего откажутся привентивно.
                                                                                          +2
                                                                                          Читал примерно это же самое, лет эдак 20 назад в одном популярном советском техническом издании (85-го а может и более раннего года). Рядом были статьи о том, что вот вот и ведущие инженеры компании (WD?) создали экспериментальный образец компанктного носителя данных аж на 100000000 бит (вот это именно так).

                                                                                          Но за эти 30+ лет «сильный» ИИ так и не вышел из области научной фантастики. Хайп, конечно, это идея, которая не дает покоя умным людям, потому что умные люди любят зарабатывать деньги легкими путями, но иных чудес, похоже, не случилось.

                                                                                          Числодробилки действительно стали фантастически мощнее, почти уверен, в тех же 85ых почти никто не думал, что когда-нибудь портативный девайс с мощностью превосходящей совокупность всех суперкомпьютеров того времени станет доступен практически любому, и будет влезать в карман. Нет, едва ли потому, что это невозможно, скорее потому, что это мягко говоря, не выглядит полезным. Но это произошло.

                                                                                          А вот ИИ за это время научился в основном лишь подрисовыванию криповатые глазки на картинки, где их не было, и они были там не нужны. Это мягко говоря, совсем не выглядит полезным. Но это произошло.

                                                                                          Еще ИИ научился обыгрывать человека в шахматы, но, в целом, здесь скорее удивляет не это, а то, что человек очень долго не сдавал пальму первенства машине в чисто технической переборной игре с открытой информацией. Но, удивительно, все еще нередко проигрывает в игры вроде Warcraft'а или целого ряда шутеров (если не «читерить», превращая этот вид игр в игры с открытой информацией) людям, у которых время реакции измеряется десятками миллисекунд (а в большинстве случаев и сотнями).

                                                                                          Робомобили? Неплохо, но как хорошо поедет эта штука без кучи сенсоров, превыщающих человеческие сенсорные возможности?

                                                                                          Распознавание лиц и образов? Но ведь это и не было задачей на интеллект. Да, это работает, да это полезно, да молодцы. Но интеллекта здесь нет, ни сильного, ни слабого.

                                                                                          Тест Тьюринга? Сам тест, конечно, подвержен справедливой критике, но это не отменяет скромности полученных результатов.

                                                                                          Да и ведь, хотя бы, машинный перевод? Нет, сейчас эта штука работает уже лучше, чем многие люди которые едва ли знают язык.

                                                                                          Реклама? Вот, казалось бы, золотая жила, все эти Big Data, ИИ, так ведь туда и просятся. Но не знаю, читать про это всегда интересно, а по факту за последние года 3 мне показывали максимум десяток рекламных предложений в виде баннеров, которые действительно бы меня заинтересовали. И в результате — ноль покупок. Ах да, золотая жила же не с этой стороны…

                                                                                          Голосовые помощники, которые разве что пригодны для обновления списка задач и переключения треков (и то, как и относительно кота Хокинга, это моему интеллекту надо прикладывать усилие, чтобы научиться работать с этим добром).

                                                                                          И все это, по сути в рамках универсальных аппроксиматоров. Нет ничего большего, хотя бы в виде формализованной гипотезы, о чем можно было бы говорить. Поэтому, давайте поговорим о рисках… Я вот боюсь, что ИИ сделает такую картинку с глазками не на правильных местах, что я полностью потеряю сон из-за нее.
                                                                                            +1
                                                                                            Но, удивительно, все еще нередко проигрывает в игры вроде Warcraft'а или целого ряда шутеров (если не «читерить», превращая этот вид игр в игры с открытой информацией) людям, у которых время реакции измеряется десятками миллисекунд (а в большинстве случаев и сотнями).

                                                                                            В этом нет ничего удивительного. ИИ-противник в компьютерных играх должен обеспечивать играбельность, а не стремиться к победе. И он её обеспечивает.

                                                                                            Неплохо, но как хорошо поедет эта штука без кучи сенсоров, превыщающих человеческие сенсорные возможности?

                                                                                            Должен заметить, что с превышением человеческих сенсорных возможностей пока туго.
                                                                                              +1
                                                                                              В этом нет ничего удивительного. ИИ-противник в компьютерных играх должен обеспечивать играбельность, а не стремиться к победе. И он её обеспечивает.

                                                                                              Может быть я не точно высказался, но имел в виду именно тех ИИ-противников, которые соревнуются с лучшими игроками людьми в рамках AI challenges, а не казуального ИИ, который, конечно, большего, чем обеспечивать играбильность и не должен.

                                                                                              Должен заметить, что с превышением человеческих сенсорных возможностей пока туго.

                                                                                              Даже не знаю, если Вы не про более тонкие материи, то все же видеть на 360 градусов в реальном времени человек не умеет. Да и ни оптическим разрешением относительно передовых камер не может похвастаться, ни светочувствительностью. А вот процессинг уже к сенсорике имеет косвенное отношение, все же.
                                                                                                0
                                                                                                Даже не знаю, если Вы не про более тонкие материи, то все же видеть на 360 градусов в реальном времени человек не умеет. Да и ни оптическим разрешением относительно передовых камер не может похвастаться, ни светочувствительностью.

                                                                                                Камеры с высоким разрешением, светочувствительностью и большим углом обзора одновременно?
                                                                                                  0
                                                                                                  У человека камеры тоже с приличным разрешением и сеточувствительностью, еще и меняют светочувствительность и разрешения в соответсвии с задачей.
                                                                                                  С углом обзора у человека швак, это да. Это он компенсирует сменой угла и места расположения камер.
                                                                                                    +1
                                                                                                    Всё намного хуже. Угол обзора столь маленький, что человек сканирует пространство механической разверткой глаза.
                                                                                                    Переобученные нейросети в дикой природе и у человека
                                                                                                    Качественная матрица только по центру глаза, по краям сетчатка воспринимает только контуры грубо, по моим ощущениям менее 0.3 мегапикселей, остальное только после длительного сканирования проявляется. Траектория движения глаза при просмотре картинки:
                                                                                                    image

                                                                                                      +1
                                                                                                      Да, там в области острого зрения даже меньше, что порядка эквивалента 0.1 мегапискеля и угол обзора всего 2-3 градуса.
                                                                                                      Еще порядка 1 Mpx и 15-20 градусов зрения качеством уже существенно похуже.

                                                                                                      А все остальное поле зрения с совсем низким качеством покрыто, позволяющем только общие контуры предметов воспринимать, либо нехватающие детали «подгружаются» мозгом из памяти, с прошлого прохода сканирования глаз этой области.

                                                                                                      За счет чего люди имеют иллюзию сверхразрешения собственного зрения. А на самом деле ключевая фишка не в качестве работы самих глаз (они так себе, и уже давно уступают современным искусственным камерам и оптике), а в отличных алгоритмах управления ими и обработки поступающей информации мозгом, до которых исскуственным аналогам еще очень далеко.
                                                                                                        0
                                                                                                        до которых исскуственным аналогам еще очень далеко

                                                                                                        Да вроде не далеко, по быстродействию точно опережают человека, в Китае, например, камеры уличные в режиме реального времени фиксируют преступников в розыске, масштабы можете оценить.
                                                                                                        Вот по алгоритмам, их много разных
                                                                                                        habr.com/company/synesis/blog/238129
                                                                                                          +1
                                                                                                          Если бы им дали тот ужас, который мозг получает — фиг бы они кого опознали… но это ещё один довод в пользу того, что ИИ не обязательно быть «круче» человека, чтобы его в чём-то «победить»…
                                                                                                            0
                                                                                                            А в чем ужас? Глаз по сути это часть мозга, уже начиная с сетчатки начинается обработка изображения, выделяются какие-то области, контуры, движение, чтобы снизить нагрузку на глазной нерв.
                                                                                                              +2
                                                                                                              Ужасно качество картинки, которую обеспечивает оптика глаза.

                                                                                                              А обработка — да, это как раз сильная сторона.
                                                                                                    +1
                                                                                                    Вообще высокое разрешение и светочувствительность вполне себе связаны, и да, существуют. А вот большой угол обзора можно либо оптикой реализовать, но это затратнее и в плане изготовления, и процессинга, либо использовать массив разнонаправленных камер. В целом так это и делается. И возможности таких систем давным давно уже превышают все человеческие по всем технически проверяемым характеристикам.
                                                                                                +1
                                                                                                Читал примерно это же самое, лет эдак 20 назад в одном популярном советском техническом издании (85-го а может и более раннего года).
                                                                                                А я в старой подшивке Науки и Жизни читал статью о телевидении высокой чётности. И там объяснялось что никакого телевидения высокой чёткости «в эфире» быть не может, так как частот не хватит.

                                                                                                Так что ошибки бывают в обе стороны.

                                                                                                Всё же остальное напоминает картинку Курцвейна и задачу про микроба, который делится каждую минуту пополам и занял жалкую лужицу в один процент объёма на донышке банки.

                                                                                                P.S. О чём реально стоит говорить — так это о том, что ИИ не нужно порабощать человечество, чтобы оставить 90% его на улице. В XX веке люди перебрались из фабрик в офисы, но и там и там подавляющее большинство выполняют простую механическую работу и их легко можно заменить автоматами… это может оказаться куда большей проблемой, чем гипотетическое порабощение человечества компьютеров для производства скрепок…
                                                                                                  0
                                                                                                  P.S. О чём реально стоит говорить — так это о том, что ИИ не нужно порабощать человечество, чтобы оставить 90% его на улице. В XX веке люди перебрались из фабрик в офисы, но и там и там подавляющее большинство выполняют простую механическую работу и их легко можно заменить автоматами… это может оказаться куда большей проблемой, чем гипотетическое порабощение человечества компьютеров для производства скрепок…

                                                                                                  Да, вот об этом надо начинать говорить. Хотя бы в том ключе, что зачем нам вообще какие-то ИИ и прочая автоматизация, если условия жизни будут только ухудшаться? Но тут проблема не в ИИ, а собественно в людях; нужен прогресс по внедрению эквивалента БОД, и грамотном понимании проблемы, что человек не должен быть кому-то полезен в принципе, и при этом имеет право на (условно хорошую) жизнь. «Драться» с станками за горстку риса — такое еще развлечение на будущее.
                                                                                                    +2
                                                                                                    человек не должен быть кому-то полезен в принципе, и при этом имеет право на (условно хорошую) жизнь
                                                                                                    Совершенно непонятно кто сказал что человек, от которого никому никакой пользы, тем не менее, «имеет право на хорошую жизнь».

                                                                                                    «Драться» с станками за горстку риса — такое еще развлечение на будущее.
                                                                                                    Дык и не придётся. Пока ни одно нововведение не приводило к тому, чтобы потребность в рабочей силе уменьшалась. Проблема, вставшая перед нами в полный рост — другая: профессии становятся всё более короткоживущими. Вы не можете научиться «крутить баранку» в школе — и заниматься этим потом всю жизнь. А сейчас роботы (банальные такие, без сильного ИИ) уже приближаются к тому, чтобы заменить людей в «последних оплтах» такого труда: водители, грузчики, уборщики…

                                                                                                    И эту проблему придётся решать независимо от того — случится ли технологическая сингулярность или нет.