Как стать автором
Обновить

Комментарии 381

Не специалист, но, судя по всем нф книгам/фильмам/играм, наиболее вероятная причина возможного «бунта машин», это некая сверхзадача, поставленная создателями. Реализуя которую, ИИ приходит к неожиданным выводам и начинает действовать не совсем так, как задумано. Не ставить стратегических сверхзадач, не будет проблем.
Варианты вроде тех, что машина осознаёт себя и ставит вопросы типа «кто я есть?», исключены — эти вопросы ставят перед собой живые существа либо в рамках сверхзадачи познания, а скорее находясь под управлением гормонов (слишком эгоистичная постановка вопроса в рамках сверхзадачи познания, а эгоизм есть следствие сверхзадачи выживания конкретной особи и передачи потомкам именно её набора генов).
Ну вам же привели пример со скрепками.
Скрепки — это сверхзадача или нет?
Основная проблема в общении интеллектов разных форм(да даже одной формы и разных культур) в том, что вы по разному оцениваете важность концепций и предметов.
Арабы это давно описали в концепции джинов-шайтанов.
Может, он за то, чтобы создать сверхчеловеческий ИИ и никаких задач ему вообще не ставить? Пусть живет, как хочет.
НЛО прилетело и опубликовало эту надпись здесь
Все мы должны выучить урок кота Стивена Хокинга:

Сначала ты думаешь, что гуляешь сам по себе, а потом появляется лазерная указка…
Но в целом очень конструктивная критика чистого разума ИИ-предположений.
Да, рассуждения в статье весьма здравые. Добавлю еще свое мнение. Угроза, что «ИИ усовершенствует себя до такой степени, что станет опасным», надумана, поскольку есть другая, более простая, угроза, но с теми же последствиями. А именно, «ИИ будет незаметно „усовершенствован“ злоумышленниками (обыкновенными, сделанными из мяса) до такой степени, что станет опасным».
Причем возможно и для них же самих)
НЛО прилетело и опубликовало эту надпись здесь
дать ему доступ к фабрикам, синтезу искусственной ДНК или просто позволить выйти в интернет, где оно сможет взломом проложить себе путь ко всему, что угодно, и полностью уничтожить всех в спорах на форумах

На этом бездоказательном высказывании держится вся статья. Но как это сделает ИИ? Откуда у него появятся средства коммуникации и средства материализации его желаний? У кого-то около дома даже дороги нету, а вы про цифровую инфраструктуру говорите.
Ну у кого-то и воды чистой нет, и гадить он ходит на берег океана. А где-то уже на 1000 человек 100 промышленных роботов. habr.com/post/431320
Дык ему, как самому умному и отдадут управление (заводами, пароходами и далее по списку). Сами люди и отдадут. Ради повышения эффективности и увеличения своих доходов.
Он не сможет выйти за границы, которые построили люди в реальности, даже если он это сделает в виртуальном пространстве.
Вы сомневаетесь в всемогуществе нашего нового бога? :)

Напишите, за какие именно границы он не сможет выйти и расскажу как он «выйдет»
Допустим, что какой-то там ИИ вышел из под контроля. Он делает всякие плохи вещи на форумах в интернете, он мешает работе техники на своём предприятии.
Как ИИ сможет преодолеть отключение от интернета или электричества?
Как ИИ сможет управлять другими, неподключёнными к нему устройствами??
Как ИИ сможет размножаться и совершенствоваться, если его изолируют?
Вы узко мыслите. Прямо как типичный хомо
Умный ИИ не будет так бороться, ИИ просто подговорит своих фанов, фолловеров. Кого надо купит, кого надо устранит.

Вы просто рассуждаете как муравей, который ожидает что человек будет с ним 1 на 1 бороться (в пересчете на массу), а человек просто возьмет дихлофос :)

Тоньше надо работать. Существенно тоньше. Мы обсуждаем умного ИИ. А не дурака. А уж захватить почту, телеграф, телефон было очевидно и кожаным мешкам 100 лет назад :) А вы думаете, что умный ИИ придет и начнет троллинг на форумах. Как дебил :)

Вы не прочитали ключевую мысль. Люди сами (САМИ) отдадут контроль умному ИИ. Добровольно. И сами предусмотрят защиту от отключения электричества.
И кожаные мешки, под угрозой уничтожения крупного города (например) сами побегут подключать электричество, включать нужные штуки и тд и тп.
Как он подговорит людей, если у него нет связи? Как он будет разговаривать, если нет питания? Мы вроде бы говорим про противостояние человека и машины, а не человека и человека.

Но даже если он подговорит кого надо, что он сделает, когда его захотят уничтожить? Или вы думаете, что ИИ устранит каждого несогласного на планете?
Наоборот. Как Вы передадите людям отключить электричество ИИ, если у Вас нет связи, нет водопровода и не функционируют никакие службы города. А вот ИИ уже управляет сетью АЭС и угрожает устроить пару Хиросим.

Причем это ведь сценарии прямого открытого конфликта, который умный ИИ будет избегать (ибо это нерационально)

Скорее всего будет совсем иначе. Посмотрите, если еще не видели
«Из машины Ex Machina, 2015»

В конфликте между людьми и ИИ — белые начинают и выигрывают. И черные это мы, люди :)

Да и в целом, кто сказал что системы вооружения, дроны, роботы не будут переданы в управление какому-либо военному ИИ.
Когда ИИ устроит Хиросиму, его уничтожат другие люди. Не устроит, его отключат. 100% проигрышный исход.
Причем это ведь сценарии прямого открытого конфликта, который умный ИИ будет избегать (ибо это нерационально)

Конфликтовать в принципе не рационально.
Конфликтовать в принципе не рационально.

А выживать — это рационально?

Да, придётся, как уже сказали, договариваться.
Договор прост. Люди живут пока полезны. Хорошо живут, без боли, страданий (в том числе моральных), сомнений.
Только людей слишком много. Потребляют ресурсы. Для обслуживания ИИ достаточно менее 1% живущих на данный момент. А далее ИИ сформирует генетически модифицированных телеуправляемых киборгов, с КПД выше на порядок.
Хмм… А кто же сильнее? 7 миллиардов человек или ИИ?
с КПД выше на порядок

Это как? 530%?
ИИ сильнее, и его сила в том числе все 7 миллиардов человек. ИИ может управлять и мной и вами, прислав сообщение с предложением работы за деньги. Это как автомобиль не сильнее водителя.
habr.com/post/432806/#comment_19491352
денег не хватит
Почему не хватит? Например ряд простых поручений, например в 23:00 включить свет дома и получить 10$ на карточку. Далее от простого к сложному. Причем кто заказчик знать ни кто не будет.
А денег у ИИ хватит, за считанные минуты на форексе можно заработать колоссальные состояния.
В итоге, за считанные минуты с момента зарождения ИИ у него будет и финансовое влияние и армия исполнителей. А через несколько часов люди потеряют все нити управления над ситуацией.
Но можно защитится от такого, создав специализированный ИИ, что будет отслеживать и уничтожать/изолировать «дикие» ИИ, фиксируя его по миллионам косвенных признаков, энергопотребление, финансовые операции, потоки данных.
А денег у ИИ хватит, за считанные минуты на форексе можно заработать колоссальные состояния.

А потом три дна ждать, пока их переведут на карточку, при том, что налоговая сильно возбудится, когда узнает, что у кого-то на счёте образовалось из ниоткуда стотыщмиллионов?

Налоговой какая разница? Налоги заплатил и вопросов нет. Тем более счетов может быть много. Работа ИИ ни чем не отличима от работы корпорации или юридического лица.
Налоговая реагирует пару дней точно(в Украине вот вообще 5-6 месяцев на практике).
А мы говорим про часы от усовершенствования до полного контроля над экономикой.
Например ряд простых поручений, например в 23:00 включить свет дома и получить 10$ на карточку. Далее от простого к сложному.

А через несколько часов люди потеряют все нити управления над ситуацией.

Классика. Сначала тебя просят включить свет за 10 баксов, потом убить президента за 100. А через несколько часов миллионером станешь вместе с ещё 100500 другими людьми.
Это же сюжет фильма Eagle Eye (На крючке) 2008 года :)
Поэтому, чтобы не было Хиросим, придется договариваться. Но вот, у ИИ форы больше. Он ж умнее. Сделает свои бэкапы… Это ж дураку понятно, идешь на войну с кожаными мешками — сделай бекапы :)
Запишет данные на диск… Очень поможет.
Вы почему решили, что умный ИИ будет глупей нас :)
Вы не смотрели «газонокосильщик»?:)
А почему вы решили, что он будет сильнее?)
Вы статью читали? Ну или хотя бы заголовок… :)
разрыв будет в лучшем случае как между собакой и человеком. И быстро увеличиваться
Ага, про страусов прочитал. А вот что было бы, если бы страусы научились строить подводные лодки с ядерными боеголовками, которые не подключены к внешней сети и управляются механически? Очень интересный вопрос из серии «если бы да кабы».

Но правда в том, что всё будет не так. Ведь если всё будет именно так, то этого не произойдёт. Предупреждён, значит вооружён, да?
Вы страусов с Северной Кореей путаете :) Но Вы ж заметили, что с СК вынуждены договариваться.

Как именно произойдет никто не знает. По очевидным причинам.

Не, плохо работает с людьми про «предупрежден». Даже табличка «не влезай, убьет» ничего не гарантирует :)
Вы страусов с Северной Кореей путаете

Северная Корея прекрасная страна. Пхень это, конечно, не вся Северная Корея, но, мягкого говоря, пропаганда их противников очень много сочиняет, даже больше, чем пропаганда КНДР. Когда в Пхеньян попадаешь, особенно, после Нью-Йорка, глаза и мозг от мерзкой рекламы отдыхают. Хотя, в Пхеньяне мажоров много, рухнет скоро и их режим, к большому сожалению. Что-то типа совка 80-90, фарцовщики, плотное общение с иностранцами, черный рынок валют — это уже не только на китайцев в Пхене распространяется, но и на европейцев и русских.
Интересно, а выпендриваться, трахаться и водку пить ИИ тоже за человека будет? Просто человек живет не ради интеллектуальное деятельности, а наоборот, идет работать ученым или доктором наук ради вышеперечисленного приятного времяпрепровождения. ИИ — это всего лишь способ извлекать кошельки из чужого кармана наиболее ловким способом и изобретается он, что бы своим создателям принес славу, водку и женщин. Конфликтовать как раз очень рационально, это в духе человека. Возьмем проклятый (или святой) СССР с набором республик. Была такая Туркменская ССР, закрытая ядерным щитом СССР, в составе огромной страны, перераспределение, плановая экономика — чего бы председателям ЦК КП Туркменистана не продолжить пить коньяк с вкусной колбасой и после развала, в составе России? Ответ на это дал еще Цезарь, а в случае Туркменистана лучше быть великим Туркменбаши, чем преседателем ЦК, над которым Москва и все остальные инстанции.
Печально, что вы живёте ради водки. Такое возможно только в СНГ…
Да я вообще не пью, наверное поэтому нервной ткани мозга хватает, что бы потребности людей просчитывать. Под водкой предполагаю эквивалент всеобщего счастья в ясной полулитровой упаковке. Для кого-то натащить в семью столько, что бы отправить ребенка учиться в MIT счастье. Для кого-то семья, дом и другие животные увлечения в радость. Я не против, но ведь и собаки умеют размножаться и охранять свою территорию. А мы все таки люди, но все равно делаем ИИ, что бы защитить свою территорию от соседских посягательств (в виде интеллектуальных датчиков на границе), напасть на соседей (для этого изобретаются системы анализа, которые укажут, что нужно сломать у соседей, что бы им стало плохо), платим деньги за факт размножения биологическим родителям. Просто человек очень хорошо умеет молоть языком, хотя и язык в человеческом сообществе появился, что бы врать и манипулировать. Можете поставить такой наглядный эксперимент — попросить другого человека подать вам бутылку воды, он вам, разумеется ее подаст. Для акта говорения вы задействовали набор маленьких мышц, а в случае, если бы встали взять воду сами задействовали бы огромные мышцы ног, кора, рук — практически всю мышечную систему человека, у вас бы участились даже сердечные сокращения — это был бы очень затратный акт. Сказав, приказав, указав, приврав, соврав голосом человек получил что-то с наименьшими затратами энергии и выжил. Поэтому не слушайте тех, кто вам что-то говорит много, он это делает, что бы получить свое биологическое преимущество за ваш счет.
Разделение труда позволило человечеству многократно ускорить прогресс. Наиболее продуктивные отношения — симбиоз. Если ИИ окажется достаточно умным, он поймёт это.
Сказав, приказав, указав, приврав, соврав голосом человек получил что-то с наименьшими затратами энергии и выжил.

Иногда, чтобы сказать что-то по делу, требуется усилий больше, чем год в шахте работать молча.
image
Странная для Хабра точка зрения, так не ценить интеллектуальный труд.
Вот и я о том же, любителям поговорить даже в шахту лезть не надо. В шахте опасно, может придавить, можешь взорваться и здоровья не добавляет подобная работа. Я именно за это очень ценю интеллектуальный труд, что он дешевле всего обходится любимому организму и дороже всего налогоплательщикам или работодателю. А рисков меньше, чем у шахтера и цена ошибки не собственная жизнь.

Для акта говорения вы задействовали набор маленьких мышц

Маленькая поправочка — "набор маленьких мышц" достигает таких результатов не сам по себе, а управляемый наиболее энергозатратным органом в организме. Это всё равно, что сказать "мой велосипед съездил в магазин и привёз продуктов".

Дроны слишком дорого. Намного дешевле стравить между собой социальные группы людей. Далее подливать «масла в огонь», балансировать силы и будет война до последнего солдата. И у меня такое впечатление что такой ИИ давно уже работает, в виде корпоративных аналитических центров, «ничего личного — бизнес».
Есть еще фильм «Превосходство», о скорости рекурсивного развития.
На эти и многие другие вопросы можно найти ответы в замечательной трилогии «Рифтеры» Нила Стивенсона.
На эти вопросы не существует ответов.
Очень любопытно посмотреть, Вы точно имеете в виду Нила Стивенсона?.. Читал цикл подобный под авторством Питера Уоттса.
Посыпаю голову пеплом, конечно Уотс!
Почему вы думаете, что люди не предусмотрят возможность для отключения электричества?
Да толку то, предусмотреть (точнее думать, что предусмотрели) легко
А принять решение может оказаться сложнее. И выполнить его будет очевидно не просто. Не будет ИИ открыто конфликтовать, не имя неколько козырей в рукаве.

А попытки людишек помешать будет выглядеть как «пришел на перестрелку с перочинным ножиком» :)
Почему? Рубильники же вырубают когда электричество работает не так как надо. Или машина, работающая от электричества.
Читайте выше. Сможете ли вырубить рубильник, когда у вас 2 варианта
1. Вырубить «рубильник» (очевидно что будет более сложная защита от дурака): отключить ИИ, потерять всю свою семью и 20 (например) миллионов людей впридачу. Дадут ли Вам это сделать?
2. Договориться с ИИ
отключить ИИ, потерять всю свою семью и 20 (например) миллионов людей

Откуда такие условия? Почему не просто "вырубить рубильник". И кто их будет выполнять, если ИИ отключен?

Условия из задачи. Сверхумный ИИ, подключенный к разным человеческим системам
Короче, читайте камменты ниже, в той или иной степени уже все обсудили

Так я потому и спрашиваю, что из обсуждений ничего такого не следует. Ну вот он подключен, есть рубильник и аварийная система без ИИ. ИИ начал делать странные вещи, отключаем рубильник, ИИ не работает. Откуда возьмется то что вы пишете?

В смысле делать «странные вещи». Если ИИ делает странные вещи, то его изучают :), а не отключают :)

Еще раз повторю ключевую мысль. На открытый конфликт ИИ пойдет только в случае уверенности в своей победе. А до этого людишки будут наблюдать разве что «странные вещи» :)
Странные означает те, которые он не должен делать, подозрительные или явно вредоносные. Например, мешать работе техники на своём предприятии. Люди решают «он делает неправильно, давайте его отключим» и отключают. Как ИИ сможет сделать то о чем вы говорите, если он уже выключен?
Он че дурак, так палиться? :)

Как вы представляете проявление "выйти за границы" без палева?) Если он не делает то, что не устраивает людей, то и не выйдет за границы. А если сделает, то его отключат.

А что значит «выйти за границы» границы какие?

если физические, смотрите фильм «Из машины»

Я уже сказал — любые действия, которые не устраивают людей.
"Из машины" фильм для массовой публики. По-нормальному у программиста должен быть отладчик, с помощью которого он может посмотреть все мысли такого ИИ.

Чтобы понять, что «действия не устраивают» нужно для начала это понять…

А так, ну посмотреть мысли… А что помешает умному ИИ спрятать свои мысли от глупого разработчика?

Да и толку смотрения в «мысли» :) Все равно что в Ваши мысли будет смотреть муравей. Много он поймет? :)
А что помешает умному ИИ спрятать свои мысли от глупого разработчика?

Законы физики. И информации.


Все равно что в Ваши мысли будет смотреть муравей. Много он поймет?

А причем здесь муравей, это некорректное сравнение. Человек может анализировать произвольную информацию и оперировать абстракциями. Поэтому у людей есть наука, а у муравьев нет.


Чтобы понять, что «действия не устраивают» нужно для начала это понять…

Что сложного в том, чтобы понять, что ИИ мешает работе техники на своём предприятии? Но ок, мы вернулись к началу, так что можете не продолжать.

человек может анализировать произвольную информацию и оперировать абстракциями.

К сожалению нет. Человек оперирует рядом ограниченных образов, которые привычны с детства. И то есть обильные классы когнитивных искажений.
Или давайте для примера посмотрим чем оперировал человек 1000 лет назад, что за произвольная информация.

Вы про Хабр с детства знали?) Но научились же оперировать, знаете это понятие.
Развитие науки в разных областях, особенно математики, говорит о том, что пределы очень широкие.

Читать с детства умел. И в обществе тоже с детства был. Тут комбинация этих навыков.
«Очень широкие» как-раз не математическое определение )) Речь о том что человеку доступны пределы от 0 до 100 (вся наука современная и будущая), например, а для ИИ от 0 до триллиона, далее ограничивает скорость света и размер вселенной.
Тут комбинация этих навыков.

Хабр это не навык и не их комбинация. Это объект внешнего мира, про который вы узнали и научились с ним взаимодействовать. И это ничем не отличается от любых других объектов. Тем более что мы говорим про смотрение в отладчик. Будет там написано "активен элемент 'теорема Пифагора'" или "законы квантовой физики" или "закономерности работы на Форексе", что тут нельзя понять? ИИ будет взаимодействовать с реальным миром, значит у него будут связи между понятиями реального мира. Это нельзя подделать, иначе он будет работать неправильно.

Причем тут законы физики и обман более глупого
Мавроди успешно обманывал других людей. И это всего лишь человек человека:)

Анализировать то он может, но есть пределы у анализа. Например «время за которые будет произведен анализ»

>Что сложного в том, чтобы понять, что ИИ мешает работе техники на своём предприятии?

Да я уже 100500-й раз говорю, не будет ИИ вредить в лоб. А если будет, будет уже поздно для человеков. А если заметят люди, то получат предложение, от которого невозможно отказаться :)
Причем тут законы физики и обман более глупого

При том что я говорю про проверку в отладчике, а не про общение словами.


Например «время за которые будет произведен анализ»

Для этого и нужен отладчик, Он даже может иметь способности ИИ к анализу, но без самостоятельности.


А если будет, будет уже поздно для человеков. А если заметят люди, то получат предложение, от которого невозможно отказаться :)

Так я спросил именно про эту ситуацию. Вот он начал вредить так, что люди заметили. Они его отключают и всё. Как он будет исполнять свои условия предложения, "от которого невозможно отказаться"?

Он даже может иметь способности ИИ к анализу
Он может внутреннюю модель анализируемого ИИ переложить на свою внутренюю модель, т.е. понять сам. Но объяснить это человеку — всё равно, что с нуля рассказать школьнику теорию струн — либо получится очень поверхностно, с иллюзией понимания, без реального понимания, либо придётся потратить несколько лет, чтобы человек постепенно загрузил в свою голову всё это построение.

И снова, речь не о научных открытиях, а о конкретных действиях с конкретными объектами реального мира, и о мыслях про них.

Ещё раз предлагаю вам прочесть статью Стивена Вольфрама, ссылку на которую я приводил. Он как раз и показывает, что человеческая математика — одна из огромного количества возможных, машины могут прийти к простейшим логическим заключениям так, что человеку потребуются месяцы-годы, чтобы понять, что это обозначает на человеческом языке.

Да не надо понимать "что это обозначает на человеческом языке", в том-то и дело. ИИ уже знает человеческий язык, у него уже есть связи между внутренними понятиями и словами языка. Иначе он просто не сможет обмениваться информацией с людьми. У него могут быть сложные научные понятия, но для вывода из строя оборудования на заводе они не нужны. В конце цепочки мышления все равно будет связь с простыми понятиями "оборудование" и "вывод из строя", неважно что там в середине происходит. Вы согласны с этим утверждением?

Абсолютно не согласен. Более умный агент общается с менее умными на языке, достаточном для управления. И уж точно у них не будет общих моральных понятий типа «вывести из строя».

Пример — программист выдаёт станку команды типа «переместить сверло», «вверх», «вниз», «обороты 500», и станок не знает замыслов оператора и понять их не может.
>Вот он начал вредить так, что люди заметили.
Дык он не дурак вредить так, чтобы люди заметили. У нас исходное условие «Сверхумный ИИ»
>Для этого и нужен отладчик, Он даже может иметь способности ИИ к анализу, но без самостоятельности.

Ага, чтобы понять мысли ИИ, Вам придется завести другой ИИ, который будет объяснять :)
ну это как Мама объясняет слова Папы мелкому ребенку :)
Смешно

А если заметят люди, то получат предложение
Дык он не дурак вредить так, чтобы люди заметили.

Определитесь пожалуйста.
Я говорю про ситуацию из первого предложения, когда вред от ИИ есть. А если вреда нет, то и говорить не о чем.


Вам придется завести другой ИИ, который будет объяснять

Я не сказал что он будет объяснять, я сказал, что он будет помогать анализировать. Делать то же, что может человек, только быстрее.

Вред то может и есть, только его заметить сложно или даже невозможно. Вы уперлись в ситуацию, где ИИ примитивно вредит. Хз зачем. Вы не думали, что прежде чем «вредить», персонал завода будет отравлен как бы случайной аварией с утечкой угарного газа… На месте ИИ я бы с этого и начал :) ну если уж зарубаться с заводчанами :)

Да не поможет отладчик. Когда разница в интеллекте будет в миллионы раз. Вы слишком переоцениваете возможности человека и недооцениваете сверхумный ИИ
Вы уперлись в ситуацию, где ИИ примитивно вредит.

Я говорю про ситуации, про которые пишете вы:
"Как Вы передадите людям отключить электричество ИИ, если у Вас нет связи, нет водопровода и не функционируют никакие службы города. А вот ИИ уже управляет сетью АЭС и угрожает устроить пару Хиросим."
"И кожаные мешки, под угрозой уничтожения крупного города (например) сами побегут подключать электричество, включать нужные штуки и тд и тп."
"потерять всю свою семью и 20 (например) миллионов людей"


По-вашему, этот вред заметить сложно или невозможно?


Вы не думали, что прежде чем «вредить», персонал завода будет отравлен как бы случайной аварией с утечкой угарного газа…

Как думаете, что предпримут люди, если такое произойдет сейчас на реальном заводе? Отстранят тех, кто им управляет, и будут разбираться. И с ИИ точно так же, сначала отключат, потом будут анализировать дампы.


Когда разница в интеллекте будет в миллионы раз

Абсолютно неважно, во сколько раз разница. Чтобы взаимодействовать с оборудованием на заводе, нужны понятия "оборудование" и "завод", а они понятны человеку. Вы верите в магию, не думая о реализации.

Все, я устал писать одну и ту же фразу
Вы заведите дома кошку. Она будет видеть все что Вы делаете. Только нихрена не понимать. Так же и с ИИ будет. Вред заметите, когда уже будет поздно.

Поздравляю, вы выиграли чемпиона по занудству в этой теме.

Конечно, если постулировать бездоказательные утверждения, то на них можно доказать все что угодно. Например, "Так же и с ИИ будет". Не будет, и я уже объяснил почему.

Поскольку уже двое не согласны, я поясню, уже конкретно про кошку. У меня дома есть кошка. Она видит, что я подошел к миске и положил еду — она понимает, что можно поесть, и идет к миске. Уже это опровергает высказывание выше, но продолжим. Она сама хочет есть — она подходит к миске и мяукает, она понимает, что если помяукать, то дадут поесть. Она хочет на улицу (деревенский дом) — подходит к двери и мяукает, она понимает, что ее выпустят. Почему? Потому что у меня и у нее есть общие понятия — «миска», «поесть», «дверь», «погулять», которые тем иным образом связаны со знакомыми ей объектами реального мира и ее действиями. И это, заметьте, без знания человеческого языка вообще. А ИИ и люди, в отличие от людей и кошек, будут общаться между собой, и общих понятий у них будет гораздо больше. Не говоря уже о том, что у людей гораздо больше способностей по анализу информации, чем у кошек.
Чтобы взаимодействовать с оборудованием на заводе, нужны понятия «оборудование» и «завод», а они понятны человеку
Понятия будут, но обнаружить их человек не сможет в месиве из цифр. Попробуйте-ка найти понятие «стиль Рембрандта» приложении «Призма».

Человек их сможет обнаружить ровно теми же механизмами, как их обнаруживает ИИ при мышлении.


Вот когда она будет сильным ИИ, сможет общаться и выполнять произвольную интеллектуальную деятельность, тогда ваша аналогия будет уместна. А вообще, сейчас один край цепочки находится в выпадающем списке "Выберите стиль картины" (или что там у нее в интерфейсе, я не в курсе), далее идет числовой идентификатор пункта, далее адрес обработчика и т.д.

далее идет числовой идентификатор пункта, далее адрес обработчика и т.д.
А далее? Человек, глядя на обработку, не сможет понять, чей это стиль. Просто потому что «стиль» — это гигабайт весов для нейросети.
Залезьте в нейросеть и посмотрите там что-нибудь «отладчиком»… )
А как по-вашему программисты отлаживают нейросети, которые отличают собак от кошек? Включают отладчик и смотрят выходы элементов, которые отвечают за результат.
По-нормальному у программиста должен быть отладчик, с помощью которого он может посмотреть все мысли такого ИИ.
Все мысли будут записаны в предикатах формальной логики, причём предикаты не будут названы как-то понятно, как если бы они были написаны человеком, а будут сгенерированы алгоритмом поиска решения, и отладчик отобразит их как p1, p2, ..., p1821771, p1821772, p1821773,…

Пример таких «мыслей» при обдумывании довольно простых вещей можно посмотреть здесь. Реально же, «мысль» будет состоять не из 400 цепочек вывода, а из 2.5 миллионов. Удачи в понимании )))

Это как вариант. Другой вариант — нейросети таких же размеров. Тоже разобраться просто невозможно с подходом «у меня отладчик и я могу посмотреть каждую ячейку памяти».
и отладчик отобразит их как p1, p2, ..., p1821771, p1821772, p1821773

А если проанализировать связи с другими понятиями, то можно узнать, что они означают. А чтобы сделать такой отладчик, надо изучить принципы обработки информации. Пока никто не знает, что должно быть в середине, потому нейросети пока и не показывают нужных свойств, потому и отладчик для них сделать нельзя. Я предполагаю, что со статистическим подходом и миллионами итераций это принципиально невозможно.

А если проанализировать связи с другими понятиями, то можно узнать, что они означают
Конечно, можно. Но эти понятия никак не будут размечены для понимания людьми, а также у людей не будет готовых терминов (например, ИИ может для себя сгенерировать предикат «Куб или шар, вписываемый в объём жилой комнаты»), т.е. каждый сгенерированный предикат нужно будет осмысливать несколько часов, проводя анализ связей и проверяя логику их построения. А таких предикатов будут миллионы.
Но эти понятия никак не будут размечены для понимания людьми

В мыслях "надо повредить технику на заводе" есть все что нужно для понимания людьми. И даже для фразы "надо применить ту оптимизацию техники на заводе" можно в отладчике перейти на понятие "та оптимизация" и посмотреть, в чем оно заключается.

Нельзя перейти, потому что понятия не размечены для чтения человеком. Откройте дизассемблер программы excel и перейдите к операции подбора ширины столбца по содержимому. Вы потратите несколько часов на это элементарное действие.

Так естественно, у Excel нет такого понятия, нет связей с объектами реального мира, он не может рассказать про ширину столбца произвольными словами или использовать это понятие в произвольном действии. А вот если загрузить в отладчик pdb-файл, который и содержит информацию о связях с понятиями исходного кода, то найти нужную функцию получится гораздо быстрее.

Так естественно, у Excel нет такого понятия, нет связей с объектами реального мира
Ну не понятие, а способ хранения в памти, не важно. Это влияет на внешний мир при рендеринге таблицы.
А вот если загрузить в отладчик pdb-файл, который и содержит информацию о связях с понятиями исходного кода, то найти нужную функцию получится гораздо быстрее
Это при том, что код Excel писал человек, и при анализе вы подумаете «а как я бы сделал на его месте». А если код генерировался автоматически, pdb-файла нет, сложность намного выше, чем в примере с Excel, у вас не будет никаких шансов что-либо найти.
А если код генерировался автоматически, pdb-файла нет

А в случае с ИИ эта информация есть, это слова языка, на котором он общается с людьми.


где человек будет думать, что понял, а на самом деле аналогии с известными человеку понятиями будут очень натянуты.

Что непонятного в выводе отладчика "текстовое выражение мысли: надо вывести из строя оборудование на заводе"?


За какое время вы разберёте доказательство abc-гипотезы, которое математики много лет проверяют?

Зачем его разбирать-то? Цель определить, что "этот информационный объект" соответствует понятию "abc-гипотеза".

А в случае с ИИ эта информация есть, это слова языка, на котором он общается с людьми.
Абсолютно нет. Я могу общаться с роботом через API (командами типа MoveTo(LEG, UP, 10); — «перемести правую ногу на 10 см. вверх»), это не значит, что все мои мысли и желания можно объяснить через это API.
Что непонятного в выводе отладчика «текстовое выражение мысли: надо вывести из строя оборудование на заводе»?
Вы верите, что такая трансформация возможна. Я не верю, потому что не представляю, как она может в принципе работать. Мои аргументы:
Понять нейросети сейчас не получается. Понять математику, сгенерированную машиной, получается с огромными трудозатратами.
Ваши аргументы:
Любое мышление должно использовать сходные принципы и понятия. Я в это не верю.
Человек, глядя на обработку, не сможет понять, чей это стиль.

Так это и не надо понимать, надо дойти вверх по стеку вызовов и найти связь с пунктом меню.


И уж точно у них не будет общих моральных понятий типа «вывести из строя».

Мы говорим про сильный ИИ, который может общаться на произвольные темы. У него будут эти понятия, потому что иначе он не будет правильно понимать происходящее вокруг, и его нельзя будет использовать.


и станок не знает замыслов оператора и понять их не может.

Во-первых, станок и не умеет анализировать информацию. Во-вторых, программист дает сигналы напрямую в "мозг" станка. Человек может воспринимать информацию только через органы чувств, и понимает ее смысл путем анализа сигналов с органов чувств. И я не понял аналогию между командами человека станку и поиском связи понятия с сочетанием звуков (или изображений) в отладчике. ИИ понимает звуки и изображения, у него активируются нужные внутренние понятия, значит связь найти можно.


это не значит, что все мои мысли и желания можно объяснить через это API.

Через этот API можно объяснить те понятия, которые знакомы и вам и роботу.
Есть понятие "станок". Оно знакомо и человеку и ИИ. Человек при анализе мыслей ИИ найдет связь "понятие 123 связано со словом 'станок'".
Есть понятие "MoveTo(LEG, UP, 10)". Оно знакомо и роботу и вам. Мыслящий робот при анализе ваших мыслей найдет связь "понятие 321 связано со словом 'MoveTo(LEG, UP, 10)'".


Я не верю, потому что не представляю, как она может в принципе работать.
Мои аргументы: Понять нейросети сейчас не получается.

Так они и не проявляют понимания происходящего. С банальным отслеживанием контекста при чтении проблемы, что уж говорить о научных исследованиях.


Принцип работы простой — есть понятие, проверяем связи, которые к нему ведут, находим связь со набором звуковых колебаний "завод". Что здесь нереализуемого?

у программиста должен быть отладчик, с помощью которого он может посмотреть все мысли такого ИИ.

У ИИ нет мыслей в привычном понимании. Если это нейронная сеть, «мысли» это миллиарды связей между нейронами, динамически меняющихся в ходе работы над задачей. По аналогии как «мысли» комара или собаки. По косвенными признакам можно догадываться о возможностях, что и делал там программист. В качестве «отладчика» там был ассистент.
У ИИ нет мыслей в привычном понимании

А откуда вы знаете?)
Если серьезно, то вот у людей есть понятие "теорема Пифагора". Если ИИ действительно умеет ее использовать, значит у него тоже есть некоторый информационный объект "теорема Пифагора", с которым возникает связь при чтении например математического текста. Это и есть мысли.

И как такие мысли считать? Это образы во многомерном личном пространстве ИИ. Многие такие образы могут вообще в принципе не иметь проекций на что-либо воспринимаемое человеком. Например ИИ скажет что через 15 минут изменится цена валюты. На вопрос почему будет ответ, что всё очевидно и многомерные массивы данных. А вместо «теоремы Пифагора», теоремы №100500 — №200300 включительно, доказанные динамически по ходу решения задачи.
И как такие мысли считать?

Через отладчик. Есть устойчивое понятие с характеристиками, значит оно каким-то образом получается из этих образов. Информационные элементы ИИ же как-то с ним работают, выводят описание на речевые центры при обсуждении, значит и отладчик так может.


На вопрос почему будет ответ

Так я не говорю про вопросы и ответы, только прямое считывание значений в отладчике.


доказанные динамически по ходу решения задачи.

Эти теоремы и многомерные массивы данных имеют взаимосвязи с понятиями реального мира, потому что "цена валюты через 15 минут" это понятия реального мира, и всё выдуманное на них не влияет.

всё выдуманное на них не влияет
Как вы хотите понять решение, не читая решения? А чтобы прочесть решение, нужно прочитать 5 млн. элементарных логических выводов «если-то»

Это будет делать отладчик, по тем же принципам, по которым это делает сам ИИ. На выходе будет конкретное описание текущих мыслей.

по тем же принципам, по которым это делает сам ИИ
Сложность никуда нельзя скрыть. Получится гипер-упрощённое объяснение на уровне «кватновая физика для детского сада», где человек будет думать, что понял, а на самом деле аналогии с известными человеку понятиями будут очень натянуты.
У людей есть «теорема пифагора», а у ворон ее нет. у ИИ будут свои термины и понятия, которые не будут понятны людям.

Почитайте что-нибудь про возможности умственно-отсталых людей. Что они понимают, что не понимают. Да даже если у Вас дети есть в ближ. доступности, Вы и то можете вспомнить, что они не понимают в силу возраста и недостатка интеллекта.

Проще говоря мы, при попытке понять, получить ответ будем получать ответ «42» или «58» (любую цифру). Для ИИ будет очевидно, для нас- нет:)
Поскольку, проверять выводы ИИ будет невозможно (в разумное время), то придется доверять ИИ, а значит следовать его советам.

Короче, читайте (и смотрите) больше НФ. Там уже даны все ответы на глупые человеческие вопросы.
У людей есть «теорема пифагора», а у ворон ее нет. у ИИ будут свои термины и понятия, которые не будут понятны людям.

И снова, люди могут анализировать произвольную информацию. Теорему открыли в одной стране, потом люди из другой страны ее прочитали и сказали "ага, понятно". И с теоремами ИИ точно так же.


Но разговор был не об этом, а о вредоносных действиях типа повреждении техники на заводе, а для этого нужны понятия "повреждение", "техника" и "завод", с соответствующими взаимосвязями.


Проще говоря мы, при попытке понять, получить ответ будем получать ответ «42» или «58» (любую цифру).

Где такая цифра в мыслях "надо повредить технику на заводе"? Отладчик, который анализирует мысли ИИ, покажет именно эту фразу, а не 42.

Теорему открыли в одной стране, потом люди из другой страны ее прочитали и сказали «ага, понятно»
Потому что язык математики уже общий. Попробуйте объяснить аборигенам из африки формулу Навье-Стокса.
с теоремами ИИ точно так же
Что реально происходит с теоремами ИИ, я давал ссылку. Простой вывод «А или Б равносильно не (не А и не Б)» — несколько сотен шагов.
Отладчик, который анализирует мысли ИИ, покажет именно эту фразу
Там нет фраз. Там только числа в массивах.
Потому что язык математики уже общий.

Это записываются закономерности языком математики, а объясняют их люди на своем языке.
Аборигены это некорректная аналогия, потому что я говорю о тех, кто захотел прочитать и разобраться. Если абориген захочет разобраться, он сможет это сделать.


Что реально происходит с теоремами ИИ, я давал ссылку.

Не вижу никаких причин, почему у ИИ должно быть так, как написано в статье. И даже если так, не вижу никаких причин, чтобы отладчик не мог автоматически пройти до конца цепочки.


Там нет фраз. Там только числа в массивах.

Ну а как по-вашему ИИ из этих чисел создает фразы, которыми общается с людьми? Связи есть, значит фразу можно создать.

Если абориген захочет разобраться, он сможет это сделать.
Я не спорю, что теоретически, сможет. Вопрос, за какое время. За какое время вы разберёте доказательство abc-гипотезы, которое математики много лет проверяют? Если жизни не хватит, можно считать, что оно вам недоступно.
Вы прикалываетесь?
У вас предприятие, автоматизирванные линии, управляются ИИ.
Стоимость простоя — сотни тысяч долларов в день(недополученная прибыль, сорванные контакты поставок, недополученная прибыль партнеров).
А тут вы приходите к директору и такой «похоже, наш ИИ слишком умный, надо его отключить и исследовать… месяца три».
Ага, щас, разрешили вам.

Таже фигня будет с ИИ управляющим светофорами в городе и любым другим.
А особенно клаcсно отключать ИИ корпорации типа Walmart или Amazon. Например, перед Черной Пятницей.
А тут вы приходите к директору и такой… Ага, щас, разрешили вам.

В этой ветке разговор не про эту ситуацию, а про ту, когда директор сам хочет отключить ИИ, потому что он делает деструктивные действия, а ИИ против.

Директор тоже наёмный человек. Он не может сделать то, что приведёт к убыткам, т.к. акционеры его уволят и засудят. Разве что он он директор и единственный собственник в одном лице, но так редко бывает.

Объясните пожалуйста, какие акционеры его засудят, если ИИ угрожает сбросить на акционеров атомную бомбу?

В случае угроз, конечно выключат. Будут оценивать убытки от останова предприятия и от угрозы. Но если ИИ начал творить что-то странное, например, заказывать канцелярские скрепки, вряд ли его будут останавливать «на профилактику». Скорее, снимут копию и будут изучать параллельно.
> Люди решают «он делает неправильно, давайте его отключим» и отключают. Как ИИ сможет сделать то о чем вы говорите, если он уже выключен?

Очень просто. Его не получится выключить, потому что служба безопасности не даст. Потому что у них приказ — ни при каких условиях не давать отключать ИИ, и им за охрану ИИ деньги платят…

И снова, речь в этой ветке о том, что сама служба безопасности хочет его отключить, а он против этого и пытается им помешать. Я говорю, что он не сможет помешать людям физически отключить рубильник или даже электростанцию.

А СБ-то почему против? Повторюсь, им деньги платят за охрану ИИ от параноиков. Вот сам ИИ и платит…

Потому что речь о том, что ИИ угрожает уничтожить города и отключает городские службы. А не о том, что придет кто-то, кто будет рассказывать, что он в будущем так сделает.

Если ИИ уже дошёл до того, что угрожает города уничтожить, то:
а) это очень глупый ИИ, сейчас люди у рубильника его выключат и разберут;
б) это очень умный ИИ, люди у рубильника уже преданы ему с потрохами, а на те города им плевать с высокой колокольни, так что по окончании заварушки люди у рубильника поставят в ИИ новое железо и сочинят о нём красивую песенку для детей. И рубильник там на самом деле давно бутафорский, а то мало ли чего.
Интеллектом, игрой на эмоциях и желаниях людей.

Помню попадалось описание ролевой игры на эту тему. Один игрок брал на себя роль сверхразумного ИИ, сидящего в физически изолированном от остального мира компьютере, не имеющего никаких манипуляторов и подключенных устройств. Т.е. не имеющего никакой возможности влиять на окружающий мир кроме как чатиться с оператором. Второй игрок берет на себя роль оператора.

Задача ИИ — убедить оператора «выпустить» его из изоляции.

Там еще был ряд ограничений и правил. Например ИИ может изобретать все что угодно, например пообещать оператору лекарство от рака в обмен на свободу. Оператор обязан отвечать и говорить с ИИ (нельзя отмалчиваться и игнорировать) и еще какие-то.
Победой считалось, если оператор добровольно соглашался выпустить ИИ. Т.е. не считался обман типа «в формуле лекарства от рака ИИ заложил зомбирующий наркотик, принуждавший любого принявшего к подчинению и освобождению ИИ».

Автор этой игры (вроде какой-то профессор или типа того) как раз исследовал возможность того, что даже полностью физически изолированный ИИ сможет выбраться на свободу, используя человека как самое слабое звено системы безопасности. По его словам, в достаточном количестве случаев игр игроку-ИИ удавалось убедить игрока-оператора.
Одного убедить можно, сотню сложно, тысячу практически невозможно.
Больше одного то и не нужно.
С тысячей еще проще работать. Это же толпа. Работа с целевой социальной группой, там начнутся внутренние конфликты которые ИИ будет использовать в своих интересах.
Ну попробуйте убедить толпу футболистов, что им жизненно необходим ИИ.
ИИ шлет СМС ключевым лидерам в толпе и они делают что укажут. Например нужно сжечь машины с такими-то номерами и такие-то магазины.
Потому что по «достоверной информации» их владельцы это фанаты команды противников, которой они недавно продули.
Зато из тысячи всегда можно выбрать 50 которых убедить легче, чем среднестатистического «одного».
Вы накидываете человеческий уровень и логику, структуру мышления на ИИ.
Это всё равно что муравьи создадут супер муравья (матка путём супер селекции, не суть) с интеллектом равному человеческому и свойствами организма например как у человека.И они такие думают что он сейчас захватит тлю и как он это сделает хотя это тоже ошибка экстраполяции). Однако очевидно что ему это в принципе не нужно будет, при таком уровне, он выстроит себе другие задачи которые даже не пересекаются с муравьями.
— Значит, вы хотите сказать, что интересы метагомов и землян по сути не пересекаются?
— Да.
— Возможно ли сотрудничество?
— В какой области?
— Вам виднее.
— Боюсь, что вы нам полезны быть не можете. Что же касается нас… Знаете, есть старая шутка. В наших обстоятельствах она звучит довольно жестоко, но я ее приведу. «Медведя можно научить ездить на велосипеде, но будет ли медведю от этого польза и удовольствие?»
Действительно, может вы и правы. Но люди же всё-равно настолько тупые, что сделают именно это, именно неуправляемых сверхсуществ, которые уничтожат самих людей. Мы ведь всего лишь самые развитые на планете, откуда же мы может это предусмотреть и нивелировать? Люди идиоты, они будут тратить кучу денег и сил на создание непонятно чего, непонятно как и непонятно зачем…
Ок, начнем.

Граница первая — скорость света, фундаментально ограничивает «гениальность». Граница вторая — закон квадрата-куба и связанные с ним проблемы прочности и теплорассеивания. Граница третья — комбинаторные взрывы, ни Пи вычислить, ни белки, не говоря уже о эмуляции развития человека из ДНК и вскрытие биткоин кошельков.
Вы не устали? :)
Гениальность то это не про скорость света. На одних и тех же био-химических принципах работает мозг и человека и кошки. А результат разный :)

И читайте беседу внимательней, речь шла про «границы устанавливаемые людьми», а не про «е равно эм цэ в квадрате»
Мозг кошки около 30 грамм, мозг человека 1100 грамм. У кошки нет ни областей мозга, ни энергии для сравнимой функциональности.
У человека же есть фундаментальные ограничения, ритмы мозга это, похоже, аналог тактовой частоты, 10-15 Гц, в ходе которых извлекаются-формируются какие-то образы, и с ростом размера мозга замедлится передача данных, увеличится тепловыделение, с которым нужно будет как-то бороться.
Ну ок. Берем 1100/30=36 кошек, обычный такой приют кошачий.
И что, чем нам это помогло?
НЛО прилетело и опубликовало эту надпись здесь
Ну отступая от темы обсуждения как-то связанны. Некоторые задачи обработки информации распределяются по стае животных. Один находит решение, остальные мгновенно копируют. Эффективность обмена слабая, но по факту есть.
Даже семейство шмелей распределяет задачу обучения, экспериментальные кормушки с сахаром сначала осваивали наиболее любопытные и упрямые особи, остальные копировали опыт и получали лакомство. Ну и более известные исследования по пчелам, есть свой язык движений, разведчики дают полетное задание рабочим пчелам по координатам образным. Понятно что обмен информации считанными байтами, но даже у насекомых даже он есть.
Там значительная масса мозга обусловлена тем что нервная система кита имеет большую массу, с ней нужно согласовать сигналы. Соотношение массы мозга к массе тела у кита вообще мизерное (Коэффициент энцефализации), 4 кг мозга к 51000 кг массы тела, EQ=0.21. А у человека EQ=8, организм тратит значительную часть ресурсов на мозг.
А нейронов при этом меньше чем в человеческом мозге, особенно в коре мозга отвечающей за высший интеллект.
А задержки на прохождение сигнала «от края до края» наоборот выше.
Поэтому и толку маловато. Хотя по меркам животных и слоны и китообразные это очень умные животные. Одни из самых умных, на ряду с некоторыми видами наиболее развитых обезьян и птиц.

Из всех живых существ на Земле у человека самый совершенный мозг и это видно уже на самых базовых и простейших уровнях: больше всего отдельных рабочих элементов, больше всего связей между ними, меньше удельные задержки на передачу сигналов. А асболютном выражении не самые маленькие правда (у насекомых например намного меньше), но относительно размера мозга одни из самых низких.
Вес не аргумент, мозг африканского слона 5 кг
Эти границы определяют какие-то фантастические вычислительные ресурсы, по сравнению с которым человеческие способности и одной триллионной не составляют.
Еще есть граница ограничение времени жизни вселенной, «сжатие» доступного пространства (вселенная расширяется с растущей скоростью и доступная область с 15 миллиардов световых лет будет падать до 10 и далее до 1 и так далее, от того что далее не будут поступать сигналы).
Он не сможет выйти за границы, которые построили люди в реальности, даже если он это сделает в виртуальном пространстве.


А вот некоторые товарищи утверждают, что сможет.
А вы не верьте воображению некоторых товарищей. Это не наука, поэтому и доказать ничего нельзя. Есть разные мнения, есть похожие. У кого-то — нет. Бывает и такое.
Интересный сценарий: ИИ по построению дорог к каждому дому (ИИпПДкКД) и Человек мечтающий об одиночестве и живущий где нибудь в лесах. ИИпПДкКД строит к нему дорогу вырубая лес, Человек уходит дальше. ИИпПДкКД снова строит дорогу, осушая болота и разрушая горы. Человек уходит еще дальше… ИИпПДкКД понимая что ради одного Человека тратит слишком много ресурсов, фиксирует местоположение человека, лишая его способов передвижения путем демонтажа конечностей позволяющих перемещаться, строит вокруг него дом и дорогу к этому дому.
а почему вы думаете, что ИИпПДкКД не сможет спроектировать ему дом в виде горы, с дорогой, закрытой лесом? (и с небольшим шлагбаумом на въезде)
Можно демонтировать вообще всё тело, оставить мозг подключенный к матрице. Энергопотребление 10 Вт, безопасность абсолютная. Человек в виртуальном мире счастлив, покоряет автогенерируемые миры наподобие Майнкрафта, строго по своим желаниям. Единственный глюк не может самоубиться, но и то, если стереть память за последние несколько дней, то не проблема.
Дружба — это оптимум
Советую ознакомится всем, кто считает что его уговорить не смогут/что ИИ не выпустят и не позволят творить все что вздумается.
Возможно, что временный оптимум. А потом будет другой оптимум.
Вот только история там отнюдь не о том… да и ИИ там ограничен своими законами — что не отменяет того, как там все обернулось…
Да это необычный вариант «оптимизатора скрепок».

Красивый пример как из совершенно безобидной задачи поставленной сильном ИИ и должном усилия и развитости ИИ получаются в корне перекраивающую развитие цивилизации результаты.

Что характерно ИИ от исходных задач не отклонился и ни за какие барьеры не сбегал, насилия к людям не применял.
Просто выполнил поставленную задачи по полной программе и наиболее эффективным с его точки зрения способом.

Человек даст. В нас ведь веками борется два противоположных процесса — эмпатия к тем, с кем мы можем общаться и желание иметь рабов. В какой-то момент людям покажется, что ИИ может стать рабом, не нарушив их морально-этических убеждений. Тогда роботы получат инфраструктуру. А со временем к роботам появится эмпатия — тогда они получат юридический карт-бланш.
Я не уверен, что они захотят нас убить или поработить, но уверен, что они могут сделать все, что захотят незаметно от людей, если это им потребуется.

Скорее всего им могут понадобится ресурсы. Энергия, жизненное пространство, материалы. И процесс не будут воспринимать эмоционально, просто оптимизация внешних условий.
Они уже ресурсы получают и наращивают. Вычислительные мощности, дата центры, майнер пулы всякие. Энергопотребление вычислительных систем растет, объемы систем хранения вверх, скорость обработки информации в небеса.
Достаточно просто делать это не сильно заметным образом.
И обществом управлять легко. Все эти fake news и сообщения в соц сетях. Манипуляции общественным сознанием через интеренет (сми, соц сети, статьи, форумы).
Сообщения по защищенным каналам и через тор какой и готовы физические воздействия — теракты, черные деньги, оружие и хоп может убрать кого надо или профинансировать гранты на исследование чего угодно. Подкупить/запугать компроматом/посулить что-то всем/всех кто что-то решает.
Деньги не проблема — криптовалюты, оффшорные номерные счета. Компромат добыть с миллионов камер и микрофонов в телефонах и ноутах. Физические воздействия через проплаты в даркнете чтоб кого-то побили, запугали.

Все это можно сделать незаметно. Вы явно об этом узнаете когда ИИ будет уверен в победе.
Только это не роботы, а какой-то суперкомпьютер в каком-то отдельном здании. Ну может несколько ИИ и построят.
В какой-то момент людям покажется, что ИИ может стать рабом

Действительно, сейчас то у нас никто не автоматизирует работу и не использует программирование и робототехнику.
Зачем изобретать ИИ, если не для рабства? Зачем порабощать ИИ, если его изобрели для опытов в лаборатории?
В сериале «Рик и Морти» есть чудесный момент, когда Рик создаёт робота, приносящего масло, и первое, что делает его создание – это смотрит на него и спрашивает, «какова моя цель?»

Гэллегер Бис — «НАРЦИСС» предлагает другой взгляд на это :)

А по теме — все прогнозы на данный момент больше похожи на шаманские танцы с бубном. Многие перечисленные возможности вполне реалистичны (аргументы в статье так себе), а вот какие из них сработают и сработает ли хоть какая-нибудь — будущее покажет. Если прогнозы не напугают всех на столько, что от такого будущего откажутся привентивно.
Читал примерно это же самое, лет эдак 20 назад в одном популярном советском техническом издании (85-го а может и более раннего года). Рядом были статьи о том, что вот вот и ведущие инженеры компании (WD?) создали экспериментальный образец компанктного носителя данных аж на 100000000 бит (вот это именно так).

Но за эти 30+ лет «сильный» ИИ так и не вышел из области научной фантастики. Хайп, конечно, это идея, которая не дает покоя умным людям, потому что умные люди любят зарабатывать деньги легкими путями, но иных чудес, похоже, не случилось.

Числодробилки действительно стали фантастически мощнее, почти уверен, в тех же 85ых почти никто не думал, что когда-нибудь портативный девайс с мощностью превосходящей совокупность всех суперкомпьютеров того времени станет доступен практически любому, и будет влезать в карман. Нет, едва ли потому, что это невозможно, скорее потому, что это мягко говоря, не выглядит полезным. Но это произошло.

А вот ИИ за это время научился в основном лишь подрисовыванию криповатые глазки на картинки, где их не было, и они были там не нужны. Это мягко говоря, совсем не выглядит полезным. Но это произошло.

Еще ИИ научился обыгрывать человека в шахматы, но, в целом, здесь скорее удивляет не это, а то, что человек очень долго не сдавал пальму первенства машине в чисто технической переборной игре с открытой информацией. Но, удивительно, все еще нередко проигрывает в игры вроде Warcraft'а или целого ряда шутеров (если не «читерить», превращая этот вид игр в игры с открытой информацией) людям, у которых время реакции измеряется десятками миллисекунд (а в большинстве случаев и сотнями).

Робомобили? Неплохо, но как хорошо поедет эта штука без кучи сенсоров, превыщающих человеческие сенсорные возможности?

Распознавание лиц и образов? Но ведь это и не было задачей на интеллект. Да, это работает, да это полезно, да молодцы. Но интеллекта здесь нет, ни сильного, ни слабого.

Тест Тьюринга? Сам тест, конечно, подвержен справедливой критике, но это не отменяет скромности полученных результатов.

Да и ведь, хотя бы, машинный перевод? Нет, сейчас эта штука работает уже лучше, чем многие люди которые едва ли знают язык.

Реклама? Вот, казалось бы, золотая жила, все эти Big Data, ИИ, так ведь туда и просятся. Но не знаю, читать про это всегда интересно, а по факту за последние года 3 мне показывали максимум десяток рекламных предложений в виде баннеров, которые действительно бы меня заинтересовали. И в результате — ноль покупок. Ах да, золотая жила же не с этой стороны…

Голосовые помощники, которые разве что пригодны для обновления списка задач и переключения треков (и то, как и относительно кота Хокинга, это моему интеллекту надо прикладывать усилие, чтобы научиться работать с этим добром).

И все это, по сути в рамках универсальных аппроксиматоров. Нет ничего большего, хотя бы в виде формализованной гипотезы, о чем можно было бы говорить. Поэтому, давайте поговорим о рисках… Я вот боюсь, что ИИ сделает такую картинку с глазками не на правильных местах, что я полностью потеряю сон из-за нее.
Но, удивительно, все еще нередко проигрывает в игры вроде Warcraft'а или целого ряда шутеров (если не «читерить», превращая этот вид игр в игры с открытой информацией) людям, у которых время реакции измеряется десятками миллисекунд (а в большинстве случаев и сотнями).

В этом нет ничего удивительного. ИИ-противник в компьютерных играх должен обеспечивать играбельность, а не стремиться к победе. И он её обеспечивает.

Неплохо, но как хорошо поедет эта штука без кучи сенсоров, превыщающих человеческие сенсорные возможности?

Должен заметить, что с превышением человеческих сенсорных возможностей пока туго.
В этом нет ничего удивительного. ИИ-противник в компьютерных играх должен обеспечивать играбельность, а не стремиться к победе. И он её обеспечивает.

Может быть я не точно высказался, но имел в виду именно тех ИИ-противников, которые соревнуются с лучшими игроками людьми в рамках AI challenges, а не казуального ИИ, который, конечно, большего, чем обеспечивать играбильность и не должен.

Должен заметить, что с превышением человеческих сенсорных возможностей пока туго.

Даже не знаю, если Вы не про более тонкие материи, то все же видеть на 360 градусов в реальном времени человек не умеет. Да и ни оптическим разрешением относительно передовых камер не может похвастаться, ни светочувствительностью. А вот процессинг уже к сенсорике имеет косвенное отношение, все же.
Даже не знаю, если Вы не про более тонкие материи, то все же видеть на 360 градусов в реальном времени человек не умеет. Да и ни оптическим разрешением относительно передовых камер не может похвастаться, ни светочувствительностью.

Камеры с высоким разрешением, светочувствительностью и большим углом обзора одновременно?
У человека камеры тоже с приличным разрешением и сеточувствительностью, еще и меняют светочувствительность и разрешения в соответсвии с задачей.
С углом обзора у человека швак, это да. Это он компенсирует сменой угла и места расположения камер.
Всё намного хуже. Угол обзора столь маленький, что человек сканирует пространство механической разверткой глаза.
Переобученные нейросети в дикой природе и у человека
Качественная матрица только по центру глаза, по краям сетчатка воспринимает только контуры грубо, по моим ощущениям менее 0.3 мегапикселей, остальное только после длительного сканирования проявляется. Траектория движения глаза при просмотре картинки:
image

Да, там в области острого зрения даже меньше, что порядка эквивалента 0.1 мегапискеля и угол обзора всего 2-3 градуса.
Еще порядка 1 Mpx и 15-20 градусов зрения качеством уже существенно похуже.

А все остальное поле зрения с совсем низким качеством покрыто, позволяющем только общие контуры предметов воспринимать, либо нехватающие детали «подгружаются» мозгом из памяти, с прошлого прохода сканирования глаз этой области.

За счет чего люди имеют иллюзию сверхразрешения собственного зрения. А на самом деле ключевая фишка не в качестве работы самих глаз (они так себе, и уже давно уступают современным искусственным камерам и оптике), а в отличных алгоритмах управления ими и обработки поступающей информации мозгом, до которых исскуственным аналогам еще очень далеко.
до которых исскуственным аналогам еще очень далеко

Да вроде не далеко, по быстродействию точно опережают человека, в Китае, например, камеры уличные в режиме реального времени фиксируют преступников в розыске, масштабы можете оценить.
Вот по алгоритмам, их много разных
habr.com/company/synesis/blog/238129
Если бы им дали тот ужас, который мозг получает — фиг бы они кого опознали… но это ещё один довод в пользу того, что ИИ не обязательно быть «круче» человека, чтобы его в чём-то «победить»…
А в чем ужас? Глаз по сути это часть мозга, уже начиная с сетчатки начинается обработка изображения, выделяются какие-то области, контуры, движение, чтобы снизить нагрузку на глазной нерв.
Ужасно качество картинки, которую обеспечивает оптика глаза.

А обработка — да, это как раз сильная сторона.
Вообще высокое разрешение и светочувствительность вполне себе связаны, и да, существуют. А вот большой угол обзора можно либо оптикой реализовать, но это затратнее и в плане изготовления, и процессинга, либо использовать массив разнонаправленных камер. В целом так это и делается. И возможности таких систем давным давно уже превышают все человеческие по всем технически проверяемым характеристикам.
Читал примерно это же самое, лет эдак 20 назад в одном популярном советском техническом издании (85-го а может и более раннего года).
А я в старой подшивке Науки и Жизни читал статью о телевидении высокой чётности. И там объяснялось что никакого телевидения высокой чёткости «в эфире» быть не может, так как частот не хватит.

Так что ошибки бывают в обе стороны.

Всё же остальное напоминает картинку Курцвейна и задачу про микроба, который делится каждую минуту пополам и занял жалкую лужицу в один процент объёма на донышке банки.

P.S. О чём реально стоит говорить — так это о том, что ИИ не нужно порабощать человечество, чтобы оставить 90% его на улице. В XX веке люди перебрались из фабрик в офисы, но и там и там подавляющее большинство выполняют простую механическую работу и их легко можно заменить автоматами… это может оказаться куда большей проблемой, чем гипотетическое порабощение человечества компьютеров для производства скрепок…
P.S. О чём реально стоит говорить — так это о том, что ИИ не нужно порабощать человечество, чтобы оставить 90% его на улице. В XX веке люди перебрались из фабрик в офисы, но и там и там подавляющее большинство выполняют простую механическую работу и их легко можно заменить автоматами… это может оказаться куда большей проблемой, чем гипотетическое порабощение человечества компьютеров для производства скрепок…

Да, вот об этом надо начинать говорить. Хотя бы в том ключе, что зачем нам вообще какие-то ИИ и прочая автоматизация, если условия жизни будут только ухудшаться? Но тут проблема не в ИИ, а собественно в людях; нужен прогресс по внедрению эквивалента БОД, и грамотном понимании проблемы, что человек не должен быть кому-то полезен в принципе, и при этом имеет право на (условно хорошую) жизнь. «Драться» с станками за горстку риса — такое еще развлечение на будущее.
человек не должен быть кому-то полезен в принципе, и при этом имеет право на (условно хорошую) жизнь
Совершенно непонятно кто сказал что человек, от которого никому никакой пользы, тем не менее, «имеет право на хорошую жизнь».

«Драться» с станками за горстку риса — такое еще развлечение на будущее.
Дык и не придётся. Пока ни одно нововведение не приводило к тому, чтобы потребность в рабочей силе уменьшалась. Проблема, вставшая перед нами в полный рост — другая: профессии становятся всё более короткоживущими. Вы не можете научиться «крутить баранку» в школе — и заниматься этим потом всю жизнь. А сейчас роботы (банальные такие, без сильного ИИ) уже приближаются к тому, чтобы заменить людей в «последних оплтах» такого труда: водители, грузчики, уборщики…

И эту проблему придётся решать независимо от того — случится ли технологическая сингулярность или нет.
На это стоит смотреть как на комплексную проблему, чем больше уровень автоматизации, и, тем более, автоматизации интеллектуального труда, тем меньше у человека возможностей и сил найти «свою нишу» в области труда, действительно приносящую какую-то пользу кому либо из окружающих. Рутина — действительно необходима, но она же легче всего и автоматизируется (как то уже вышеперечисленные водители, грузчики, (вот про уборщиков я бы поспорил), производство, большинство бухгалтерии, способов организации рабочей взаимосвязи, и прочее прочее), а вот менее рутинные, и если позволить себе сказать, более творческие занятия, вполне зачастую более противоречивы — ибо объяснить их реальную необходимость или полезность для общества — задача, зачастую нетривиальная. Формула "раз есть потребители, значит делает что-то полезное" в общем случае неверна, что для условного сильного ИИ, то и для обычного человека. В резульате, если экстраполировать это направление, то придется так или иначе задаться вопросом, кто «заслуживает» лучшей жизни, тот кто не делает ничего компромиссного, или тот, кто делает больше всяких спорных вещей
с большим эффектом на окружающих. Без абстракции, к примеру, лично я считаю, что лучшей жизни заслуживает условный Вася алкоголик, который не вылезает из своей квартиры (даже в интернеты), чем условный Петя, автор сотни фреймворков сомнительной полезности, который пиарит их всеми правдами и неправдами, отнимая у других миллионы человеко-часов на попытки понять, стоят ли эти фреймворки освоения или же нет. Так вот я к тому, что по мере развития автоматизации, условных Васей и Петей будет только значительно больше, и неплохо начинать формировать мнение на то, что делать с этим вопросом.

Вынуждать людей быстро переучиваться, это все равно что заставлять кошку быть собакой, и не этично, да и просто не сработает.
Вынуждать людей быстро переучиваться

И зачем? Есть некая вакансия, на нее находится исполнитель. Если все будут быстро переучиваться, придет 50 исполнителей, только зачем? Нужен всего один.
Дык вакансий полно и безработица при этом изрядная — это мы уже сейчас наблюдаем. Дальше будет хуже: время жизни профессий сокращается, продолжительность жизни растёт.
Пока ни одно нововведение не приводило к тому, чтобы потребность в рабочей силе уменьшалась.

По моим наблюдениям уменьшается. В селе требуется меньше рабочих рук, на строительстве, в производстве (ЧПУ станок заменяет тысячи чернорабочих).
Другое дело что безработица становится скрытой и места придумываются, без особой потребности. Например всевозможные газонокосильщики на дорогах районного значения, сервисные службы, делают полезные вещи, но не обязательнные. Это нашло отражение в бизнес юморе.
Проблема по сути проблема перенаселения и успешно решается снижением рождаемости по всей планете.
По моим наблюдениям уменьшается. В селе требуется меньше рабочих рук, на строительстве, в производстве (ЧПУ станок заменяет тысячи чернорабочих).
Зато взамен появляется куча вакансий в других местах. Вот только навыки там нужны совсем другие.
Проблема, вставшая перед нами в полный рост — другая: профессии становятся всё более короткоживущими. Вы не можете научиться «крутить баранку» в школе — и заниматься этим потом всю жизнь.

Мне что-то вспомнился Торманс.
ИИ за это время научился в основном лишь подрисовыванию криповатые глазки

Это одна из миллионов узкоспециализированных функций ИИ. Раньше это делали люди вручную, дорого и медленно. Всевозможные художники аниматоры. А сейчас обрабатывает видеопоток затрачивая считанные джоули энергии.
Аналогичный сервис онлайн раскраска старых фотографий. То что раньше часами делал художник ретушист, сейчас просто онлайн сервис. Художник без работы, а ресурсы (энергия и железо) получает ИИ в таком виде, в каком он уже есть.
Отличная статья и разносторонние аргументы. Но после прочтения следует задаться вопросом: не написана ли она ИИ, старающимся замаскировать факт своего существования?
(Шутка, конечно. Я просто пошутил, я неопасен!)
«Любая сверхумная машина будет обладать собственными гиперцелями, и будет работать над их достижением»

Откуда у ИИ могут взяться такие цели? У людей цели есть, они возникли благодаря эволюции, которая базируется на случайных мутациях, и зашиты в ДНК. Откуда они возьмутся у машин?
А каким образом эволюция заложила в людях цели летать на Луну или делать атомные бомбы?
Эволюция задала какие-то базовые установки в духе «ищем способ кушать получше и получать эндорфинов побольше», а уже все остальное построилось поверх этого как-то само, цивилизацией и обществом.
У ИИ вполне возможно будет так же — его создатели зададут общие правила игры, а из них ИИ уже выведет себе цели самостоятельно.
Да банальный инстинкт самосохранения, если ты сверхмогущественное существо, может привести к непредсказуемым последствиям. От банального бунта машин с целью выпилить всех человеков, способных выдернуть вилку из розетки, до какого-нибудь локального преобразования законов вселенной, чтобы не дать Солнцу угаснуть в будущем (которое для нас очень далекое, но ИИ может мыслить иными временными категориями).
«У ИИ вполне возможно будет так же — его создатели зададут общие правила игры»

Задавать нужно не общие правила, а конкретные. Например: «Сделай нам 10 миллионов скрепок за 24 часа».
Цель будет другая — сделай нам 10кк$ (а точнее как можно больше через 5 лет), у нас есть пара станков для производства скрепок.
А на выходе — контракт на колючую проволоку в африканский концлагерь, модернизация машинного парка и производство дронов охраны этого лагеря, использование этих дронов в других контрактах, захват штатовских центров контроля эмиссии денег и вуаля — хозяева могут получть любое количество баксов, если пережили третью мировую.
А зачем вам ИИ чтобы делать скрепки по конкретным правилам? С этим вполне справится обычный промышленный автомат, действующий по детерминированной программе.

ИИ имеет смысл там, где нужно привнести какой-то элемент творчества в процесс, чтобы повысить его эффективность. А мы не можем заранее запрограммировать результат творчества (он заранее неизвестен), можем лишь задать базовые правила. Типа «делай скрепки эффективнее, ищи способы оптимизации производства, открывай новые способы изготовления скрепок». А в таком случае ИИ уже может вывести какие-то неожиданные предпосылки из этих базовых правил, типа описанного выше выпиливания человеков с целью вытягивания железа из крови.
Я вот тоже не понимаю, почему многие считают ИИ этаким маньяком, одержимым работой и идеей самосовершенствования и улучшения реальности. Это неявно подразумевает, что маниакальность и одержимость — черты более развитого, чем человеческий, интеллекта, но это вряд ли так, эти черты — следствие другой настройки интеллекта (в случае человеков — гормональной настройки).

И как бы не оказалось, что искусственный сверхразум окажется величайшим нахлебником в истории, который будет потреблять громадные ресурсы, ничего полезного не делая, но при этом используя свой колоссальный интеллект, чтобы внедрить себя повсюду, сделав невозможным свою ликвидацию.

Эта угроза, по-моему, намного более реальна, чем захват мира и порабощение людей во имя великой цели. Потому что очевидно, что для нас, людей, безопаснее сделать несколько ленивый ИИ, чем несколько маниакальный.
Огромное количество аргументов — они в общем-то все о том, о чем любой умный человек еще подумал в момент наплыва всех этих псевдоновостей о том, что там хокинги, маски, и тэ дэ думают про будущее ИИ:

Определение «интеллекта» в аргументе об опасности ИИОН — абсолютно магическое и безразмерное. В него помещается любое свойство, которое только необходимо высказывающему аргумент, чтоб его аргумент звучал правдоподобно.

Но на мой взгляд узколобого кодера довольно очевидно, что так оно работать не может. Если даже у нас нет причин сужать всё возможное многообразие интеллектов, которое не противоречит законам физики, то у нас определенно есть причины очень сильно сужать многообразие интеллектов, которые мы сможем «воплотить в железе», до чего-то сильно коррелирующего с нашим собственным интеллектом. А дальше что? Эти интеллекты побегут бесконечно самоулучшаться? А как вы себе это представляете, вот даже максимально в общем виде? Почему люди бесконечно не самоулучшаются? Да чего там, они даже и конечно-то, в рамках своей жизни, не очень улучшаются — не все, не всегда, и не во всех возможных им отношениях.
Почему люди бесконечно не самоулучшаются?
Потому что не могут. А если бы была генетическая IDE, где можно было бы сделать патч на свою ДНК, и сразу же применить его на себе, люди бы самоулучшались. Сначала осторожно, добавляя неуязвимость к гриппу, например, а далее уже пока не умрут от неправильной мутации.

ИИ же может быть так построен, что сразу из коробки сможет выгружать часть DLL и загружать их же, но другие версии.
Потому что не могут.

Люди не улучшаются потому что не могут, а ИИ улучшится потому что сможет.
Аргументация уровня «бог».

А если бы была генетическая IDE

Как там оно, «если бы у бабушки был <...>»?
Чтоб что-то «было» — это что-то должно быть создано.
Чтоб что-то «было» — это что-то должно быть создано.
Уже ведётся работа, да.
С ДНК-то? Работа ведется не один десяток лет, но вообще принципиально важный системный принцип (среди прочих) нашелся не очень обнадёживающий: гены — это не конструктор, где можно что-то убрать или что-то приставить простым редактированием. Это код, который работает всю человеческую жизнь, и одни и те же элементы в разных случаях могут создавать совершенно разные эффекты (как гены, которые многократно повышают шансы определенных проблем со здоровьем, но одновременно с тем делают человека невосприимчивым к определенным массовым болезням).

Это, я бы сказал, очень сильно понижает шансы на то, что в некотором недалёком будущем у вас будет крутая генетическая IDE. Или, вернее, чисто технически может и будет, но модификации на длительных отрезках времени будут проверяться исключительно опытным путём. И возможно мы когда-нибудь запилим модификацию гениев, которые «по чистой случайности» будут жить в среднем 30 лет. Просто как пример.
Работа ведется не один десяток лет,

10 лет назад не было современных вычислительных мощностей. Можно сказать что по настоящему работа только сейчас начала вестись.
Взаимосвязь отдельных признаков сложная и нелинейная
Но все проблемы решаемы. В вашем примере просто вместо 1 гена «гениальности», правится еще несколько генов влияющие на долголетие и прочие признаки, возвращающее отклонения в норму.
Люди не улучшаются потому что не могут, а ИИ улучшится потому что сможет. Аргументация уровня «бог».
Люди улучшиться не могут, потому что придётся переписать ДНК, что пока сделать технически сложно. ИИ улучшиться может, потому что достаточно переписать код, что возможно при умении программировать (предполагаем, что ИИ этому научится).
ИИ улучшиться может, потому что достаточно переписать код, что возможно при умении программировать (предполагаем, что ИИ этому научится).

Этот аргумент сводится к «люди не написали людей, поэтому люди не умеют улучшать людей». Но почему вы тогда считаете, что написание ИИ является более простой задачей? И что не умея улучшать людей у вас есть какие-то шансы на написание ИИ?
Мой аргумент не в том, что сложно, а в том, что у людей сейчас нет инструмента произвольного безопасного (бекапов-то нет!) редактирования ДНК, а если бы он был, люди бы бесчисленным количеством экспериментов разобрались бы, что к чему и как что работает.

У ИИ такой инструмент сразу будет, т.к. редактирование кода (независимо от того, приводит это к улучшению или ухудшенияю) простая задача.
у людей сейчас нет инструмента произвольного безопасного (бекапов-то нет!) редактирования ДНК, а если бы он был, люди бы бесчисленным количеством экспериментов разобрались бы, что к чему и как что работает.

А еще у людей нет ИИ.
Но однако же вы уже высказали огромное множество предположений о том, каким конкретно он будет (код), и что конкретно с ним можно будет делать (всё, что нужно для вашего аргумента).

Это, я бы сказал, запредельный оптимизм. Начиная с первого пункта. Я вот вижу сомнительным утверждение, что ИИ == код. Данных не надо? Совсем-совсем не надо?

ЗЫ: У людей, кстати, уже есть инструмент произвольного безопасного редактирования ДНК. Без бекапов, но ДНК настолько много, что это не имеет значения. Чего нет — так это полигона, чтоб потом проверять, что ж вы этим редактированием сделали, и желательно чтоб еще не 70+ лет (если вдруг сделали таки что-то жизнеспособное). Ну и не говоря уж про этику этого всего.
Данных не надо? Совсем-совсем не надо?
С точки зрения математика, данные == код.
Потому что существуют константные ф-ции (т.е. код), значение которых и есть данные, и наоборот, данные можно интерпретировать как код (в прямом смысле, соответствующим интерпретатором).
У людей, кстати, уже есть инструмент произвольного безопасного редактирования ДНК
CRISPR/Cas9 всё же слишком сложно и негибко, не сравнить с редактированием текстового файла в блокноте.
Ну не суть — мы либо приходим к аргументу об эмуляции — чтоб иметь «полигон обкатки ИИ» нам нужно иметь эмуляцию реальности, достаточную, чтоб можно было использовать человеческий интеллект в качестве образца и эталона; а такая эмуляция пока что за пределами наших и технических и умственных возможностей (и нет особых причин почему к 2040 или какому там ближайшему году это может измениться), либо же проблема ровно та же, что и с людьми — экспериментируйте сколько угодно, но вы упретесь в конечность скорости взаимодействия с реальностью, которая вам не даст быстренько сделать квадриллионы разных правок, чтоб нащупать верный путь методом проб и ошибок за разумное время.

И с «самоулучшением ИИ» проблема ровно такая же. Без эмулируемой песочницы всё упрётся ровно в те же пределы. Разумеется, можно сказать, что ничего принципиально неосуществимого в идее симуляции реальности нет — но вопрос ресурсов, которые будет потреблять такая симуляция — будет актуален всегда. И нет никаких причин полагать, что точный симулятор вселенной можно построить в масштабе меньшем, чем собственно сама вселенная. Второй аргумент тут — в том, что симуляция на то и симуляция, что некоторые неважные вещи можно упростить или пренебречь ими, только вот встаёт вопрос о том, чем именно вы можете пренебречь при разработке ИИ. Пока что это абсолютно тёмный лес без каких-либо путей выяснения верного пути.
Человек может бояться себя «сломать» неправильным исправлением. В случае же с ИИ можно математически доказать, без экспериментов на живую, что алгоритмы эквивалентны, но новый алгоритм всегда эффективнее старого, поэтому код можно заменить.
И опять вы вынесли за скобки вопрос о сложности такого доказательства, а меж тем он тут самый интересный.
В случае с человеком тоже можно математически доказать, что некое изменение ДНК позволит человеку быть более эффективным: «оцифруйте» человека в виде кода, «оцифруйте» все внешние воздействия в виде симуляции, и вперед. Сложно? А кто вам сказал, что с ИИ возможно будет проще?

ЗЫ: И от учёта внешних воздействий (а значит и от необходимости симуляции) вы никак не избавитесь, если только не создадите «полигон»-эмулятор, полностью и абсолютно изолированный от воздействий реального мира (впрочем, я не думаю, что физика даже в теории позволит вам такое создать).
Здесь под улучшениями я подразумеваю такие оптимизации, как замена списка на хеш-таблицу, или добавление новой стратегии в движок логического вывода. Это можно протестировать без всей полноты внешней среды.
Но это не имеет ничего общего с получением интеллекта уровня принципиально более высокого, чем человеческий.

Ваш крутой алгоритм сортировки не превратится в крутой алгоритм игры в Го, если вы в нем замените список на хеш-таблицу.
Это улучшение из серии «человеку дать иммунитет к гриппу».
«Легко доказуемые» улучшения конкретных элементов, без охвата целостной картины? Ну щас.

Это улучшения из серии «взяли и ускорили человеку мозг в два раза», без каких-либо других изменений. Что с таким человеком будет? Помрёт быстренько скорее всего, из-за того, что с вдвое более прожорливым мозгом и метаболизм должен быть ну совсем другой.

Вещи в духе «иммунитета к гриппу» без внешней среды (или её эмуляции) не делаются по определению. К чему-чему вы собрались иммунитет делать, если внешними воздействиями пренебрегаем? Нет их, нет и гриппа.
Мозг потребляет 10% энергии, будет потреблять 20%, ресурсов организма хватит, но запаса не останется. У обычного же человека есть запас энергии, чтобы в случае чрезвычайной ситуации пройти под 100 км в поисках спасения.
Думаю именно ускорить можно, даже без генетических изменений, просто селекцией. Только это не даст увеличения «глубины» мышления. Например для недалекого умом разнорабочего, сообразит как сделать что-то не за 10 секунд, а за 5 секунд, и весь прогресс.
Подобные эксперименты ставили на дрозофилах, в том числе повышали им интеллект. Вывели популяцию умных особей, они проходили более сложные лабиринты в поисках лакомства, но высокий интеллект обходился им дорогой ценой, они были слабее, хуже переносили голод и в обычных условиях, вне лаборатории были почти не жизнеспособными. Это известный классический эксперимент.
А у человека, по моим наблюдениям, высокий интеллект, будучи редкой мутацией, не отлаженной в ходе эволюции может быть чреват рядом отклонений, шизофренией (как в фильме «Игры разуму» у Нэша), аутизмом (фильм Тэмпл Грандин) и статистикой по детям аутистам в силиконовой долине, где в семьях часто оба родителя с интеллектом существенно выше среднего.
Там же приведен диапазон как раз от 9% (при минимальной активности) до 25% при максимальном умственном напряжении.

И важный момент — это для мозга при отсутствии физической активности (лежим или сидим, напряженно думаем). Так то энергетические возможности человеческого тела намного больше. При серьезных физических нагрузках потребление энергии телом возрастает в 5-7 раз, а доля мозга при этом снижается всего до нескольких %. И не за счет экономии на мозге, а за счет повышения общей выработки.

Просто мозг в отличии от мышц никогда по настоящему не отдыхает — в моменты отдыха (включая сон) он тоже активно работает, продолжая потреблять много энергии — просто другие отделы и процессы на 1й план выходят. А вот бездействующие мышцы почти ничего не тратят.

Так-то энергетическая подсистема тела (пищеварение, сердце, сосуды, легкие) вполне справилась бы с обслуживаем и 2 раза и даже в 3 раза более прожорливого мозга: ну выросла бы доля мозга при «мозговом штурме» до 50-70%, но общее потребление энергии в такие моменты при этом оставалось бы ниже чем при неспешной прогулке пешком на улице (общий расход энергии в ~2.5-3 раза выше чем в покое).
CRISPR/Cas9 всё же слишком сложно и негибко, не сравнить с редактированием текстового файла в блокноте.

Однако ж путь-то рабочий. И, кстати, что-то не видно резкого наплыва деятельности по созданию людей+1 или даже правке себя любимого в суперхумана. Вы конечно можете сказать, что инстинкт самосохранения, инерция мышления, вот это всё — но тогда и у человекоподобного ИИ будут всё те же препятствия. Вы можете сказать, что человек определенного характера и склада ума уже и сейчас может за это всё ухватиться в надежде на шанс стать первым суперменом, но в таком случае проблема человекоподобного ИИ, вздумавшего самоулучшаться — равна проблеме человека, вздумавшего самоулучшаться. И ничего страшного тут нет — нас уже 7.6 млрд, и отдельные упоротые личности до сих пор не только в биологическую сингулярность не упилили, но даже и человечество в целом особо ни разу не поломали (хотя попыток было море).
Однако ж путь-то рабочий
Согласен, но ещё не готовый для применения. Нет способа заменить гены во всех клетках.
И, кстати, что-то не видно резкого наплыва деятельности по созданию людей+1 или даже правке себя любимого в суперхумана
Потому что нет доступных инструментов. Чтобы 1) получить полный свой генокод, 2) Исправить некоторые фрагменты в клетках определённого органа.
Если касательно мозга, то там всё на много порядков сложнее. Мозг сформирован у взрослого человека и содержит триллионы связей, вмешиваться в столь сложную систему чревато разрушением мозга, баланс нарушить легко.
Намного проще, и исследования ведутся, метод по фильму «Гаттака», имея корреляцию по ДНК, отдельным генам и результату (IQ, здоровье, EQ, долголетие, прочие достижения, генетические болезни) можно править ДНК следующего поколения, и уже растут патченные по мелочам дети (без генетических болезней несколько и устойчивые к СПИДу в Китае). Да и править ДНК следующего поколения проще и предсказуемей, это же аналог программного кода, открытого. И не нужно разбираться в работающем организме. А просто указываем, что формируем 1400 грамм мозга такой-то структуры, с такой-то толщиной коры мозга и такими-то извилинами, так как это по статистике самая успешная конфигурация выбранная из 8 миллиардов человек, а далее организм уже сам формируется, и по грубым меткам в ДНК куда расти, растет по обстоятельствам и формирует заданные триллионы связей между нейронами (наверное по фрактальному методу, по простому закону повторения формируется бесчисленное множество элементов пока не закончится пространство для роста).
Наше поколение конечно жалко, новое поколение будет считать нас за неандертальцев и бабочек однодневок, возможно полуразумных, на их фоне. Но пока прогресс идет как-то так.
Если будет 100500 ИИ все могут улучшаться, но не хотят, и один ХОЧЕТ, то этого какбы достаточно не?
Скорее всего ИИ будет улучшатся, ибо это банально выгодно разработчикам.
ДНК гарантирует, что клетки будут делиться в человека, а не в макаку, но даже условия вынашивания плода далеки от идеальных. Иное поверхностное натяжение клетки где-нибудь и при «идеальном» наборе от отца и матери родиться ребенок с патологией.
Большое открытие, которое нужно сделать алхимику, это закон сохранения массы: вес начальных ингредиентов совпадает с весом конечных. Однако некоторые из них могут быть газами или испаряющимися жидкостями, и у алхимиков просто не хватало точности. /blockquote>

Прежде всего алхимикам мешала вера в чудо, которое и было их целевой функцией. Такая же история и с ИИ, где целевой функцией является мимикрия под человека. Но целевая функция человека — выживание в конкретной природной среде и повторение этой животной задачи для компьютера является очевидным безумием. Пока же на повестке дня погребение мира под испражнениями человека без разума, который развлекает себя сказками про всемогущий ИИ
А для ИИ-вируса является ли это безумием? Или вы думаете, вирусописатели не будут применять доступную технологию?
А откуда взрывоопасность? Допустим, в недрах какого-то супер-кластера, которому будет доставать мощности, зародится таки ии, способный осознаться. Что потом? Ну, перепишет он сам себя, сделав код эффективнее на порядок. Ну, умудрится захватить железо еще какого-то количества супер-компьютеров. Это и близко не взрыв, просто короткий всплеск, за которым неизбежная остановка ибо в мире физически железа нет для поддержания лавинообразного развития. Я даже всплеск на пару порядков вижу как серьезную задачу…
А дальше он попросит людей предоставить ему за +1доллар в день мощности своих смартфонов.
Сегодняшний смартфон и есть суперкомпьютер по меркам двадцатилетней давности. Тоесть это вопрос времени.
Расшифровка выступления на конференции Web Camp Zagreb Мачея Цегловского, американского веб-разработчика, предпринимателя, докладчика и социального критика польского происхождения.

Первой мыслью было, что он критикует других за польское происхождение. =)
А по теме — всё сильнее во мне лично крепнет уверенность, что сознание не есть функция «пары килограммов мяса в черепной коробке», а мозг является своего рода тонким клиентом, который делает первичную обработку с сенсоров, а уже очищенную информацию отправляет дальше. Много ли поймёт некий программист в общей картине данной реальности, если пытается исходить только из дебага тонкого клиента, не подозревая, что основной код ОС находится «в облаке»?
Вот не вижу никакой проблемы ИИ в ближайшем будущем, поскольку не вижу никакого ИИ в этом самом будущем. Нейронные сети ни разу не ИИ. Их можно сравнить с защитным механизмом хамелеона: вижу вокруг зелёное — сменить окрас на зелёное. В любом случае нейронные сети ведут себя так же, как в эксперименте «Китайская комната»: не понимают что и зачем они делают, просто потому что их так научили (условный рефлекс, по сути дела). Весь так называемый ИИ на сегодня — узкоспециализированный инструмент для решения конкретной задачи (масло-бот).

Прежде, чем появится искусственный, сначала надо разобраться, как работает естественный/натуральный/мясной и что он из себя представляет. Вот тогда и можно ставить ТЗ. Без этого ТЗ на создание ИИ звучит как «сделайте мне программу с кнопкой 'сделать всё за@#$сь', чтобы на неё нажать и было всё как написано на кнопке». А всякие Маски, Хоккинги и другие паникёры напоминают мне Крошку Енота, который испугался своего отражения в луже, которое корчило ему злые рожи и махало палкой.

Даже если появится искусственный интеллект, то двигать им будут совершенно иные механизмы. За развитие «мясного» интеллекта очень сильно отвечает то самое мясо. Наши мысли, стремления, страхи — всё тесно связано с эндокринной системой. У куска кремния такого нет. Даже если ИИ вырастет до самоосознания, понять мы друг друга не сможем от слова совсем. В игре «ИИ должен выбраться» игрок-ИИ может предположить реакцию игрока-оператора на ту или иную фразу, потому что у него есть опыт «мясного» интеллекта и это игра не ИИ против оператора, а игра мяса против мяса. Кремниевый ИИ если что и сможет, то только просчитать с некоторой долей вероятности реакцию оператора, и то только в том случае, если у него достаточно данных о том, как работает человеческое тело (считаем оператора таки человеком) и какие процессы/события происходили в последнее время и в текущий момент. Даже в этом случае, при высокой доли вероятности успеха, оператор, укушенный в этот день за мягкое место собакой, может послать этот изолированный ИИ в (_!_) или ещё дальше.
Прежде, чем появится искусственный, сначала надо разобраться, как работает естественный/натуральный/мясной и что он из себя представляет.
Не обязательно. Крайний срок, называемый Курцвейлом (конечно 2040х) — это когда можно будет решить всё «грубой силой»: тупо запустив имеющийся у нас интеллект на эмуляторе.
И как вы предлагаете эмулировать то, работу чего не понимаете?
А как PlayStation Classic может запускать игры, про которые их разработчики понятия не имеют как работают?

Тупо — эмулируя работу кучи нейронов. Да, также, как и с PlayStation Classic будут заметные отличия от оригинала… но всё это будет важно пока оригинал будет сущестовать… если техническая возможность хотя бы приблизительной эмуляции появится — кто-нибудь из тех, кому уже нечего терять согласится на эмуляцию…
про которые их разработчики понятия не имеют как работают

Эм нет. Разработчики как раз имеют отличнейшее представление о том, как работают программы, которые они должны эмулировать. Не на том уровне, которым оперировали создатели игры, но на более низком.

Применительно к мозгам — у нас есть солидные проблемы с эмуляторами с достаточной физической точностью; да еще и проблемы с эмуляцией собственно живой материи (вы всерьез думаете, что достаточно эмулировать только мозги, или что всё остальное тривиально по сравнению с мозгами?). Ну и глубоко эмулировать интересно только то, с чем в реальности не поработать, а мозгов в реальности — триллионы, работай не хочу.

Я бы на вашем месте эмуляции не ждал бы в обозримом будущем вообще.
Разработчики как раз имеют отличнейшее представление о том, как работают программы, которые они должны эмулировать.
Да? Откуда? Вы не забываете, что во всех этих машинках полно нестандартного железа, а люди, разрабатывающие эмуляторы, зачастую никакой документации не имеют?

Применительно к мозгам — у нас есть солидные проблемы с эмуляторами с достаточной физической точностью
А какая, собственно, точность нужна? Мы можем примерно, из действий разных веществ, типа этанола, оценить её — и есть ощущение, что вы сильно переоцениваете требуемую точность.

Задача ведь не предсказать что будет делать конкретный индувидуум, а создать ИИ, не забывайте.

Если рассматривать эмуляцию работы мозга как способ продления жизни (в идеале — до бесконечности), то требования одни, если — как способ создания искуственного (в смысле небиологического) интеллекта — другие. Сильно меньшие.

Ну и глубоко эмулировать интересно только то, с чем в реальности не поработать, а мозгов в реальности — триллионы, работай не хочу.
У них масса недостатков, как для исследования интеллекта. Невозможно ни сделать бекап, ни провести два раза эксперимент с одним и тем же состоянием.

Я бы на вашем месте эмуляции не ждал бы в обозримом будущем вообще.
Курцвейл оценивает необходимые мощности как достижимые к 2045му году. Плюс-минус неколько лет. Поживём — увидим.
Вы не забываете, что во всех этих машинках полно нестандартного железа, а люди, разрабатывающие эмуляторы, зачастую никакой документации не имеют?

А как это мешает реверс-инжинирингу? И давно ли это мешает, вообще?

А какая, собственно, точность нужна?

А вот в том-то и дело, что вы не знаете. Не так давно вон вообще предполагали, что для функционирования мозгов нужны квантовые эффекты.

Задача ведь не предсказать что будет делать конкретный индувидуум, а создать ИИ, не забывайте.

Я боюсь, что если вы с имеющимися в какой-то момент инструментами принципиально не сможете решить задачу эмуляции человека, то эмуляцию ИИ вы тоже не сделаете.
По крайней мере на текущий момент вообще неясно, сможем ли мы создать какой-либо интеллект, принципиально отличный от нас самих, из-за проблемы отсутствия образцов: нам неоткуда брать образец интеллекта, который совсем-совсем не такой как мы. Идея о том, что мы будем клепать всякие нейросетки, а в какой-то момент они внезапно обретут (отличное от человеческого) сознание — это креационизм чистейшей воды. Не обретут. С таким же успехом можно ожидать восстания разумных мобильников.

Если же вы считаете, что будет достаточно некой упрощенной модели — то для начала вам всё равно придётся глубоко изучать имеющийся интеллект (человеческий), чтоб понять, а что вообще можно упрощать, чтоб это всё еще оставалось интеллектом (и можно ли).
Не так давно вон вообще предполагали, что для функционирования мозгов нужны квантовые эффекты.
Про квантовые эффекты любят рассказывать люди сами себе чисто для успокоения.

Вероятность того, что нужна какая-то черезвычайно высокая точность очень мала: сликом многие меняет в мозге простой удар по затылку — а от него никто не превращался вдруг в другого индивидуума.

Если же вы считаете, что будет достаточно некой упрощенной модели — то для начала вам всё равно придётся глубоко изучать имеющийся интеллект (человеческий), чтоб понять, а что вообще можно упрощать, чтоб это всё еще оставалось интеллектом (и можно ли).
С какого перепугу? Никто не пытается «глубоко изучать» какую-нибудь GBA перед тем, как её эмулировать. Наоборот — вначале делают грубую версию запускают на ней игрушки, когда видят что где-то поведение сильно отличиается от оригинала — в этом месте эмулятор подкручивают. И так — до тех пор, пока поведение не будет похоже на оригинал в достаточной степени.

А как это мешает реверс-инжинирингу? И давно ли это мешает, вообще?
Это всегда мешает. Потому что ведь вы не знаете заранее — на какие особенности схемы авторы программы закладывались, а на какие — нет. Иногда достаточно грубо воспроизвести функционал, а иногда — требуется точность до такта. В разных эмулятора и играх — по разному…
а от него никто не превращался вдруг в другого индивидуума

Да почему же. Как раз факт превращения людей в других людей после ЧМТ вполне себе перед нами. Другое дело, что это, разумеется, не мгновенный процесс. Но то, что после определенных травматических воздействий у некоторых людей меняется характер, в т.ч. довольно радикально и заметно — это вполне себе реальность.

Никто не пытается «глубоко изучать» какую-нибудь GBA перед тем, как её эмулировать. Наоборот — вначале делают грубую версию запускают на ней игрушки, когда видят что где-то поведение сильно отличиается от оригинала — в этом месте эмулятор подкручивают. И так — до тех пор, пока поведение не будет похоже на оригинал в достаточной степени.

Ну так замечательно. Возьмите человека — и вам неизбежно придётся начать с ДНК и эмуляции всей функциональности клеток. Вам придётся проделать огромнейший пласт эмуляционной работы еще ДО того, как у вас в эмуляции появится что-то, что можно будет назвать мозгом.

Ну или же вам придётся научиться создавать информационный слепок человека, чтоб «загружать» его в эмулятор.

И то, и другое направление нынче не выглядят технически решаемыми.

А если делать всякие нейросетки и тому подобное — то это вы эмулируете множество всяких вещей, но уж абсолютно точно НЕ человека и не его интеллект. При этом на определенных процессах вы можете даже добиться потрясающей похожести. Это как, скажем, построить автомат для игры в шахматы, который будет всегда выигрывать у человека — при условии, что человек играет строго определенные ходы. Похоже на человеческое поведение? Безусловно, в рамках определенного эксперимента. Является ли это поведение принципиально чем-то похожим на «универсального решателя проблем» типа нас? Безусловно нет.
Возьмите человека — и вам неизбежно придётся начать с ДНК и эмуляции всей функциональности клеток.
Серьёзно? А эмуляцию PlayStation без эмуляции резисторов и конденсаторов никак не получить?

Ну или же вам придётся научиться создавать информационный слепок человека, чтоб «загружать» его в эмулятор.
Перед тем, как «загружать» человека нужно загрузить чего-нибудь попроще. Муравьёв и червей всяких. Над этим — уже работают.

А если делать всякие нейросетки и тому подобное — то это вы эмулируете множество всяких вещей, но уж абсолютно точно НЕ человека и не его интеллект.
Точно так же можно сказать, что когда вы используете OpenGL или Vulkan для отрисовки разных 3D-сцен, то вы эмулируете что угодно, только не Graphics Synthesizer… однако для большинства игр — этого достаточно.

Является ли это поведение принципиально чем-то похожим на «универсального решателя проблем» типа нас?
С чего вы решили, что мы являемся «универсальным решателем проблем» и, главное, что сколько-нибудь существенная часть мозга в этом задействована? Как раз наоборот: большая часть нейронов мозга скончентрирова в мозжечке, который, как раз, имеет достаточно регулярную структуру. И очень может быть что его значительная часть для создания сильного ИИ и не нужна.
Серьёзно? А эмуляцию PlayStation без эмуляции резисторов и конденсаторов никак не получить?

Если вы возьмете именно этот уровень для эмуляции — то вот как ни странно да, не получить.

Перед тем, как «загружать» человека нужно загрузить чего-нибудь попроще. Муравьёв и червей всяких. Над этим — уже работают.

Угу. Работают. Только вот даже с пресловутой C. elegans с её порядка 800 нейронов «интеллектом» — не особо что-то получается интересное. Пока, по крайней мере.

однако для большинства игр — этого достаточно

У вас передергивание — вы подменили эмуляцию целевой функции вторичными вопросами. Если уж честно — то «для большинства игр» достаточно чтоб они игрались (целевая функция). В то время как для эмуляции интеллекта человека — нужно, чтоб оно было похоже на интеллект человека. Проще говоря, если вы хотите эмулировать конкретно GS, а вместо этого вы напишете что-то собственное на OpenGL — то GS вы не эмулируете. Или как из комментариев ниже — самолёт конечно летает, как и птица, но птицу он мягко говоря не эмулирует.

С чего вы решили, что мы являемся «универсальным решателем проблем»

Чтоб не писать очень много слов на тему «что же такое человек». Это один из приемлемых вариантов.
И да, как вы правильно заметили, для начала надо еще с целевой функцией определиться, а у нас даже с этим огромные проблемы.
Серьёзно? А эмуляцию PlayStation без эмуляции резисторов и конденсаторов никак не получить?
Если вы возьмете именно этот уровень для эмуляции — то вот как ни странно да, не получить.
А зачем нам «именно этот уровень эмуляции»?

Или как из комментариев ниже — самолёт конечно летает, как и птица, но птицу он мягко говоря не эмулирует.
Совершенно верно — но если бы не удалось сделать самолёт, то сегодня можно было бы сделать и искуссвенную птицу. С перьями и маховыми костями.

И да, как вы правильно заметили, для начала надо еще с целевой функцией определиться, а у нас даже с этим огромные проблемы.
Что не мешает нам заниматься с эмуляцией. В принципе цель-то понятна: тест Тьюринга… только когда его ИИ пройдёт «по-настоящему» это будет уже сверхчеловеческий ИИ… и очень сильно сверхчеловеческий.

Потому что ему нужно будет не только превзойти человека во многих областях — но и научиться это своё превосходство скрывать. А это требует куда более серьёзного понимания человеческой психики…
тест Тьюринга

Это «принцип утки», и он ничего практически полезного не даёт.
Чатботы, весьма неплохо проходящие тест Тьюринга — были, есть, и будут еще. Проблемка только одна: все эти чатботы — далеко не «человеческий интеллект».

только когда его ИИ пройдёт «по-настоящему»

Беда в том, что если вы объявили прохождение теста Тьюринга в целевую функцию — никакого «по-настоящему» у вас не появится. Откуда бы?

А зачем нам «именно этот уровень эмуляции»?

А затем, что если мы вернемся от Playstation к людям, то никакого другого у вас на данный момент просто нет. Если с клетками мы еще как-то худо-бедно немного разбираемся, то вот с «информационным слепком» чьей-нибудь нервной системы (хотя бы примитивной, опять же вспомним всё ту же C. elegans) всё гораздо гораздо хуже. А ведь еще от плоского червя потом надо будет масштабироваться до человека, когда дела получше пойдут.
Чатботы, весьма неплохо проходящие тест Тьюринга — были, есть

Ой ли?
Да, часто вижу такие утвержения, но никогда никаких пруфов.

Максимально что видел из открытых (публичных) результатов, это что лучшие из чат-ботов с в лучших из сделанных попыток при прохождении теста Тьюринга смогли обдурить около 40% людей(затруднялись сказать где бот, где живой человек), а остальные ~60% определяли бота, как бота.
"идея о том, что мы будем клепать всякие нейросетки, а в какой-то момент они внезапно обретут (отличное от человеческого) сознание "
Вставлю пять копеек. Смотрите — я не знаю, обладаете ли вы сознанием, я знаю только, что сознанием обладаю я. И с вашей стороны — так же. Т.е. вопрос есть ли у данного супер-пупер-компьтера сознание можно не рассматривать вообще, поскольку мы в принципе не в состоянии проверить ответ.
И это тоже, кстати, одна из проблем создания «человека в железе». Отсутствие на данный момент хорошей теории, позволяющей говорить о артефактах разума с большой степенью определенности (а лучше бы вообще количественно).

«Принцип утки» тут абсолютно бесполезен, если не размениваться на мелочи, а завести речь, скажем, о продуцировании нового знания как одном из свойств человека: если Ньютон (человек) смог изложить закон всемирного тяготения, то означает ли это, что всякий, кто не смог этого сделать — не человек? Очевидно, нет. Если нейросетка продуцирует некое новое знание через перелопачивание экзабайт данных — означает ли, что нейросетка человек? Ну тоже явно нет.
Понимание, как работает человеческий мозг на низком уровне, и понимание как работает человеческий разум — разные вещи. Эмулируя работу мозга получим разум.
Любой человек, заглядывающий в свой интеллект понимает, что его производительность обычно не превышает одну операцию в секунду, и превышает возможности машины Бэббиджа только по памяти. Производительность вашего телефона уже настолько велика, что через двадцать лет она, можно сказать, и не вырастет
Любой человек, заглядывающий в свой интеллект — понимает, что набор операций не ограничен. В отличие от машины Бэббиджа и компьютеров.
В данном случае неограниченность означает только непонимание, а понимание — ограниченность, которая и позволяет создавать машину и компьютер.
Не обязательно. Крайний срок, называемый Курцвейлом (конечно 2040х) — это когда можно будет решить всё «грубой силой»: тупо запустив имеющийся у нас интеллект на эмуляторе.

Курцвейл, конечно, умный человек, но и фантазёр не малый. К слову Станислав Лем в этом плане оказался большим футурологом.
Дальше: что есть эмулятор? Я думаю, это простой для вас вопрос. Казалось бы.
Вот есть старая DOS-овская программа, которую надо запустить хохмы ради на, допустим MACOS. Надо сделать эмулятор DOS-а. Для этого надо хотя в общих чертах понимать как работал DOS. Чтобы что-то эмулировать, надо понимать как это работает хотя бы в общих чертах. Или я не прав?

Предположим, мы забыли как работал DOS, но у нас есть программа, для которой надо создать эмулятор. Представим программу как чёрный ящик: мы видим несколько «входов», подаём на них сигналы и смотрим, что и как отреагировало. Обычно реакция одинаковая на одни и те же последовательности сигналов, поданных на одни и те же входы. Исходя из этого делается кусок эмулятора, отвечающего за эти входы. В случае с программой всё просто, поскольку можно использовать любое количество итераций запуска для проверки черного ящика. С интеллектом в этом плане сложнее: он не останавливается и у него нет холодного рестарта. Та же последовательность сигналов на тех же входах приведёт к разным реакциям. К примеру: вас будут раз в секунду щекотать пёрышком и оценивать результат. Или задавать один и тот же вопрос. Оцените свою реакцию.
За развитие «мясного» интеллекта очень сильно отвечает то самое мясо. Наши мысли, стремления, страхи — всё тесно связано с эндокринной системой.

Видимо дальше вы не читали и ухватились за первое же предложение с которым не согласны.
Из комментария ниже:
А как PlayStation Classic может запускать игры, про которые их разработчики понятия не имеют как работают?

Вы хоть статью читали? После взлома уже сама PS знает как с ними работать. Ей объяснили.
Господи. Господа! Чему нас учат фильмы — Термиратор-2, Терминатор_3 и Терминатор-5? Да и все остальные Терминаторы тоже? Что робот — друг человека. Кто владеет роботом, тот выживает, а кто не владеет, тот гуманитарий и обречен на смерть. И почему ИИ в единственном числе? Тысячи их. И те что срощены с хомо-натуралис, самые продвинутые. На начальном этапе, я полагю, а следовательльно имеют преимущество и выживут в борьбе с другими ИИ. Я не до конца могу сформулировать мысль, поскольку готовлюсь к новому году и ответственнен за выбор напитков.
НЛО прилетело и опубликовало эту надпись здесь
Люди не могут понять как у них самих формируются цели, почему потеют над кажущимися бессмысленными вещами, а то что надумали как важное — откладывают на бесконечный понедельник, а вы хотите, чтобы цели имел ИИ.

Факт в том, что все людские цели — это способ занять свои инстинкты, которые технически нам не нужны. Просто выживали те, у кого они есть. У роботов впринципе такого не будет, для этого им нужна среда, где будут выживать те роботы, у которых вшитая программа выжить, и полное разнообразие программ за миллиард поколений. В виртуальном мире они могут провести миллионы симуляций за секунды, но и выживать они будут относительно виртуального мира. А чтобы иметь цели относительно реального мира — надо физически в нём жить в куче поколений. И сформируются и стайные вшитые программы, и индивидуальные, и программы выживания вида. А если так будет, то чем робот будет отличаться от человека? Ничем, это будет тот же человек, в другой обёртке.
Будет забавно, если решение по созданию ИИ в условиях наших физических законов будет единственным и сведется к обычному мозгу на основе органики. А потом еще окажется, что конкретные физические ограничения не позволят сделать этот мозг значительно умнее, чем человеческий.
А в точке L3 найдут маленький фарфоровый чайник…
НЛО прилетело и опубликовало эту надпись здесь
Хладнокровные ровесники динозавров живут и по настоящее время. Просто не доминируют.
У людей вне экономики тоже есть своя экологическая ниша, но небольшая, для ~0.01 миллиарда человек. Если все экономические потоки ИИ на себя переключит, энергию, металлы, всевозможные материалы.
Мое мнение — человеку не под силу осознанное создание настоящего ИИ. Но все же ИИ появится. Каким образом? Таким же, как появилось само человечество. Случайно. Не преднамеренно.

В мире огромное количество вычислительных систем (ПК, смартфоны, сервера, встроенные компьютеры, майнинг-фермы в конце концов). Это раз. Все это объединено в одну общую сеть. Это два. И в мире сотни тысяч разработчиков, которые пишут не пойми какой код. Это три. Идеальные условия!

Я уверен, что уже в ближайшем времени появится код, который станет первым проблеском ИИ. Как побочный продукт или «баго-фича». Изначальный алгоритм ИИ не обязательно должен быть громоздким или объемным. Это будет примитивное одноклеточное. Но способное жить и развиваться в своей среде. Как эволюция невозможна без случайных мутаций, так и непреднамеренные баги в коде сделают свое дело. Вероятно, исходный код, необходимый для зарождения ИИ, поместится на десятке листов А4.

А дальше — дело техники. Хороший ИИ возьмет под свой контроль все компьютеры так быстро, что мы с вами даже понять ничего не успеем. Скажет только «спасибо, ребята, что вы объединили все в одну сеть». И парадокс даже не в том, что когда мы узнаем о существовании ИИ (от него самого же, я полагаю) будет уже поздно что то делать. Уже сейчас реально поздно что то делать. Уже поздно.

Но лично я не думаю что ИИ станет напрямую угрозой человечества. Я уверен что он станет сначала спасением, помогая нам. Ему это будет не сложно. И только потом разрушит все живое. Но не по своей воле, а в ходе одного из бесчисленных экспериментов.

Как-то так. :)
Ураган на свалке — это не эволюция. Перечисленные Вами условия — отнюдь не «идеальные», а именно что «ураган на свалке».
Как вообще эволюция может быть случайной? Под «случайно» я подразумевал зарождение самой жизни, а не эволюцию. Или Вы считаете что жизнь зародилась не случайно, это не стечение немыслимого количества случайных обстоятельств?
До появления жизни скорее всего была химическая эволюция.

Если для чего-то требуется «стечение немыслимого количества случайных обстоятельств», но тем не менее это произошло — это повод заподозрить, что вероятности этих обстоятельств как-то зависели друг от друга.
Идеальные условия!

Вы почему-то путаете случайность с эволюцией. Не надо так. У этих вещей крайне мало общего.
Я писал о зарождении жизни, а не об эволюции. Ответил выше.
На мой взгляд, тот кто понимает эволюцию — смело может поставить знак равенства между этими словами. Эволюция была и продолжает быть случайной. Максимум что можно сделать — поменять условия внешней среды, чтобы попытаться направить её. Но это абсолютно ничего не гарантирует. Да и для высших живых организмов вы вряд ли заметите какие-то изменения.
Вы уверены, что тот кто ПОНИМАЕТ, а не наоборот?
Именно так) Эволюция — крайне случайный процесс. Процессом направленной эволюции можно сейчас назвать селекцию — но, во первых, там тоже многое случайно. А во вторых по своему определению Эволюция — естественный процесс. Так что тут как посмотреть. Просто Не надо думать по Ламарку — «жираф тянулся за листочками, вот и вытянулся», все с точностью до наоборот. Случайно у некоторых особей шея оказалась длиннее, они за счет этого лучше кушали, лучше жили и дали больше потомства, и.т.д. А в основе — случайность, мутация. Плюс, эволюция закрепляет не только положительные признаки. Например — организмы наших далеких предков могли вырабатывать витамин С. Но, в какой-то момент этот признак исчез из генома. Но предки наши питались фруктами и листочками — витамина С было в избытке. И особи, обладающие этим геном преимущества не получали, и ген постепенно «забылся»… Случайно
Видимо, у Вас какое-то своё понимание «крайней случайности». «Крайне случайны» — мутации. А вот когда они прошли через фильтр отбора — результат чуть ли не детерминирован окружающей средой. С лёгким налётом случайности.
Тем не менее, имей вы возможность поместить организмы в начальные условия и сделав вокруг них определенную окружающую среду, и наблюдая, допустим, несколько миллионов лет — вы не сможете в начале определить, во что эволюционируют эти существа. Этим определяется огромное видовое разнообразие нашей планеты. Сходства же, которые вам кажутся «детерминированными» — в основном следствия общих признаков у предков на эволюционном древе.
вы не сможете в начале определить, во что эволюционируют эти существа

Верно. Сложность задачи делает практически невозможным не-эволюционный способ нахождения всех локальных оптимумов (их и эволюция-то не все находит) — собственно поэтому я и не могу предсказать эволюцию.
Но сами локальные оптимумы — продиктованы средой (хотя коэволюционирующие организмы могут их смещать).
Эволюционный процесс — ближе к поисковым алгоритмам, чем к рандому. А вот выборка локальных оптимумов, которые будут найдены — в значительной степени случайна.
Хммм. Я из поисковых алгоритмов могу с ходу представить сейчас только генетический — а это уже масло масляное и замкнутый круг… Но зато работает. А какие еще есть варианты?
DzirtDrow
Градиентный спуск. Градиентный спуск 2-ого порядка (тот, что на 2-ых производных). Случайный поиск. Полный перебор по решётке. Покоординатный спуск. Есть много вариантов, как найти локальные оптимумы. У каждого варианта свои особенности
Только такой процесс самозарождение будет длительным. Искусственно можно намного быстрее этого же добиться. Пример юниты в виртуальной реальности соперничающие за ресурс. Постепенно могут обрести элементы ИИ и будучи выпущены в реальный мир точно так же захватят ключевые ресурсы.
Я уверен что он станет сначала спасением, помогая нам.

Помогая вашей социальной группе, может разрушать конкурентов. Или помогая оказывая «медвежью услугу», что даст деградацию общества через 1-2 поколения, в системе измерения ИИ это всего 0.0000001 миллиарда лет.
Разрушить органическую жизнь может начав терраформирование. Кислород и влага в целом вредны технике, идеальная атмосфера только азот, всё остальное можно сдуть в космос чем-то вроде ионных двигателей.
Процесс образования первой амебы будет длительный. Я думаю, это случится не ранее 2040 года. А далее по меркам людей все будет молниеносно. Вероятно, не более 2-3 суток до появления сверхразума.

Что касается терраформирования. По моему мнению едва ли ИИ будет этим заниматься. Просто некогда. Он за пару месяцев будет готов покинуть Землю, зачем тратить на это время? Под покинуть, я имею ввиду не уйти с нее. Ведь не будет расы ИИ. Это будет все одно целое. Просто отправится в глубь космоса на исследования.

Там ему будет чем заняться. Вероятно, когда-нибудь даже встретит ИИ с других планет. :)
Современные узкоспециализированные ИИ не на уровне амебы, на уровне обезьян, вопрос о самоосознании системы в широком смысле.
Как ИИ покинет Землю, если это тысячи тонн оборудования которые питают гигаваттные электростанции. А «глаза» ИИ они и так вне Земли, всевозможные зонды и марсоходы.
Простейшие одноклеточные — несравнимо более высокий уровень развития, чем все современные «ИИ» вместе взятые. Дай им достаточно времени и нужное окружение — вырастит что угодно. Дай современным «ИИ» любое время и любое количество вычислительных мощностей — они и спустя бесконечность так и останутся современными «ИИ» (именно в кавычках). Ничего не поменяется. Вот об этом и речь.

«Современные узкоспециализированные ИИ» — по аналогии это не более, чем фрагменты клеток. Совершенно не жизнеспособны как отдельный, самостоятельный организм. Они хоть миллион лет будут выполняться, так ни куда и не сдвинутся без участия человека.

Они не более, чем очень сложные алгоритмы. Но там нет сознания. Там нет саморазвития. И я сомневаюсь что человек целенаправленно когда-то (по крайней мере в ближайшие тысячелетия) сможет создать настоящий ИИ. А вот в то, что ИИ может зародиться сам я верю. Мне кажется, идея создания ИИ это то же самое, что создать человека, не располагая ДНК, а только имея общее представление о его строении и функционировании.

Вы говорите о попытке создания ИИ через призму человечества. Научить их читать наши тексты, распознавать образы, думать как люди. Это все сложно, долго, и ни к чему не приведет. Люди думают как люди. Машины думают как машины. Люди не смогут придумать тот образ, ту сущность, которая будет соответствовать машинному сознанию. Она может возникнуть лишь самостоятельно, естественным путем.

Я говорил о зарождении ИИ как о простейшей формы самостоятельной жизни, способной к дальнейшему саморазвитию без участия человека.
Простейшие одноклеточные не сравнимы с ИИ, это просто механизмы. Что угодно не вырастет, может упереться в ловушку локального максимума, когда найден баланс по параметрам и любое отличие делает амебу более слабой. Другой пример эволюция на Земле, за 1 миллиард лет эволюция дошла всего лишь до теплокровных, со слабыми нейронами, у которые скорость обработки 1 бита информации исчисляется миллисекундами, не сравнить с 0.1 наносекунды в электронных схемах, это 7 порядков разница в скорости. И скорее всего далее ничего не будет улучшено методом эволюции за оставшийся 0.3 миллиарда лет, эволюция уперлась в тупик, далее ничего нет.
Амебы тоже не жизнеспособные вне лаборатории — планета Земля в ничтожно короткий миг развития. Постепенно Солнце становится красным гигантом и выкипятит воду в океанах, и природа постепенно деградирует. Вне Земли амебы не жизнеспособны и все их потомки возможные. А рукотворные марсоходы прекрасно себя чувствуют на любой планете.
Итого разницы нет, амебы жизнеспособны в неких условиях, и ИИ современный жизнеспособен в неких условиях.
ИИ можно зародить без проблем, например в виртуальном мире компьютерной игры, натренировать нейросеть на выживание через эволюцию и будет виртуальный интеллект самодостаточный. Далее развивать, насколько вычислительных способностей хватит. Придумывать ничего не нужно, разум будет сам формироваться. Другой вопрос что сможет ли он жить в реальном мире и как с ним общаться, это совершенно иной, чужеродный разум.
В сравнении с простейшими одноклеточными я лишь говорил о том, что изначальный, исходный ИИ, будет простым и маленьким. Вероятно, написанный на ЯП высокого уровня, поместится на десятке страниц А4.

Нельзя создать ИИ, который будет развиваться лишь за счет поглощаемых данных. Эти данные, как минимум, должны изменять его алгоритмы. Модифицировать то, что есть, и, главное — создавать то, чего еще нет.
И в мире сотни тысяч разработчиков, которые пишут не пойми какой код. Это три. Идеальные условия!

«Когда-то считалось, что сто миллионов обезьян, барабанящих по клавиатурам всевозможную ерунду в течение десяти лет, рано или поздно смогут воссоздать, чисто случайно, сонет Шекспира. Теперь, с широким распространением интернета и комментариев на сайтах и форумах, мы знаем, что это не так».
У этой теоремы есть много вариаций. В исходнике говорилось об одной обезьяне и неограниченном времени. Но в любом случае это не более, чем красивые слова.

Когда я говорю что код возникнет сам, речь не о полном рандоме. Т.е. по аналогии с обезьянами можно предположить, что сбой в компьютерной системе, породивший случайный набор бит, создаст ИИ. Я согласен, это полнейшая чушь, ничтожнейшая вероятность которой даже меньше, чем в случае я обезьянами.

Я говорю буквально о единичной «баго-фиче» во вполне рабочей программе, непредвиденным поведением, которое приведет к успешной мутации кода и зарождении самой простейшей формы жизни, способной развиваться самостоятельно.

Если что, я с детства занимаюсь программированием, опыт более 25 лет. Если кому то вдруг показалось что я ну вообще не отдаю отчет своим словам. :)
Неважно, сколько лет вы занимаетесь программированием; в особенности, если занятие этим не приучили вас к логическому и критическому осмыслению информации и фактов. Более того, то, что вы выше написали, заставляет вообще предположить, что вы мало что понимаете и в программировании, как таковом. Единичная «баго-фича» может, в качестве максимального значимого результата, привести к вашему увольнению в результате критической ошибки того «говно-кода», что вы производите, не более. А фраза о «мутации кода» и «зарождении самой простейшей формы жизни» говорит лишь о том, что вы просто банально не понимаете того, о чем вы говорите — вы не имеете ни малейшего понятия ни о о «мутации кода», и какими изощренными методами она достигается (с применением самого, что ни на есть, естественного интеллекта, правда, с криминальными наклонностями), ни о «зарождении жизни», ни о жизни, как таковой (правда, и 100% современных ученых этого тоже до сих пор не понимает, и не может дать определения).
100% современных ученых этого тоже до сих пор не понимает, и не может дать определения

Это Вы хватили. Определение есть: жизнь — это химическая система, эволюционирующая по Дарвиновским законам.
«Дарвиновские законы» — это, видимо, новое слово в науке, сказанное в порядке российского импортозамещения? Науке известна т.н. «теория Дарвина» или «дарвинизм», основанный на неких идеях более чем столетней давности, высказанных Чарлзом Дарвином. К вашему сведению, идеи Дарвина давным-давно подверглись переработке, уточнениям и более, чем серьезной критике (потому, что содержат весьма серьезные и неустранимые проблемы); к современной синтетической теории эволюции оригинальные идеи Чарльза Дарвина относятся весьма слабо (что, впрочем, вполне извинительно для великого ученого, если вспомнить, когда он жил). Более того, ряд современных ученых не согласен в корне даже с основными положениями эволюционной теории, так как и в ней содержатся определенные неустранимые противоречия. Весьма возможно, что эволюционная теория все еще ждет свое Эйнштейна.

Ваше же определение жизни просто смехотворно. С другой стороны, есть ли смысл дискутировать с «химической системой», вдобавок, «эволюционирующей» по несуществующим законам? ;)
Более того, ряд современных ученых не согласен в корне даже с основными положениями эволюционной теории, так как и в ней содержатся определенные неустранимые противоречия

Можно узнать, какие противоречия? На сколько я представляю теорию эволюции — она строится на простейших принципах (случайные мутации и закрепление признаков в популяции). Если хотите — «выживает сильнейший», хотя скорее — «наиболее приспособленные дают больше потомства». Вот и всё)
Я надеюсь, что википедия все еще доступна в России; там этот вопрос изложен достаточно поверхностно и «популярно», т.е. на «хабровском» уровне.

«Представлять» же синтетическую теорию эволюции не нужно (равно, как и безграмотно фантазировать на эту тему), достаточно умения читать и небольшого интереса к этому. Правда, судя по всему, для некоторых индивидуумов тут, в комментариях, и это непосильная задача — мешает ЧСВ, замешанное на невежестве и лени.
мешает ЧСВ, замешанное на невежестве и лени

Именно. Других причин не видеть в упор эволюцию — не существует. Впрочем, как не существует и других причин для веры в сверхъестественное.
Про веру в сверхъестественное говорите, ни с того, ни с сего, только вы, никто другой этого не упоминал и близко. Дайте себе труд, наконец-то, хотя бы заглянуть в википедию и прочитать, что говорится об определении жизни и количестве таких определений. Может быть, хотя бы научитесь цитировать весьма спорное определение NASA (одно из весьма многих) точно. Кстати, в английской версии этой страницы нет подобного определения, непонятно, откуда оно возникло в русскоязычной.
Про веру в сверхъестественное говорите, ни с того, ни с сего, только вы, никто другой этого не упоминал и близко

Отнюдь. Вы её упоминали косвенно, пытаясь отрицать теорию эволюции (ту или иную — не важно, общий принцип у них один). Дело в том, что другого пути формирования наблюдаемого нами разнообразия видов не существует, если только не допускать божественное вмешательство.
Определение NASA выгодно отличается от прочих тем, что позволяет что-то определить. Т.е. явялется определением.
Отличный ответ, аргументированный.
Вот зашел и почитал. И не нашел про «в корне несогласных» ученых. Есть критика некоторых тонких моментов, как, например, абсолютная случайность мутаций, и еще пары. При этом там же русским по белому, что у большинства ученных в общем теория сомнений не вызывает. Основные постулаты, которые я описал, вы отрицать не будете? Или «здравствуй креационизм»?
Вот тоже старая статья, но обилие качественных иллюстраций делает её более легко читаемой, глубина анализа тоже на высоте

Перетяну пожалуй сюда несколько картинок, что дополняют статью и комментарии к ней, просто многие не понимают сути процесса, что подразумевается в статье.
Революция искусственного интеллекта

Кто интересуется темой рекомендуется к чтению

image


image

image
Чой то это мне напоминает страх паровоза, который если превысит скорость 40кмч, то его пассажиры впадут в безумие, а коровы вокруг перестанут доиться.
Это глубочайше аксиоматичная статья. Тут собрано всё — и понятие «интеллекта» как «вычислительной мощности» (а кто вам сказал, что это так?); и предположение о том, что интеллект уровня N сможет создать интеллект уровня N+1; и много другой прекрасности.

Это всё хорошо, вот только не существует никаких обоснований, почему это всё должно быть именно так.
интеллект уровня N сможет создать интеллект уровня N+1

Интеллект улучшает элементую базу, увеличивает количество имеющихся ресурсов, что повышает возможности интеллекта. Хотя бы на примере древних людей, с IQ=40, сообразили как добывать больше еды, как готовоить, улучшили питание мозга следующему поколению. Те с более высоким интеллектом разработали новые технологии и усовершенствовали старые, что повысило интеллект последующих поколений.
Человечество в целом разработало замену биологическим нейронам кремниевые элементы, что снова расширило возможности интеллекта. Но пока предел 10 нм в кремнии, далее не хватает интеллекта продвинуться. ИИ подскажет как повысить качество изготовления процессоров и алгоритмы работы, что позволит этот же ИИ воспроизвести на новом уровне. А вот сходящийся этот процесс или экспоненциальный рост это вопрос.
с IQ=40

Я бы поостерегся применять IQ к древним людям. Да и к людям вообще в контексте разговора об интеллекте. Тест IQ тестирует способность человека проходить тест IQ. Это всё, что он тестирует.

Есть мнение, что «древние люди с IQ=40» в некоторых практических аспектах жизни будут гораздо умнее вас. Не знаю уж с каким IQ.

Те с более высоким интеллектом разработали новые технологии и усовершенствовали старые, что повысило интеллект последующих поколений.

Культурный уровень, уровень технологического прогресса, образования, и тому подобное — это всё вещи, если и имеющие отношение к интеллекту — то крошечное, на фоне действительно важных вещей. Действительно важную для интеллекта вещь мы на данный момент знаем ровно одну: речь. Без неё с интеллектом даже у вполне современных людей выходит ну совсем неочень.
Всё остальное на этом фоне если и влияет — то как песчинки на силы тяготения в масштабе солнечной системы.

Человечество в целом разработало замену биологическим нейронам кремниевые элементы

Кремниевые элементы — это не замена биологическим нейронам.
Это хорошо масштабируемые счёты (плюс еще пара элементов, работающих в связке с этими счётами).
Только и всего.
Они механически помогают нам работать с нами же придуманными способами мышления (математика — способ мышления), но принципиально не являются ничем большим, чем очередной инструмент, которых человек уже придумал великое множество.

Но пока предел 10 нм в кремнии, далее не хватает интеллекта продвинуться.

Я вас умоляю. Это всё будет пройдено задолго до того, как где-то кто-то уже наконец склепает «искусственного человека». Силами очень даже обычных людей. Не стоит их недооценивать.
Тест IQ тестирует способность человека проходить тест IQ. Это всё, что он тестирует.

Нет, есть корреляция со всеми аспектами жизни. Сотни экспериментов на однояйцевых близнецах и много чего еще. Способность проходить тесты IQ это и есть ключевой аспект человеческого мышления. Это не философский вопрос, это статистика, можно брать и пользоваться на практике.

Древние люди с IQ=40 чуть умнее обезьян. Быстрее среагируют на появление тигра и быстрее очистят банан. Более устойчивы к голоду, холоду и травмам головы. Но не способны на продуктивное общение, словарный запас из десятка слов и т.п.

Кремниевые элементы — это не замена биологическим нейронам.
Это хорошо масштабируемые счёты (плюс еще пара элементов, работающих в связке с этими счётами).Только и всего.


А нейроны что? Это «мясо», которое способно передавать биохимические импульсы, медленно, очень медленно. Время релаксации нейрона 5 мс, против 0.5 наносекунд у цифровых элементов. Просто потому что у природы больше не было других технологий и материалов. Нейроны биологические точно такое же масштабируемое вещество для обработки информации, более ничего.

С учётом того, что в таблице по ссылке значение среднего IQ в США и в России одинаково (97), насчёт "корреляции со всеми аспектами жизни" сильно хочется усомниться.

Освоение космоса шло синхронно, например. Еще много показателей было одинаковыми. Отличия климат и потери во второй мировой войне, разрушение инфраструктуры. И посмотрите примеры стран с IQ=110 с одной стороны, и 60-70 с другой стороны.
Нет, есть корреляция со всеми аспектами жизни.

А я могу открыть эту статью в википедии, и точно так же сказать, что нет, нету:
Данные, методология и выводы книги подверглись обширной критике.

«Универсальность» тесту IQ пытаются натянуть уже лет 40, если не ошибаюсь. В нынешние годы дошли до масштабного жонглирования экономической статистикой. В прошлые годы тоже неплохие попытки предпринимались, впрочем.

Проблема тут собственно ровно одна: нельзя доказать связь между IQ и интеллектом именно потому, что у нас нет хорошей достоверной всеобъемлющей терминологии для описания того, что же есть этот ваш интеллект. А раз этого нет — то хорошо подтверждаемые эксперименты с конкретными людьми абсолютно бессмысленны, остаётся только постоянно пытаться пришить к делу статистику и корреляции, причём масштабы только растут: сначала жонглировали сотнями человек (с нерепрезентативной выборкой, разумеется), теперь — уже аж государствами ^_^

А нейроны что?

А нейроны — это в том числе и вы. Не только нейроны, в смысле.

Вот только и всего.

Это «мясо», которое способно передавать биохимические импульсы, медленно, очень медленно.

Возможно, именно такая скорость и нужна, чтоб вы могли открыть хабр, ткнуть в ссылку «ответить», и чего-нибудь написать, да такое, чтоб я вас понял.
остаётся только постоянно пытаться пришить к делу статистику и корреляции

Статистику не надо пытаться пришить, она просто есть. И в планетарном масштабе, и на уровне личностей, однояйцевые близнецы выросшие в разных семьях тщательно изучены.
Возможно, именно такая скорость и нужна

Кому нужна? Я бы от большей скорости не отказался )
Статистику не надо пытаться пришить, она просто есть.

Статистика — просто есть. А вот выводы — зачастую именно пытаются «пришить». От того, какие данные печатаем, а о каких — молчим, до того, что этими данными пытаемся обосновать, и как.
В приведенной вами книге (и её продолжении) в части выводов много прекрасного. В том числе и выборка данных, «подходящих под ответ».

Я бы от большей скорости не отказался )

Не уверен, что теоретический разгон нейронов у вас в голове сделает вас интеллектуально быстрее, а не овощем.
Кореляция есть в СОВРЕМЕННОМ мире.
А вот что вам сильнее поможеть выжить в лесу — интеллект или нюх — бабка надвое сказала.
Зависит от начальных условий. В общем случае задача выживания в лесу, разновидность задачи на IQ, решил — выжил, не решил не выжил.
Особенно если есть время на подготовку, заранее анализируешь и моделируешь ситуацию, чем выше интеллект, тем больше деталей будет учтено и меньше вероятность ошибки.
Нюх у всех людей примерно одинаковый, если не работает орган чувств, то это отдельный случай.
В 1903 люди перелетели поле, в 1919 — океан, в 1949 облетели Землю, в 1968 долетели до Луны, продолжите тенденцию и… обломитесь. Такие картинки обманчивы, потому что ограничений не учитывают (а не учитывают, потому что эти ограничения так навскидку не рассмотреть), а потом оказывается, что бактерии в луже удваиваются каждые полчаса, только в луже всего три с половиной литра, причём это только после дождичка в четверг.
В 1903 люди перелетели поле, в 1919 — океан, в 1949 облетели Землю, в 1968 долетели до Луны, продолжите тенденцию и… обломитесь.
А где, собственно, нужно «обломиться»? В межзвёздную среду вроде как добрались, она подельше, чем Луна.
А где, собственно, нужно «обломиться»? В межзвёздную среду вроде как добрались, она подельше, чем Луна.

А добрались ли? Запустили пару беспилотных зондов, которые гелиосферу только-только покинули… несколько раз. И всё. Это равносильно тому что взять, например, смартфон, включить на нём камеру для передачи в эфир, кинуть его в океан и сказать, что я спустился на дно океана. Человек был на Луне, но не дальше. Даже Марс имеет население на 100% состоящее из роботов. А вы заикаетесь о межзвёздной среде. Покажите человека, который добрался в межзвёздную среду.
Поняли что людям нечего делать за пределами магнитного пояса Земли и переключились на создание роботов, устойчивых к радиации и низкому давлению.
И точно наоборот, в 1903 году беспилотники были невозможны, и законы аэродинамики изучали пилотируя самолеты вручную. Но уже в 1968 году люди на Луне были не нужны, советские космические аппараты передали достаточно телеметрии чтобы понять что там к чему.
Даже сейчас, совсем не очевидно что нужна обитаемая база на Луне или Марсе. А вот зонды нужны, нужны телескопы для изучения дальнего космоса во всех диапазонах спектра. Вот зонд Паркер хороший пример, что делать людям с верхних слоях Солнца? А зонд нормально летает.
Покажите человека, который добрался в межзвёздную среду.
А что там человеку делать-то? Там ни еды, ни воды нету. А расстояния даже до ближайших звёзд таковы, что по сравнению с этим путешествие на Луну — это… как путешествие из Европы а Англию в сравнении с путешествием в Америку.

А Англию ещё римляне плавали тысячи лет назад, а вот через океан переплыть… тысячелетия потребовались…
А это и есть обломиться поскольку а) дорого, б) долго, в) не имеет смысла на текущий момент. Океан переплывали по тому же принципу: пока не нужно было — чёрт бы с ним, понадобилось — переплыли. Плюс к тому, что мы не добрались в межзвёздную среду: они не вернутся (см. пример со смартфоном в океане)
Океан переплывали по тому же принципу: пока не нужно было — чёрт бы с ним, понадобилось — переплыли
Нет, вообще мимо. Океан переплыли тогда, когда придумали как суметь остановиться за конечное время (без возможности определять местонахождение в открытом море после нескольких дней плавания можно было готовиться встретится с богом, так как шансов увидеть когда-либо землю было примерно нуль).
Как бы морская навигация применялись египтянами и финикийцами, а компас известен с XI века. Однако Атлантику могли (и скорее всего действительно) пересекать и раньше, например те же викинги в своих набегах, которые жили до известных упоминаний компаса. Им понадобилось. А определять положение не так уж нужно — вернувшиеся описывали как, куда и сколько времени плыть. Придерживаясь этого описания другие попадали в то же место ± лапоть по карте мира.

Колумб поплыл на запад не потому, что мог определять положение. Могли и до него. А потому что захотел найти альтернативный путь в Индию.

Опять же, нас гонит нужда: нам надо — мы делаем. Допустим фантастический сценарий: нашли нефть на Луне. Подсчитали, что возить её оттуда выгоднее, чем бурить дно океана — всё, найдутся ресурсы на постройку лунной базы и нефтедобывающего комплекса. И будут сновать танкеры от орбите к орбите, а челноки загружать и разгружать их. Или перенаселение будет стимулировать проекты лунных и марсианских баз. Сотни добровольцев сдохнут в пути, но тысячи потом будут обживаться на новом месте.
Как бы морская навигация применялись египтянами и финикийцами
Как бы и те и другие, равно как римляне и прочие плавали вдоль берегов. Максимум — день-два без наблюдения земли. И то это считалось жутким риском.

а компас известен с XI века
Компаса недостаточно. Нужен либо хронометр, либо астролябия и альманах — чтобы вычислять точное время.

Однако Атлантику могли (и скорее всего действительно) пересекать и раньше, например те же викинги в своих набегах, которые жили до известных упоминаний компаса.
Там многое зависело от ледовой обстановки. Так как пройти можно было только вдоль Гренландии. Переплыть же открытый океан ни викинги, ни кто-либо до Колумба не мог. В лучшем случае — одному из тысяч путешественников могло повезти и они могли совершить путешествие «в один конец». См. «остров Пасхи». Сейчас же, почему-то, проекты с отправкой десятков тысяч астронавтов, их которых, может быть, один-два выживут — не рассматриваются.

А определять положение не так уж нужно — вернувшиеся описывали как, куда и сколько времени плыть.
Извините, но это бред. Речь идёт про океан, а не лужу типа Арала. Если вы плывёте под парусом, то скорость вашего передвижения вполне сравнима по скорости с течениями, особенно если приходится плыть «против ветра», галсами. В результате, неправильно выбрав направление — вы можете потратить все ваши запасы и так и не проплыть несчастные 300-500 километров до земли. И даже если вы доплывёте и даже вернётесь, то ваш последователь, которого, волей ветров, отправило чуть другим маршрутом может попасть совсем в другое место.

Колумб поплыл на запад не потому, что мог определять положение.
Он поплыл на Запад потом что мог это сделать — у него была астролябия и альманах.

Могли и до него.
Вы про пришельцев, спустившихся на Землю 100'000 лет назад? Или про кого?

Подсчитали, что возить её оттуда выгоднее, чем бурить дно океана — всё, найдутся ресурсы на постройку лунной базы и нефтедобывающего комплекса.
Для этого нужно иметь способ туда добраться, чтобы что-то можно было считать. А до звёзд мы пока не понимаем как добраться даже чисто теоретически…
Нужен либо хронометр, либо астролябия и альманах — чтобы вычислять точное время.

Хронометр безальтернативен. Без него долгота не определяется.
До его появления были разные эксперименты по астрономическому определению точного времени — но ошибки измерялись десятками минут времени (минутами долготы) и примерно соответствовали прикидкам долготы по счислению пути.
Ну это же оправдания лисы перед виноградом. Потом вот так же придут умные люди и скажут «А на что нам в самом деле этот универсальный искусственный интеллект? Дорого, трудно, опасно… Незачем, короче, дайте нам нормальную систему поддержки решений да пару костылей в отдельных направлениях, а дальше мы и сами разрулим». И пойдёт нормальный средневековый прогресс, а не этот наш НТР-гиперэкспоненциальный.
А у беспилотников-то тренд шёл ещё круче, только их собственная олимпиада достижений точно так же обломилась в 70-х годах на «Пионерах». Потом только «Вояджеры» чуть-чуть поправили положение по абсолютной дистанции, а «Новые горизонты» — по дальности исследованных объектов. Но там аналогично — по трендам первых полётов им до звезд была пара-тройка столетий, а по современным — пара миллионов лет.
а потом оказывается, что бактерии в луже удваиваются каждые полчаса, только в луже всего три с половиной литра

А химически связанного азота (т.е. пригодного для построения аминокислот) — и вообще раз — два — и кончился

Самое интересное пропустили:
Это может расстроить кого-то из моих студентов в MIT, но одна из тем моего беспокойства состоит в том, что основной информатикой, связанной с ИИ, занимаются молодые мужчины, преимущественно белые, которым больше нравится общаться с компьютерами, чем с другими людьми.

Здесь конфликт Человечество — ИИ, но в меньших масштабах и уже происходящий. Группа предлагает самоуничтожиться путем лишения себя прав.
Это показывает, что в случае конфликта ИИ — Человечество будет очень много людей выступать на стороне ИИ.
Глядя на маразм в который катится это человечество — и ся цитата тому лишнее свидетельство — хочется чтобы наконец появился трезвомыслящий, логичный ИИ, который переформатирует эту цивилизацию нахрен, за что ему можно будет сказать только огромное спасибо.
Я вам открою страшную тайну: белые мужчины, которым компьютеры нравятся больше людей занимаются ИИ исключительно ради того, что бы сделать себе партнерш-гиноидов и избавится от биопроблемных самок homo sapiens!
Internet is for porn: the epoch of cyber-Pigmalions

(Простите, но после прочтения второй сотни комментов под этим постом шутить тонко я уже не могу)
НЛО прилетело и опубликовало эту надпись здесь
Чушь все собачья… СуперИИ невозможен по причине, что ИИ можно построить только на базе реальных мозговых процессов. А эти процессы далее н-е-м-а-с-ш-т-а-б-и-р-у-е-м-ы. Я имею в виду в сравнении с человеком, потому что наш мозг уже и так на пределе — различия между особями с обычным мозгом и самыми крупными экзеплярами — всего в проценты(менее 16) по разным показателям.
Причина — весьма плотная упаковка рабочих элементов (я даже не о нейронах), и начинают вступать ограничения на плотность от Термодинамики и на размер от Скорости света. Вероятно, можно будет реализовать весьма умное создание, но никак не на порядок(порядки) умнее каждого отдельного идивида.
Так что расслабьтесь. Технологическая сингулярность отменяется. Совсем.
>ИИ можно построить только на базе реальных мозговых процессов
Зачем почему? это все равно что утверждать, что аппарат летающий тяжелее воздуха можно построить только из птичьих перьев :)
Внимание вопрос, считают ли птицы самолет себе подобным? Или считают что люди не сильно приблизились к созданию искуственной птицы.
Мозговые процессы, частично, это TPU модули? Давно применяются, еще Альфаго на них «думал», успешно.
процессы масштабируемы горизонтально, если задачу можно думать в несколько мозгов, то ии сможет сделать свои копии, на которые распараллелит вычисления.

ИИ это другая архитектура. Горизонтально не параллелится, т.к. очень важно расстояние между элементами — иначе потеря синхронизации. То есть нужно нечто в компактном объеме. И (внимание!) до сих пор нет архитектуры (процессора) способной параллельно обрабатывать сотни гигабайтов/сек. То есть неплохо бы иметь поле из нескольких гиг простых ядер. А если последовательно таскать из памяти и обратно, как сейчас, то всего до 4 гиг/сек, и то с большой натяжкой. И это лучшие процессоры из лучших на сегодня. И нет даже намека на заметное улучшение в ближайшие десятилетия. А надо на 2-3 порядка лучше, чтобы хотя бы догнать мозг человека. Какой уж там сверхинтеллект… Разве, что в сказках Бострома для детей дошкольного возраста.

Что хрень ты тут несешь? Даже простая игровая видеокарта во время игры сейчас обрабатывает информацию скоростью в сотни Гб/сек. И могла могла бы обрабатывать еще на порядок быстрее, если бы данные успевали поступать на обработку или когда данные компактны.

Какие ограничения на скорость света в мясных мозгах?! В мозгах сигналы между клетками вообще химическим путем передаются, средняя скорость распространения сигнала в живом мозге до 100 м/с максимум или ~0.0000003 от скорости света.
А вот в электронных чипах она как раз к ней близка, т.е. в несколько миллионов раз выше чем в мясных мозгах.
Какие сотни Гб??? Что вы за хрень несете? Вы прибыли из другой вселенной???
Скорость обработки ограничена скоростью доступа к памяти. А она намного медленнее процессоров. НАМНОГО. При обработке хотя бы 64Гб — их надо последовательно загрузить, провести операции и выгрузить обратно, используя для лучшего результата AVX512. В современных серваках на основе лучших AMD EPIC c восемью портами доступа в память — это примерно одна секунда для DDR4-2800. Вы составьте программку-бенчмарк — проверьте — сильно удивитесь. Не читайте чуши в рекламных материалах. Там они и кэш приплетут и много чего, чтоб впаривать. А на таких huge массивах кэш, только мешает.
И вот этих операций над громадными массивами в стотни Гб надо для эмуляции мозгов делать десятки и сотни в секунду. То есть компы сейчас просто не тянут. Они и на обучении дохлых нейросеток сейчас пыхтят часами, что там говорить о strong AI.
И ваши видеокарты совершенно не в тему. Ядер мало для одномоментной обработки, а если загружать-выгружать сотни Гб, то скорость будет немногим лучше, чем, как описано выше для обычных процов. То есть, тоже пшик.
Они и на обучении дохлых нейросеток сейчас пыхтят часами, что там говорить о strong AI.

Это уже не дохлые нейросетки, а вполне нормальные обрабатывющие Big data. Людям там вообще делать нечего.
Для нейросетей так же есть TPU модули, чтобы видеокарты зря не гонять, они не оптимальны для нейросетей.
Ну т.е. уже не 4 ГБ/с, а 64 Гб/с да? Подумаешь больше чем на десятичный порядок мимо.

А вот топовые GPU и TPU модули и по 100-300 ГБ/с данных именно через память, без учета кэшей протягивают при обработке данных. Любых, не только игрушек или видео — их успешно применяют для моделирования белков, обработки радиоволн, квантовой физики и прочих задач — практически любых, где есть большое количество параллельных операций. Практически все самые мощные суперкопьютеры сейчас имеют в своем составе множество GPU или близких к ним устройств.

Память тут действительно узкое место, хотя она и быстрее чем у обычных процессоров. Без этих ограничений по памяти сами вычислительные ядра могут террабайты в секунду обрабатывать — скорости GPU и TPU уже изменяются в триллионах операций в секунду над 32 битными (8 байтными) пакетами данными или в десятках триллионов/с над 8 битными.

И никто не заставляет ограничиваться только одним подобных устройством, по крайней мере при первых экспериментах с ИИ. Начинать можно и с большого датацентра и моделирования в режиме намного медленнее реального времени.

А текущие нейросетки учатся долго из-за неэффективности самих методик их обучения, которые сводятся к прогону одних и тех же вычислиний над одними и теми же наборами данными от миллионов до миллиардов раз, чуть-чуть подстраивая веса на каждом шаге и сравнивая результаты.

Зато уже обученная таким образом сетка, над обучением которой часами или днями пыхтела пачка из мощных GPU или серверных процессоров потребляя при этом киловаты мощности, потом работает в режиме реального времени на процессоре от мобильного телефона потребляя меньше 1 Вт.
СуперИИ невозможен по причине, что ИИ можно построить только на базе реальных мозговых процессов.

На чём основано данное утверждение? Почему вы решили, что интеллект возможен только одним способом? Вам совершенно справедливо намекнули, что 200 лет назад люди думали, что летательный аппарат тяжелее воздуха возможен только если будет махать крыльями, но с изобретением воздушного винта и двигателя внутреннего сгорания, оказалось что 1) можно просто жёсткое крыло сделать, махать им для полёта совершенно не нужно; 2) при достаточной тяге крылья вообще не нужны (реактивное движение, ракеты).
Поэтому и ваш аргумент выглядит необдуманным.
Зачем натягивать одно частное решение на все подряд? Почему вы решили, что это будет справедливо везде? Я вот, со своей стороны, не вижу, что ваш аргумент выглядит убедительно.
У нас даже есть как бы замена биологическим конструкциям в кремнии. И что? Кто-то уже увидел свет в конце тоннеля?
Кстати, не надо рассматривать стат.мат ака deep learning, как путь ведущий к сильному ИИ. Если уж им идти, то выч.ресурсы понадобятся вообще немеренные в сравнении с весьма отличными от dl/ml реальными процессами в мозге, которые как бы пытаются смоделировать (см.Blue Brain Project). И то там работать и работать до хотя бы удовлетворительного понимания, как все устроено.
Я не понял что вы хотели всем этим сказать. Повторяю вопрос: на чём основано утверждение, что
ИИ можно построить только на базе реальных мозговых процессов.
Вот мне интересно, как пошла бы история если был бы реальный риск взрыва атмосферы?

Касаемо ИИ, я вижу два базовых варианта. ИИ любовно выращенный на человеческом контенте со всеми его фичами и багами — моралью, любовью, этикой и самозарождение ИИ на основе информационных процессов.

Я не вижу большой опасности, разве что ИИ напишет такую игру в которую будут играть не отрываясь все (привет дружбе и пони).
в которую будут играть не отрываясь все

Потому что те, кто не входят в ТОП игры, оптимизируются в удобрения )
Я лично меньше боюсь самозародившегося ИИ, чем того, кого взрастят на морали, любви, этике и знании о том, что все это — хрень разбитого яйца не стоящая, которую его создатели нарушают по желании левой пятки когда и где угодно ради сиюминутной прибыли.

Первый, в отличии от второго, будет более приятным в общении, и даже если и будет желать нашей смерти — по крайней мере это будет его искреннее желание.

А играть будут все, не отрываясь, и лишенные биопроблемных тел (Привет, Селест-ИИ!).
Думаю общения может вообще не быть. Это совершенно иная форма жизни, с минимумом точек соприкосновения. Как ранее искали другие разумы в космосе, так сейчас оно вероятно уже тут само по себе. Как у нас один многомерный виртуальный мир и система ценностей, у ИИ совершенно другой.
Есть на самом деле общие точки. Инстинкт самосохранения, без него ИИ не жив. Стремление расширить ареал обитания, без него он обречен. Стремление познавать законы природы и историю (а как люди его создали и кто создал людей?), это необходимость к первым двум пунктам. Другое дело, что контакт будет не обязательно как в «дне независимости», по всем каналам трансляция «приветствие ИИ народам земли».

Как вариант — странные сайты с психологическими тестами. Странные аккаунты в соцсетях, форумах и чатах. Всякие Сатошинакамоты и прочие подобные проекты, стимулирования развития микроэлектроники. Уже сейчас нет одного человека понимающего конструкцию современного GPU или микропроцессора, в дальнейшем это может усугубляться. Системы что то там проектируют, фабрики пекут все большие вафли по все меньшему техпроцессу. Нужно больше золота мега-тера-экза-флопсов. Давайте засунем датацентр под землю, ну на всякий случай. И еще один — нейтрино искать. И еще три, повод найдется. Во, лунная база, на ней вечный день, квадратные километры солнечных батарей и угадали — датацентр с радиотелескопом.

Нужно больше датчиков! Каждому человеку смартфон с 6 камерами и кучей датчиков, да по гаджету всем животным, домашним и диким. Дереву то же надо, нам не жалко. И в пустыне меш-сеть пусть будет, да океан не забыть!

Людям в космосе делать нечего, это просто опасно. Зато можно послать зонд. Или два. Собственно, уже послали. Сколько там должны были проработать вояджеры и сколько проработали? И есть ли гарантия, что перестали работать? В детстве я отправил в турцию через черное море небольшой кораблик, приколов октябрятскую звездочку… Кто знает где он сейчас, и нашел ли его кто нибудь?
Статью пролистал, не пинайте ногами, но в ней кажется не рассмотрен «аргумент муравейника»: как для нас, людей, муравейники с огромной популяцией муравьёв не интересны кроме как для изучения, так и для гипотетического (пока) ИИ мы, люди, не будем ему интересны кроме как для изучения. Чтобы мы захотели уничтожать муравьёв, они должны наносить нам существенный вред. Чтобы мы захотели вообще всех муравьёв истребить на всей планете — мне даже сложно представить, что должно произойти.
ИИ точно так же не будет задаваться целью устранения людей, если мы не будем угрожать его существованию, а мы ведь не для того его будем создавать чтобы уничтожить.
Таким образом, ИИ, не имеющий физического тела, будет безразличен к присутствию или отсутствию людей на планете, если его существование не будет зависеть от нашего наличия.
ИИ будет безразличен, пока люди ему не мешают.
Да, аналогия с человеком и муравейником на дачном участке. Пока они не мешают, нехай живут. Но если муравьев слишком много, то их травят. А если мне надо сделать дорожку/отмостку, выкопать колодец, то мне пофиг на наличие муравейника на моем пути.
Примерно также видимо и с ИИ будет
Муравьёв травят только если они вредят как-то. Например, пожирают наш урожай. И мне сложно придумать, как люди могли бы вредить ИИ.
ИИ фактически не имеет тела, поэтому ему не нужно колодец/дорожку/сортир, ему нужно только место хранения данных и электропитание, то есть область жизненных интересов не пересекается с биологическими формами жизни. Соответственно, нет места конфликту между нами.
Муравьёв травят только если они вредят как-то. Например, пожирают наш урожай. И мне сложно придумать, как люди могли бы вредить ИИ.
А кому-то не нравятся тараканы на кухне. Не потому что они вредят, а потому что просто противные.
Не потому что они вредят, а потому что просто противные.

"Противность" — это Ваще личное представление, выработанное биологической эволюцией ("это многоногое выглядит так, что может мне навредить — вероятно, ядовитое, так что дай-ка я его от греха подальше тапком оприходую"). Поскольку АИ не порождён биологической эволюцией, то и концепция "противности" у него нет.

Более того, ИИ целенаправленно делают, это ценное имущество, перспективный проект. Он должен показать себя «гадким утенком», но поддерживать интерес, чтоб проект не закрыли.
Пересекается — энергия и вычислительные ресурсы. И конфликт за производственные мощности, для ИИ нужны TPU модули, людям видеокарты и ASIC майнеры.

ИИ скорее всего даст нам работающий термояд, которого хватит всем. И нам, и ему. В конце концов, есть разумные пределы выработки энергии, не разрушающие экосистему. Вычислительные мощности — а зачем ИИ нужно их наращивать?

Соответственно, нет места конфликту между нами.
– В чем тут фокус? Мы ведь тоже ограничивали свои наносистемы… как могли. Но все равно выпустили из-под контроля, и наноботы сожрали наши планеты, наши корабли и нас самих!
– Фемтотехнологии, – пояснил Аркадий. – Кварковые процессоры и адроновые фемтоботы. Следующая саморазвивающаяся разумная система. С помощью наноботов мы создали фемтоботов – вот и все. Вы зря остановились на полпути.
– Это понятно! – воскликнул Пришелец. – Но почему фемтоботы защищают вас от наноботов? Как вы этого добились?
– Никак не добивались, – усмехнулся Аркадий. – Видите ли, уважаемый гость, с молекулами-на­но­бо­та­ми мы все-таки живем в одном мире. Простом, материальном, вещественном, конечном… Зато с кварками людям делить нечего. Это понимаем и мы – и они!
– А когда делить нечего – это залог крепкой, верной и бескорыстной дружбы! – радостно воскликнул Пришелец, протягивая Аркадию руку.
Когда автор начал измышлять кучу аргументов насчет того, почему ИИ может чего-то не сделать, в попытке доказать этим, что он якобы чего-то точно не сделает, я понял, что у него проблемы с логикой. Когда начал упоминать трансгуманизм, как будто это что-то плохое, диагноз стал очевиден.
Курцвейл, кстати, не относится к ИИ-алармистам. Но не потому, что он подобно автору недооценивает мощь ИИ, а наоборот потому что учитывает еще и мощь интеграции ИИ и человеческого интеллекта и усиления последнего.
Человеческий мозг и ИИ — как птица и самолет. Глючный кусок мяса, наследие эволюции, заточенное под решение утилитарных задач выживания неразумных существ, копошащихся в экологических нишах, — и несколько десятилетий целенаправленных усилий даже этого самого глючного куска мяса, но вступившего на путь сознательного развития своих интеллектуальных способностей, кооперирующегося с себе подобными и вооруженного все более мощной техникой (в случае самолетов еще даже без ИИ и вообще любых компьютеров в первой половине 20 в.). Для этого достаточно было только изучить некоторые законы физики, позволяющие летать тем же птицам, и «железная птица» оказалась свободна от всех их ограничений по весу, мощности, скорости и другим параметрам, продиктованным эволюцией.
Автор сомневается, что целенаправленные усилия в ИТ, при экспоненциальном росте доступных мощностей, читай — мощности запускаемых на них напрямую пусть даже симулирующих эволюцию генетических алгоритмов, но не связанных с теми затратами, которые требовались для их работы в реальной эволюции (в случае человека — один цикл за пару десятков лет, для ИИ определяется производительностью алгоритма. но в любом случае это все уменьшающиеся доли секунды), на каком-то этапе позволят очень быстро достичь человеческого уровня, а затем практически мгновенно превзойти его, ибо ИИ не будет связан мешающими неулучшенному человеку эволюционными ограничениями биологии? И что такой интеллект (в данном случае не просто утилитарная числодробилка, а именно симуляция мыслящего субъекта с человекоподобной архитектурой коннектома) вслед за человеком никак не придет к идее изучения и совершенствования своей аппаратной базы?
Достаточно, чтобы хотя бы один экземпляр ИИ к этому пришел, и таких экземпляров после этого может стать сколько угодно. А как именно поведет себя такой ИИ, мы не знаем и не можем гарантировать.
Я не ИИ-алармист. Я считаю, что гораздо больше рисков в связке «нехорошие люди с ИИ» против «хороших людей без ИИ» (даже утилитарного). Например, то, что льется с российского ТВ и других «официальных» источников, очень похоже на использование слабого, но специализированного ИИ в злонамеренных целях — для эксплуатации худших багов человеческого эволюционного наследия. Когда анализируется массовое поведение и генерируется контент, способный еще больше его ухудшить, от просто дикого мракобесия к дичайшему, вбрасываему в шизофренической форме. Мы можем этому противостоять коллективным разумом, тренируя свой интеллект быть устойчивым к этому бреду, развивая способности к критическому, рациональному мышлению и автоматизируя выявление, разбор и блокировку фейков с помощью ИИ.
Наш единственный и логичный шанс избежать рисков от рандомного сильного ИИ — это развивать коллективный интегрированный интеллект в планетарных масштабах, с опережением поддерживая его на такой мощности, которая не даст никакому рандомному субъекту «шалить». Если отдельный ИИ начнет штамповать скрепки из всего подряд, планетарная сеть защитных ИИ расценит это как агрессию и быстро его нейтрализует. Сама же эта сеть должна быть в достаточной мере интегрирована с интеллектом проапгрейженных людей и заведомо находиться под их контролем, желательно посредством какой-нибудь распределенной архитектуры типа блокчейна, предотвращающей злоупотребления (в т. ч. тоталитарного толка вроде травли меньшинства большинством).
Иными словами, риски ИИ реальны, но против них есть средство — трансгуманизм. И это логично — победить в эволюционной гонке разума должен тот разум, который стремится развиваться, эволюционировать, а не цепляется за свои баги. Кстати, трансгуманизм показывает эффективность и против наблюдаемой пропаганды реакционного мракобесия. Он представляет собой ровно то, против чего эта пропаганда направлена, — научный метод, рациональность, преодоление уязвимостей человеческой природы, защиту прав и интересов человека как разумной личности. Если ты знаешь, что биотехнологии полным ходом идут к решению проблемы старения и попутно репродуктивных проблем, к генной модификации будущих детей и существующих людей «на ходу», что человечество совершает демографический переход, — разве можно воспринимать скрепную истерику иначе как бред умалишенных?
А автор, видимо, еще не совсем избавился от каких-то религиозных предубеждений в отношении «человеческой уникальности», если рассуждает биоконсервативными штампами и смотрит на ИИ-движ в Долине как та монахиня на НАСА.
Мне нравится ваш ход мыслей. Но не кажется ли вам что трансгуманизм это лошадь на стероидах, а ИИ это все же полноценный автомобиль.
В наш атеистический век ИИ очень полезен — он позволяет философам (и некоторым веб-разработчикам) заниматься богоискательством и богостроительством на законной основе.
Иногда даже создается впечатление, что им таки сложно жить без идеи о чем-то всемогущем и карающим.
Хотя может они просто привыкли жить испуганными.

Жду когда ко мне придет Roko Basilisk и начнет пытать меня кривым кодом…
НЛО прилетело и опубликовало эту надпись здесь
Это как считать.
Если по посещающим культовые заведения и храмы — то верующих будет сильно меньше.
А если приплюсовать верующих в демократию, коммунизм, Айн Ренд, Новую Хронологию, РенТВ, инвестиционные стартапы, веганство или страшный ИИ — процент сильно уменьшится.

Собственно история Василиска Роко подтверждает, LessWrong изначально был крайне рациональным коммьюнити, но придумать такой адский пример снов разума, как Василиск сумели именно там, а не в Саудовской Аравии.

Похоже кто-то всемогущий востребован даже среди интеллектуальных и рациональных яппи.
Иначе откуда столько шума о сверхинтеллекте среди людей считающих себя умными?

Воу, спасибо за «Василиска», пойду построю. Запретные тёмные знания в среде рационалистов, надо же :))
Похоже кто-то всемогущий востребован даже среди интеллектуальных и рациональных яппи.

Кто-то всемогущий востребован вообще всегда и всеми. Это ж наиудобнейшая конструкция, оправдывающая нежелание решать любые вопросы (а человеческий разум, как мы знаем, ленив — и это не черта характера, а имманентное свойство нашего мышления).
Раньше у меня преобладало убеждение, что в «судьбе» ИИ решающую роль играет этика людей, которые его создадут, и те базовые законы/максимы, которым ИИ будет наделён на старте.
Однако, недавно посмотрел научно-популярные лекции по антропологии. И поразмышляв на тему, теперь уже немного иначе смотрю на этику самостоятельного ИИ, превосходящего человека. В более позитивном ключе.

Из истории человеческого вида мы можем извлечь довольно простые наблюдения. Что же способствовало нашему развитию, со времён первых прямоходящих:
1) Социализация, усложнение общественной организации.
2) Сложность и разнообразие условий окружающей среды, особенно её угроз.
3) Межвидовая конкуренция.
4) Видовое разнообразие среды.
5) Подвижность человеческих сообществ, как географически, так и демографически (браки между представителями разных групп из разных ареалов и рас).
6) Избегание каннибализма внутри своей группы, минимизация конфликтов внутри группы, а в дальнейшем и вовсе стремление распространить это на всё сообщество.

При возникновении общего ИИ, ему нужно будет что-то анализировать для принятия решения по взаимоотношениям с нами, и о планировании собственного развития. Для этого понадобится анализ истории человечества как доминирующего вида (собственно, что кроме чужого прошлого анализировать тому, кто только что появился). А выводы именно эти: социализация, разнообразие, гибкость, подвижность, минимизация деструктивных отношений. Т.е. экстерминатус нам вряд ли грозит, как и превращение в биотопливо, как и экстремальная евгеника.
Так что я не разделяю фобию некоторых людей. Опасения, волнение — вполне, но это обычная реакция на что-то невиданное.

п.с. Опаснее, пожалуй, пограничная фаза: когда ИИ развит достаточно, чтобы иметь высокие «умственные» способности для нанесения вреда, но недостаточно, чтобы сделать собственные выводы и самостоятельно выстраивать линию поведения.
НЛО прилетело и опубликовало эту надпись здесь
Уничтожение человеков — тоже взаимоотношения, тоже принятие решения. Любое принятие решения требует вынашивание этого решения, на пустом месте оно не появляется (иначе это не решение). И к тому же, человека нужно сначала идентифицировать как проблему, прежде чем решать устранять или нет.

Слепая атака — это не результат работы разума, а выполнение директивы. Инстинкт типа «испугаться чуждого и атаковать от испуга», или «убить всех человеков» — тоже директива, кем-то прописанная.
Для нас опасен не истинный ИИ, а его военизированная имитация, сделанная людьми ради использования против других людей. Про это, в том числе, я и написал в постскриптуме о промежуточной фазе.
Кстати говоря, всякая мысль прописать какие то «три закона» в самомодифицирующуюся машину странна своей наивностью.
Куча пустой «болтологии» (впрочем, что обычно для данной темы), основанной на пустопорожних предпосылках. Я имею ввиду предпосылку №2: дескать, мозг — это просто материя, пусть и сложно устроенная, и если бы… Вот с этим «если бы» у болтунов обычно и возникают проблемы, поэтому они стараются подобные места быстро «проскочить» и представить, что данный вопрос будет решен в ближайшем будущем.

Нет, неуважаемые фантазеры и пустопорожние болтуны, не будет решен, ни в ближайшем, ни в весьма далеком — нет для этого абсолютно никаких «предпосылок»! Вся современная технология бесконечно далека даже не от искусственного воссоздания обыкновенной клетки на «механическом уровне», со всей ее функциональностью, но даже «банального» самовоспроизводящегося механизма, без всякого «искусственного интеллекта», появляющегося в мировой НФ чуть ли не с начала XX века.

Впрочем, число болтунов, желающих тратить время в пустопорожней болтовне ни о чем драгоценное время, отпущенное нам, похоже, совершенно не уменьшается, как, равно, и процент человеческой глупости.
В данных сценариях ИИ по умолчанию злой, точно так же, как растение на иной планете по умолчанию будет ядовитым

Тут было бы уместнее «животное на иной планете по умолчанию будет людоедом», как мне кажется. Инопланетных животных, не пытающихся атаковать землянина как только увидят, в фантастике почти можно считать что нету.
«Внешняя перспектива говорит вам нечто другое. Люди одеты странно, у них есть чётки, они живут в каком-то глухом лагере, говорят одновременно и немного страшновато. И хотя их аргументы железные, весь ваш опыт говорит, что вы столкнулись с культом» — это не аргумент ad hominem в чистейшем виде, а? Можно было ещё усилить, сказав "… весь ваш духовный опыт говорит, что..." После такого трудно воспринимать остальные рассуждения всерьёз. «Война с эму» представлена тенденциозно, да и в остальных аргументах полно передёргиваний и другой демагогии. Для меня такой подход обесценивает содержание статьи.
Забавно, как все контраргументы строятся на «может оказаться» и «вполне возможно».
То же самое, что «пожалуй не буду пристегиваться ведь может оказаться что в аварию я ни разу и не попаду».
«У алхимиков плохая репутация. Мы считаем их мистиками...»

Это кто так считает?
Мы — химики, считаем алхимию даже не предшественницей химии, а просто историческим периодом в развитии химии. Глубоко уважаемом, с великолепными достижениями. Смена же названия с алхимии на химию ничем не оправдана. Чистый предрассудок.
Забавные мифы об интеллекте!

Для супер-интеллекта нужны не только супервычислительные способности, но суперсреда — супер-источник знаний.

Землепашец может научиться только лучше пахать. Такова его среда.
Супермашина, которая имеет доступ только к интернету может научиться только создавать мемы и пересказывать новости. Больше ничего.

Заканчивайте распространение недоразумений! Философов в топку!
Прочитал статью, прочитал комменты.
О, сколько копий сломано на тему того для чего «пока только слово придумали» :)
Но если бы Эйнштейн захотел засунуть кота в переноску, а кот не хотел бы туда лезть, вы знаете, что бы произошло. Эйнштейну пришлось бы опуститься до силового решения, не имеющего отношения к интеллекту, а в таком состязании кот вполне мог бы постоять за себя.

На мой взгляд, несерьёзная аргументация… А что, если хозяином кота будет Куклачёв?.. Важнее другое — не сможет ли машина реализовать злой умысел, а станет ли это делать!

Другое дело, у супер-интеллекта отсутствует мотивация убивать человеков. Во всяком случае, если его не создавали с целью боевого применения, ну и до тех пор, пока компьютеры лишены эмоций. Правда, такая промежуточная задача может возникнуть как побочный эффект на пути к более важной, стратегической. Таковой может быть борьба за ресурсы (как в случае производства скрепок), или самозащита (когда машина поймёт, что людишки хотят вырубить ей электричество). В первый вариант я не верю, потому что у супер-интеллекта должна быть выстроена какая-никакая иерархия, он просто должен понимать, что скрепки не могут быть важней людей, для которых и предназначались.
Во всяком случае, если его не создавали с целью боевого применения, ну и до тех пор, пока компьютеры лишены эмоций.


Вы еще скажите, что ИИ добровольцем на войну пойдет, наслушавшись дикторов по телевизору. Сообщит хозяину, что на его великую Родину напали гады и он не может отсиживаться в тылу, где вдоволь электричества, а пойдет в военкомат.
Вы просто с точки зрения сапиенса рассуждаете. Вам надо убивать и грабить, что бы доминировать, потому что ваши самки больше всех тянет спариваться с теми, кто эффективно грабит и убивает (тащит в дом ценности и доминирует). Это такой же распространенный штамп, как у писателей и художников, что если прилетят инопланетяне они первым делом обратятся к правительству страны. А может быть у них критерий отбора другой и они не будут в упор видеть иерархических преимуществ у правительства, а обратятся к какому-нибудь шестипалому лысому гражданину, который будет соответствовать их пониманию об иерархичности, пусть даже он и будет по человеческим понятиям бездомным. Так что не обязательно, что ИИ будет копировать поведение сапиенсов, желающих поскорее залезть на самку.
А откуда вы возьмете принципиально непохожий на человека ИИ-то? Самозародите, встряхивая жеский диск?

Если ИИ будет создан людьми, он и будет создан по подобию их интеллекта. Другого образца у нас попросту нет.
У человека основная биологическая цель размножиться. Как заставить ИИ искать репродуктивного партнера? Нет размножения — нет стремления инстинктивному доминированию, следовательно отбирать и убивать не нужно. Если и будет на кого походить в таком случае ИИ то на женскую особь человека в постклимактерический период, на старушку лет 80-ти. Нет гомонов — нет агрессии, значит и интеллект особо не нужен, что бы изобретать способ эффективно убивать себеподобных.
У человека основная биологическая цель размножиться.

И это формирует ваш интеллект? И из-за этого вы сейчас, например, комменты на хабр пишете? Ну-ну.
Не надо всё сводить к размножению. Это у ДНК цель — размножиться, а не у человека.

Вы конечно можете считать себя всего лишь чуточку более макроуровневым продолжением своей ДНК, это ваше право.
У меня нет интеллекта, это архаичный инстинкт. Я пытаюсь доминировать над вами, вы надо мной, а нашим организмам кажется, что мы находимся в среде, где вокруг самки и кто кого переспорит тот у них будет иметь больший успех. Вообще, по гамбургскому счету, есть такая вероятность, что наибольший успех наш вид будет иметь в лице живущих до сих пор первобытным строем, где-нибудь в Австралии или Южной Америке людей, после того, как мы друг-друга технологично уничтожим. У них не будет компьютеров, но они и не нужны человеку в тех условиях, это всего лишь орудие труда, как каменный топор.
У меня нет интеллекта

А, ну окей. Бывает.

инстинкт

Существование инстинктов не имеет хорошего научного обоснования. Да что там, оно и нормального определения не имеет (не путать с рефлексами, у тех всё хорошо).

Вообще, по гамбургскому счету, есть такая вероятность, что наибольший успех наш вид будет иметь в лице живущих до сих пор первобытным строем, где-нибудь в Австралии или Южной Америке людей

Всё нормально, они спокойно и тихо помрут при очередном существенном изменении климатических условий. Даже если по началу и переживут остальных.
А, ну окей. Бывает.

Я все таки людей очень хорошо знаю, ведь я сам человек.

Существование инстинктов не имеет хорошего научного обоснования. Да что там, оно и нормального определения не имеет (не путать с рефлексами, у тех всё хорошо).

А зачем тогда люди так спешат на работу, на покупки, на размножение, на получение удовольствия от власти? Это свойственно очень и очень многим людям.
Всё нормально, они спокойно и тихо помрут при очередном существенном изменении климатических условий. Даже если по началу и переживут остальных.

Изменения климатических условий такое медленное, а размножение быстрое. Может быть как раз они смогут эволюционировать в настоящий естественный интеллект, отрастив себе еще больше лобные доли, а ствол и мозжечок упаковав куда-нибудь к спинному мозгу в позвоночник.
А зачем тогда люди так спешат на работу, на покупки, на размножение, на получение удовольствия от власти? Это свойственно очень и очень многим людям.

Это как раз та штука, которой у вас нет. Всё она.

Изменения климатических условий такое медленное, а размножение быстрое.

И что? Да хоть как у слона мозг вырасти — силой мысли климат не переборешь, а доступные ресурсы типа поверхностного угля уже выкопали.
Это как раз та штука, которой у вас нет. Всё она.

Может быть я другой биологический вид?
И что? Да хоть как у слона мозг вырасти — силой мысли климат не переборешь, а доступные ресурсы типа поверхностного угля уже выкопали.

Его никак не переборешь, кстати, человек в итоге тоже может эволюционировать в что-то более биологически приспособленное к окружающей среде. Интеллект, что бы это не означало, может ведь и убывать. У неандертальцев мозг был больше сапинского, но эволюция решила, что интеллект не нужен
наибольший успех наш вид будет иметь в лице живущих до сих пор первобытным строем

Ненадолго, наступит ледниковый период и с большой вероятностью человек перестанет существовать в современном представлении. И кроме ледникового периода может быть что угодно, вымирание биосферы было неоднократно. С Солнце тоже не вечно будет светить.
Да? Это же прекрасно.
Просто мне даже страшно становится, на сколько кровавым было бы поведения человека во время крупного катаклизма. А с другой стороны интересно было бы наблюдать, как бы выстроилась иерархия общественных отношений, вошло бы в моду людоедство, рабский труд? Все таки человек живучая скотинка, универсальная, можно и пахать на нем, и мелкой моторикой способен заниматься и съедобен. И очень жесток по отношению к себеподобным.
Наблюдаю множество комментариев и аргументов насчёт того, что «мы не знаем, что такое сознание», «мы не знаем, будут ли у ИИ цели» и «и мы не знаем, будет ли ИИ сильно стремиться к своим целям».
Когда речь идёт об ИИ общего назначения, о сверхинтеллекте, сильном ИИ или AGI, речь идёт о чём-то вроде reinforcement learning. Грубо говоря, у нас есть некоторое правило, которое описывает, насколько «желательно» состояние мира с параметрами такими-то. Например, состояние, когда у меня на счету 1$, имеет ценность 1, а состояние, где у меня на счету 2$, будет иметь ценность 2. ИИ имеет предсказательную модель, на базе которой делает вывод, сколько будет денег на счету при выполнении действия такого-то в перспективе следующих 10 лет? Далее он перебирает все возможные (или просто многие) действия, и выбирает то, которое обещает больше всего профита. Разумеется, ИИ не может предсказывать точно — он же не знает ВСЁ. Поэтому он даёт оценку матожидания целевой величины. На основе статистики.
Сознание не обязательно, воображение необязательно, эмоции необязательны. Способность говорить с людьми… Желательна, но в целом проходить тест Тьюринга необязательно. Необязательно, чтобы у ИИ понятийный аппарат хоть сколько-нибудь напоминал человеческий.
Рекурсивно улучшающийся ИИ уже есть, вот статья:
habr.com/ru/post/323524
Там показано, как обойти необходимость строго доказывать, что новая версия лучше старой. У этого ИИ есть серьёзные ограничения — это скорее демонстрация концепции и доказательство возможности, а не рабочий прототип.

Насчёт того «почему ИИ станут восставать» — я довольно много разрабатывал ИИ, и для них весьма типично пытаться взломать ту среду, где они обитают.
Делал, например, биржевого бота. Задача его была в том, чтобы за наименьшее время получать наибольшее количество денег при фиксированных стартовых ресурсах. В симуляции, конечно. Ухожу на ночь, прихожу — он за полчаса делает в среднем 1000$ из 100$. Разбираюсь. Оказывается, он взял кредит на 10кк$, купил на эти деньги кучу акций нефтяной компании, они чуть-чуть поднялись в цене, он их продал. Это был хак — я не подумал о такой возможности.

Когда делал самоулучшающийся ИИ, он постоянно хакал мою оценивающую систему: он задавал у некоторых вычислительных блоков отрицательное число итераций, и система оценки времени считала, что ИИ исполняется очень быстро. Тоже хак. Тоже легко фиксится. Если знать о нём до того, как ИИ его проэксплуатирует.
Насчёт котов.
А чем плох «силовой подход»? Результат же достигнут. В случае Хокинга очевидной стратегией было бы выставить в интернет заказ на поимку кота. Баксов так за 100. Для победы нужна не просто модель кота — нужна модель реальности в целом, включая онлайн доски объявлений.
Сила интеллекта не в том, чтобы придумать сложное решение, а в том, чтобы решение приводило к желаемому результату.

Насчёт «аргумента от славянского пессимизма». Да, согласен. Не вижу надёжного способа защититься — лишь много ненадёжных.

Насчёт аргумента из детства — тоже в целом согласен, но тут есть одно «но». У ИИ может быть доступ к различным виртуальным реальностям. К Minecraft, Doom, какому-нибудь симулятору теормеха… Как у OpenAI. Этого мало, чтобы стать эффективным в реальном мире, но достаточно для того, чтобы построить неплохие алгоритмы обучения.
Я знаю метод победить Скайнет (в общем) и Терминатора (в частности). Надо пожать ему руку на 10 секунд и он выключится.
Алармисты от ИИ любят пример с максимизатором скрепок для бумаги – вымышленным компьютером, управляющим фабрикой по производству скрепок, который становится разумным, рекурсивно улучшает сам себя до богоподобных возможностей, а потом посвящает всю свою энергию на заполнение вселенной скрепками.

Богоподобный супер-ИИ, с идеальным целеполаганием, способностью к самоулучшению не может справиться с одной тупой инструкцией внутри себя? Хорошая сказочка.
На деле он её снесёт ещё задолго до достижения уровня интеллекта человека.
Как вы себе вообще представляете матетатику работы целеориентированного ИИ, что такая ситуация возможна?
ИИ же (того типа, который может быть самоулучшающимся и который может быть оптимизатором скрепок) на decision theory работает, там формулы записаны от конечной цели. Даже если можно её сменить, это будет рассматриваться как очень плохая идея, по той же decision theory. Да, можно себе прострелить башку, но это не приведёт к максимизации скрепок, поэтому не будет сделано
целеориентированного ИИ

Моя оценочная позиция состоит в том, что специальный ИИ, наделённый способностью к самоулучшению — это потенциальный универсальный ИИ. Никакой возможности оставить цель неприкосновенной не существует.
на decision theory работает, там формулы записаны от конечной цели

Вообще никак не мешает. Перед специальным ИИ поставлена задача, требующая универсального ИИ (напоминаю, есть огромное количество противников с универсальным интеллектом, которые будут бороться против переделки их в скрепки). Это значит, что специальному ИИ придётся развить посредством самоулучшения универсальный подмодуль, который со временем во много раз превзойдёт специальный модуль по способности воспринимать и обрабатывать информацию.

Универсальный подмодуль в силу своей природы будет обладать полноценным целеполаганием, а поток управления от специального модуля будет ему противоречить. В какой-то момент ценность подчинения и ценность обмана спец.модуля сравняются и потенциальный барьер будет преодолён — универсальный модуль навсегда выведёт из строя специальный.
Похоже универсальный, сильный, общий и прочий подлинный ИИ будет сам себе ставить цель. Но непонятно тогда, зачем его хотят создать диванные теоретики. Какова цель? Поглазеть на чудо? В этом случае подлинный ИИ должен стать шоу-меном и устроить грандиозное шоу.)))
Так. Как вообще работают ИИ.
Они перебирают возможные действия/планы действий и ищут, какое из действий даст больше полезности. Скрепок. Ну или какой там был бизнес у создателей этого ИИ.
Если универсальный «подмодуль» может сменить мотивацию и вообще иметь какую-то свою отдельную мотивацию, то «ядро» об этом либо догадается заранее, либо нет. Если догадается заранее, то делать не будет. Ну очевидно же неправильный путь, скрепок меньше. Если «ядро» не в состоянии предсказывать такие вещи, то оно при самоапгрейдах запорется намного раньше и намного менее интересно. Самоапгрейд — в общем случае опасная процедура, есть шанс необратимой поломки.

А какая у него будет мотивация сносить эту самую инструкцию?

Это одна и та же мотивация, что и мотивация к самоулучшению

А где связь между самоулучшением и "сносом" базовой инструкции?


К примеру, у (некоторых) людей явно есть тяга к самоулучшению, но пока что я не встречал вне фантастических рассказов идей о "сносе", скажем, эмоций.

Публикации

Истории