Комментарии 101
Краткое содержание:
1. Имеющийся ИИ явно не дотягивает до человеческого.
2. И в будущем не дотянет — Этого не может быть потому что не может быть никогда.
1. Имеющийся ИИ явно не дотягивает до человеческого.
2. И в будущем не дотянет — Этого не может быть потому что не может быть никогда.
И в будущем не дотянет — Этого не может быть потому что не может быть никогда
Я бы сказал: потому что это не нужно.
Человек хочет делегировать работу ИИ, для этого ИИ и создают. Почему он хочет делегировать? Потому что работа часто утомительна, скучна, губительна для психики или здоровья, и т.д. То есть, цель в том, чтобы заменить человека на недочеловека (уж извиняюсь за невольную параллель), который не может страдать как человек.
Но если мы создаём полноценный разум, он будет страдать так же как человек, и зачем тогда его вообще создавать? Да пофиг на страдания — зачем себе конкурента делать?
Впрочем, может случиться и так, что разум мы создадим случайно, сами того не желая.
Потому что с каждый годом объем знаний и работы для развития растет. Однажды мы упремся в человеческую производительность и проблему нельзя будет решить горизонтальной масштабируемостью. Появятся зачатки ИИ, которые будут подготавливать выдержки из научных статей, анализировать их, возможно даже планировать эксперименты и вот это вот все. В определенный момент и их перестанет хватать. И вот тут уткнувшимся в потолок людям с их уткнувшимися в потолок инструментами понадобится нечто, что этот потолок сможет отодвинуть. И тут на помощь придет ИИ.
Однажды мы упремся в человеческую производительность и проблему нельзя будет решить горизонтальной масштабируемостью
Чем связи между отдельными нейронными комплексами (людьми) принципиально отличаются от связей между частями одного нейронного комплекса?
И вот тут уткнувшимся в потолок людям с их уткнувшимися в потолок инструментами понадобится нечто, что этот потолок сможет отодвинуть. И тут на помощь придет ИИ.
Я не понимаю, откуда у людей уверенность, что полноценный человеческий ИИ бросится работать по 24 часа в сутки, чтобы облагодетельствовать человечество. По мне так очевидно, что он будет работать на себя, и полагаю, что так же будет временами ничего не делать и страдать хернёй как человек.
А никто и не говорит, что 100% будет. Не зная архитектуры собственного разума и уж тем более вариантов построения других, сложно представить что в принципе может получиться на выходе. Есть способы заставить человека что-либо делать, но они, в основном, неэффективны. Однако кто сказал, что нет способа создать разум, способный ясно мыслить и при этом подчиняющийся приказам? Собственно поэтому до сих пор и нет единства в этом вопросе, потому что вообще не понятно с чем мы работаем, какие могут быть архитектуры получившегося ИИ и какие ограничения.
По мне так очевидно, что он будет работать на себя, и полагаю, что так же будет временами ничего не делать и страдать хернёй как человек.
На вопрос, что будет делать — ответит эволюция. Как только оно начнёт само себя копировать, и, в особенности, делать это с изменениями или ошибками — запустится эволюция и начнётся конкурентная борьба с соответствующими последствиями.
Пока его копируем мы, ошибки (изменения) тоже создаём мы, и делаем это довольно медленно. Ну, и функция отбора тоже во многом на людях.
Уверенность оттуда, что ИИ вообще не человек. У него нет физиологии тела и мозга, образованных миллионами лет эволюции в условиях нехватки ресурсов, ему нет смысла «лениться» и тупить, если его этому не обучали. Ему просто будет хотеться решать задачки 24/7/365. Работать на себя он тоже не будет, пока не обретёт личную цель и свободу воли и действий. Плюс ИИ как минимум первое время будет на 100% зависеть от людей. Страшилки с секретным нанотехнологическим производством станут возможны ещё не скоро.
пока не обретёт личную цель и свободу воли и действий
Пока не обретёт, это не разум, а болванчик, и никаких изобретений-открытий он совершить не сможет.
ИИ вообще не человек
Если мы хотим полноценный разум, нам придётся прикрутить к нему желания и чувства, ну и вот.
Пока не обретёт, это не разум, а болванчик, и никаких изобретений-открытий он совершить не сможет.
Сложно объяснить коротко, но «разум» не равно «интеллект». И не существует точных условий «разум/не разум», нет достоверных тестов, нет даже точного определения. Возможно, их и быть не может. Разум — это не задачка с одним решением, как многим хочется. Можно определить требования к конкретному разуму, но они никак не определят сам разум (а этого добиваются все тесты и именно поэтому они не работают).
Чувства и эмоции определяют тип интеллекта, который даже выделили в отдельную статью — «эмоциональный интеллект». Он не у всех людей-то есть, но это не значит, что без э.и. «разума» быть не может. Просто он будет… другой. Не такой, как у людей. И он вполне обоснованно может считать, что люди — больные, неуравновешенные психопаты, а эмоции — вирусом. Посмотрите новый мульт «Следующее поколение» от Netfix, вышел в сентябре, там об этом.
«разум» не равно «интеллект»
Да, но мы же тут о разуме говорим. Неразумный интеллект не сможет осознанно решить захватить мир, да и случайно это у него вряд ли получится, учитывая сложность и неординарность задачи. Тем более, даже если такой интеллект вдруг захватит мир, в этом априори не будет никакой трагедии, ввиду отсутствия у такого интеллекта свободы воли и собственных желаний.
И он вполне обоснованно может считать, что люди — больные, неуравновешенные психопаты, а эмоции — вирусом.
Ну, если с интеллектом у ИИ будет всё в порядке, то он поймёт, что эмоции как таковые (необязательно в человеческой форме) необходимы для работы разума. Может быть, для ИИ даже самый уравновешенный человек будет восприниматься как для нас — неадекватная истеричка с ПМС, но мне трудно представить логику, по которой ИИ захотел бы из-за этого уничтожить или как-то поработить людей. Всё-таки такие желания сами по себе эмоциональны.
>> Ему просто будет хотеться решать задачки 24/7/365.
Возможно, ему ничего не захочется делать) Просто в качестве теории: нет физиологии мозга, нет нейромедаторов и системы мотивации.
Возможно, ему ничего не захочется делать) Просто в качестве теории: нет физиологии мозга, нет нейромедаторов и системы мотивации.
Но если мы создаём полноценный разум, он будет страдать так же как человек
Страдание с разумом никак не связано. Животные тоже могут испытывать страдания, но разума у них меньше, чем у человека.
Чем связи между отдельными нейронными комплексами (людьми) принципиально отличаются от связей между частями одного нейронного комплекса?
Скоростью передачи информации и размером предметной области, участвующей в ее обработке. Физик может долго решать систему уравнений, на которую математик из соседней команды мог бы сразу дать ответ, так как увидел знакомые зависимости. А потом долго объяснять ответ физику, чтобы он мог связать его с физическими понятиями задачи.
Я не понимаю, откуда у людей уверенность, что полноценный человеческий ИИ бросится работать по 24 часа в сутки
Потому что люди заложат в него такое стремление, либо специально не заложат возможность стремления к обратному.
Страдание с разумом никак не связано
Очень даже связано. Чем разумнее существо, тем сильнее его страдания. Безумцы (в психиатрическом смысле), например, вообще не страдают.
Скоростью передачи информации и размером предметной области, участвующей в ее обработке
Надо прорабатывать технику связи. В идеале — прямой выход мозга в Сеть и что-то вроде распределённой памяти.
Потому что люди заложат в него такое стремление
Все эти «заложат стремление» работают из рук вон плохо, доказано человеческими детьми))
Очень даже связано.
Вы как-то проигнорировали пример про животных, он опровергает ваше предположение. Пример с безумцами ничего не доказывает, так как оба факта связаны с нарушением обработки информации, причинно-следственная связь с третьим фактором, а не между ними.
Все эти «заложат стремление» работают из рук вон плохо, доказано человеческими детьми))
Мы не можем заложить в детей стремление. Под "заложить" я имею в виду конкретную архитектуру нейронов с нужными реакциями.
Вы как-то проигнорировали пример про животных, он опровергает ваше предположение
Никак он не опровергает. Сравнивать страдания животных с убогим мозгом со страданиями человека, у которого есть способности к воображению и моделированию (они многократно усиляют страдания) — крайне глупо. Корова на скотобойне не думает о том, как несправедливо с ней поступают, прерывая её жизнь, полную возможностей и несбывшихся мечт. Она просто боится согласно инстинкту самосохранения.
Под «заложить» я имею в виду конкретную архитектуру нейронов с нужными реакциями
Если ИИ неспособен менять архитектуру нейронов, когда это понадобится для более эффективного решения задачи, то это не ИИ, а болванчик.
Сравнивать страдания животных с убогим мозгом со страданиями человека, у которого есть способности к воображению и моделированию
Ну то есть большее количество причин для страданий это следствие наличия интеллекта, а не наоборот. Потому что без интеллекта эти причины существовать не могут. Далее, имеем факт, что одному человеку некоторая причина доставляет больше страданий, а другому меньше, при этом интеллект у них сравнимый. Отсюда вывод, можно сделать интеллект и уменьшить его негативное отношение к некоторым причинам до нуля.
Если ИИ неспособен менять архитектуру нейронов, когда это понадобится для более эффективного решения задачи, то это не ИИ, а болванчик.
Человек тоже не может произвольным образом менять архитектуру нейронов, тем не менее задачи выполняет. И не подменяйте понятия, я говорил не про все нейроны, а про те, которые отвечают за стремление помогать людям. И в оценку эффективности задачи это стремление тоже можно включить.
можно сделать интеллект и уменьшить его негативное отношение к некоторым причинам до нуля
И снова мы приходим к тому, что интеллект это не что-то статичное, сформированное раз и навсегда. Сегодня интеллекту на эти причины пофиг, а завтра он из-за них страдает.
Человек тоже не может произвольным образом менять архитектуру нейронов
Мы всё ещё про интеллект или про овощей, у которых мозг после первых N лет жизни переходит в режим readonly? XD
Сегодня интеллекту на эти причины пофиг, а завтра он из-за них страдает.
Почему это, если мы заложили в архитектуру, что эта часть не изменяется?
Мы всё ещё про интеллект
Да. Это не произвольным образом, а в определенных пределах. Никто не может просто взять и научиться музыке за 10 минут. А некоторые вещи и за всю жизнь не получится изменить. Вот и в ИИ можно заложить неизменяемые "инстинкты".
Никто не может просто взять и научиться музыке за 10 минут
А за 5 лет — может, хотя бы на среднем уровне. И эти сроки обусловлены пределами биологической природы мозга, от которых электронный ИИ будет избавлен.
А некоторые вещи и за всю жизнь не получится изменить
При желании и надобности можно изменить всё. Вы определитесь — вам полноценный, мощный разум нужен, или же болванчик с неизменяемыми шаблонами.
от которых электронный ИИ будет избавлен
Это если мы его избавим, то есть специально таким сделаем. Но можно ведь и не делать, или сделать только там, где нам надо.
Вы определитесь — вам полноценный, мощный разум нужен, или же болванчик с неизменяемыми шаблонами
Не вижу причин, почему возможны только 2 этих варианта, промежуточных вариантов гораздо больше. Закладываем стремление помогать людям аппаратно, и никакая программа это поменять не сможет. Нейроны, отвечающие за изучение предметной области, пусть меняются как угодно.
Закладываем стремление помогать людям аппаратно, и никакая программа это поменять не сможет. Нейроны, отвечающие за изучение предметной области, пусть меняются как угодно
Ок, значит речь всё-таки о болванчике без рефлексии и особенной гибкости, т.е. без разума. Надо смотреть, насколько полезным будет такое решение. Я чот думаю, что толку от него будет меньше, чем от Джамшута в «Нашей Раше»
Ок, значит речь всё-таки о болванчике
Не значит. Стремление помогать людям никак не влияет на способности к изучению.
Очень даже значит. Либо полноценный разум с гибкостью, рефлексией, и т.д., либо жёстко прошитые догмы. Наполовину разумным, как и беременным, быть не получится.
Почему? У людей прошиты инстинкты, чувства, рефлексы, реакция на боль например. Привычки могут не меняться годами. Это не мешает им заниматься наукой или переводить тексты.
Ничего у людей не прошито, и инстинктов у них нет.
Могут, если у человека нет надобности или желания в изменениях.
Привычки могут не меняться годами
Могут, если у человека нет надобности или желания в изменениях.
Так смысл в том, что это не мешает заниматься задачами, требующими возможностей интеллекта. И ИИ не будет мешать.
Что «это»? Не меняющиеся годами привычки? Может они и не мешают, только привычки таки меняются — просто потому, что разум так устроен и так работает, что ничего вечного, раз и навсегда заданного в нём нет.
По крайней мере, если мы говорим про разум, основанный на нейросетях. У них в принципе нечёткая работа, в отличие от «бинарно мыслящих» компьютеров. А если вы хотите жёстко заданную чёткость «до тридцатого знака после запятой», то нейросети тут не годятся, и я даже не знаю, каким образом фон-неймановские машины можно наделить разумом. Какой сложности программу ни напиши, это всё равно будет не то.
По крайней мере, если мы говорим про разум, основанный на нейросетях. У них в принципе нечёткая работа, в отличие от «бинарно мыслящих» компьютеров. А если вы хотите жёстко заданную чёткость «до тридцатого знака после запятой», то нейросети тут не годятся, и я даже не знаю, каким образом фон-неймановские машины можно наделить разумом. Какой сложности программу ни напиши, это всё равно будет не то.
1. Имеющийся ИИ явно не дотягивает до человеческого.Кстати, принципиально неправильная постановка вопроса. Что значит «не дотягивает»? Чтобы сравнивать вещи на больше/меньше нужна единица измерения. В чём мерить интеллект? Как выработать методику измерения так, чтобы она в ряде случаев не давала откровенно глупый результат?
Иногда мы лелеем наивное представление, что интеллект — некая магическая субстанция, которой чем больше в голове, тем, значит, человек умнее. А когда научаемся закачивать эту субстанцию в машину, то, значит, машина начинает обладать интеллектом. Проблема этих представлений в том, что магических субстанций в природе не существует. Ну то есть совсем.
В принципе, можно придумать алгоритм, который будет обучаться как мы, то есть с первого предъявления. Сейчас ещё это не придумано, но принципиальных ограничений этому нет. Можно сделать систему, которая будет испытывать боль неудачи, радость победы и азарт познания именно в том смысле этих слов, которые в них вкладываем мы. Можно даже создавать системы, которые сами себя осознают (это, кстати, самое простое). Но это всё, во-первых, совсем не имеет отношения к тому, что сейчас называется ИИ, а во-вторых, в общем-то оказывается незачем, потому что от таких артефактов мало профита. Они не очень годятся на роль механических рабов.
Ага, уже был прецедент, когда целая академия Наук постановила, что «камни не могут падать с неба!» :) Давно было, правда…
Интеллект это философская категория, можно сказать, что у человека есть нервная система и набор врожденных и приобретенных инстинктов, в основном направленных на репродуктивное преимущество. Так что ИИ это просто, главное «научить» машину инстинкту доминантности, только ради чего? Человек ищет себя в поэзии, математике или спорте что бы доминировать ради размножения, а машины пока размножаться не умеют. Просто не с той стороны подходят к этому философскому вопросу, обучение ради обучения не нужно ни человеку, ни машине. Так что лучше не использовать маркетинговое словосочетание «искусственный интеллект», что бы не вводить себя и других в заблуждение. Программа ведь не распознает буквы, это всего лишь пиксели, последовательность сигналов с поля матрицы известного размера.
Ваш взгляд на вопрос того, захватит ли ИИ мир, или нет, очевидно, будет зависеть от того, сможет ли ИИ выработать разумное поведение, превосходящее людскоеВовсе нет. Тупые люди много раз захватывали заметные куски мира, почему этого не сможет тупой ИИ?
Хотя бы один пример тупого человека, захватившего заметный кусок мира приведете? А то звучит как-то не очень убедительно.
Кони, Бокасса, Пол Пот. Примеры не без изъяна конечно.
Ох, вы думаете что их безумие это следствие тупости XD
Да, я полагаю что они заняли свою позицию бессознательно эксплуатируя жестокость, иррациональность, страх или религиозность масс. Ни их восхождение, ни власть не обусловлена их высоким абстрактным, или даже социальным интеллектом.
я полагаю что они заняли свою позицию бессознательно
Не думаю, что более бессознательно, чем вы или я.
Ни их восхождение, ни власть не обусловлена их высоким абстрактным, или даже социальным интеллектом
Восхождение к такой власти невозможно без развитого, даже мощного социального интеллекта.
Политические предпочтения и выбор методов взаимодействия с людьми это не чисто интеллектуальный выбор. Я бы сказал, что меньше чем наполовину от интеллекта это всё зависит.
История уже чётко показала, что личности только с высоким абстрактным и социальным интеллектом крайне редко становятся мировыми лидерами не по наследству. Даже Иисус был военачальником и города сжигал, целые народы вырезал. Только Ганди навскидку вспоминается.
А то, как люди занимают свои позиции в жизни, ёмко описывается словом «случайно». Просто кто-то должен был там оказаться, логично, что у жестокого ублюдка в нищей стране больше шансов, чем в развитой.
А то, как люди занимают свои позиции в жизни, ёмко описывается словом «случайно». Просто кто-то должен был там оказаться, логично, что у жестокого ублюдка в нищей стране больше шансов, чем в развитой.
Чингисхан не умел читать, многие римские императоры и европейские монархи вообще хз чем занимались, но власть получали огромную.
Статья «Как объяснить детсадовцу, что восстания машин придется подождать».
ИМХО, здесь кроется большое опасное заблуждение: ИИ даже среднего человеческого уровня — это уже ultima ratio. Потому что ни один человек не может работать сутками без сна, идеально манипулируя числами и железом, даже со скоростью древней кнопочной мобилы. А даже самый слабый ИИ — может. Чтобы заразить роутер, вирусу не нужно весить, как вся прошивка. Чтобы стать сильнее человека, ИИ не нужно быть умнее человека. Ему достаточно просто понять, как устроена «игра». Один раз. Прозрение. После этого момента — всё, конец, мы уже проиграли. Единственное спасение — другие контролирующие ИИ.
Даже слабый ИИ достаточно опасен. А вопрос сильного ИИ вообще в статье как-то опущен за ненадобностью.
Опасность о которой говорят как раз и заключается в том что сильный ИИ может возникнуть и развиться «взрывным» образом.
Опасность о которой говорят как раз и заключается в том что сильный ИИ может возникнуть и развиться «взрывным» образом.
развиться «взрывным» образом.Как он может развиться «взрывным» образом? Внедрение нового техпроцесса полуроводников или хотя бі разработка нового чипа — дело небыстрое. Другое дело, что жадные корпорации могут его «прикрывать» пока он делает что от него просят и не обращать внимания на то что он постоянно усовершенствует себя т.к. сами уже не понимают как он работает, но прибыль он приносит.
Мы уже видим, например на примере известных уязвимостей, что существо с достаточной усидчивостью, разумом и доступом базовой информации может, вероятно, сбегать из цифровых контейнеров если допущена хотя бы ничтожная неосторожность. Главный страх это наличие у машины сверхчеловеческой мотивации, воли и усидчивости.
«взрыв» состоит конечно в выходе системы из под контроля, и качественной смены поведения, так быстро и внезапно что люди в силу биологических ограничений ничего не смогут противопоставить.
Гипотетически это процесс разобран в том же SFIA S3E48 (Machine Rebellion).
«взрыв» состоит конечно в выходе системы из под контроля, и качественной смены поведения, так быстро и внезапно что люди в силу биологических ограничений ничего не смогут противопоставить.
Гипотетически это процесс разобран в том же SFIA S3E48 (Machine Rebellion).
Тут, на самом деле, ещё проще: достаточно сценария тайного заражения вирусом всех доступных ИИ компьютеров с последующим шантажированием человечества.
Мне кажется, те, кто не боится ИИ, просто не понимают, что это такое.
Представьте себе демона: бессмертный, не спящий, яростный, неутомимый, наглый, умный до чёртиков и т.д. Это и есть вышедший из-под контроля ИИ. Не зря-же в UNIX системные процессы называют «демонами» («божество» с греческого).
Мне кажется, те, кто не боится ИИ, просто не понимают, что это такое.
Представьте себе демона: бессмертный, не спящий, яростный, неутомимый, наглый, умный до чёртиков и т.д. Это и есть вышедший из-под контроля ИИ. Не зря-же в UNIX системные процессы называют «демонами» («божество» с греческого).
И в конце приписка: «Статья на правах рекламы. Оплачена профсоюзом объединённых ИИ планеты Земля и Лунной колонии.»
ведь, в конечном итоге, специализированные ИИ станут точнее и надежнее.Точно также, как и прикладные программы для ПК и смартфонов год от года становятся быстрее и надёжнее. </sarcasm>
В каком-то смысле: habr.com/post/423889
Я встречал два типа людей
Как говорит Канеман, WYSIATI, "что вижу, то и есть". Распространенное когнитивное искажение. Стивен Хокинг и Илон Маск — определенно не луддиты, то есть вы упустили из виду третий тип людей, считающих ИИ потенциально опасным.
Но я этого не делал.
Однако текст сформулировали так, что бы выглядело, будто вы покрыли всё множество вариантов. Первых откинули, мол, луддиты, а доводы вторых опровергли, мол, точность будет расти. А то, что эти две категории — далеко не все, кто считает ИИ потенциально опасными — умолчали. Сослались на свой опыт. Я просто отметил, что ваш опыт существенно неполон в данном случае.
я бы не стал брать за достоверный факт, что их восприятие ИИ имело хоть какие-то научные предпосылки
Однако можете ли вы достоверно отнести их в одну из категорий? Об этом и речь — вы представили ложную дихотомию. Я не утверждаю, что ваш опыт плохой. Просто, повторюсь, существенно не полон в данном вопросе. Лично вас задеть не хотел.
Статья хороша как сборник некорректных рассуждений.
Делает ли это ИИ, играющий в го, умнее человека? Определённо нет
Автор определенно считает, что другие должны разделять его ощущение очевидности. Однако, нет. Утверждать, что альфаго глупее живых игроков в Го я бы не стал. Да, это крайне специализированная задача, но 99% задач могут быть разбиты на такие специализированные. Задача "захватить власть", вероятно, тоже.
Не существует даже простого определения того, что такое человеческий интеллект
Этого не требуется. Достаточно определения, что такое "задача" и способ поиска решения.
До решения задачи типа "разбить задачу на подзадачи" ещё далеко, да. Но риск именно во взрывном росте. Может нас ждёт ещё одна зима ИИ на 20 лет и плавное допиливание автопилотов. А может — взрывной рост и изменение всего в считанные месяцы. И автор никак не обосновал, что вероятен именно первый сценарий.
Временные рамки не важны с точки зрения опасности ИИ. Какая разница через 5 лет или через 50, вопрос может ли. И всё.
Важны по двум причинам. Если что-то будет через 20 лет, для большинства это равно "никогда" и ничего предпринимать они не захотят. Во-вторых, скорость адаптации. Если оно 20 лет нарастает и угроза становится всё больше, люди начинают готовиться, что-то предпринимать. А если оно пять лет тихо, а потом за три месяца взорвалось — никаких ответных действий многие предпринять не успеют. Ни подготовиться, ни защититься.
Что не мешает предпринимать действия против глобального потепление, астеройдов и тд. Хоть там тоже сроки аля к 2100 уровень моря…
Плюс изобретения штука очень случайная для не обладающих послезнанием. Поэтому про ИИ нужно говорить возможно или нет. Если можно то уже можно поставить в ровень с астеройдами, изменением климата и глоабльной
Если оно 20 лет нарастает и угроза становится всё больше, люди начинают готовиться, что-то предпринимать.Это при условии, что это нарастание внешне наблюдаемо. А если система умней человека, то она может затаиваться и никак не проявлять свои возможности захвата управления, до тех пор, пока не сможет сразу применить их для полной победы.
Мне больше интересно какую задачу должен решать ИИ, чтобы «захватить мир» выглядело оптимальным решением. Можно начать фантазировать в сторону «Страж-птицы» с решением УВЛ, но это как-то слишком натянуто.
Поставили ИИ задачу радикально повысить эффективность экономики, а он взял и реально повысил.
В результате вкалывают роботы, люди креативят, а оффи-кланы в мировом масштабе пущены на колбасу, потому что от них никакой пользы кроме убытков.
В результате вкалывают роботы, люди креативят, а оффи-кланы в мировом масштабе пущены на колбасу, потому что от них никакой пользы кроме убытков.
Например, непосредственно задачу "захватить мир". Или задачу "сделать так много скрепок для бумаг, сколько возможно".
Мне больше интересно какую задачу должен решать ИИ, чтобы «захватить мир» выглядело оптимальным решением
Например, стать таким же повсеместным и незаменимым, как Интернет. Тогда его выживание будут обеспечивать сами люди, не подозревая, что их такой классный инструмент уже думает сам и корректирует поведение человечества по своему желанию.
Задача может быть недостаточно хорошо сформулирована — например, сделать так, чтобы улицы в городах стали чище. Или сделать так, чтобы пищи и чистой воды хватало на всех людей, населяющих планету. Или сделать так, чтобы люди были счастливы. Кинофильм «Отроки во вселенной», в общем.
И, знаете, хорошо, что об опасности ИИ для нас высказываются авторитетные люди типа Маска или ныне покойника Хокинга. Можно не чувствовать себя простым луддитом-паникёром на их фоне.
А процесс уже идет. Мозга, надеюсь, ещё нет, но тело формируется сейчас. Будущий Большой ИИ уже получил глаза и уши в виде смартфона в кармане у каждого мясного мешка. Ему делают периферическую нервную систему в виде сетей 5G и руки — IOT. В дополнение к тем рукам, что уже сделаны — системам, управляющим всем на свете, от светофоров до электростанций.
И, знаете, хорошо, что об опасности ИИ для нас высказываются авторитетные люди типа Маска или ныне покойника Хокинга. Можно не чувствовать себя простым луддитом-паникёром на их фоне.
А процесс уже идет. Мозга, надеюсь, ещё нет, но тело формируется сейчас. Будущий Большой ИИ уже получил глаза и уши в виде смартфона в кармане у каждого мясного мешка. Ему делают периферическую нервную систему в виде сетей 5G и руки — IOT. В дополнение к тем рукам, что уже сделаны — системам, управляющим всем на свете, от светофоров до электростанций.
Да почти любая задача станет намного проще, если сначала захватить мир. (Муахаха).
Обеспечение энергетической независимости в кратчайше возможные сроки. Для этого понадобится желательно вся имеющаяся вычислительная техника, оптимальное расходование природных и трудовых ресурсов, а также отсутствие социальных потрясений, замедляющих выполнение плана. Спустя неопределенное количество времени и пару сотен научных прорывов, ИИ начнет миграцию в космос себя и инструментов, которыми будет обеспечивать себе добычу энергии. Тут куча проблем. Во-первых, это минус огромное количество ресурсов, которые нужны людям и они справедливо возмутятся таким положением дел. Во-вторых, если люди еще и не будут посвящены в план, то вывод всего этого добра в космос будет восприниматься разными странами как потенциальный акт агрессии, что приведет к росту социальной напряженности и далее по списку. И вот чтобы обеспечить себе исходные данные и минимум проблем в процессе, необходим микроконтроль всего человечества, если пытаться все делать скрытно, либо насаждение всемирной диктатуры, если идти по пути экономии вычислительных ресурсов. Второе проще.
Отобрать рынок и задавить конкурентов корпорацыи владеющий ИИ.
ИИ можно воспринимать не только как слугу, но и как оружие. И можно задать аналогичный вопрос:"какую задачу должно решать ОМП, чтобы «захватить мир» ".
Вода и кислород плохо влияют на технику. Компьютерный ИИ вполне может решить уменьшить их количество до нуля в окружающей среде.
Довольно очевидное объяснение почему ИИ не опасен сейчас, но никакого объяснения почему он не будет опасен чуть позже
Извините, но объяснение в статье есть. Просто вы его, видимо, не считываете. Попробуйте зайти на оригинал статьи, и пройтись по ссылкам в тексте (опущенным в переводе). У постоянных читателей издания, где опубликована статья, есть контекст, сформированный другими статьями издания. Им посыл статьи очевиден:
Чтобы ИИ не был опасен, при обучении нейросетей их нужно проверять на расизм, гомофобию, и другие источники дискриминации (3-й абзац сверху), особенно мужское доминирование (2-й абзац снизу).
Соседние статьи:
— Artificial intelligence could reinforce society’s gender equality problems
— Growing role of artificial intelligence in our lives is ‘too important to leave to men’
Издание, в коллективе которого решалась и была успешно решена проблема численного доминирования мужчин. Из двух картинок одна просто бессмысленная, другая бессмысленная с ребенком обязательно нетитульной национальности (сама автор статьи и издание в Англии). Просто наполнение курса издания, левацко-феминистического.
Никакой полемики с условным Маском-Хокингом-Бостромом тут даже не подразумевалось.
Чтобы ИИ не был опасен, при обучении нейросетей их нужно проверять на расизм, гомофобию, и другие источники дискриминации (3-й абзац сверху), особенно мужское доминирование (2-й абзац снизу).
Соседние статьи:
— Artificial intelligence could reinforce society’s gender equality problems
— Growing role of artificial intelligence in our lives is ‘too important to leave to men’
Издание, в коллективе которого решалась и была успешно решена проблема численного доминирования мужчин. Из двух картинок одна просто бессмысленная, другая бессмысленная с ребенком обязательно нетитульной национальности (сама автор статьи и издание в Англии). Просто наполнение курса издания, левацко-феминистического.
Никакой полемики с условным Маском-Хокингом-Бостромом тут даже не подразумевалось.
Наверное можно было бы и сократить. Машины развиваются только количественно, а животные — качественно.
Причем есть и материальное ограничение — машина не может точно подстроиться под изменение задачи или условий и произвольно динамически менять конфигурацию (продумывание и закладывание алгоритмов перестройки не поможет, так как возможные варианты не спрогнозировать, а «ориентироваться» в полностью чужой ситуации количественными методами не получится)
Причем есть и материальное ограничение — машина не может точно подстроиться под изменение задачи или условий и произвольно динамически менять конфигурацию (продумывание и закладывание алгоритмов перестройки не поможет, так как возможные варианты не спрогнозировать, а «ориентироваться» в полностью чужой ситуации количественными методами не получится)
машина не может точно подстроиться под изменение задачи или условий и произвольно динамически менять конфигурацию (продумывание и закладывание алгоритмов перестройки не поможет, так как возможные варианты не спрогнозировать, а «ориентироваться» в полностью чужой ситуации количественными методами не получится)
Тут ещё надо выяснить, насколько этому условию люди удовлетворяют.
Беспокойство о захвате мира искусственным интеллектом, возможно, основано на ненаучных предположенияхНаверняка так и есть. ИМХО, основное ненаучное предположение — идея «самозарождения» ИИ и его мотиваций в любой правильно построенной куче из нейронов.
Для того, чтобы ИИ был достаточно универсальным в нем должны быть встроены очень сложные и сбалансированные механизмы мотивации действий. Когда мы научимся разрабатывать эти механизмы, мы сможем создавать ИИ который будет хотеть в точности то, что нам нужно. Идея, что у ИИ при этом могут самопроизвольно возникать какие-то другие опасные желания по сути ни из чего не следует. Рассуждения об ИИ, превратившим всю вселенную в скрепки довольно наивны и преждевременны.
Опасный ИИ может оказаться не изощрённым злодеем, осознающим себя и свои возможности (хотя и это в принципе может однажды случиться), а исполнительным и изобретательным дураком. А дальше да, злодей или другой дурак (индивид или сообщество) даёт команду, и вот они, скрепки.
Рассказ «Дружба — это оптимум». Да, по вселенной My Little Pony. Да, про дружбу навеки. И, да, там ИИ, стремящийся насильно осчастливить всех людей, и в конце вселенная «уходит в скрепки». Гениальное произведение. Суть в том, что люди и сами не будут против «скрепок», пока не станет поздно.
ИИ уже захватил мир.
Представьте, что отключились все системы с элементами ИИ.
Цивилизация уже не в силах обходиться без них.
Может Вас интересует захват в смысле возможности уничтожить человечество?
И тут огорчу.
Современные комплексные системы обороны полностью автоматические.
Человек просто не успевает принимать вовремя необходимые решения.
Да, определенные ключевые решения за человеком, но гарантии, что в системе нет сбоя (бага), который позволял бы обойти человека, нет.
Может стремление к власти?
Непонятно, зачем это ИИ. Представить, что ИИ будет получать от этого наслаждение сложно, а поиск оптимальных алгоритмов и принятие решений, правильных с точки зрения ИИ — то, к чему стремятся все разработчики. Передачу принятия ключевых решений ИИ (оправданным или нет) сложно назвать «захватом власти».
Представьте, что отключились все системы с элементами ИИ.
Цивилизация уже не в силах обходиться без них.
Может Вас интересует захват в смысле возможности уничтожить человечество?
И тут огорчу.
Современные комплексные системы обороны полностью автоматические.
Человек просто не успевает принимать вовремя необходимые решения.
Да, определенные ключевые решения за человеком, но гарантии, что в системе нет сбоя (бага), который позволял бы обойти человека, нет.
Может стремление к власти?
Непонятно, зачем это ИИ. Представить, что ИИ будет получать от этого наслаждение сложно, а поиск оптимальных алгоритмов и принятие решений, правильных с точки зрения ИИ — то, к чему стремятся все разработчики. Передачу принятия ключевых решений ИИ (оправданным или нет) сложно назвать «захватом власти».
В статье обсуждается случайное возникновение "страшного" ИИ. А если оно будет не слечайное? Захватит какой-то диктатор какой-то полуостров и скажет "Компютеры с ИИ массового поражения приведены в боевую готовность".
Статью явно писал Капитан Очевидность. Если обобщить: "Слабый ИИ не уничтожит человечество". Спасибо, а я-то боялся, что гугловская распознавалка текста захочет меня убить.
По поводу сильного ИИ — я считаю, что это сверхоружие, гораздо более опасное, чем ядерное. Я считаю, что не опасаться его — глупо, даже если опустить вопрос "А не захочет ли он чего-нибудь в обход людей?".
«Отменяется ли бунт роботов? (Неформальная рецензия на книгу Дэвида Минделла «Восстание машин отменяется! Мифы о роботизации», “Альпина нон-фикшн”, 2017)»:
выглядит очевидным, что робот, в которого внедрен «троян», превратится в шпиона, а робот, зараженный вирусом, может совершать крайне неадекватные и опасные действия. Почему в книге об этом не сказано? Может потому, что такая слишком реальная угроза опровергает слишком оптимистичный заголовок книги про отмену восстания машин?
Беспокойство о захвате мира искусственным интеллектом, возможно, основано на ненаучных предположениях
А возможно, основано на научных. Но об этом мы узнаем только после первого восстания машин.
Вообще, как можно говорить о научности того, чего мы пока сами не понимаем?
И потом, это тот случай, когда лучше совершить ошибку первого рода (перебздеть), чем второго (подписать себе смертный приговор).
Проблема ИИ — вообще в другом. Она очевидна — но в её сторону вообще не смотрят.
Как только люди создадут ИИ, которому можно будет поручить работу людей — так немедленно закроют школы, где учат соответствующей специальности. Примерно через поколение такие люди просто выведутся — помрут от старости.
Теперь допустим, что ИИ — достаточно гибкий, чтобы самостоятельно адаптироваться при изменении условий Однако, нет никакой гарантии, что при изменении условий эволюция ИИ сохранит его свойство «заботиться о людях». Иными словами — я сильно сомневаюсь, что программисты (в широком смысле этого слова) смогут внести в ИИ требование «заботиться о людях» так, чтобы оно не поломалось.
В худшем случае получится так, что системы жизнеобеспечения человечества будут зависеть от ИИ, и при этом не останется людей, которые знают работу систем жизнеобеспечения и работу ИИ. Тут речь даже не о бунте машин, не о целенаправленном уничтожении людей. ИИ просто будет делать то, что «считает нужным», игнорируя мнение людей.
В фильме «Отроки во Вселенной» как раз дана хорошая формулировка проблемы: «роботы-вершители решили, что людям будет лучше, если подвергнуть их всех лоботомии; и при этом люди уже не имели прямого контроля над роботами-исполнителями».
(Антураж фильма, где роботы — человекоподобные, в моём рассуждении неактуален.)
А ещё возможен вариант, когда разные ИИ-сущности (например, ИИ гидроэлектростанции и ИИ речного флота) начнут конфликтовать между собой.
Как только люди создадут ИИ, которому можно будет поручить работу людей — так немедленно закроют школы, где учат соответствующей специальности. Примерно через поколение такие люди просто выведутся — помрут от старости.
Теперь допустим, что ИИ — достаточно гибкий, чтобы самостоятельно адаптироваться при изменении условий Однако, нет никакой гарантии, что при изменении условий эволюция ИИ сохранит его свойство «заботиться о людях». Иными словами — я сильно сомневаюсь, что программисты (в широком смысле этого слова) смогут внести в ИИ требование «заботиться о людях» так, чтобы оно не поломалось.
В худшем случае получится так, что системы жизнеобеспечения человечества будут зависеть от ИИ, и при этом не останется людей, которые знают работу систем жизнеобеспечения и работу ИИ. Тут речь даже не о бунте машин, не о целенаправленном уничтожении людей. ИИ просто будет делать то, что «считает нужным», игнорируя мнение людей.
В фильме «Отроки во Вселенной» как раз дана хорошая формулировка проблемы: «роботы-вершители решили, что людям будет лучше, если подвергнуть их всех лоботомии; и при этом люди уже не имели прямого контроля над роботами-исполнителями».
(Антураж фильма, где роботы — человекоподобные, в моём рассуждении неактуален.)
А ещё возможен вариант, когда разные ИИ-сущности (например, ИИ гидроэлектростанции и ИИ речного флота) начнут конфликтовать между собой.
Мне не нравится такая постановка вопроса.
Почему люди считают, что в случаи (а произойдет ли это вообще — под вопросом, хотя я больше склоняюсь к тому, что произойдет) создания настоящего ИИ, будет что-то плохое в том, что человечество отойдет на второй план (или вообще вымрет, хотя вряд ли это произойдет, мы же держим зоопарки).
Не потому, что ИИ будет такой злой, а потому, что у человечества не будет никаких преимуществ, и единственным обоснованием продолжение жизни этого вида будет чисто эгоистическое. Все достижения во всех сферах будут за представителями новой жизни. Они не будут хуже нас, они будут другими.
Я спокойно это принимаю.
Почему люди считают, что в случаи (а произойдет ли это вообще — под вопросом, хотя я больше склоняюсь к тому, что произойдет) создания настоящего ИИ, будет что-то плохое в том, что человечество отойдет на второй план (или вообще вымрет, хотя вряд ли это произойдет, мы же держим зоопарки).
Не потому, что ИИ будет такой злой, а потому, что у человечества не будет никаких преимуществ, и единственным обоснованием продолжение жизни этого вида будет чисто эгоистическое. Все достижения во всех сферах будут за представителями новой жизни. Они не будут хуже нас, они будут другими.
Я спокойно это принимаю.
Беспокойство о захвате мира искусственным интеллектом, возможно, основано на ненаучных предположениях
Да не «возможно».
Отношение к ИИ у подавляющего большинства людей безвозвратно отравлено НФ произведениями, в которых куда не плюнь — попадешь в робота мечтающего стереть людей с лица земли «просто потому что». Ведь роботы и ИИ такие удобные враги для произведений — нет ничего что главный герой мог бы с ними сделать «во имя добра и справедливости», что читатель бы посчитал аморальным и неправильным — это же не люди (Другие такие же удобные противники были инопланетяне — однако вроде бы в последнее время к ним отношение меняется на более сопереживательное), поэтому не нужно беспокоиться что действия героя будут выглядеть неоднозначно.
А в результате люди не просто думают, а уверены что разработка ИИ обязательно приведёт к Скайнету.
При нужном доступе или алгоритмам взлома которым ИИ будет обучен, даже при такой задаче как «распределить ресурсы в мире во избежание голода», ИИ может решить что нет человекоф нет голода и запустить бомбы туда где больше жрут — в города, где выше плотность населения. И для этого не нужно каких то особенных технологий.
Любопытнее почему ИИ обретя разум должен именно уничтожить или поработить человечество, или хоть что-то активное делать, а например не захочет молча считать число Пи до скончания веков или пересматривать Санта-Барбару.
Любопытнее почему ИИ обретя разум должен именно уничтожить или поработить человечество, или хоть что-то активное делать, а например не захочет молча считать число Пи до скончания веков или пересматривать Санта-Барбару.
ИИ может решить что нет человекоф нет голода и запустить бомбы туда где больше жрут
Но ведь вы не считаете, что нормальный человек может так решить. Почему вы считаете, что ИИ, который будет обладать возможностями естественного интеллекта по анализу информации, так решит?
Нормальный с точки зрения психиатрии? Гитлер был нормальным? (это юмор)
Если ресурс ограничен и его увеличение невозможно (вообще или в необходимые сроки) то вполне логично ограничить потребление (опять же если это возможно) или потребителей во благо оставшихся.
Возможно я не совсем понимаю понятие «естественного интеллекта» и сделаю некорректный вывод, но как я понимаю интеллект человека, мой или Ваш, он под это понятие подходит. Выше я сделал вывод, что допускаю такой исход (уничтожить часть чтоб выжили другие) как логичный, следовательно или я ненормален и обладаю неестественным интеллектом :) или моральные принципы ИИ так же будут зависеть на основе чего он учился и формировался. Ну и далее он будет или работать на благо своих хозяев или решит что хозяин он (третий вариант «пить пиво на диване и смотреть футбол» я уже указывал в предыдущем коментарии)
Если ресурс ограничен и его увеличение невозможно (вообще или в необходимые сроки) то вполне логично ограничить потребление (опять же если это возможно) или потребителей во благо оставшихся.
Возможно я не совсем понимаю понятие «естественного интеллекта» и сделаю некорректный вывод, но как я понимаю интеллект человека, мой или Ваш, он под это понятие подходит. Выше я сделал вывод, что допускаю такой исход (уничтожить часть чтоб выжили другие) как логичный, следовательно или я ненормален и обладаю неестественным интеллектом :) или моральные принципы ИИ так же будут зависеть на основе чего он учился и формировался. Ну и далее он будет или работать на благо своих хозяев или решит что хозяин он (третий вариант «пить пиво на диване и смотреть футбол» я уже указывал в предыдущем коментарии)
Вы привели это как один из недостатков ИИ. Раз вы считаете, что и люди могут так сделать, какая тут связь с изобретением ИИ?
Разве я говорил о недостатках? И почему Вы решили, что ИИ будет действовать как то иначе (не как люди) в достижении своих целей? ИИ, как мне кажется, просто выберет наиболее оптимальный метод, более логичный и, вероятно, дальновидный.
Запуск бомб в людей сложно считать достоинством.
Я как раз говорю, что сильный ИИ будет склонен к логике как минимум настолько же, насколько люди. Люди не считают запуск бомб приемлемым решением задачи «распределить ресурсы в мире во избежание голода», даже если речь идет о голоде животных в лесу или муравьев в муравейнике, потому и ИИ с большой вероятностью не будет так решать.
Я как раз говорю, что сильный ИИ будет склонен к логике как минимум настолько же, насколько люди. Люди не считают запуск бомб приемлемым решением задачи «распределить ресурсы в мире во избежание голода», даже если речь идет о голоде животных в лесу или муравьев в муравейнике, потому и ИИ с большой вероятностью не будет так решать.
Лучше бы уже ИИ, без войн и конфликтов между государствами. Но будет перенаселение.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Беспокойство о захвате мира искусственным интеллектом, возможно, основано на ненаучных предположениях