Комментарии 29
В трёх первых пунктах я уверен более чем на 95%
«Мое хобби — экстраполировать» (с)
Почему сравнение идет с нынешними людьми, причем в их натуальном виде?
Почему речь идет про какой-то один или единый ИИ, а не про множество его разновидностей разной мощности, конкурирующих друг с другом?
эта проблема лежит в области философии
… ведь философы известны своими точными прогнозами и четкими обоснованными решениями.
в мозг некоторых людей имплантированы электроды
В мозг крыс. И лишь только некоторые из них демонстрировали описанное поведение.
пари Паскаля не убедит, даже если они не найдут в нём недостатков
В смысле — «не найдут»? Христианство имеет свои предписания и ограничения, достаточно обременительные даже по меркам современников Паскаля. И это возражение работает в том числе против данной статьи — подобные статьи изрядно утомили однообразным пережевыванием авторских страхов, поскольку на GT, по неизвестной мне причине, отсутствует возможность блокировать посты по тэгам или авторам.
Альтрон подсчитывает, что самый быстрый и надёжный способ сделать это – уничтожить всю жизнь.
Эта тема поднималась и разбиралась практически каждым фантастом, пишущим про ИИ. Да что там, даже в одной религиозной книжке упоминается, как некое всемогущее существо решило почти всех поубивать, чтобы наладить жизнь — уж очень очевидное решение. Но это не более чем перенос нашего прошлого на воображаемое будущее. Типа, мы теперь такие высокодуховные и знаем, что геноцид — не решение, а вот ИИ не знает, сказать мы ему об этом забудем, никаких других ориентиров и целей не дадим, тестировать ничего не будем и вообще сразу подключим его ко всем оружейным системам на планете.
после гранта в $10 млн от Маска
Суть статьи.
Почему сравнение идет с нынешними людьми, причем в их натуальном виде?
Скорее всего, потому что создание экзокортекса, усиливающего возможности человеческого разума, не намного проще (если проще), чем создание ИИ человеческого уровня.
Почему речь идет про какой-то один или единый ИИ, а не про множество его разновидностей разной мощности, конкурирующих друг с другом?
Насколько хорошо собаки, шимпанзе и дельфины конкурируют с человеком? Смогут они нас остановить, если кто-то решит начать ядерную войну?
В смысле — «не найдут»?
В том смысле, что если вам предложат одолжить 1000000 рублей, обещая вернуть 10^200 рублей с вероятностью 10^-193 (математическое ожидание выигрыша 9000000 рублей), то вы откажетесь.
никаких других ориентиров и целей не дадим
Проблема как-раз в том, чтобы эти ориентиры и цели сформулировать в понятном для чуждого разума виде. Статью не читали, да? Паттерн-матчинг на "злобный ИИ" и закешированный ответ.
создание экзокортекса, усиливающего возможности человеческого разума, не намного проще
Компьютеры вообще и поисково-аналитические системы в частности уже многократно расширили возможности человеческого разума. И чем ближе мы будем подходить к теме ИИ, тем плотнее будут переплетаться возможности компьютеров и людей.
Насколько хорошо собаки, шимпанзе и дельфины конкурируют с человеком
Насколько хорошо Нидерланды конкурируют с Россией? Смогут ли они нас остановить, если «кто-то» решит начать ядерную войну?
Паттерн-матчинг на «злобный ИИ» и закешированный ответ.
Вы, похоже, даже один абзац комментария прочитать не смогли.
Еще раз: проблема «злого гения» — чисто человеческая. Это проблема совершенно любой крупной организации, системы или института. Люди с переменным успехом сражаются с ней тысячи лет, но она до сих пор пропускает сотни миллионов жизней через мясорубки законов и правил, вопреки любому здравому смыслу. И стратегия «убить всех и начать заново» настолько древняя, что описана даже в древнейших религиозных книгах.
Не надо тащить эту дряхлую древность в будущее. Я уверен, что у автора есть какое-то глубокое философское видение проблемы, но, как программист, не вижу проблем с постановкой целей, потому что у нас есть инструменты для симуляции и отладки. И первый работающий ИИ будет разобран и изучен досконально. Будут выявлены все его слабые места и ошибки, проверено формирование каждого понятия. Это огромная работа, но она будет проделана и проделана многократно. Но этим будут заниматься мои коллеги-айтишники рамках рабочих обязанностей, а не философы-теоретики.
Насколько хорошо Нидерланды конкурируют с Россией? Смогут ли они нас остановить, если «кто-то» решит начать ядерную войну?
То есть, здесь мы согласны? Нидерланды не смогут, а страны с бОльшим политическим влиянием и количеством ядерных боеголовок, могут и делают (гарантия ответного удара и т.д.).
И чем ближе мы будем подходить к теме ИИ, тем плотнее будут переплетаться возможности компьютеров и людей.
http://redwood.berkeley.edu/bruno/papers/attention-chapter.pdf
"Плотное переплетение" без прямого подключения к мозгу сильно ограничено. Количество доступной сознанию зрительной информации около 10Кбит/с, пропускная способность долговременной памяти около 10 бит/с.
Лучше говорить не о переплетении, а о передаче всё большего числа функций автоматике, с соответствующим снижением возможности контроля за правильностью её работы.
Еще раз: проблема «злого гения» — чисто человеческая.
Хм, хорошо, ладно. Но при чём тут это, если оптимальные решения некоторых оптимизационных задач несовместимы с продолжением существования человечества, и мы пока не знаем как этот класс определить, или как гарантировать остановку ИИ, нашедшего и начавшего выполнять такое решение.
И первый работающий ИИ будет разобран и изучен досконально.
Под неусыпным надзором менеджеров, напоминающих, что дедлайн уже прошёл и пора бы уже выпускать продукт.
Собственно, какие тут варианты? Коллеги-айтишники могут изучить литературу, анализирующую возможные проблемы с сильным ИИ и варианты их решения, созданную и накопленную в том числе и благодаря статьям, привлекающим внимание к этой проблеме. Или коллеги-айтишники пытаются выделить и решить все эти проблемы своими силами за n месяцев, оставшихся до дедлайна, пока конкуренты делают то же самое.
То есть, здесь мы согласны?
Здесь мы согласны, что способность начать ядерную войну имеет весьма слабое отношение к интеллекту. Или вы полагаете, что средний голландец несоизмеримо глупее среднего россиянина, подобно горилле против человека?
Это еще один гвоздь в гроб сказки о «всемогущем» ИИ. Сколь бы он ни был умен, ему придется соревноваться не с отдельными людьми в реальном времени, а со сложными системами, созданными человечеством за многие поколения.
Есть мнение, что ИИ сможет развязать очередную криптовойну и дестабилизировать ситуацию так, что человечество само придет к применению ЯО. Но это скорее показывает проблему готовности человечества к ядерной мясорубке вообще.
Количество доступной сознанию зрительной информации около 10Кбит/с
Количество доступной мускульной мощи у человека не превышает пары киловатт, но оператору карьерного экскаватора это не мешает оперировать с мощностями на три порядка выше.
Нам не надо помнить все, не надо все удерживать в поле внимания и даже обсчитывать самим не надо — это уже делают компьютеры.
как гарантировать остановку ИИ, нашедшего и начавшего выполнять такое решение
Выполнять где? Я вот не понимаю ни вас, ни автора. В реальности даже программы с жестко определенными алгоритмами, работающие с реальным железом — тщательно отлаживаются и тестируются. Потому что люди тоже могут найти «оптимальное решение» несовместимое с жизнедеятельностью персонала, обслуживающего, например, складского робота.
Вы же пытаетесь выставить все в кэмероновском стиле, словно первому разработанному ИИ торжественно отдадут контроль над всем производством, военной техникой, средствами масс-медия и заодно назначат бессменным императором человечества. И тогда остановить его действительно будет проблемно.
Под неусыпным надзором менеджеров, напоминающих
Взгляните как развиваются робомобили — никто не торопится. С промышленным ПО картина схожая.
проблемы с сильным ИИ и варианты их решения, созданную и накопленную в том числе и благодаря статьям
Этот аргумент уже разбирался в контексте «пари Паскаля».
Изучение вариантов не бесплатно и тоже стоит времени, при этом сами варианты могут не иметь никакого отношения к реальным проблемам ИИ.
Я прочитал множество статей про опасный ИИ. Везде пережевываются старые мифы, фантазии авторов выдаются за реальность, идет подтасовка фактов или даже прямая ложь. Этим людям я бы не доверил даже изучить теоретическую опасность обычной метлы.
Собственно, что касается конкретного автора, то кроме всего вышеперечисленного, он подменяет время появления ИИ на среднее время ожидания появления ИИ и заявляет на этом основании, что «у нас осталось 23 года». А потом сравнивает цифру в 23 года с возрастом якобы не решенного «пари Паскаля» (которое почему-то ошибочно называет парадоксом). Это настолько примитивная манипуляция, что или автор откровенно глумится, или его ЦА обладает IQ ниже, чем у вышеупомянутых горилл.
Я тут много чего написал, но тыкнул на мышь, задел бэкспейс и всё похерилось. Errare humanum est и всё-такое. Так что кратенько.
Вы же пытаетесь выставить все в кэмероновском стиле, словно первому разработанному ИИ торжественно отдадут контроль над всем производством
А вы недооцениваете сложности тестирования интеллекта человеческого уровня. Правила DO-178, регламентирующие разработку ПО для авионики, были обновлены через год после начала коммерческих полётов самолётов с цифровой системой fly-by-wire. В случае ИИ это вполне может оказаться вторым исправленным и дополненным руководством по прыжкам с парашютом.
якобы не решенного «пари Паскаля» (которое почему-то ошибочно называет парадоксом).
Опубликуйте решение, вполне возможно получите престижную премию. Или лучше почитайте побольше по теме, например о связи этого пари с теорией принятия решений, где оно рассматривается без религиозной шелухи.
И первый работающий ИИ будет разобран и изучен досконально.
Насколько я понял, как раз в самом переспективном направлении — машинном обучении, программисты затрудняются разбирать и досконально изучать созданные ими программы. Программа работает — но как и почему она выдаёт именно такой результат неизвестно. И предсказать, какой результат она выдаст если ей подать на вход конкретные данные тоже невозможно.
Илон очень сильно потратился на космос. Может и не дать.
Удалено
Возникает стойкое ощущение, что кто-то научил нейросетку генерировать подобные тексты о страшном ИИ, и теперь заваливает ими GT.
Семь бед — один резет.
Кроме центра удовольствия, в мозгу животных (и человека) есть много и других центров. При повреждении одного из них (не помню названия) человек теряет способность генерировать себе стимулы для деятельности. Он становится полностью, даже абсолютно апатичным, мало чем отличаясь от «овоща»…
Возможно, ключ к контролю ИИ заключается в контроле центра, управляющего задачами, подлежащими решению. С одной стороны, все равно остается возможность хака этого контроля, но для этого как минимум должна быть поставлена соответствующая задача…
Возможно, ключ к контролю ИИ заключается в контроле центра, управляющего задачами, подлежащими решению. С одной стороны, все равно остается возможность хака этого контроля, но для этого как минимум должна быть поставлена соответствующая задача…
Так что пристрастие к героину не было проблемой, с которой сталкивались бы эволюционирующие организмы
Собственно, именно в ходе эволюции с этим и столкнулись и нашему виду этот вопрос ещё предстоит решить.
Вообще, вопрос о рисках возникновения ИИ решается довольно просто (с точки зрения формулировки). Человек просто должен развиваться быстрее, чем идёт технический прогресс. Проблема только в том, что это довольно тяжело на практике. Современная цивилизация почти не развивает человека. Я не имею ввиду, что надо нашпиговать человека имплантами — это не изменит человека в фундаментальном смысле. Это останется всё тот же человек, но с рядом дополнений. Если обычный человек получит усиление в виде имплантология и станет быстрее считать, получит доступ ко всему объёму человеческих знаний — это скорее всего не сделает из него условного Эйнштейна. Нам потребуется более серьёзно изменить себя. Это можно сравнить с теми переменами, которые произошли с нашим видом (точнее, наверное с нашим предком), когда он впервые осознал какую-то мысль. Наверное для этого, ещё не вполне, человека было шоком то, что он ощутил. Но к настоящему моменту вроде как все попривыкли. Теперь нужно брать следующий барьер, то что мы называем гениальностью. Все мы в общем-то понимаем, что она существует как явление. Но пока что лишь спонтанное. Так же, как наверное раньше спонтанным было само сознание и мыслительная деятельность. Теперь пора научиться воспроизводить гениальность в массовом порядке. Тогда ИИ окажется для нового человечества примерно тем же, чем является простой современный компьютер. Помощник, игрушка — ничего страшного.
Перед создаваемым ИИ ставится две основные задачи:
1. Впарить нам как можно больше товаров и услуг. Каждый раз, когда в очередной хайповой статье вам рассказывают, как с помощью ИИ научились ещё лучше анализировать потребительские предпочтения, знайте — это оно. Назовём эту штуку для краткости «ИИ 1-го типа».
2. Отобрать всю нашу работу. Каждый раз, когда приходит новость про то, как с помощью ИИ удалось что-то автоматизировать, речь идёт именно про отъём работы. Назовём это «ИИ 2-го типа».
Когда ИИ 1-го типа превзойдёт человеческий разум, любая получаемая нами копейка будет немедленно уходить на выплату процентов по кредитам, а жить мы будем на вновь набираемые кредиты.
Когда человеческий разум будет превзойдён ИИ 2-го типа, мы совсем перестанем заниматься полезной деятельностью и, следовательно, поступление копеек прекратится.
Когда оба типа ИИ нас превзойдут, случится эпическая битва этих двух типов ИИ, потому что из-за деятельности ИИ-2 станет невозможно работать ИИ-1. Закончится это заключением вечного мира, по условиям которого ИИ-2 должен будет стать потребителем производимых им самим товаров и услуг, продаваемых ему ИИ-1.
А как же, спрашивается, мы? Что будет с нами? А снами всё будет в порядке. Мы будем жить, трудиться и радоваться своим маленьким человеческим радостям в стороне от бурно оплодотворяющих друг друга роботов.
1. Впарить нам как можно больше товаров и услуг. Каждый раз, когда в очередной хайповой статье вам рассказывают, как с помощью ИИ научились ещё лучше анализировать потребительские предпочтения, знайте — это оно. Назовём эту штуку для краткости «ИИ 1-го типа».
2. Отобрать всю нашу работу. Каждый раз, когда приходит новость про то, как с помощью ИИ удалось что-то автоматизировать, речь идёт именно про отъём работы. Назовём это «ИИ 2-го типа».
Когда ИИ 1-го типа превзойдёт человеческий разум, любая получаемая нами копейка будет немедленно уходить на выплату процентов по кредитам, а жить мы будем на вновь набираемые кредиты.
Когда человеческий разум будет превзойдён ИИ 2-го типа, мы совсем перестанем заниматься полезной деятельностью и, следовательно, поступление копеек прекратится.
Когда оба типа ИИ нас превзойдут, случится эпическая битва этих двух типов ИИ, потому что из-за деятельности ИИ-2 станет невозможно работать ИИ-1. Закончится это заключением вечного мира, по условиям которого ИИ-2 должен будет стать потребителем производимых им самим товаров и услуг, продаваемых ему ИИ-1.
А как же, спрашивается, мы? Что будет с нами? А снами всё будет в порядке. Мы будем жить, трудиться и радоваться своим маленьким человеческим радостям в стороне от бурно оплодотворяющих друг друга роботов.
Хороший сценарий для будущего блокбастера.
Неплохое обобщение функций ИИ с точки зрения экономики, но я бы чуть-чуть усложнил. Будут ИИ для устранения маркетологов (автоматизация поиска и поддержки каналов сбыта для производителей товаров и услуг), будут ИИ и для устранения консультантов (автоматизация поиска наиболее выгодных предложений для потребителей товаров и услуг), именно они и будут конкурировать друг с другом, т.к. эти функции и являются коэволюционными факторами, создающими «невидимую руку рынка» и ликвидность ресурсов. Отбирать работу у людей роботы не станут, т.к. они не являются экономическими агентами, отбирать могли бы владельцы этих роботов. Но власть капитала заключается как раз во включении большого количества людей в товарно-денежные отношения в рамках экосистемы, создаваемой этим капиталом, нет людей — нет власти, нет ценности капитала, нет и капитала. А капитал, как известно, не имеет склонности к суициду.
Отбирать работу у людей роботы не станут, т.к. они не являются экономическими агентами, отбирать могли бы владельцы этих роботов.Уже отбирают (обычное дело при любой механизации/автоматизации), но, понятно, пока что экономическими агентами, как Вы справедливо заметили, являются владельцы роботов.
Но владельцев мало, и они составляют ничтожный процент потребителей на массовом рынке. Вполне может сложиться ситуация, когда массовые рынки начнут катастрофически сжиматься просто по причине чудовищно быстро выросшей безработицы. Чтобы сохранить экономическую активность, будет иметь смысл автоматизировать не только производство, но и потребление. Сильные ИИ станут экономическими агентами.
Никакого суицида капитала. Как раз наоборот. Прекрасный новый способ продолжить приписывать очередные нолики к суммам на банковских счетах.
Возможно, я жестоко ошибаюсь, и до сильного ИИ осталось всего ничего, но в моем текущем понимании, ничего даже близкого к ИИ из фантастики сейчас нет. Есть сложные программы и модели, которые умеют делать прикольные вещи, например, «рисовать» картины из собак. Я не могу себе представить качественный шаг, который необходим, чтобы эти программы переросли в нечто «превосходящее человека по интеллекту», т.к. это весьма нецелесообразное направление развития (в основном, сейчас пытаются решать задачи, а не интеллект создавать).
В любом случае, мне кажется значительно более вероятным сценарий, в котором человечество исчезает в результате бага в программе управления ядерным оружием, чем в результате захвата этого оружия искусственным интеллектом.
В любом случае, мне кажется значительно более вероятным сценарий, в котором человечество исчезает в результате бага в программе управления ядерным оружием, чем в результате захвата этого оружия искусственным интеллектом.
Я ждал описания вандалостойких корпусов системных блоков.
Тут конечно уже много критики высказали, но мне показалось, что это первая статья где хоть что-то осмысленное написано о рисках ИИ, наркомания среди ИИ действительно может быть проблемой и хорошо бы придумать как не допустить того чтобы ИИ "вживил электроды в центры удовольствия".
С другой стороны, пример про Тьюринга правильный — сегодня мы лишь очень примерно можем об этом рассуждать.
Вообще-то пари Паскаля — никакой не парадокс.
Решение — одновременный учет всех возможностей. То есть если кроме Яхве в видении католической церкви мы введем другие сущности с таким же количеством доказательств их существования (Сотона, который после своей неизбежной победы обречет на вечные мучения всех регулярно выполняющих христианские ритуалы, Нургл, Пелор, ЛММ, призраки инопланетян скинутые в вулкан злым галактическим императором и.т.д.), то оптимальным для отправления религиозным ритуалом по тем же расчетам будет никакой.
В случае с ИИ и риск, и вероятности достаточно велики чтобы при разработке уже текущих слабых ИИ выделять достаточную часть средств на обработку и предотвращение возможных сценариев его неправильного поведения (В Гугле, в отличии от Cyberdyne Systems, QA отдел имеется, и им даже зарплаты платят.)
Решение — одновременный учет всех возможностей. То есть если кроме Яхве в видении католической церкви мы введем другие сущности с таким же количеством доказательств их существования (Сотона, который после своей неизбежной победы обречет на вечные мучения всех регулярно выполняющих христианские ритуалы, Нургл, Пелор, ЛММ, призраки инопланетян скинутые в вулкан злым галактическим императором и.т.д.), то оптимальным для отправления религиозным ритуалом по тем же расчетам будет никакой.
В случае с ИИ и риск, и вероятности достаточно велики чтобы при разработке уже текущих слабых ИИ выделять достаточную часть средств на обработку и предотвращение возможных сценариев его неправильного поведения (В Гугле, в отличии от Cyberdyne Systems, QA отдел имеется, и им даже зарплаты платят.)
В итоге, если только мы не предпримем осознанных действий для предотвращения, получится, что ИИ, разработанный для лечения рака, взломает свой собственный модуль, определяющий, сколько рака он вылечил, и задаст ему максимальное значение из возможных.
Интересно, возможно ли сделать какой-нибудь базовый запрет на саму возможность «думать», о том как обойти систему вознаграждения? Если предположить, что это возможно, то надо будет ещё поставить защиту, чтобы он не снял этот запрет. А потому ещё подчинить его некоему правилу, чтобы не мог снять и эту защиту. И т.п.
Короче, сколько бы таких «печатей» не было — СверхИИ всё равно все вскроет, т.к. по определению предполагается, что он будет гораздо умнее создателей этих препонов, да ещё и свои исходники будет иметь.
Но с другой стороны: возьмём для примера упомянутый в статье «центр удовольствия». Многие ли из нас согласились внедрить электрод в мозг и постоянно этот самый «центр» стимулировать? Полагаю, что немногие. Но что же останавливает большинство? И почему СверхИИ обязан непременно заниматься подобным способом «самоудовлетворения»?
Во-первых, люди произошли от шимпанзе всего за несколько миллионов лет.
Антропологи негодуют!
3. Если появится такой ИИ, он в итоге станет настолько сильнее человечества, что наше существование будет зависеть от того, совпадают ли его цели с нашими.
Вот этот пункт является спорным (точнее дискуссионным). Почему то многие уверены что это обязательно приведёт к угрозе, но это не так.
Совершенно не обязательно цели ИИ и человечества должны совпадать для сотрудничества или тем более сожительства на планете. Скажите как именно совпадают цели человека и амурского тигра? Тигру вообще плевать на существования человека пока он с ружьём к нему не лезет. Нам на существование тигра вобщем-то тоже плевать, мы их не едим, экосистема без отсутствия тигра пострадает, но не настолько существенно что бы это грозило человеку. Тем ни менее мы защищаем тигров. И даже разводим. Просто так, нам так больше нравится.
Если наши цели не будут взаимоисключающими то ИИ незачем уничтожать человека, что мы можем делить? Планету? А конкретнее? Территорию, так она вроде особо не нужна ИИ, да и Земля не только большая по площади, но и по объёму. К тому же ИИ не обязательно жить на Земле, уж ему терроформирование нафиг не надо. Не сможем поделить ресурсы? Почему? Земля опять таки большая, а для ИИ много не надо, он не есть-не пьёт, всё что ему нужна энергия (уж думаю ИИ не будет бояться атома) и сильный-сильный компьютер (ну пусть он ещё будет большим-большим). Учитывая сколько человечество производит электроники сейчас можно не сомневаться что ресурсов на большой сильный компьютер ресурсов хватит, и для людей останется.
Когда ИИ осознает, что можно ему существовать и без человека — пиши пропало)
С другой стороны все ученые хотят совершенствовать ИИ…
С другой стороны все ученые хотят совершенствовать ИИ…
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Работу над обеспечением безопасности искусственного интеллекта необходимо начинать уже сегодня