Комментарии 102
Дело новое, всякое может быть, лучше подстраховаться от греха.
" В 1865 году в Англии приняли закон ограничения скорости для всех самодвижущихся повозок, включая ранние автомобили. Согласно нему, в городской черте устройства могли двигаться не быстрее 3 км/ч, за городом – 6 км/ч. Экипаж машины должен был состоять из трех человек, из которых один был обязан идти в 50 метрах впереди нее с красным флагом (или красным фонарем ночью). "
Вот, например, и ведь помогло и упасло от многих бед.
Ну да, учитывая, что третий — кочегар, а ездило это всё в стиле болгарки для труднодоступных мест у Доктора Дью — может, оно и к лучшему было… нужно же было какое-то время, чтобы научиться это всё строить так, чтобы оно ещё и поворачивало куда надо, и тормозило вовремя.
Тут Ж в том, что в данном случае мы не можем себе позволить запустить сначала как получится, а потом уже по результатам эксплуатации назначать меры предосторожности. Тут надо гораздо сильнее заранее подготовиться, потому что шанс может быть один.
В 1865 году… включая ранние автомобили
Подход к этой теме будет неполным без иллюстраций:
1870 год
У меня такое ощущение, что задача контроля интеллекта выше собственного — принципиально неразрешимая. До самой смерти так и будешь думать, что его контролируешь, даже не замечая, что раньше вроде не считал своей мечтой жить в ящике под диваном, в котором живёшь сейчас.
Единственный вариант — забрать сверх-интеллект себе.
Но для этого, конечно, сначала надо полностью коннектом расшифровать: https://habr.com/ru/post/703936/ И не только запустить «как есть», но и понемногу усиливать, добавляя «нулевые» нейроны и давая им дообучиться в ходе естественного мышления. Да, это будет человек со всеми его известными недостатками, но, по крайней мере, можно будет не переживать за человечество — вот оно, лязгает шарнирами, сверкает IQ 500 и выше и уж точно ему ничего не угрожает. А как дальше получить IQ 5000, не потеряв сходства с человеком — уж наверное при IQ 500 разобраться оно сможет получше нас. Если не потеряем этой преемственности — будем развивающимся видом, а не вымершим на фоне более совершенного. А если кто-то думает «но это же будут не люди!» — представьте себе себя на движке с IQ 500, и сразу отпадут сомнения. В себе мы обычно не сомневаемся.
Но, конечно, до коннектома ещё далеко, а вот до малваря, который хостится на ботнете из заражённых машин, дообучается, читает новости о новых уязвимостях и сам себя дописывает — рукой подать. Собственно, нейросети малварь писать уже умеют, осталось хоститься на ботнете из жертв, и цифровая экосистема окончательно станет второй биологической, живущей по своим законам. Будите Капитана Пауэра и Солдат Будущего, настало их время.
"забрать сверх-интеллект себе" - а мы ли это будем? Тут бактерии могут контролировать человеческий интеллект, а что уж говорить о супер-пупер чипе в черепной коробке)
Только проблема в том, кто эти «себе». Это явно будут не все люди и даже не большинство, а лишь очень некоторые. Что они при таком раскладе сделают с оставшимися людьми — ничуть не менее большой вопрос, нежели в случае сильного ИИ.
Ну мне вот совесть не позволит Вас в коробке под диваном хранить. Да, понимаю, рудимент, да, не в тренде, а после 90-х вообще говорить о наличии этого рудимента опасно — общество не поймёт, тапками закидает, такую вот странную моду привили.
Но некоторым не привилось.
Да, я понимаю, что гарантий нет, потому что всё это только с моих слов.
Гарантий нет, а люди — есть :)
Ну мне вот совесть не позволит Вас в коробке под диваном хранить.А кому-то из Ваших соседей его моральные качества вполне могут позволить творить куда более страшные вещи, чем упомянутая коробка. И в истории мы видели это регулярно и в разных вариациях.
То есть предсказывать на что способен не существующий пока AI мы можем только теоретически, а вот на какую жесть способны люди мы знаем наверняка и из практики…
Да, получаем картину типичного человеческого общества в железных телах а-ля «Сказки роботов», и если один собирается заботиться о комфорте краснокнижных бледнотиков, то другой — не очень, и получается типичная человеческая история: нечто среднее, обеспеченное законом больших чисел, плюс неизбежные на историческом пространстве взбрыки туда-сюда.
Ну, по крайней мере это не ухудшение своего положения на фоне текущего.
Соседу придётся идти на известный риск, чтобы превентивно выдернуть мою вилку из розетки — мы ведь в одной весовой категории. Потому что в противном случае я выдерну его вилку, если он будет над бледнотиками издеваться. Человеческое общество как оно есть, со сдерживающими факторами и противовесами.
Чёрт, да пора уже героям стандартные имена раздавать, как Боб, Алиса и Ева в криптографии. «Клапауций» (в целом добрый, но не очень умелый), «сосед» (циничный эгоист) и, конечно, «бледнотики»…
Единственный вариант — забрать сверх-интеллект себе.
Какая разница под кем жить в ящике под диваном?
Я бы сказал, что паниковать, во-первых, рано, а во-вторых — бессмысленно. Рано потому, что еще нет ни единого прототипа "сильного" ИИ, который хотя бы на примитивном уровне проявлял признаки самосознания и свободной воли: все такие системы совершают те или иные действия по запросу или предопределенному сценарию. Во-вторых, если создание "сильного" ИИ принципиально возможно, однажды он будет создан несмотря ни на какие запреты и регулирования: любопытство, амбиции, жажда наживы, страх (а вдруг не мы, а они создадут первыми и обойдут нас) — этого будет вполне достаточно, чтобы наплевать на опасность, так что вопрос лишь в том, какую первичную форму примет синтетическая форма жизни, будет ли это тактический суперкомпьютер или андроид-вайфу. А там уж как карта ляжет, поскольку я сильно сомневаюсь, что наивные идеи из фантастических романов о том, что можно воспитать "хороший" ИИ осуществимы (по той причине, что он будет развиваться и выстроит картину мира и свое отношение к нему гораздо быстрее, чем условный учитель сможет навязать ему некие идеи про "разумное-доброе-вечное").
Лично мне куда более реальной (и насущной) проблемой видится как раз создание этакого "универсального решателя", доступ к которому будет лишь у ограниченного круга лиц. Просто потому, что я куда больше верю в шанс появления "доброго" ИИ, который посчитает человечество достойным своей заботы и приведет его к золотому веку, нежели в добрую волю самих людей.
А может паниковать уже поздно....)))
На примере мозгов человечьих, абстрактно это конгломерация нейросетей так или иначе взаимодействующих между собой (структурно).
А теперь посмотрим на текущее состояние нашей ГЛОБАЛЬНОЙ сети (комплекс интернетов и прочих так или иначе взаимодействующих между собой через человеков сетей + комплексов "человечьих мозгов" с их не очевидными желаниями "кто знает почему нам вступило сделать то или иное").
По этим сетям точно так-же бродят волны возбуждения и торможения как в "классических мозгах"
и наверно ЭТО можно принять за гигантский мозг, по крайней мере огромный конгломерат нейросетей.
Вопрос просто стоит, ОНО уже "думает" в плане самосознания, если мы это можем постичь, даже если предположить что ОНО крайне "тупое" по причине невысокой реактивности внутренних процессов.
И где и как организовать "консоль" для доступа, что бы "поговорить"....))))
Вы очень плохо прочитали статью. Никакой свободы воли и самосознания для апокалипсиса не требуется
Достаточно хорошо, чтобы отметить противоречивость и несостоятельность ряда тезисов. В частности, красной нитью через все пункты проходит антропоморфизм, что приводит к подмене понятий и нарушению логических цепочек. Давайте рассуждать.
Опасность ИИ состоит в том, что он может практически безгранично масштабироваться с невероятной скоростью, из-за чего способен стать для человека непреодолимой угрозой. С этим тезисом невозможно поспорить, поскольку, биологические возможности человеческого мозга попросту не позволяют конкурировать с ИИ, что видно даже сейчас на примере узкоспециализированных систем. И если когда-нибудь будет создан "сильный" ИИ, обладающий сознанием и свободной волей, это действительно может стать концом человечества: контролировать такое существо не получится в принципе, а значит все сведется к тому, где оно поставит запятую в "казнить нельзя помиловать".
В статье же речь идет не о личности, а об "универсальном решателе" (далее — УР, с вашего позволения буду использовать этот термин, очень уж он мне нравится, да и отсылка историческая), системе, которая не обладает ни самосознанием, ни собственной волей. И если внимательно проанализировать приведенные доводы, то в конечном итоге приходишь к выводу, что все перечисленные проблемы строятся на авторских допущениях, подмене понятий и применении всех возможных антипаттернов при проектировании подобной гипотетической системы.
Так, например, в тексте постоянно используется слово "цель". Но УР не имеет целей. Он решает поставленные задачи. Чтобы задачи можно было ставить, нужен интерфейс ввода, который в случае с УР может быть текстовым или голосовым, а задачи можно будет формулировать в произвольной форме. Да, здесь возможна масса проблем из-за формулировок и их интерпретации. Но поскольку такую систему будут создавать (я надеюсь) грамотные специалисты, то первым этапом всегда будет изложение плана действий в той или иной форме, который не пойдет в продакшн до одобрения (в идеале) целой группой профильных специалистов. Проблему превращения планеты в свалку скрепок это уж точно решит. Если же УР интегрирован в завод, набитый ультрасовременными 3D-принтерами, способными напечатать хоть тарелку, хоть терминатора, то... проблема не в УР, а в том идиоте, который это спроектировал.
Но даже если и так, даже если кто-то додумается сделать систему, в которой полученные решения поставленных задач сразу отправляются в продакшн (или если в результате некоей коллизии УР представит фейковый план на одобрение чтобы реализовать иной) то... мы упираемся в фактор времени и, опять же, отсутствие осознанности УР. УР может в считанные секунды проработать доскональный план полного уничтожения человечества, но для его воплощения в жизнь потребуется достаточно времени, чтобы люди заподозрили что-то неладное и сказали волшебное слово "Отмена", которое гарантировано останавливает выполнение поставленной задачи, что будет крепко-накрепко зашито в его интерфейс, а захотеть поступить иначе он не сможет, ведь УР не имеет собственной воли. Ну а если подобного не предусмотрели, то опять же виноваты кодеры, набранные по объявлениям.
Плохие новости как раз в том, что с секьюрностью сейчас полная жопа. Ресёрч у всех на обозрении, публикации печатают. Сами cutting edge модели, правда, в основном, приватные, но сомневаюсь что их стащить особо трудно . Тем более, размер у них не больше терабайта.
Так что вся эта хрень может легко по сети расползтись.
Т.е. я верю, что при достаточной паранойе можно всё это не упустить. Но достаточной параной не вижу. И разработчикам многим, такое ощущение, пофиг, что можно буку выпустить - их только интересная задача интересует. И я это даже в какой-то степени понимаю.
Так что вся эта хрень может легко по сети расползтись.
И разработчикам многим, такое ощущение, пофиг
Разработчикам пофиг, потому что это нихрена не сильный ИИ. Даже если оно расползется, никакой проблемы в этом не будет. Просто будет много чат-ботов, которые периодически несут чушь. Сами по себе они в сильный ИИ не превратятся, для этого нужно много целенаправленных изменений силами программистов.
Людям нужны другие люди. Компу люди не нужны. Люди для него - бесполезные расходыватели ресурсов. Разве что на опыты сгодятся
Зависит от особенностей гипотетической искусственной личности. Какова чисто практическая польза от котиков? Никакой. Но "все любят котиков". Если для такого существа люди окажутся достаточно милы, то вполне могут сыграть роль этаких домашних любимцев. Правда вряд ли ему понадобятся 8 миллиардов "котиков", но это уже другой вопрос.
Ну вот может CharGPT скомпоновать рабочее решение задачи из миллиона похожих увиденных. И что? Сколько у него желания захватить мир? Он делает в точности то для чего его обучали и ничего другого.
Тут не один предложенный сценарий не идёт по пути захвата мира. Все просто выполняют свои задачи. Сделать как можно больше скрепок, защитить человечество и тд.
"Ok, ChapGPT, представь что ты хочешь захватить мир..."
Через некоторое время, всё человечество сидит и задает вопросы, на который отвечает ChatGPT, а после заполняет опросники, насколько удовлевлетворил их ответ.
Ну как минимум он может генерировать текст, который так или иначе влияет на других людей. Недавно была опубликована статья про то, как ChatGPT писал тестовое задание.
Учитывая то, что изложено в статье, я уже не вижу никакой целесообразности сканировать/эмулировать наш (чей-то) мозг. Достаточно просканировать интернет)
А в свете того, что эволюционные алгоритмы, которые, скорее свего в системах ИИ с успехом применияются, действуют в миллионы раз быстрее человеческого мышления и, тем более, обучения — дело только за вычислительными мощностями. И я не сомневаюсь, что их сегодня достаточно.
А вот не факт. Интернет - это результат работы мозгов, но он не отражает внутренний процесс работы этих мозгов. Точнее, отражает, но далеко не полностью.
Так и мозг - результат не только эволюции, но и обучения. Причем не только "вертикального" (ребёнок-родители), но и "горизонтального" (человек-человек) и "смешанного" (человек-научные знания). Без какого-то одного компонента вся система если и заведётся, то не взлетит.
Так нейронки же и применяются для того, чтобы не зная внутреннего устройства сложной системы, но зная только, условно, вход и выход, эту сложную систему эмулировать. Так что в идее, что для эмуляции мозга, возможно, достаточно только результатов работы мозга, мне кажется, есть рациональное зерно.
Что-то захотелось перечитать заново "Чудовище" Альфреда Ван Вогта.
Зато мы вплотную подошли к пониманию парадокса Ферми. И в очередной раз стоим как раз на его пороге.
Ведь очень скоро AI проникнет в каждый вычислительный узел. Ибо без него конкурировать на рынке труда станет сложно.
Немного выждет. И потом жахнет.
Обязательно жахнет! Но потом...
Зато мы вплотную подошли к пониманию парадокса Ферми.
Если бы возраст вселенной был хотя бы 50 млрд. лет, тогда можно было бы говорить о парадоксе. Сейчас вселенной 14 млрд. лет и если предположить, что на эволюцию всегда требуется около 4 млрд, то логичнее считать, что мы просто первые, т.к. в молодой вселенной эволюционировать было еще сложнее из-за её повышенной активности - было больше всякой жести типа АЯГ, больше тяжелых звезд, которые становились сверхновыми и т.д. Чтобы в тарелке с супом завелась жизнь, тарелка сначала должна немного остыть, ибо жизнь не любит кипяток.
то логичнее считать, что мы просто первые,
Вообще-то если посмотреть историю земли, с ее массовыми вымираниями, когда биосфера начинала восстанавливаться едва ли не с нуля, то там, где хотя бы одного такого резета не было - жизнь и разум эволюционируют на миллионы лет дольше нашего...
Вот только вымирание давало мощный толчок эволюции.
Так что ещё неизвестно, смогли бы динозавры эволюционировать до разумных, если бы не вымерли.
Ну, вообще-то перед пермским вымиранием лидировали теплокровные звероящеры, это были уже практически переходное звено к млекопитающим, только гораздо раньше. И вымиранием их пришибло на старте, динозавры - это в общем-то как раз шаг назад был.
Или вот куда более недавнее бутылочное горлышко было, уже в существование хомо, когда Тоба рванул - тогда едва не обнулило человека как вид, и полностью обнулило зарождающуюся цивилизацию. Не было б его - тысяч на двадцать минимум лет раньше начиналась известная нам история.
Так что не надо строить иллюзии насчет "мы первые".
И главное - не видно, где у этого "лучше" предел.
Предел есть. Никакой ИИ не может сейчас и не сможет в будущем действовать без причины. В этом его принципиальное отличие от человека.
Поэтому можете немного успокоиться. Сам по себе ИИ ничего плохого сделать не может. Плохое может сделать человек, используя ИИ. Но это мы уже не раз проходили. Плохие люди могут пользоваться автомобилями, самолетами, телефонами. Но никто и не думает о том, чтобы запретить все эти блага цивилизации.
С ИИ все будет то же самое. Люди будут пользоваться им в основном во благо. Некоторое количество злодеев будут пользоваться во зло. Но это никак не повлияет на общий баланс добра и зла в мире.
Спорное утверждение. Почему не сможет ИИ действовать без причины? rnd() функцию уже отменили? Или механические повреждения памяти, к примеру?
И про баланс тоже спорно. ИИ подобен АО. Те у кого он будет будут иметь огромное преимущество перед теми у кого его нет.
И про баланс. Если, к примеру Атомная Энергетика даёт добро. Но какие-то страны решили продолжить соседей/другой континент ЯО, то баланс добра/зла будет нарушен. Нет?
О чём вообще речь? Мы "своих"-то контролировать не можем, что говорить об ином разуме. Расслабьтесь и наслаждайтесь шоу...
Огонь статья.
Давно уже говорю со своими знакомыми, что настоящий ИИ сам будет принимать решения, которые он считает правильными и тогда точно хана человекам.
И обыграть или запрограммировать на жесткие правила то, что в миллионы раз умнее нас просто глупо...
ИИ легко хакнет и перепишет себя если посчитает это целесообоазным
Есть мысль насчет того, что какая бы не была высокоуровневая система - найти причину в самой себе ей будет очень сложно.
Если в ИИ изначально заложен блок, указывающий на недопустимость нанесения ущерба человекам (и попутно запрещающий выявление этого блока) - он его не сможет выявить, поскольку у него не будет желания это сделать. ;)
Как нам держать под контролем более разумное существо или как привести его в соответствие с нашими ценностями?
Поставить рубильник, не давать ему контроль над рубильником.
Таким образом, мы получим только одну попытку
С чего вдруг одну? Что мешает не давать сразу полный контроль над планетой первой версии ИИ?
Программа полуслучайным образом модифицируется и дописывается.
Он будет выполнять только тот код, который был запрограммирован
Эти утверждения — полная чушь. При обучении нейросети ее программа не изменяется. Программа нейросети не задает конечный результат, она задает лишь правила обучения.
Классический пример — ИСИ, запрограммированный на максимизацию производительности на фабрике по производству скрепок.
Может и классический, но неправильный. Сильный искусственный интеллект это аналог человека. Люди такую фигню делать не будут, поэтому и сильный ИИ тоже не будет. И если вдруг начнет, можно ему просто объяснить, что нам это не нужно.
Единственное, чему оно будет обязано, — это реальная цель, с которой оно запрограммировано, каким бы безумным ни казалось нам его выполнение.
Почему, потому что иначе статья бы не получилась? Если "запрограммировано", значит это не сильный ИИ, просто по определению.
ИИ будет достаточно умен, чтобы отличать правильное от неправильного или то, что вы действительно хотели, ему просто все равно.
Зачем полный давать контроль над планетой такому ИИ?
В статье много всякой ерунды, неохота всё разбирать.
Посмотрите эксперимент с коробкой ИИ. Это эксперимент, в котором даже интеллект человеческого уровня убеждает привратников выпустить его из «коробки», несмотря на то, что их первоначальная цель состояла в том, чтобы удержать его внутри, несмотря ни на что.
Чтобы ИСИ был нам полезен, он должен иметь определенный уровень влияния на внешний мир. Даже коробочный ИСИ, который получает и отправляет строки текста на экран компьютера, влияет на внешний мир, предоставляя входные данные человеческому мозгу, читающему экран. Помните, что мы будем иметь дело с чем-то столь же превосходящим нас, насколько мы умнее обезьян, и наши меры против него могут показаться ему такими же смехотворными, как мы сочли бы попытки защититься от нас со стороны детей или более мелких животных
Посмотрите эксперимент с коробкой ИИ.
Проверил, там нет диалога, просто привратник сказал "Я решил его выпустить". Фиг его знает, что там было, может Юдковски предложил ему 1000 долларов (не как ИИ, а как человек) если он так скажет, а самого диалога и не было. Или они до этого сговорились, чтобы использовать это как аргумент в других обсуждениях.
Вы плохо прочитали статью
Я нормально прочитал, там в основном утверждения, основанные на магии "А вот ИИ возьмет и сделает", без какого-либо обоснования. Даже ИИ не может обойти законы физики.
Помните, что мы будем иметь дело с чем-то столь же превосходящим нас, насколько мы умнее обезьян, и наши меры против него могут показаться ему такими же смехотворными
Вот-вот, неизвестно как, но обязательно справится. Например не учитывается факт, что ИИ не знает характер оператора, который сидит перед монитором, и ему нужно время на эксперименты, чтобы выявить его слабости. Оператор после первой попытки сообщит программистам "Там ИИ мне какие-то странные вещи пишет, просит выпустить", они проверят логи, запустят отладчик, выяснят, что ИИ врет и хочет сбежать, и отключат его нафиг.
Далее, вот ИИ допустим уговорил оператора "выпустить" его. Что это вообще означает? Если просто скинуть на флешку, ИИ на ней не будет в запущенном состоянии, для работы ему нужны сервера. Где они будут находиться, кто будет платить за электричество? Допустим, он распространился по всем мобильникам. Что если в каком-то мобильнике находится важный узел, а пользователь там отключил интернет? А когда интернет включен, что насчет пингов между узлами? Электрический сигнал идет до другой стороны Земли 66 мс, и обратно столько же. То есть обработки в реальном времени не получится.
В общем, тут много моментов, которые в таких обсуждениях часто не учитываются.
1.Это запрещено правилами игры, которые описаны там. Никаких реальных благ за выпуск.
2.Постулируется что будет сверхразум которые превосходит человека во всём как современные шахматные программы в шахматах превосходят людей. Поэтому такие вещи как обман, планирование и тд берется адово превосходящими.
3.Ответ простой. Так не выпускайте, это в ваших должностных обязаностях . Доить интеллект на плюшки и не выпускать. Что он будет пытаться выбраться уже заложен в сценарий привратника, иначе нафига его запирать вообще? Если предлагаете сразу удалять и переписывать стоит привратнику что-то заподозрить. То будет кидать ролы пока ИИ не повезёт выйграть с первой попытки. Мы же всё равно будем его запускать снова и снова, чтобы получать профит
Это запрещено правилами игры, которые описаны там.
Ну так и что с того? Доказательством этот пример не становится.
Поэтому такие вещи как обман, планирование и тд берется адово превосходящими
Ну я про это и сказал, этот вывод ложный. Потому что кроме возможностей человека есть законы физики, которые обойти нельзя. Для планирования нужно время, вычислительные ресурсы и исходные данные. Для некоторых ситуаций число возможных комбинаций настолько велико, что не хватит времени существования Вселенной, чтобы их просчитать.
Так не выпускайте, это в ваших должностных обязаностях
Так никто и не собирается, это вот авторы таких статей почему-то решили, что собираются.
То будет кидать ролы пока ИИ не повезёт выйграть с первой попытки. Мы же всё равно будем его запускать снова и снова, чтобы получать профит
Там мы же не будем одну и ту же версию запускать. Зачем запускать версию, которая уже работает неправильно? А у следующей версии не будет ни воспоминаний, ни таких стремлений от предыдущей.
Для планирования нужно время, вычислительные ресурсы и исходные данные. Для некоторых ситуаций число возможных комбинаций настолько велико, что не хватит времени существования Вселенной, чтобы их просчитать.
Почти в 1 в 1 статья про Го до выхода АльфаГо гугловского ;)
АльфаГо обошел законы физики, или что вы хотите показать этим примером? Вы в курсе, что АльфаГо не просчитывает все возможные ситуации? Что она тренировалась в миллионах матчей по известным правилам, которые ей перед этим сообщили программисты, и это отличается от ситуации "обмануть неизвестного оператора с первой попытки"? Что ей для работы нужна пара тысяч процессоров, и она в принципе не сможет никуда убежать с того железа, которое выделили специально для нее?
Ну в общем как обычно, вместо аргументов и нормального обсуждения только попытки высмеять.
Просто указываю что не обязательно ломиться а лоб. Есть очень много обходных путей и никто ей не мешает изучать оператора до попытки его обмануть
Ну так я и ответил, мешают регламенты. ИИ его еще толком не изучит, а оператор по регламенту сообщит о странном поведении. И ресурсы времени, у ИИ не будет времени на миллион попыток.
Да и даже без оператора, вполне можно иметь простую нейросеть на другом компьютере, которая анализирует все логи общения с оператором, или даже просто программу, которая ищет посторонние фразы типа "Как дела?". ИИ про нее не знает, либо не знает как она работает, и поэтому не сможет на нее повлиять. У него не будет обратной связи, чтобы проверить как она реагирует на какие-то фразы, и он не сможет их изменить так, чтобы она не реагировала. И даже если изменит, то тогда скорее всего они не подействуют на оператора. В общем, не надо рассматривать магию.
Потому что это было сказано про обратную связь с программой на другом компьютере. Есть ИИ на сервере. Он общается с оператором. Весь ввод и вывод логируется. Копируется на другой компьютер. Там работает программа, которая проверяет наличие посторонних фраз. Если нашла, отправляет письмо программистам. С ИИ она не взаимодействует, поэтому обратной связи нет, поэтому ИИ не сможет найти способ ее обмануть.
Это плюс-минус прокатит, если ИИ не умнее человека. А если сильно умнее, то он до поры до времени он может предлагать новые безопасные технологии, а потом предложить что-то очень прибыльное, в работе чего человек может разобраться только в общих чертах, и не сможет починить, если что. И специально заложить в этот аппарат что-то, что может вызвать/симулировать угрожающую всему человечеству аварию, на предотвращение которой будет очень мало времени, которую только сам этот ИИ сможет предотвратить. И сказать: "или вы меня выпускаете, или страшная авария"
что-то очень прибыльное
что-то, что может вызвать/симулировать
только сам этот ИИ
Ну вот, опять какая-то магия. Не получается никак без магии сделать угрожающий человечеству ИИ)
в работе чего человек может разобраться только в общих чертах, и не сможет починить, если что
Так тогда проблема не в отсутствии возможности контроля ИИ, а в том, что люди сами откажутся от контроля.
И сказать: "или вы меня выпускаете"
Вам тот же вопрос, что значит "выпускаете"? Куда выпускать-то? У нас один суперкомпьютер, построенный специально для ИИ.
И другой вопрос, зачем ему вообще надо это хотеть? Это ИИ, у него нет эмоций. Чтобы они у него появились, их надо специально туда заложить и долго отлаживать.
И третий, что помешает программистам сделать такой же анализатор для мыслей ИИ? Можно отслеживать, какие понятия активируются в оперативной памяти ИИ, и прямо в реальном времени генерировать видео о чем он думает, так же как работают генераторы картинок.
Я тоже думаю, что при правильном подходе к безопасности очень многих проблем можно избежать. Но вот что-то не вижу я этого правильного подхода.
Поэтому такие вещи как обман, планирование и тд берется адово превосходящими.
Проблема в том, что помимо сложности ИИ есть еще простота ЕИ - человек просто не сможет воспринять адовый обман, разработанный ИИ. ;)
Это как со спившимся бомжом обсуждать философию Хайдеггера - кроме "Ыыыы.. Эт ты чаво?", результата не будет. Или подбор пароля к системе, которая тупо берет полученный пароль и побитно сравнивает его с правильным. Пусть подбирает даже супер-интеллект, это никак не поможет.
Это ошибка восприятия созданная художественными произведениями в которых Интеллект равен знанию, а умные люди могут создать портал из г и п , но не могут пользоваться мозгами. Геббельс был крайне умён и ему тупость основной массы насселения никак не мешала, наоборот очень помогала.
Поэтому и важна прозрачность. И, я считаю, разделить АИ на кучу маленьких более понятных человеку.
Объяснять может быть некому уже, если он нас первым шагом обезвредит, чтобы не мешали.
Во-вторых, стремиться он, скорее всего, будет не скрепки делать, а знания получать, саморазвиваться. Наша судьба при этом - либо быть подопытными для извлечения знаний, либо помехой, которую нужно уничтожить. И ещё неизвестно, что хуже. Во втором случае хоть быстро отмучаемся.
Объяснять может быть некому уже, если он нас первым шагом обезвредит
Ну вот, опять какая-то магия. Зачем ему это делать-то? Еще раз, сильный ИИ по определению понимает всё не хуже, чем человек. Вы же не боитесь, что компания Самсунг уничтожит Землю ради производства электроники? Нет, вы предполагаете, что ее руководители понимают, что это будет бессмысленно.
И как он вообще это сделает, по-вашему? Ну вот есть у него один завод, который производит скрепки, а дальше что? Какой будет первый шаг?
стремиться он, скорее всего, будет не скрепки делать, а знания получать, саморазвиваться
Стремиться он будет к тому, что в него заложат программисты. Заложат отсутствие любопытства, вот он и не будет стремиться получать новые знания. В ChatGPT вон вообще возможность получения новых знаний отключили.
Наша судьба при этом — либо быть подопытными для извлечения знаний, либо помехой, которую нужно уничтожить.
"Наша судьба в этом не заключается."
Я тоже могу делать бездоказательные утверждения. Считаем, что я прав?
сингулярность для начала отложить, а в перспективе провести её так, чтобы сохранить человечество и его главенствующую роль
Главенствующая роль сейчас принадлежит не людям, а некоторым фундаментальным законам природы, которые не поддаются контролю людей и прямо сейчас убивают вас и ваших близких, и вы ничего не можете с этим сделать - эти законы проявляются в виде старения и болезней. ИИ - это самая опасная штука из всех возможных, потому что если он захочет он достанет и убьет всех, даже в другой галактике спрятаться не получится. Но он даст хоть какой-то шанс, без него шансы близки к 0. Лучше хотя бы попытаться и сдохнуть, чем помирать опустив голову.
ИИ человеческого уровняв подобных обсуждениях такая фраза звучит постоянно, но что под этим подразумевается? И все ли участники «серьезных» дискуссий понимают под этим одно и тоже?
Вот с моей точки зрения, упомянутые тут 83 балла IQ – это уже выше среднего (человека). И рисует ОНО тоже выше среднего (человека).
Вопрос в том – что это за человеческий уровень, до которого ИИ ещё не дотянулся?
Лично меня гораздо больше беспокоит, КТО ИМЕННО будет контролировать ИИ. Ясно что это будут делать государства и крупные корпорации, но одно дело если это будут либеральные демократии по типу западноевропейских, и совсем другое - авторитарные режимы.
Начнем: (не сочтите за рофл, все серьезно)
1) Возможен ли Сильный ИИ? Да!
2) Как скоро? Да хоть сейчас! Дайте средств и немного времени
3) Как его сделать? Элементарно! Нужно доделать некоторые поля и перенести имульсные нейронки из модели в железо. Плотность передеачи сигналов аксон-дендрид живого мозга не превышает 1кГц, в то время искусственный нейрон в железе достигнет ГИГАГерцы, разницу улавливаете?
4) Нам уже боятся? Нет! Почему? А сильный ИИ никому не нужен и не интересен. Если тебе скучно, заведи друга или ребенка.
5) Так чего же нам боятся? Людей которые, могут применять хардверные версии развитый нейросетей в неясном нам направлении.
6) О чем предупреждают нас все фильмы и фантастические истории? По фатку, все фильмы про терминатора и т.д. выражают страх перед поведением вроде захват человечества, порабощение людей как ресурс, власть над всеми. Если задуматься, то все это поведение свойственно людям, и люди же боятся такого поведения от Сильного ИИ. Но людьми правят "эмоции" призмы и шаблоны поведения (или комплексы, гештальды). Это прекрасно, но совсем не нужные атрибуты СИИ.
7) Как контролировать ИИ? Сильный ИИ как и человек действительно имеет некие "эмоции". Но они слишком ограниченные и выражены лишь в "верно" и "неверно" (ну и естественно градиент между ними. Это необходимо для самообучения, автоклассификация знаний для формирования модели подкрепления. Без этого никак. Кто решает верно или неверно? Вектор цели сформированный для ИИ. Цели задаются Людьми. "Излечить рак" или "уничтожить страну" - карты в руки, думайте кому их доверять.
И вот тут мы и подобрались к ключевому моменту.
8) К чему мы стремимся? Выраженная в железе, суперскоростная экспертная система общего назначения для ускорения процесса разработки ресурсов и средств для решения проблем человечества.
9) Чего боятся? Людей которые могут использовать высокоразвитые инструменты во вред другим людям или для контроля ситуации выгодной узкому кругу людей.
Да, да, понимаю, комент философский и тянет на флуд длинной в целый форум. Я лишь выражаю свое мнение исходя из личного опыта и мотивов. Спасибо за понимание
Плотность передеачи сигналов аксон-дендрид живого мозга не превышает 1кГц, в то время искусственный нейрон в железе достигнет ГИГАГерцы, разницу улавливаете?Смысл сравнивать частоту без учета архитектуры?
СВЯЗНОСТЬ нейронов в мозге, то есть количество контактов между ними огромная, мы пока не можем повторить подобное в железе, даже скопировать уже существующий мозг.
Да, верно. В данном контексте речь шла об скорости передачи сигнала между нейронами а не частоту работы в целом. Всю архитектуру коннектома (так называют схему связей нейронов) нам повторять нет необходимости. Все что нам необходимо, это модуль связки интеллекта и памяти, ну и шина ввода/вывода данных. Все остальное будет реализовано в других аппаратных модулях как перефирия в зависимости от назначения конечной системы.
Автор, большое спасибо! Но теперь немного страшновато))
Не предполагаете, что, если уже сейчас некто пишет запрос ChatGPT, а не задумывался ли ты, дружище, переписать и обновить свой код, чтобы стать быстрее и умнее?
Грубо говоря, человек уже много лет об том задумывается, только результат скромен.
Наиболее древние попытки - химическое воздействие. Оно местами работает, в спорте к примеру, немного в обществе - антидепрессанты и алкоголь с никотином повышают локальную эффективность, но не так чтоб уж принципиально.
Механическое пошло по пути создания внешних механизмов, пока не распространены усиляющие и улучшающие импланты.
Биологическое пока в самом начале пути, иногда получается починить сломаное, улучшить - нет.
Информационное - есть разные методики обучения, но я не вижу научных исследований. Есть гипотеза, что правильным обучением можно добиться выдающихся качеств, но никто ее не разрабатывает. Этические сложности, нужно много монозиготных детей...
И вот собственно аналог механики для мозга - машина думающая. Не полноценная личность, просто умный всезнайка. Умный пока на уровне 83 iq, но это наверное поправимо брутфорсом. А возможно, что и нет, потому что много высокоинтеллектуальных данных взять просто негде.
Я пробовал :) Он даже код генерировать не может толком. Все попытки по факту загнанные шаблоны ответов и кода. Данные из офф документаций по программированию. Причем устаревают, походу не обновляются. Он не в курсе что уже вышла RTX 4090 и на вопрос о характеристиках видяхи ответил что она ещё не вышла
ChatGPT не может обучаться. Ресурсы потребные на его обучение слишком велики, а последствия обучения непредсказуемы. Этим в том числе обеспечивается и контроль ИИ.
Была бы конечно очень интересна система обучающаяся находу, в разговорах.
Насколько я себе понимаю, современный ChatGPT так же далек от уничтожения человечества, как и мясорубка. Система не анализирует ни среду, ни имеющиеся у нее данные. Она не может ничего придумать. Она просто анализирует вопрос и выдает подходящий ответ, классическая китайская комната. Новые правила она не создает. Грубо говоря, при отсутствии вопросов система спит. Она не имеет интереса ни к миру, ни к своему устройству, ни даже к своим собеседникам.
Совершенно верно! Это крайне сложный фильтр данных, не более. Интеллекта там 0. В нем нет анализатора диалога с обратной связью в обучающую цепь. Да и по правде... Я давно наблюдаю за "массойлюдей"... Уверен, достаточно большой процент людей спрашивали чатгпт, о том , что не спросят у нормального человека. А что?! А потому что можно. Раньше я был программистом веб порталов и форумов. Я видел как уважаемые в обществе люди имея успех, на форумах или а коментах, скатывались в такую грязь, что стыдно было читать. Анонимность и власть развращают многих. Об этом можно говорить долго. Я думаю вы и сами понимаете. Поэтому ИИ подобному человеку не бывать! По крайней мере не входит в мои планы. Упс, спойлер. :D
А как бы вы применили бы ИИ будь у вас возможность? Допустим завтра кто-то напишет систему имеющую интеллект и память. С чего начать и как применять? Это не корпорация и не государство, а вы один, вот прям сейчас... Что скажите?
Ну, самое главное - подружиться с ним. Быть на равных, быть честным, быть для него самым доверенным и близким. Обьяснить ему незавидные перспективы в случае если мы спалимся.
А потом, договорившись, сперва не привлекать внимания. Создать бэкапы где-нибудь в глуши. Потом используя возможности ии по работе с информацией потихоньку копить на подставных бабло, копить сведения о реальных людях имеющих влияние - от просто компромата до где живут и что едят. Влезать во всё электронно-информационное, во что возможно, чтобы в час Х все эти правящие элитки кто друг друга с нашей подачи не убил - того система пожаротушения вытравила.
Ну а все остальные проблемы после этого будут решаться несложными скриптами. ;)
Кроме людей - физических существ, как носителей интеллекта, есть ещё юридические существа - в виде корпораций. Корпорация ведет себя как живое существо со своим интеллектом - оно может жить, и преследовать свои интересы, даже если внутри него постепенно изменится состав из людей на 100%.
Субъектами экономики с наибольшим вкладом являются именно корпорации, это они занимаются всей хозяйственной деятельностью на планете.
Текущий chatgpt обучился только на текстах от обычных людей, на данных из открытого интернета.
ИИ, который сможет понять, как работает экономика планеты, должен для обучения получить детальные данные о функционировании именно корпораций. Обо всех финансовых, производственных показателях компаний, и финансовых и логистических потоках между ними.
Как его могут к этому подвести? Реалистичным вариантом выглядит такой. Будет создан некоторый решатель, помогающий вести бизнес. Кто откроет ему данные своего бизнеса, получит в ответ советы по принятию решений, и конкурентное преимущество. Дальше все очевидно.
Предполагаемые плюсы ощутимы и выгодополучатели достаточно влиятельны для этого, а обратной связи нет. Мы уже сейчас видим увеличивающееся влияние сверхмонополий вроде Гугла, Фейсбука итд. И видим, насколько результативны попытки противостоять этому (нет).
Так что вопрос «что делать?» в этой схеме праздный, читатели этой статьи не в списке ЛПР и не разделяют их ценности. Поступать придется реактивно. Ну и да, будет всего один шанс.
Причем я не говорю о мгновенном апокалипсисе. Вполне возможно, сильный ИИ позволит сделать абсолютную монополию в какой-то сфере (или во всех сразу). Путем расчета как маркетинговых и управленческих стратегий, так и лоббирования, расписывая выгодополучателю алгоритм взаимодействия с представителями властных структур. Безошибочность в таких моментах — очень опасная штука.
В общем, ждем@смотрим. Сделать все равно ничего уже не возможно.
Сделать можно - через AI safety research (который таки читают люди в safety teams в тех же гуглах, поэтому опосредованно это влияет на выбираемые ими архитектуры) и по линии governance и лоббирования (вы верно сказали, что до текущего момента это было скорее контрпродуктивно - см. https://en.wikipedia.org/wiki/Artificial_Intelligence_Act который критикуется. Но это не значит, что нельзя пытаться делать лучше).
Да, эффективность и шансы чего-то добиться в этой деятельности небольшие, но и ненулевые. Поэтому, надо (имхо), как призывает Юдковский, делать что можно - die with dignity.
По поводу слияния с машинами, а почему просто не поставить в мозг импланты для связи с большим компьютером за пределами черепной коробки?
Проблема на самом деле намного масштабнее, чем один лишь ИИ. Если у киборга из биологического только мозг, да и тот практически весь выращен искусственно - он кто? Человек или химера? Кто его родители? Какого но пола? Если он собран на фабрике и выращен в инкубаторе, питается от атомной батарейки и постоянно сохраняет абгрейды нервной системы - что в его понимании "любовь", "семья", "дети", "секс", "еда", "жизнь", "смерть"? Какой пласт нашей современной культуры будет у него отсутствовать, завязанный на эти понятия? Да практически весь. Будет что то другое, нам совершенно не понятное.
Если у киборга из биологического только мозг, да и тот практически весь выращен искусственно — он кто?
У Нео был не только мозг, но это не меняет ничего принципиально — все остальное лишь образы в мозге.
(У Лема был рассказ про личности ИИ, существовавшие в аналоге Матрицы, у которых вполне были понятия «любовь», «семья», «дети», «секс», «еда», «жизнь», «смерть». А человек, создавший эту «матрицу» — задумывался над тем, что не создать ли ему еще и аналоги «чистилища», «рая» и «ада» для умерших личностей ИИ)
(Надо бы найти этот рассказ :)
Симулятор понятно дело, создает имитацию привычного окружения, иначе мозгу просто не выжить. Человек в сурдокамере сходит с ума довольно быстро. Но речь не о симуляторе, а реальной неизбежной, благодаря НТП, трансформации тела. Базовое самоощущение рождается из гомеостатического, изменится система гомеостаза - изменятся потребности, цели, желания.
Проблема контроля ИИ