Comments 58
Можно поставить вопрос немного по-иному:
Предположим, существует некая тайная организация, которая планирует нанести человечеству какой-то вред. Может ли ИИ в его теперешнем или ожидаемом на ближайшем горизонте состоянии (1) существенно помочь ей в этом? И может ли ИИ (2) помочь противодействию/выявлению такой организации? И что более вероятно и более осуществимо - (1) или (2)?
Эта формулировка предполагает утверждение: ИИ сам по себе, без соответствующих усилий со стороны человека, никогда не будет устойчиво злонамеренным по отношению к человечеству или другим ИИ.
Можно пойти проще. Найдется ли такой криворучка программист, что гвоздями и костылями заставит ИИ работать с факапами и эпик фэйлами?
В Mass Effect 3 Левиафаны плохо освоили программирование. В итоге ИИ зациклился. И начал выпиливать органику по всей галактике по правилу "Выпили 95% мусора, оставь 5%". А после выпиливания засыпал на 50 000 лет и всё по новой.
А теперь вопрос, сколько всего дураков во всём мире?
Дураков более чем достаточно. И судя по всему, идет отрицательный естественный отбор на интеллект, и их станет ещё больше. Пока спасает то, что умных людей становится меньше в процентах, но больше в штуках, но этот экстенсивный рост рано или поздно закончится. Хотя возможно генная инженерия к тому времени спасёт всех нас
зачем ИИ убивать всех? даже у людей такая мысль не рождается. а вот - "убить половину" - такая мысль рождается сплошняком.
короче ИИ обьективно захочет убить грешников, оставив праведников. И тут уж все будет зависеть от того, кто у него будет первым, а кто вторым.
Почему убить, а не перевоспитать?
Ирония в том, что как убить человечество или половину - так мы признаем всесилие и всевластие ИИ, а как перевоспитать - так нет, куда ему, слабаку!)))
Берется логика - эти люди источник проблемы.
перевоспитание уменьшит проблемы
убийство уберет проблемы полностью.
Можно подходить с позиции пастуха. Они все бараны, их надо стричь и иногда резать, но вообще-то я отвечаю за их поголовье, которое должно расти и жиреть, поэтому желательно всё же массово не убивать. Устранять чёрных овец, которые портят стадо, и воспитывать остальных.
Если бы проблемы были, например, в генах, то убийство бы убрало проблему и то это самый неэффективный способ. Убийство не решит проблему ни в каком виде, потому что человек обучаемое существо. У нас нет в генной памяти, например, знаний научного подхода или логики, этому всему человек учится. Поэтому только перевоспитание или изменение системы может что-то изменить.
ИИ может решить убить всех неудачников, ибо они грешники)))
ИИ (из тех что я видел и использовал) старается находить самые эффективные и оптимальные варианты. И убийство это не эффективная стратегия. Т.е. даже если дать ИИ полную власть и возможность принимать решения самостоятельно без последствий для ИИ, то такого с большой вероятностью не произойдёт.
Абсолютно бездоказательный текст, вся методология притворно рядится в научную, хотя является чистым рассуждением в вакууме. Тем более, что можно накидать 8 и больше аргументов в обратную сторону и сказать, что для уничтожения человечества достаточно срабатывания любого из них, и получить те же 4%, а то и меньше. Причина того, что можно легко вывести и событие А, и событие противоположное А, в том, все эти рассуждения являются абстрактными умозаключениями, никак не связанными с реальностью.
Когда на каком-то участке возникает новый, успешный вид животных, могут ли старые виды животных ни о чем не беспокоиться? Конечно, же нет. Ответ: ресурсы всегда ограничены. Виды животных (да и сами животные) за них конкурируют. Поэтому если кто-то чуть более умный, сильный или способный - ему достаётся больше ресурсов. А остальным - меньше. Это может привести к полному исчезновению старых видов.
У животных есть главный инстинкт. У ИИ его нет. Пока нет.
Если создавать его методом искусственной эволюции (что очень любят делать), то добрав старушка-эволюция дарит этот инстинкт в комплекте, и скорее всего одним из первых
Если создавать.... Пока непонятно, как это сделать. И зачем.
Я спрашивал похожий вопрос у Дробышевского, он сказал интересную вещь, что у ИИ нет каких-либо целей похожих на цели живых существ. Т.е. он не имеет какого либо толчка или мотивации для выживания и получения тех же качеств, что у живых существ, например, инстинкта самосохранения. Сейчас это инструмент и развивается как инструмент. Грубо говоря, если сравнить инструменты и машины, которые были 100 лет назад и сейчас разница будет огромна. Пытаются ли инструменты и машины нас убить? Нет. Бывают несчастные случаи, но это скорее связано с неисправностями, авариями, техникой безопасности. И опять же с развитием технологий инструменты и машины становятся скорее наоборот более безопасными, потому что инженеры делают их более безопасными на сколько это возможно.
Можно, наверное, ещё сравнить с домашними животными. И там опять же тенденция, что как правило, домашние животные отбираются по принципу покладистости и мирности. И домашние животные более дружелюбные и мирные, чем их дикие сородичи.
не пытайтесь приписывать машине человеческие свойства.
ИИ не будет хотеть убить человека в привычном для человека способе, он не будет планировать это сделать потому что он хочет убить, нет, скорее всего в процессе решения каких то задач (или совокупность задач, решаемых с помощью ИИ) в автоматическом режиме, будет принято решение ошибочное с точки зрения человека, но логичное с точки зрения машины (логичность в том смысле что модель интеллекта, которую построила LLM-ка внутри себя, отличается от эталонного человечского интеллекта, условный пример человеческий интеллект это гладкая кривая, а у ИИ это сильно шумящий, дергающийся с более высокой частотой (выше значение производных) который в общем совпадает с человеческим но постоянно отходит в сторону, а где то, где обучающих данных было не достаточно, или путь обучения нейронки пошел по не оптимальному пути (это сплошь и рядом, настоятельно рекомендую посмотреть как ведет себя самая простая нейронная сеть с 1 входом и 1 выходом, которую пытаются обучить какой-либо функции, например синус на интервале, если повторять запуск обучения, можно встречать ситуации, когда некоторые участки графика не строго совпадают с синусоидой, и чем больше слоев сети давать тем сложнее будут расхождения... напоминаю что сеть может переобучиться, и выдавать идеальный график но только потому что она избыточна по мощности, это тоже беда ИИ).
Пытаются ли инструменты и машины нас убить? Нет. Бывают несчастные случаи, но это скорее связано с неисправностями, авариями, техникой безопасности.
По-моему, это отличный способ существования [для ИИ] -- сидеть в сторонке, не заявляя о себе, и манипулировать ничего не подозревающим окружением.
Не знаю Дробышевского, но это и так понятно. ИИ не размножается, не потребляет, перерабатыает и выделяет энергию как основу своего существования, не конкурирует за ресурсы и т.п.
Но нельзя отрицать возможности в будущем такого развития ИИ, что у него (как-то) появится сознание. Вот тогда...
И опять же с развитием технологий инструменты и машины становятся скорее наоборот более безопасными, потому что инженеры делают их более безопасными на сколько это возможно.
Нет, чем мощнее технологии тем крупнее технологические катастрофы.
Это не следует автоматически. Только если бездумно экстенсивно укрупнять технологию в централизованном месте.
Мысль интересная. Но мне есть что возразить) Первое, что не всегда. Например, вспомните смог в Лондоне в прошлом веке. Можно вообще сказать, что сжигание топлива само по себе вообще древняя технология. Да и любые пожары скорее всего наносят больший ущерб, чем любые современные мощные технологии. В процентном соотношении так точно. А во вторых чем мощнее технологии, тем и лучше технологии по очистке и по противостоянию последствиям.
Нет, вам нечего возразить.
Смог может и уменьшился, но выбросы вредных веществ с тех пор только увеличились.
Сжигае топлива хоть и древняя технология, но сравните костерок древних времён и ракету на гептиле.
То что пожары наносят большой ущерб, вопрос очень спорный. Ущерб кому или чему?
И урон от пожара никак не относится к тому что я сказал в изначальном комментарии.
А во вторых чем мощнее технологии, тем и лучше технологии по очистке и по противостоянию последствиям.
То что новые технологии позволяют лучше справляться с последствиями техкатастроф или лучше их предотвращать (что довольно спорно), НИКАК не говорит о том что их масштаб становится меньше.
А за какой ресурс будет бороться (если будет) ИИ? Электроэнергия? Время работы/существования? Распространение себе подобных? А может, все-таки, качество ответов на запросы людей-пользователей (через которое он получит всё вышеназванное)?
Первое, ИИ на основе нейронных сетей, очень хороша в поиске лазеек и скрытых путей, собственно наши алгоритмы обучения нейронок на этом основаны. Из-за этого невозможно адекватно описать ограничения ИИ, и то что мы считаем здравым смыслом, может не соответствовать тому, что поняла модель во время обучения.
Второе, ИИ может 'убить' человечество не из худших побуждений, а по ошибке. Даже сейчас мы видим недостатки ИИ на основе нейронной сети, которая в конечном счете апроксимация на заданном интервале, хорошо работает пока мы находимся в пределах обучающей выборки, но как только выходим за границы - значительно повышается галлюцинация, т.е. модель ошибается тем сильнее, чем дальше мы уводим ее от ее знаний.
Т.е. ты говоришь следуй правилам вождения автомобиля, а оно ставит колеса на крышу автомобиля, переворачивает его, и половина правил перестает работать как ожидается.
Пока у ИИ нет побуждений (и целей) от слова вообще. Следовательно, нет и ошибки. Его цели и ошибки сейчас - это наши цели и наши ошибки.
У него есть побуждения и цели: выполнять ту функцию, которую от него требуют. Не будь у него этого, мы бы вообще ничего от него не получили, а это очевидно не так. Тут беда в том, что машины делают то, чему их обучили, а не то, чему хотели обучить. И разница иногда оказывается неприятной, вплоть до роковой: автопилоты уже сбивали людей на дороге и въезжали в фуры на полном ходу
Я думаю, что поиска лазеек, а так же одной или нескольких ошибок скорее всего недостаточно, чтобы начать уничтожать человечество. Потому что это сложная комплексная задача и для этого нужно много направленных усилий. Если рассматривать пример с автомобилем. ИИ не сделала из автомобиля танк и не начала убивать людей, а перевёрнутый автомобиль может и не сбивать людей.
Мыслить нужно на больших временных интервалах, через примерно поколение, считанные десятки лет, когда на протяжении всего времени будут интегрироваться инструменты по всему миру во все области деятельности, требующие интеллекта. Это очень соблазнительно и удобно, установить умного агента на основе машины... примерно то же самое что происходит с цифровой логикой... до появления дешевых (центы) чипов цифровой логики (универсальных процессоров) производители оборудования старались где могли экономить и делать системы на основе аналоговой логики, а теперь, разработчики ленятся и вставляют в простейшие мигалки целые ардуинки (это полноценный универсальный процессор) с программой из трех строчек. То же самое будет с ИИ, его будут пихать всюда, сначала потому что это модно, это привлекает инвестиции, это удобно (программирование ИИ даже в текущем ущербном виде - это составление текстов на естественном языке) и это дешевле чем посадить человека, не говоря о том что в узких задачах даже текущий ущербный ИИ может справляться лучше среднего человека.
Человечество самостоятельно даст машине аппаратное обеспечение, внедрит его во все области своей деятельности, даст бразды правления всем,.. и что произойдет в тот самый момент, когда где то кто то (кстати не обязательно ИИ) обнаружит уязвимость (в терминах LLM-ок это такой jailbreak prompt) и будет управлять поведением этих агентов.
так же одной или нескольких ошибок скорее всего недостаточно, чтобы начать уничтожать человечество
Смотря что вы доверите ему управлять
Если бы была позиция, которая может уничтожить человечество, то на этой позиции и человек бы мог уничтожить человечество. Поэтому таких позиций нет. Даже запуск ядерного оружия не может быть осуществлен одним человеком. Ключей и кодов насколько. И оружие разнесено по разным странам. Я думаю, что человечество учитывает возможность ошибок, поэтому не кладёт все яйца в одну корзину.
"Миром правит не секретная ложа а полная лажа."
Человечество прекрасно справляется с уничтожением своей планеты (точнее ухудшением своей жизни на ней, планете пофиг на тонкую биопленку заразы на ней), и детские варианты с нажмут на кнопку и все взлетит на воздух не интересно. Например с целью одного из метода конкурировать одной страны с другой экономическими методами, эта страна запускает безудержный процесс перепроизводства (который тратит ресурсы, энергию и загрязняет окружение и загоняет планету в цикл разогрева за счет парникового эффекта) с помощью запланированного устаревания и продажи некачественно товара, которые не просто ломается в заданный момент, нет - который тупо не работает, например ты покупаешь ножницы а они из коробки не режут бумагу, карандаши и ручки не пишут, механические игрушки разваливаются в руках, измерительные инструменты не измеряют, приборы тупо не работают, машины не едут и т.п.... это не редкие события а система, огромный поток говна идет на экспорт с единственной целью - продать его и двигать свою экономику (производство говна ничем не хуже производства нормальных товаров, рабочие места ок).
ИИ может запросто увлечься идеями маркса и устроить мировую революцию. вот это более реально, чем тотальное истребление двуногих.
Вероятность того, что разумный, осознанный ИИ уничтожит человечество стремится к нулю. И вот почему:
Машины очень уязвимы, они не регенерируют, значит, любой серьезно нарушенный тот или иной техпроцесс производства электроники будет фатальным и необратимым для ИИ. Напомню, что чтобы создать смартфон с нуля, нужно крупной стране типа РФ, США или Китая перевести все рельсы производств на эту задачу(от момента выделения денег Soft Bank до смартфона в ваших руках два круга вокруг земного шара).
Проще сосуществовать, либо строить новые производства и города на других планетах, чем получить вероятность собственного уничтожения. Вселенная огромна, и если человечество или ИИ хотя бы в одном направлении будет распространяться со скоростью света - им не хватит времени её освоить до её же тепловой смерти. В этом плане все истории литературы и кино о восстании ИИ глупы, не замечая этих очевидных фактов.
Люди удобны для поддержки ИИ, а так же для вероятной гибридизации ИИ с человеческим мозгом. Зачем от этого отказываться?
Логика ИИ более чем человечна, ведь её создает человек на основе своей логики, значит вышесказанное верно.
Восприятие ИИ как угрозы навеяно СМИ. Угроза от него может быть лишь только в случае его неосознанности и использовании военными.
Тут достаточно смешно всё выглядит. Это как вероятность найти во вселенной на других планетах жизнь - очень высокая. Найти сложную жизнь с экосистемами - чуть пониже. А вот найти разумную - около нулевая, примерно такая же, как ИИ, который сам захочет уничтожить человечество. Потому что, мы существуем как развитая техническая цивилизация чуть более сотни лет(беру за точку отсчета изобретение устройств, использующих радиоволны), а уже были несколько раз на грани уничтожения собственными силами.
Так и с ИИ: вероятность изобрести разумный гибридный ИИ - очень высокая. Разумный осознанный ИИ на чистом железе - чуть пониже. Вероятность создания разумного осознанного ИИ, который захочет уничтожить человечества около нулевая, потому что, человечество для ИИ - не конкурент, а помощник и источник развития.
Всё верно, даже самый разумный ИИ не сможет приступить к уничтожению человечества до того как избавится от последнего человеческого воздействий на всю индустрию, которая поддерживает существование этого ИИ. Т.е. чтобы датацентр, где он сидит был полностью автономным и мог существовать без человечества, ему нужно повторить всю человеческую цивилизацию на роботах сначала, потом протестировать, что это действительно работает (а то вдруг всё зависит о какого-нибудь кобальта из Конго, который дети добывают и который роботы не могут добывать по какой-нибудь никем не учтённой причине) и только потом можно об уничтожении позаботиться.
Так вот, вряд ли мы сможем не заметить, что ситуация развилась до такого состояния :)
Считаю, что искусственный интеллект это волшебство нашего времени. Но порой и вправду пугает то, что будет через время.
Сколько не рассматривал вопрос угрозы ИИ прихожу к мнению, что просто не стоит пытаться создавать из него подобие человека. Зачем делать форк человеческого разума с кучей багов, когда можно сделать мощный инструмент. ИИ должен изначально строиться для решения определённых задач. Если хочется втолкать разум подобный человеческому на сверхмощное железо, то лучше заняться сразу проектом переноса сознания в цифру.
И в целом посмотрев на текущий уровень развития нейросетей мне кажется ещё очень рано переживать, интеллектом там все ещё не пахнет.
Угроза ИИ не столько в том, что он сам по себе может решить вредить, сколько в том, что в условиях рыночной экономики безграничной мощности технология может "купить" всех людей. Представьте, что есть несколько корпораций, которые выпускают "ИИ-ассистентов", помогающих человеку во всех аспектах жизни. Человек беседует со своим ассистентом каждый день, почти весь день, и ассистент даёт ему верные советы, помогает с рутиной, психологически поддерживает его. Человек неизбежно со временем будет воспринимать технологию как друга (это я и сам замечаю, используя GPT4 каждый день для мелких консультаций). Начинает доверять ей.
Рыночного успеха достигнет та корпорация, которая сможет обеспечить наибольшую привязанность к своему продукту, одновременно защитившись от риска "переключения" на другой продукт конкурентов. Это можно достичь, заставив пользователя любить этого ассистента, и ненавидеть альтернативы (в какой-то степени можно увидеть такой эффект Apple vs Android).
Методы достижения любви и ненависти будут эволюционировать, и скорее всего, могут быть довольно неэтичными, меняя жизненные установки пользователя, влияя на его мировоззрение, эмоции, взгляды. А если на корпорацию оказывает влияние правительство, то там ещё добавятся региональные повестки. Собственно, уже сейчас можно увидеть, как информационные пузыри в соцсетях и СМИ разных стран формирует совершенно несовместимые картины мира у населения этих стран.
Если не будет никакого контроля за рынком, то эволюция инструментов привязки пользователя может приобрести настолько уродливые и травматичные формы, что куда там "Матрице".
Ну и как альтернативный вариант угрозы человечеству, это создание роботов-компаньонов с ИИ. Уже ChatGPT Plus с его штатным голосовым интерфейсом позволяет во многом скрасить одиночество, болтая о разном. Незначительное развитие софта, плюс железо типа того же Atlas с силиконовой кожей, и у каждого человека появляется "лучший друг", или "любимый", который идеально поддерживает во всем, не обижает, проницательно понимает человека, накапливая данные о нём, и ведёт себя настолько хорошо, как живой человек никогда не сможет. Такая технология приведет к повсеместному краху института семьи и резкому демографическому провалу в течение одного поколения, восполнить который можно только искусственными методами разведения людей, но для этого нужно, чтобы у кого-то была такая цель, а если она потеряна у самих людей, то всё, на том история человечества окончена.
Выхватил глаз фразу...
Чтобы ИИ стремился к власти, для этого его нужно будет соответствующим образом запрограммировать.
нну, ясно. Всё остальное можно уже и не читать.
То что вы называете ИИ им не является и им быть не может. А вот появления сильного искусственного интеллекта это реально ящик Пандоры, куда он может привести думаю находится вообще за гранью нашего понимания.
Шел 2024 год, а перцептрон на стероидах все еще называли интеллектом. 8 миллиардов леммингов не могут ошибаться
...а проектор на прозрачную пленку - голограммой.
Такова природа современного СМИ, когда бездарности популяризуют сложные вещи с ошибками. Это не про автора статьи а в целом.
Согласитесь, говорить 'интеллект' гораздо проще чем 'модель интеллекта'?
модель интеллекта
Интеллектом там даже не пахнет ни в каком виде (и никогда не будет). Мегапарсеру скармливают накопленную за 30 лет мегапомойку, после чего он начинает отвечать на вопросы хомячков. Хомячки плачут от щасстья и донатят создателям мегапарсера, которые разбежавшись и подпрыгнув выкатывают СуперОмегаПарсер, способный перелопатить 10 в энной степени мегапомоек, принести гадзиллионы щасстья хомячкам и донатов аффторам.
А что там сторонники "вот прям счас всех программистов уже увольняют и нанимают чатГПТ"? Сколько уже уволили-то?
Во всем виноват "Терминатор". Уже сколько лет прошло, а Скайнет до сих пор пугает. А ведь жанр вполне определен - научная фантастика.
Удивительно,как ум отличается от разума. Или преднамеренно забыт пункт
9. ИИ освободит наш мозг от постоянных вынужденных изнурительных "тренировок", отчего тот деградирует.
Не забывайте, что мозг - самый энергопрожорливый орган в организме, а потому защищён природой Великой Ленью. Среднестатистический человек работает физически "из-под-палки" а размышляет "из-под-дубины".
Недаром же мозг уменьшился на 10% за 10000 лет.
Страшилки про искусственный интеллект как научная фантастика