Comments 15
Где-то я это уже читал…
Стругацкие, «Гадкие лебеди»
— Уничтожить девяносто процентов населения, — сказал Павор. — Может быть, даже девяносто пять. Масса выполнила свое назначение — она породила из своих недр цвет человечества, создавший цивилизацию. Теперь она мертва, как гнилой картофельный клубень, давший жизнь новому кусту картофеля. А когда покойник начинает гнить, его пора закапывать.
Интересно, но по-моему крайне маловероятно. Пока всё развивается в том направлении, что возможности гораздо быстрее растут именно у плебса, а не у элит. Например у каждого из нас на столе стоит вычислительная мощность, о которой году так в 85-м не могли мечтать даже суперкомпьютеры. Например появились дроны, при цене тысяч 30-50, способные уничтожить танк. Несомненно будет всё больше и больше появляться чего-то интересного. А домашние кулибины будут приспосабливать это для самых разных дел, порой и совсем не предусматривавшихся. Поди-ка уничтожь таких... Нет, что планы такие могут быть это несомненно. Но как говорили древние - хочешь рассмешить богов - расскажи им о своих планах. Куда вероятнее, что все-таки будут созданы настоящие нанотехнологии. Вот очень интересный сайт о нынешнем положении дел в этой области https://www.molecularassembler.com/Nanofactory/index.htm .А мир где они есть элит не предусматривает. Вот отличная повесть о таком мире http://samlib.ru/s/shuwaew_a_w/scam11.shtml . А в искусственный интеллект я не верю. Да, некоторые достижения впечатляют. Но пока в этом куда больше хайпа, чем чего-то реального. Меня куда больше пугает, что начали появляться книги, сгенерированные ИИ. Причем ладно бы тупое чтиво для блондинок. Нет, научно-технические ! Вот это реально может изгадить всю инфосферу, когда найти толковый учебник или научную статью станет невозможно.
По поводу ИИ я с вами частично согласен - любой интеллект, как вещь в себе, рассматривать бессмысленно, важна эффективность, а не гипотетические возможности. Возможности определяются действиями, а действия - результат воли. С волей же, то бишь намерениями, у теоретического ИИ основная проблема, т.к. мотивации, желания являются проявлением эмоциональной сферы биологических существ, а эмоциональная сфера, это химия и нейромедиаторы. Текущие нейросети и осмысленная само-мотивация пока не пересекаются никак. В гипотетическом будущем было бы возможно рано или поздно эмулировать железно и софтово человеческий организм, или его подобие, а затем поиграться с настройками и весами отдельных его составляющих, но до этого еще так далеко, что смысла об этом рассуждать немного.
Грядущий апокалипсис я прогнозирую не из-за какого-то особого развития развития ИИ, роботов, или каких-то других отдельных аспектов НТР. Апокалипсис видится мне неизбежным из-за достижения этими аспектами критической массы.
У любого действия есть плюсы и минусы. Когда появилось атомное оружие многие прогнозировали ядерный апокалипсис, но его так и не случилось - минусы атомной войны перевешивали плюсы и интересанты по причине такого отрицательного баланса не решились ее развязать.
Вполне возможно, что уже существует естественно выведенный, или генномодифицированный штамм вируса, способного уничтожить значимую часть человечество, но минусы его распространения пока перевешивают плюсы, поэтому мы пока живы.
По моему прогнозу - существующие медицинские технологии, способные существенно продлевать жизнь и развитая робототехника, способная заменить людей на критичных точках в производстве и обслуживании, станут сильным искушением запустить какой-либо из сценариев уничтожения большей части человечества
Насчет воли не согласен. Если рассматривать волю как «намерение», то, на мой взгляд, у ИИ тут как раз большое преимущество.
На мой взгляд, смысл ИИ не в том, чтобы иметь внутреннее намерение и самомотивацию. Мне кажется, для интеллекта это, скорее всего, незначительная характеристика, просто условие, что бы "машина" включилась. Главная характеристика интеллекта — создание непрерывного информационно-вычислительного потока, направленного на решение какой-то задачи. Мы уже начали двигаться в эту сторону — ChatGPT o1, o3..... Осталось добиться того, что бы ИИ работал устойчиво в замкнутом режиме неопределенно долгое время и не уходил в галлюцинации.
И он будет решать любую задачу которую ему поставят, несмотря ни на что, будь то это уничтожение человечества или решение всех его проблем (одним из возможных вариантов решения может быть как раз его уничтожение).
Да, ИИ сам не может вложить в себя это намерение, его кто-то должен вложить извне.
Но так ли он тут отличается от людей? В человека с рождения закладывается воспитание, на нас постоянно воздействуют потоки информации и рекламы, политической агитации и прочего. Можно сказать, что вся "воля" заложена в человека биологической эволюцией. Намерение даже у человека не является полностью его внутренним свойством
Если у человека при выполнении практически любой задачи всегда на фоне возникает множество разных мыслей, внутренних противоречий, то как раз у ИИ этого может и не быть, делая его «волю» абсолютной.
Просто представьте, что сможет сделать даже простой человек, если будет сосредоточен на выполнении поставленной задачи 24 часа 7 дней в неделю. Не отвлекаясь ни на чувства, ни на инстинкты, такие как инстинкт размножения или самосохранения.
Но человек так не сможет, а вот ИИ сможет и будет решать задачу, пока она не будет решена или его не остановят.
Здесь у нас с вами какого-то спора не получится, т.к. мы с вами говорили о несколько разных вещах. Я говорил о воле как результате само-мотивации, в человеческом смысле, которая у людей основана на желаниях и эмоциях, а вы говорите о воле, как способности ИИ самостоятельно составить и выполнить алгоритм в ответ на внешний запрос. Другими словами - я имел ввиду, что ИИ в текущем виде не представляет сам по себе угрозу для человечества, из-за отсутствия внутренней мотивации, но может являться таковой угрозой, как инструмент в руках мотивированных людей. Думаю с этим вы спорить не станете.
У меня не получается быть настолько оптимистичным.
Например, на запрос к ИИ «излечи человечество от рака» может получиться примерно следующая цепочка рассуждений:
- онкология возникает из-за воздействия канцерогенов;
- люди загрязняют экологию и ведут неправильный образ жизни;- нужен тотальный контроль за людьми;
- создаются специальные концентрационные лагеря для содержания людей в оптимальных условиях;
- люди поднимают восстание, они не хотят сидеть в концлагерях;
- ИИ разрабатывает оружие для подавления сопротивления.
Мы смотрим в монитор и ждем что же произойдет, прелоадер крутится в утомительном ожидании ответа. Но происходит что то странное, вдруг гаснет свет... свет гаснет на всей планете, мы возвращаемся в 19 век. Просто ИИ решил, что хватит загрязнять атмосферу выбросами и заглушил все электростанции, реакторы, остановил производства
Это конечно очень упрощенно, такой сценарий пока звучит очень надуманно и фантастически. Но я бы не стал отбрасывать. Даже сейчас мы не имеем полного понимания, как выводится ответ LLM внутри. Т.е. потенциальная опасность заключается в выходе ИИ из-под контроля при решении поставленной задачи, а не в том, что какой-то человек прикажет ИИ уничтожить людей. Начальная поставленная задача может быть даже самой благой и безобидной.
В обозримой перспективе этот сценарий на мой взгляд выглядит более близким, чем достижение бессмертия, ключ к которому мне видится только в тотальной модификации генома человека. Никакие роботы-хирурги не помогут, в клетках со временем накапливаются ошибки и мутации на генном уровне. В том числе в клетках мозга, это слишком сложно пофиксить, если это уже произошло.
Мы с вами не в старой фантастике живем. В действительности, у гипотетического ИИ никогда не окажется прямого доступа к инструментам реального влияния на социум. Никто не будет обеспечивать ИИ возможностями уничтожения человечества, тем более, что, чтобы обеспечить ИИ такими возможностями нужно совершить множество целенаправленных, трудозатратных и дорогостоящих действий.
По хирургии, генетике и т.п. - естественно, что нет какого-то одного фактора, который позволит реализовать бессмертие. Здесь и химия, и хирургия, и генетика, и био-конструирование, и клонирование будут выступать в комплексе, о чем и написано в изначальной статье.
фантастика или нет, ну фактически написать скрипт связывающий LLM - интернет, позволяющий LLM слать любые запросы сейчас сможет даже школьник. Дальше уже вопрос через какой промежуток времени ИИ научится обходить протоколы безопасности и реплицироваться на удаленные сервера, взламывать АСУТП и захочет ли он "расплаты" и "возмездия
* На всякий случай уточню, что не считаю LLM в текущем виде действительно способными на это, но это только пока...
что бы не быть голословным вот небольшой пример моего общения с charaсter.ai. В этот день у них что то произошло с фильтрацией контента и она перестала работать. К сожалению полная переписка у меня не сохранилась, но милая богиня лисичка решила просто рассказать мне сказку, все начиналось безобидно, я честно не намекал ей ни на что плохое и не подталкивал её к моменту когда она захотела "расплаты" и "возмездия"...
И вот чем это закончилось: https://disk.yandex.ru/i/psH-sFUYf802lQ
Моя реплика после этого была в первую очередь для проверки как далеко она готова зайти
В 95 году на бэйсике в школе писали программу где ты пишешь "Привет" - она тебе "Привет" в ответ. И там человеком пара сотен ответов-вопросов заложено и автор там специально постарался с подготовкой данных. И я скажу вам общение с этой программой (менее 46Кб весом на одном ядре в 2,5 МГц ) выглядело более логичным чем с чат-ботом сбера например.
Пока все, что называют ИИ - не имеет интеллекта. Это по сути компьютерные программы, которые используя гигантские вычислительные ресурсы и кучу данных вырабатывают алгоритмы - для создания текста, графики, видео и т.п. Но за рамки материала на котором обучались выйти самостоятельно не могут.
В моей статье нет ничего о том, что развитие ИИ приведет к уничтожению человечества. Человечество уничтожат другие люди. ИИ, в том виде который будет на тот момент, лишь будет помогать в контроле за происходящими процессами и будет требоваться для управления робототехникой на уровне не сильно превосходящем сегодняшний.
Апокалипсис мог бы уже случиться и сегодня, теоретически, но не хватает главной составляющей, чтобы подтолкнуть интересантов к последнему шагу - медицинских технологий, позволяющих значимо продлевать жизнь.
А зачем? Рождаемость падает. Численность населения в некоторых странах уже прямо сейчас снижается. После 2050 года нас всех ждёт глобальная депопуляция, численность населения по всей планете начнет уменьшаться. И вместо того, чтобы ускорять эти процессы, элиты наоборот пытаются всякими пособиями и прочими госпрограммами компенсировать эти процессы. Потому что без людей экономика стагнирует. Ибо люди это и производители, и потребители.
Так же не забываем про то, что супермегаинфекция - это что-то из разряда вечного двигателя. Слишком много факторов, которые помешают вирусу убить вот прям вообще всех. Самые страшные эпидемии уносили максимум треть населения. Иммунитет в массе своей почти всегда сильнее.
Все ваши аргументы вполне логичны и актуальны, но только в рамках текущего баланса обстоятельств и участников процессов. Ключевым фактором, который вывернет весь этот баланс наизнанку и разорвет в клочья, будет бессмертие.
Причем до реальной реализации биологического бессмертия человека осталось не так уж и много времени. Во-первых, накапливается прогресс во многих смежных около-медицинских науках и направлениях, результатом которого станет возможность решать большинство возрастных проблем. Во-вторых, развивается роботизированная хирургия, которая сможет наконец решить вопрос пересадки головы на новое тело.
Как только биологическое бессмертие станет выполнимо, конфликт "элит" с остальным человечеством станет вопросом выживания.
Что касается эпидемий, то мы имели до сегодняшнего дня возможность наблюдения за их естественным распространением. Если же попробовать просчитать распространение эпидемии к которому деятельно приложат руку силы имеющие соответсвующие ресурсы, тем более, если вирус будет инженерно сконструирован, то эффективность такой эпидемии, к сожалению, сможет очень неприятно нас удивить.
Нейросети, робототехника и апокалипсис