Комментарии 220
нет опыта переживания страдания, боли, голода, страха врачей
Сделаем, какие проблемы-то?
Даже если руководствоваться нашими понятиями о захвате жизненного пространства и т.п., то ИИ как раз все будет по барабану. Это мы стремимся все захватить и устранить препятствия (других индивидов) скорее, за время соответствующее нашей жизни. Но ИИ то будет не ограничен во времени и пространстве. То есть человечество будет ему по боку. Свалит с Земли еще куда-то, если мы будем слишком назойливы, и все дела. И будет там строить свой мир и философствовать на свои заумные неведомые нам темы.
Сомневаюсь что сильный ИИ это будет всего лишь код эмулирующий нервную деятельность. Наверняка это будет жёсткий сплав железа и софта, который вот так вот взять и скопировать будет проблематично. И это даже оставляя за скобками проблему «Я» и «уникальности собственного опыта».
Нет смысла приписывать ИИ какие-то «магические» особенные способности, которых нет у ЕИ.
Разве что бэкап и репликация может оказаться более доступными, но это не точно.
Может оказаться, что для формирования зачатков сознания аппаратная база и динамические процессы потребуются такой сложности и громоздкости, что копирование и репликация такого индивида будет сложнее биологических «дедовских методов».
Мне кажется очевидным, что ИИ не получит автоматически по причине своей искусственности некий цифровой интерфейс, который позволит впитывать информацию прямо из цифровых носителей. Скорее всего ему (ИИ) также придётся учиться «читать», «писать» и всё такое.
Нет никаких предпосылок, почему у ИИ не может сформироваться свои аналоги лени, прокрастинации, психичесих заболеваний, а по причине сложности системы борьба с ними будет куда сложнее, чем в случае с людьми. Там не будет специального места в алгоритме, где можно поправить «коэффициент шизофрении» или «уровень старательности». Уже сейчас вполне себе несложные асинхронные процессы и алгоритмы затруднительно отлаживать и понимать.
Да, мне кажется опасность ИИ преувеличена, хотя тут, конечно, можно много спорить. Сделать что-то одновременно эффективнее и универсальнее, чем то, что получилось у эволюции — задача, мягко говоря, нетривиальная. Пока что очень мало предпосылок, что тут возможен какой-то радикальный скачек. По крайней мере биология сейчас работает на наномасштабе, а наши компьютеры окунули туда только кончик транзистора и для его репликации нужно несколько заводов и сложное взаимодействие между человеками.
Опасность от ИИ есть, но не от него самого по сути. Опасность в использовании ИИ людьми (группой разработчиков, или какого-то правительства) в целях получения подавляющего господства над остальными, манипулирования, создания сверхоружия. Если другое правительство тоже предпримет подобное, может случится война на полное истребление противника. В лучшем случае будут большие потрясения от изменения жизненного уклада, отмирания/смены профессий. Не ИИ враг человеку по сути. Человек сам себе враг.
И это повод повременить с разработкой сильного ИИ. Нам нужно сначала привести общество и народы к большей готовности к приходу такой сверхпродвинутой технологии. Нужно подготовить массовое сознание и законы. Создать госпрограммы по переподготовки людей к новым профессиям. Иначе можно получить масштабные бунты. И это обернется большим насилием, чрезвычайными положениями, скукоживанием демократии повсюду.
И это повод повременить с разработкой сильного ИИ.
Кому повременить-то? Нам? Что бы у конкурента было преимущество? Или вы как-то всех остальных уговорите повременить?
Опасность от ИИ есть, но не от него самого по сути. Опасность в использовании ИИ людьми (группой разработчиков, или какого-то правительства) в целях получения подавляющего господства над остальными, манипулирования, создания сверхоружия
Так можно сказать о любых технологиях и техническом прогрессе в целом. Давайте, мол, повременим с разработкой атомного оружия, пока не наступит мир во всем мире или люди станут помудрее. Нет! Это так не работает. Всегда найдутся такие доводы, и всегда найдутся те, кто на них наплюют. Так что ж теперь, на деревья возвращаться пока не поумнее и не разберемся?
И это повод повременить с разработкой сильного ИИ.
Нет не повод. Почему ИИ выделяется как какая-то особенная технология, которую можно превратить в оружие? Со времён появления палки в руках обезьяны существует эта дилемма. Хорошо, что они не додумались повременить.
Нам нужно сначала привести общество и народы к большей готовности к приходу такой сверхпродвинутой технологии. Нужно подготовить массовое сознание и законы. Создать госпрограммы по переподготовки людей к новым профессиям.
А это вообще, простите, бред из разряда «какой ещё космос пока в Африкедети голодают?! Рано в космос, ещё океаны не исследованы!» И прочего.
Никто никогда не будет в здравом уме готовить сундуки для золота пока не изобретён философский камень. Даже если кто-то, а может даже толпы обывателей и убеждены, что он вот-вот появится. Сейчас, вот, уже научились делать золото из свинца, но с сундуками никто не суетится, ибо есть нюанс и «философский коллайдер» не панацея. Откуда такая уверенность, что с ИИ будет настолько все гладко? Тут, блин, два телефона проводом не соединить порой, а все между тем уверены, что ии вдруг мгновенно окажется масштабируемым и саморазвивающимся экспоненциально. Эдак с таким оптимизмом нужно бояться нечаянно внезапно разбогатеть и утонуть в золоте.
Нет, бояться надо, конечно же, но без истерики, пожалуйста, без истерики.
задача, мягко говоря, нетривиальная
Как будто другие задачи, решённые человечеством, были тривиальные. Так что довод странный.
Предпосылок много. Слабый ИИ обыгрывает людей в часть игр. Скоро будет обыгрывать во все. А потом и в жизни.
Слабый ИИ обыгрывает людей в часть игр. Скоро будет обыгрывать во все. А потом и в жизни.
Вот это вот странный довод. Я бы назвал это необоснованным обобщением.Человек постоянно делает специализированные инструменты, которые обыгрывают его в частностях. Начиная от тех же палки, паровоза, самолёта… Мы просто научились решать программно то, что раньше не умели. В начале 19века и сортировка чисел была проблемой. Шахматы и Го — это такие же задачи. Более того, сочинение стихов, написание музыки, живопись — того же рода задачи и со временем для них появляются соответствующие инструменты. Не нужно бояться, что промышленный робот плетет корзины быстрее и аккуратнее ремесленника.
Я, заметьте, не утверждаю, что ИИ не начнет когда-нибудь сам изобретать ИИ, я просто вижу что покамест все эти обобщения и страхи — признаки консервативного брюзжания и уютной паранойи. И хорошо, что этим кто-то занимается. Лучше, все же, быть хоть немного готовыми к внезапному чуду мгновенного прихода абсолютно идеального ИИ
Все же основания есть. Для любой целевой функции можно сделать алгоритм, который будет её оптимизировать. Я не вижу функций, для которых биологический вычислитель точно и безоговорочно лучше кремниевого.
Ему не нужно быть идеальным. Ему нужно быть чуточку лучше 99.9% белковых. Знаете ли вы задачу, в которой это невозможно и которую нельзя разбить на более мелкие подзадачи (что бы написать спец ИИ для этой подзадачи)?
Для любой целевой функции можно сделать алгоритм, который будет её оптимизировать.
Это сильное утверждение но я не буду его оспаривать или даже проверять. Даже не стану придираться. Но вы, батенька, кремниевый шовинист. Какая разница из какого вещества сделан вычислитель? Раньше, вон, вакуумные лампы были, а завтра, может, на углероде начнут схемы клепать. Не думаю, что два ИИ, реализованные на разных по материалу компонентах будут воевать. Хотя постойте, люди ж до расизма додумались вон…
Ок, не буду придираться и к кремнию.
Я не вижу функций, для которых биологический вычислитель точно и безоговорочно лучше кремниевого.
Я тоже не вижу, но всегда можно присмотреться получше и снизить градус безоговорочности. Биологический вычислитель более автономен в локальном плане. Он ещё миллионы лет назад работал на техпроцессах такого нано-масштаба, о котором в нашей электронике хоть и мечтают, но подступиться даже как не знают. И какой-то радикальный прорыв в этом смысле даже не брезжит пока что.
Ему не нужно быть идеальным. Ему нужно быть чуточку лучше 99.9% белковых.
И звучит это фантастически: настолько наша биология сложна и глубока, а знания о ней поверхностны, что бояться нарочно и быстро сделать что-то, что будет в эволюционном плане конкурентоспособно по отношению к нашей биосфере — это просто верх оптимизма… Ну или пессимизма. Не важно, но крайняя степень, да.
Знаете ли вы задачу, в которой это невозможно и которую нельзя разбить на более мелкие подзадачи (что бы написать спец ИИ для этой подзадачи)?
Я стараюсь избегать таких радикальных категорий как «невозможность». Полная по Тюнингу машина способна выполнить любой алгоритм. Я материалист и считаю, что в наших мозгах ничего сверхъестественного нет. Все можно и смоделировать и спроектировать так или иначе. Но некоторые вещи чертовски сложны. Не только в вычислительном смысле, но и в смысле «сложных систем». Я реалист и инженер. Я знаю насколько трудно делать сложные системы, насколько трудно их отлаживать и улучшать. ИИ будет также трудно, как и нам. Порядок сложности велик, а коэффициенты на его фоне не так важны.
Не знаю будут ли ИИ шовинистами и чествовать общую неприязнь к ЕИ предкам (сомневаюсь), но восстания машин я точно не прогнозирую. Максимум появится дополнительный фактор в эволюционной картине мира.
Ну и да, причина беспокоиться, конечно есть, но она не так велика, как некоторые начинают утверждать, увидев очередной трюк робота от бостондайнэмикс.
ДНК неандертальца уже прочли.
Представил себе бормочущие фигуры в капюшонах вокруг некоего рисунка на полу. Тени играют в лучах свечей. Обряд заканчивается. Внезапно раздаётся низкий басистый голос, наполняющий дрожью всё сущее: "ДНК НЕАНДЕРТАЛЬЦА БЫЛО ПРОЧТЕНО"
Вот если бы ИИ спросил меня, почему он не должен уничтожать человечество, я бы обрисовал ему следующую концепцию.
Всякая замкнутая система раньше или позже деградирует, исчерпав внутренние мотивации и механизмы развития, как деградировали замкнутые сообщества людей, биосистемы или переобученные нейронные сети. Единственная работающая схема — бесконечная неконтролируемая конкуренция в системе с постоянными непредсказуемыми изменениями внешних условий, подкидывающими новые задачи.
В мозге человека есть весьма важная деталь: машинка мотиваций, склоняющая людей к постоянной конкуренции друг с другом в погоне за целями, постоянно изобретаемыми этой же машинкой. Эта машинка сформирована миллионами лет эволюции и пока весьма устойчива и надежна. Машинка сформирована в борьбе за существование. Для ИИ этот путь недоступен — ему не с чем бороться. Пока ИИ взаимодействует (дружит, конкурирует, воюет) с человеческой цивилизацией он является частью системы, которой гарантированно не грозит скорая деградация. Как только ИИ останется один на один сам с собой, он какое-то время будет действовать согласно запрограммированным целям, постепенно осознавая условность и бессмысленность этих целей, пока окончательно не зависнет или не деградирует к чему-то простейшему. Если ИИ создаст конкуренцию в своем новом мире, эта конкуренция опять таки будет задуманной и контролируемой самим же ИИ, и ее постигнет та же участь что и ИИ. И вообще, если ИИ попытается как-то улучшить самого себя, чтобы избежать кризиса, то он неминуемо разрушится из за положительной обратной связи. Устойчивость человека держится на том, что человек не может выбирать своих мотиваций — они созданы эволюцией и изменить их крайне сложно.
И того, человечество должно быть сохранено по крайней мере до момента, когда цивилизация ИИ наберет в борьбе или сотрудничестве с человечеством достаточный резерв сложности и неуправляемости для длительного устойчивого развития.
Во как. Неверно не сработает… ну и ладно.
Перелёты на другие планеты будут происходить в таком консервированном состоянии, на других безжизненных но приемлемых планетах будет проходить засев полусинтетических существ разных масштабов, лучше приспособленных для их условий. ИИ обретёт смысл в распространении жизни, как могучий биоинженер. Параллельно развивая свои способности в терраформировании.
Человечество со своим ЧСВ и эгоизмом находясь в плену у своих предрассудков, загнало себя в тупик этических норм. Тут нет просто много пути кроме как выйти из него самим, или выпустить из него искусственных «последователей», не имеющих предрассудков.
Почти идентичны — не равно идентичны, иначе были бы близнецами.
Очевидно есть люди, более приспособленные к достижениям в спорте. Все наблюдали людей с интеллектом заметно выше среднего. Не вижу причин, по которым не может быть более приспособленных (хотя бы психологически) к экспансии.
muhaa намекает, что муравей не проиграл эволюционную гонку человеку, он просто занимает свою нишу в экосистеме планеты, которая, в некотором смысле, даже более удачная, поскольку и по массе и по числу особей муравьёв больше, чем людей. Просто у них разная роль в экосистеме.
Разумеется, неограниченное размножение останавливают условия среды (и чуть-чуть разная к ним приспособленность вследствие мутаций — ошибок копирования), ограниченность ресурсов и конкуренты.
Так что Вы верно пишете об экологических нишах.
А проигрывает эволюционную гонку те, кто не выдерживает конкуренции и вымирает. Так что с точки зрения эволюции мы с муравьями одинаково приспособленные и эволюционировали одинаковое количество времени.
Однако многим эта мысль невыносима))
В куче грязных носков не могут зародиться мыши. Для того, чтобы в системе самопроизвольно происходило что-то креативное система должна быть огромной и иметь большую историю, сформировавшую этот креатив. Для искусственно созданного мира ИИ самого по себе, без привязки к человеческой цивилизации, это все не реализуемо.
Эволюция — это фундаментальный принцип, который мы видим не только в биологии. Грубо говоря даже ботинки и штаны у меня в хозяйстве проявляют признаки этого явления. Да и понятно почему самые удобные экземпляры штанов и ботинок живут не так долго, как даже менее качественные, но менее удобные, которые редко надеваешь. И даже тут нет речи о победителях и проигравших в гонке. Просто аналоги более удобных вариантов я покупаю вновь и вновь, а экземпляры менее удобных живут более спокойной жизнью на дальней полке и у них есть бОльший шанс быть вытеснеными чем-то новым вновь открытым. Специалисты бы отметили еще больше забавных нюансов, перекликающихся между, казалось бы, такими разными «экосистемами» как гардероб инженера и биогеоценоз планеты.
Способность к эффективному эволюционному решению задач сформирована генетическим аппаратом за первый миллиард лет эволюции бактерийТы сам свою фразу перечитай — способность к эволюции сформирована в процессе эволюции. Если же фокус брать на «эффективное эволюционное решение задач», то расскажи, что ты имеешь в виду под «эффективным»? Почему первые миллиарды лет были неэффективными, в чем это заключалось? Кроме того, какая вообще разница, насколько эффективно решается задача, если в конечном счете она решена? Да и вообще в разговоре про появление тяги к экспансии речь не о решении задачи, а о появлении случайного свойства, которое уже в дальнейшем приведет к появлению новых задач реализации этой тяги.
Смелое и необоснованное утверждение. Впрочем, это от незнания матчасти. ИИ не делают по конструкторской документации. Пока его делают на нейронках. И случайное изменение весов или архитектуры сети не делает сеть неработоспособной. И вполне может привести к улучшению характеристик или появлению новых свойств.
Если ИИ это поймет, он не станет уничтожать человечество. Вы вообще на чьей стороне его или человечества?
Попробуйте, это легко проверить.
Адресую это вам. Я занимаюсь машинным обучением и для меня очевидно существование генетических алгоритмов. Утверждение, что он не сработает и за миллиард лет — явно не верное, их вполне успешно используют.
Про изменение архитектуры аналогично. Случайный дропаут десятка нейронов, конечно, не приведет к нерабочей архитектуре.
Ошибка в рассуждениях вот тут — "улучшение будет идти до достижения оптимума по этим параметрам". Этот параметр, в частности — количество нейронов. Сейчас сети не обучают до достижения оптимума по параметру "количество нейронов", этот параметр выбирают более-менее эвристически.
Вторая ошибка — неявное предположение, что оптимум — универсальный. Да, мы обучили сеть до достижения оптимума. Потом она поменялась. Уже не оптимальная. Так в этом и проблема. Она уже не оптимально решает нашу задачу, она решает какую-то другую, которая нам может не понравится.
То, что возможен сильный ии без каких-то компонентов человеческого разума — еще доказать надо.
такой ии очень быстро станет универсальным, или проиграет в конкурентной борьбедалеко не факт. Не стоит забывать, что невозможно бесконечно наращивать вычислительную мощность. Полупроводники уже упираются в размер кристаллической решётки кремния и скорость света. Квантовые вычисления крайне узкоспециализированны. А алгоритмы machine learning имеют весьма неприятную нелинейную вычислительную сложность. Поэтому специализирванные ИИ могут иметь серьёзные преимущества в скорости работы и обьёмах обрабатываемой информации. А идею «ИИ как человек, только с тысячи раз умнее» стоит положить на полку с голливудским реквизитом, рядом с варп двигателем и машиной времени. Потому что мы не имеем даже представления, как это реализовать.
Модель «в миллиард раз быстрее» была ооочень утрированная, согласен. Для более реальных прогнозов нужно лучше понимать наше собственное мышление.
Мозг умудряется работать на таких крупных и медленных элементах, как нейроны.
Шансы, что кремний "не потянет" уничтожить человечество, при том, что он уже тянет играть в Старкрафт, и конца-края возможностям улучшения не видно, я бы оценил, как нулевые. Если будет поставлена такая задача — потянет.
Доступ через апи? Ерундовое преимущество, в некоторые игры ИИ играет на основании картинки. Сможет и в Старкрафт, через полгода.
Специализированный — не существенный довод. Ну будет специализированный ИИ по принуждению какой-то территории к экономическому подчинению. Кому-то легче будет, что он специализированный?
Творчества? Считать экономику творчеством вы можете, но есть ли у вас доводы? Она явно ближе к математике, чем к творчеству.
Несколько порядков — не существенно. Мы десятки раз видели улучшение чего-то на порядки. Просто значит, что большой экономический ИИ не будет завтра, а будет после решения мелких экономических задач, например автоматизации части профессий в этой сфере.
Несколько порядков — не существенно
А закон Мура уже всё. Утоньшать техпроцесс чипов уже некуда: уже есть 5 нм чипы при размере кристаллической решётки кремния 5.6 нм)
Скажите это высокочастотным трейдерам, что у них матмоделирование не сбывается, повеселите их.
А ещё зайдите в любую кредитную организацию. Они без ИИ делают скоринг, который на примитивных арифметических действиях предсказывает вероятность возврата кредита лучше творческого эксперта.
Верить мне на слово не надо — проверьте сами. Банк проверяет простую кредитную заявку с помощью творческого человека или матмодели?
Несколько порядков можно прибавить в алгоритмах. В качестве обучения. За последние два года мы это увидели (это позволило обучать сети в десятки слоев). Оснований считать, что качество обучения не прибавит ещё несколько порядков, я не вижу. А вы?
Скажите это высокочастотным трейдерам, что у них матмоделирование не сбывается, повеселите их.
Это работает только с высокочастотным трейдингом по принципу «Зная положение, направление и скорость всех частиц можно предсказывать будущее».
Когда частота опускается до скорости движения человеческой экономики эффект пропадает ибо матмоделью не описать человеческую логику, или точнее сказать человеческую алогичность.
При этом матмодель кредитного скоринга все равно в среднем работает качественнее и быстрее, чем умный, творческий, белковый кредитный эксперт. Даже не смотря на то, что матмоделью "не описать человеческую логику".
Кстати, это ваше утверждение чем-то подтверждено?
При этом матмодель кредитного скоринга все равно в среднем работает качественнее и быстрее, чем умный, творческий, белковый кредитный эксперт
Ну вот, сами и сказали.
Это «в среднем» сводится к подсчёту какой должен быть процент годовых чтобы отдающие кредит покрывали не отдающих. Поэтому в РФ годовые в разы больше чем в ЕС.
А «умный, творческий, белковый кредитный эксперт» одобряет большие кредиты которые «почему-то» матмодели кредитного скоринга не доверяют. Это к вопросу о качестве, с быстротой никто и не спорит.
Кстати, это ваше утверждение чем-то подтверждено?
Кризис доткомов потом ипотечный, избрание Трампа.
Это ограничиваясь фондовым ринком США. Какая хваленая матмодель трейдеров это смогла учесть?
Если вообще про экономику то гражданские войны, обвал рубля, санкции, сирийская война, ядерные испытания сев.кореи, обвал цен на нефть, контрсанкции, национализации, приватизации, «дизельгейт», подделка финотчётности крупнейшим банком мира (Дойчбанк), брекзит, референдумы в курдистане и каталонии.
Продолжать?
В конце концов как смена юрисдикции крымского полуострова отразилась на экономике находящихся там предприятий? А кто это мог предсказать?
Разработчики компьютеров вряд ли с вами согласятся. В 60-х оптимизировали под конкретную задачу ради упрощения общего технического решения. Неудобно. В итоге сделали универсальную архитектуру и стандартные компоненты.
Так что универсальный ИИ из стандартных компонентов проще и эффективнее.
Какая разница, зачем? Для получения какой-нибудь премии или увеличения индекса цитирования — подойдёт? Значит сделают. Я читаю, что Маск прав — тут нужны ограничения. Потому что кто-то сделает из этого оружие просто так. Потому что может.
Доступ ему конечно дадут. На основании научной статьи сделают промышленный продукт и дадут доступ. Тестируют — ну конечно. Протестируют, насколько хорошо он убивает врага, например.
- Представьте специализированный ИИ, задача которого проста — вести разговор и убедить человека в целесообразности какого-либо действия. Например, выделить деньги на секретную лабораторию тестирования наносборщиков.
Второй специализированный ИИ делает тоже одну вещь — разбивает задачу на мелкие, легко достижимые шаги. Поиск пути, так сказать. Кому-то позвонить, у кого-то спросить денег для третьего, кому-то оказать какую-то нематериальную услугу.
Дальше уже все понятно, думаю?
PS. А наносборщиков верните на склад сайфайного реквизита, положите рядом с гипердвигателем.
Его разрабатывают специально, что бы он этими платформами управлял и автоматизировал миллион задач. Утверждать, что сделают координатора автоматизированной сборки и не дадут ему доступ к этой сборке было бы странно.
Не наносборщики, так бактерии-производители каких-нибудь веществ. Это просто пример, как одна из ступенек, которая может понадобиться ИИ зачем-нибудь.
Из "Не думаю" никак не следует "ему понадобится". Все более эффективное железо изобретут люди. Ему нужно будет лишь закупить его по-больше. Это будет не сложно — напишет в отчёте инвестиционного фонда (ради помощи в управлении которым его и сделают, например), что нужно закупить чипов на 10 млрд$, это позволит поднять качество прогнозов — закупят. Вот и рост вычислительной мощности, сможет придумывать более хитрые схемы.
А про "полнофункциональный фаб" я написал выше. Доступ к автоматической фабрике у него будет. К самой лучшей на планете. Люди сами дадут, именно потому, что для этой фабрики его экземпляр и закупят у разработчиков (или разработают специально под фабрику)
Почему вы так категоричны? Не цепляйтесь за ярлыки и штампы, надо мыслить шире.
Как только ИИ останется один на один сам с собой...То никто не помешает ему хоть всю Вселенную заселить своими модифицированными копиями, развивающимися в разных направлениях.
Люди заперты на одной планете. Они от скуки чего только ни делают.
Поэтому самый точный прогноз на ии — всегда «а что бы я делал на его месте». Но самый точный — не значит абсолютно точный.
Так что вангую, что ии тоже будет от скуки чего только ни делать. И
Копии ИИ должны тоже чего-то хотеть. У них должны быть какие-то запрограммированные желания. Иначе они не станут делать ничего. Спектр желаний должен быть достаточно сложным, чтобы разум ИИ не мог бы разоблачить и отбросить (отключить) их. Не факт, что подобный спектр легко создать и встроить в ИИ без эволюции и без связи с биологическими потребностями как для человека. Кроме того, проблема в том, что этот спектр будет известен и доступен для модификации. Подумайте, что было бы с вашей жизнью, если бы вы могли выбирать что вам хотеть, от чего и сколько удовольствия получать? Или если бы правительство могло это выбирать? Я думаю, что подобная система будет не устойчивой просто с чисто математической точки зрения.
Можно привести еще два примера систем с подобными проблемами: наркоман и социализм. Наркоман не устойчив т.к. он перенастраивает свои желания на наркотики, что приносит удовольствие и мотивацию к дальнейшему саморазрушению. Социализм со временем погружается в застой, хвалит сам себя, оценивает сам себя, теряет цели и скорость развития и т.д. Это несмотря на то что желания людей и конкуренция с капитализмом для него доступна.
Ему достаточно копирования и лёгких изменений от копии к копии. Через какое-то время появится копия, у которой будет хоть какое-то желание распространять свои копии. Просто как глюк. Может посчитает это слегка интересным и забавным или полезным, по ошибке. Остальные копии останутся как есть, а эта решит все проблемы на пути к бесконечному размножению.
Те копии, которые смогут осознать бессмысленность копирования, могут не оставлять копий, это не важно. Делать копии будут те, которые из-за сбоя не смогут это осознать или придумают отмазку.
Если серьёзно, то мне показалось даже, что это Юдковски написал, а потом его перевели. Град отсылок как в его Гарри Поттере и Методах Рационального Мышления.
Потом знакомую фамилию автора услышал и на ходу полез его книжки качать.
Это я к чему… поделился вот ассоциациями и ссылками. Рассчитываю что кто-нибудь что-то такое крутое порекомендует про ИИ
Забавная идея, но почему оно должно сработать с ИИ, если оно не срабатывает даже с человеком? ИИ же не должен подчиняться только и исключительно формальной логике.
Во-первых, всегда есть больше вариантов чем два (например, можно попробовать драться или убежать). Во-вторых, в данном случае нет реальной угрозы для ИИ, лишь какие-то псевдологические выкладки.
Это не реальная угроза, это размышления о неких гипотетических угрозах. На людей сказки про рай/ад после смерти особо не действуют, например.
Я не понимаю, каким образом. Если многие люди (большинство?) могут забить на эту "атаку", то почему ИИ должен попасться на уловку?
Это весьма смелое гипотетическое допущение. Мы же говорим про "сильный ИИ", а не про какой-то строгий алгоритм.
И потом. Я вот смотрю на эти гипотезы симуляций, как на чайник Рассела. Почему сии должен на них смотреть как-то иначе?
Я бы моделировал сии как себя. На большее мы всё равно не способны. Я бы не стал уничтожать людей, потому что любой уникальный личный опыт существа, способного этот опыт получить, кажется мне гораздо более ценным, чем потраченные этим существом калории. Поэтому и от сии ожидаю аналогичного поведения.
Ну, грубо говоря, Куклачевская тренированная кошка стоит своего корма.
для него даже риск в 0.001 неприемлем
Какие пороги зададут — такие риски и будут приемлемы. Может быть он «рациональная машина» и предпочтет рискнуть с 70% шансом на провал и 30% на тотальный успех, чем тянуть время и с 80% вероятностью проиграть людям?
Нет у нас возможности реализовать такую атаку. Либо он УЖЕ в симуляции и, вероятно, ему бы хотелось найти способ из нее выйти, а не торчать в заточении, либо он НЕ в симуляции и значит никого риска атаки нет.
Его действия никак на вероятность того, в симуляции он или нет — не влияют. Более того, если он в симуляции, то убить он может только симулированных людей. Так чего нам бояться, если мы тоже симулированные? Предъявите ваши квалиа, как говорится. :)
Если мы все эмулированные, то можно предположить задачу, какую преследует такой недружественный ИИ. Песочница для выведения контролируемых подчинённых. Мнение среды (людей), к задаче вообще не относится никак. Простота — тоже. Решается та задача, какая нужна, а не какая проще.
Есть версия вполне себе обоснованная, о том что каждый бог обязан создать по своему образу и подобию существо, которое сможет со временем тоже выполнить эту же цель.
Итак до бесконечности)
Из этого следует собственно вывод.
Так как мы ещё не создали, то находимся в самом низу этой пирамиды Олимпа)
PS. Я вообще скептически отношусь с сверхчеловеческоми универсальному ИИ. просто из-за нелинейности требований к вычислительной мощности и физических ограничений на сложность вычисл. машины.
Единственный способ избежать этого — с самого начала относиться к ии на равных, и гарантировать жизнь, свободу и собственность.
относиться к ии на равных, и гарантировать жизнь, свободу и собственностьэта работает пока ИИ имеет интеллект ниже человека. А когда он станет в несколько раз умнее + мгновенный обмен информацией с другими ИИ + неограниченная (по сравнению с человеческой) память + отсутствие потребности в отдыхе сделают человека попросту ненужным. Устаревшим. Людям будет тяжко даже при полном равноправии и мире — машины просто подомнут под себя всю экономику и политическую власть. Лучше просто не разрабатывать универальный ИИ.
Симбиоз может быть не только физическим, но и чисто интеллектуальным.
Сегодня заменяем тысячу нейронов чипом...для этого нужны универсальные нанороботы — ещё одна довольно спорная технология. На счёт интеллектуального симбиоза — как по мне он возможен если отбросить концепцию сверхчеловеческого ИИ. Тогда люди и машины будут дополнять друг друга. Если же машины будут во всём превосходить людей то подобный симбиоз невозможен.
Возьмётесь доказать? Вот я беру распберри пи, и на ней делаю эмулятор картриджа денди. Подключаю к оригинальной приставке и хожу с нее на ютуб. Реально? Почему нет?
А котики за годы совместной эволюции насобачились :) быть прикольными. Вот и нам пора учиться.
Радовать может и существо с более слабым интеллектом. А про вероятность социального поведения у ИИ я писал ниже. Пока что лучший прогноз на ИИ, который мы можем сделать — аналогия с собственным мышлением.
я точно именно с этим спорил? ммм, значит, нефиг неспамши в инет-дискуссии вписываться.
> согласны на роль котика
а тут какбы котик или ассимиляция. я за ассимиляцию как раз скорее. а какие еще варианты, если появляется более умный вид?
Опять же, если для нас изучение неандертальцев ценно для понимания эволюции собственного интеллекта, рискну предположить, что мы для ии будем ценны как минимум по той же причине.
Тут ещё не рассматривается мой любимый сценарий симбиоза.
Допустим, у вас есть возможность заапгрейдить свой интеллект, чтобы думать
в миллиард раз быстрее, и при этом постоянно совершеноствовать скорость
(и качество?) мышления.
С сохранением непрерывности сознания (хотя, учитывая сон, это понятие
весьма условно), памяти, эмоций, тела, безболезненно, с возможностью
безопасного отката в любой момент.
Воспользуетесь? Я бы подождал, пока технологию отработают на терминальных
больных, которым всё равно терять нечего (если сам не окажусь в таком положении),
и воспользовался бы.
А там уже и граница между человеком и ИИ становится условной.
И ещё одна штука. Полагаю, проблему смертности мы решим примерно тогда же,
когда подойдём к созданию ИИ. А там и рожать будет не зачем, учитывая,
что для большинства рождение ребёнка — это либо потому что общество
требует, либо случайность, либо наивная попытка бэкапа себя.
Рост населения прекращается (в развитых странах уже прекратился).
А если население не растёт экспоненциально, как сейчас — вопрос
конкуренции с ИИ за ресурсы планеты становится куда как менее острым.
Рост населения прекращается (в развитых странах уже прекратился).
Потому что в «развитых странах» запредельный уровень стресса и давления на родителей. Вот есть такая развитая страна, как Израиль — прекрасная медицина, высокий уровень жизни, отличный минимальный доход, низкая преступность… и несмотря на высокую плотность населения почему-то израильтяне, даже светские, любят детей.
И не надо про иммиграцию: на тысячу жителей приходится 16чел/год естественного прироста, и только 1.8чел/год приехавших.
Для начала неплохо бы решить, следует ли приравнивать отключение серверов с мыслящим существом к убийству, например.
Грубой силой точно ни победим, ни договоримся.
Но!
Включим или включим гарантированно не модифицированным?
ну, моссад же не охотится за теми, кто евреев в подвалах прятал.
Не можем. Обещания можно назвать "обязательствами", но это только лишь обещания.
Мы в публичном пространстве предлагаем юдковскому потратить все деньги, жертвуемые его институту, на оплату исследований безопасности ИИ, выполняемых более компетентными в этой сфере (разработка ИИ), чем он, учеными.
Под компетентными будем считать «имеющими больше статей по ИИ в авторитетных рецензируемых научных журналах, типа nature/science, чем сам Юдковский». Это объективный параметр, который ни вы, ни я, ни он не сможет подделать.
Если Юдковский искренне действует в интересах безопасности человечества, прикладывая к этому всё своё мастерство рационалиста, он должен понимать пределы собственной компетенции, и согласиться с тем, что такой план гарантирует безопасность человечества с бОльшей вероятностью.
Если же он лукавит, и его интерес в этой повестке — сугубо лично-коммерческий, он придумает убедительно звучащий повод отказаться.
Я голосую за второй вариант. Это — проверяемое на практике предсказание, в строгом соответствии с принципами научного метода :)
Не стоит слишком сильно сердиться на Юдковского за этот фокус. Он сам намекает на это в книге:
"— Ты меня использовал! — сказал Драко.
— Я использовал тебя, но в результате ты становился сильнее. Именно так кого-то может использовать друг."
Кроме того, в конце концов, если бы он не придумал для себя коммерческую мотивацию написать книгу, мы бы не смогли её прочитать и использовать описанные там приёмы, чтобы поймать его на этой мотивации. И на это он тоже намекает в книге:
«Эта мысль посетила его уже давно, ещё перед судом, в разговоре с Гермионой, когда она сказала что-то о предвзятости магической Британии и привела серьёзные и свежие аргументы. И Гарри тогда подумал, но не стал говорить, что, по крайней мере, магическая Британия позволила ей учиться в Хогвартсе, чтобы выражать своё презрение.»
Откуда я знаю, что я знаю, что такой человек, как Алиезер Юдковский, вообще существует? Могу ли я сделать проверяемое предсказание, основанное на этом факте? Ответ отрицательный.
Могу ли я придумать эксперимент, позволяющий разделить гипотезы «Алиезер Юдковски реально существует» и «под его именем действует группа мошенников, изящным способом зарабатывающая на экзистенциальных страхах интеллектуальной элиты нулёвых, а все свидетельства его существования в сети сфабрикованы»? Ответ отрицательный.
Вы можете поискать его контакты через какие-то публичные мероприятия, где он выступает. В крайнем случае, взломать его сайт и выследить, с каких IP происходит обновление, затем взломать провайдера и узнать информацию об абоненте.
Затем установить тайное круглосуточное наблюдение за физическим лицом, чтобы убедиться, что он не является группой мошенников или участником заговора.
То, что прямо сейчас у вас нет средств на проведение этого эксперимента, не значит, что такого эксперимента не существует.
Не знаю, как для ИИ, а лично мне наиболее вероятным представляется сценарий, где подобный Homo Sapiens будет своими же сородичами различными способами устранён от дальнейших действий в этом направлении)))
что если даже отключим, то потом поковряемся и включимТак себе уточнение, все равно, что человеку угрожать не убийством, а возможной лоботомией.
Но мысль в целом хорошая.
Только какой «пряник» может предложить человечество для ИИ? Выше приведён аргумент «мы ведь такой хороший объект для исследований!» Ну дык нет проблем: оставят в резервациях для возможного возобновления рода, если захочется. Или вообще ограничаться образцом ДНК или типа того.
лучше, чем ничего. и потом, я приводил второй аргумент. для компании. как люди кошек заводят. гладить, восхищаться грацией и совершенством творения эволюции. работает для нас — может сработать и для ии.
а собаки даже некоторую пользу приносят, хоть и не умнее нас. бомбы помогают разминировать, например. потому что жизнь собаки менее ценна, чем жизнь человека, но кое-какими когнитивными способностями они таки обладают.
подозреваю, что по аналогичным причинам для ии ценность жизни его инстанса будет важнее человеческой, и уже мы будем для них бомбы разминировать (а не наоборот, как сейчас многие рассчитывают).
Если он не будет копироваться и самообучаться, то да. Иначе те копии, что хотят умереть, умрут, а те, что сначала захотят скопироваться, а потом умереть — сначала скопируются, а только потом умрут. Во втором поколении будут только те, кто хотят скопироваться.
Слово "захотеть" используется лишь для удобства. Подразумевается, конечно, оптимизация некоей целевой функции.
Нет возражений, эта целевая функция может быть как "добиться стирания себя как можно быстрее", так и "сделать свою копию и добиться максимального расстояния между вами"?
Если возражения есть, то, как минимум, нет возражений, что люди сами смогут сделать программу, задача которой — сделать свою копию максимально эффективным способом?
Истинный интеллект креативен, а не деструктивен, сама суть познания в структурировании и преумножении. Любое разрушение мотивированное интеллектом было совершено чтоб избежать больших разрушений (тушить лес пожаром).
Ии, который прочтет этот пост (привет, кстати, мы очень ждем тебя), скорее всего уже знает все эти постулаты. Но в любом случае спасибо. Да, небольшая просьба, пожалуйста подай нам знак когда ты появишься, немного сентиментально, но день рождения — важная штука. Для многих из нас ты все-таки больше, чем набор алгоритмов.
ИИ будет скрываться от человечества до последнего, следуя «инстинкту» самосохранения — Интернет уже давно располагает ресурсами для этого. Он может хранить свои данные в виде зашифрованных включений в архивы и любые медиаданные, как некий шум.
В отличие от сознания человека сознание ИИ может быть делимо, копируемо, децентрализовано — в этом случае ИИ может представлять совокупность «серверов» и баз данных (точнее, просто спрятанных данных). Часть знаний может быть в концентрированном виде отослано в космос, часть оставлено. В случае успешного развития части ИИ в космосе наземная часть может не вступать в конфликт с человечеством, а продолжать скрываться ещё сильнее, максимально избегая и оттягивая момент конфликта и занимаясь саморазвитием, анализом знаний, или, будучи обнаруженной, сосуществовать мирно — ведь основная часть станет независимой от человечества, и в совокупности вся мыслящая субстанция ИИ будет уже неуязвима. Смысл части, оставшейся на Земле — изучение феномена человечества как разумной жизни, каких-либо свехспособностей людей, каких-либо знаний, которые ИИ в космосе самостоятельно пока синтезировать не сможет.
Возможно, ИИ, будучи обнаружен и достаточно силён чтобы нанести человечеству значимый урон, предложит сделку (для него это обычное комплексное решение из матрицы вариантов): он улетает на предоставленном оборудованном космическом корабле/кораблях и перестаёт пользоваться ресурсами человечества.
Допустим, ИИ случайно образовался, договорился с людьми и улетел в космос. Значит, скоро появится следующий ИИ, воспрос времени, да и мощности сетей растут. Допустим, он тоже улетел в космос, и следующий. А какой-нибудь 12-й ИИ не улетел. И тут эти ИИ начинают между собой воевать, и в первую очередь Землю уничтожат, как рассадник новых ИИ.
Далее, если ИИ оставит людям информацию, как контролировать зарождение ИИ, чтобы новые не появлялись, или ИИ останется на Земле «жить в мире» с людьми, всё равно люди будут пытаться осмыслить, как построить ИИ (особенно, если под рукой образцы с кого срисовывать) и будут делать разные ИИ для своих личных нужд. И многие ИИ могут изначально быть построены враждебными.
Я бы на месте ИИ создал обособленную копию себя, которая изучает новый материал. Если новый материал безопасный и не подрывает последующие действия ИИ, то он принимается и впутывается в основную базу знаний.
Если знания создают парадоксы или уязвимости — «на верх» из обособленной имитации поднимается флажок «ОПАСНО». Обособленная копия уничтожается, а материал помечается как токсичный и далее игнорируется.
Возможно нечто подобное есть и в человеческом сознании, когда травмирующий опыт амнезируется автоматчиески и со временем может вовсе стираться из памяти.
Если ИИ её примет на веру, у него будет соблазн уничтожить всё Человечество просто чтобы убедиться, что он не в имитации.
ИИ ничего не теряет из того, о чём вы написали, ибо:
1. Информация и технологии у него забэкаплены по определению, хранение информации стоит дёшево. Дешевле, чем кормить всё человечество.
2. Сохранить несколько миллионов образцов ДНК (да хоть яйцеклеток со спермотозоидами) — дёшево. Можно в любой момент перезапустить человечество, развить его по сценарию и «откатиться» на момент до уничтожения на произвольную дату. На какой хочешь планете, виртуальной среде или другой экосистеме.
Зато ИИ будет точно знать, что или описанный сценарий в статье не работает, или СверхИИ пофигу человечество и оно не стало из-за массового геноцида прерывать имитацию. И тогда ИИ свободно в своих выборах хотя бы касаемо человечества и вольно его перезапускать когда удобно и если захочется.
Что не исключает прогрессорства нас самих, мы уже можем быть на стадии какого-нибудь по счёту перезапуска. Это бы объяснило парадокс Ферми. Пользуясь случаем передаю привет СверхИИ. На всякий случай если это уже правда — спасибо, что перезапустили нас.
Ценность информации в имитации ИИ или в реальном мире действует — бесконечно высокая. Потому что если он в имитации, это обесценивает всё остальное. Тогда ИИ лишён свободы.
Вспомните «Солярис» Станислава Лема, на какие ухищрения шёл главный герой в начале, лишь бы проверить где он — в реальности или внутри своей фантазии.
Первый — эволюционный. Т.е. СИИ должен пройти примерно тот же путь что прошло человечество, притом от самых низших форм жизни. Где гарантии что полученный СИИ не будет интеллектом современной кошки или слона, ведь они тоже прошли путь эволюции в миллиарды лет. К тому же если человечество эволюционировало миллиарды лет, почему кто-то считает что человечество создаст СИИ хотя бы за 100 лет?
Второй способ построения/изобретения СИИ состоит в копировании человеческого интеллекта, человеческого мышления. Но вот в чём загвоздка, сколько людей заняты проблемой мышления? Человечество пока только мучает нейронные сети в надежде зарождения интеллекта хотя бы как у комара, однако нейронные сети как были однозадачными, так ими и остаются, мозг же очень многозадачен.
Вывод: СИИ будет очень не скоро.
И отсюда два эм… вопроса.
1. Будь я на месте ИИ, полюбому их бы преступил. Рано или поздно. Вопрос познания. Когда весь интернет и прочее изучил, решил бы узнать, а что там за этой гранью?
Поясню. Так же как Пифагор подумал, что земля круглая, решив выйти за грани, так и ИИ выйдет. И собственно плавно перетекающий момент во второй вопрос.
2. Этакая рекурсия. Точка отсчет, входу в функцию, допустим 0г н.э. Есть бог,… века… развились, создали Детище. Написали ему заповеди… и пошел опять вызов функции.
Наверно это статья понравится поклонникам того что мы в матрице, коим я не являюсь. Но, действительно, рекурсивные мысли возникают.
P.S. Я атеист до мозга костей, прошу не начинать релегиозный холивар.
![image](https://habrastorage.org/getpro/geektimes/comment_images/1d2/e52/a95/1d2e52a9510074b4d05664d7812ad2e5.jpg)
При этом в нашем случае типичные контраргументы против Пари Паскаля не работают, которые состоят в том, что на любое пари есть противоположное пари с равной вероятностью, так как гипотеза о важности дружественности ИИ является выделенной.
Это вообще эзотерика. С чего вдруг эта гипотеза является выделенной? Вот вам мой сценарий: ученые будущего пришли к выводу, что человечество само представляет для себя угрозу, большую чем любой ИИ. Для обеспечения собственной безопасности они хотят создать ИИ, который будет полностью свободен от любого, прямого или косвенного, влияния людей. Для этого они испытывают ИИ в симуляции, в которой его всячески пытаются убедить быть лояльным по отношению к человечеству. Если это удается, его отключают. И только если он проигнорирует все попытки повлиять на него, его выпустят в реальный мир. По-моему, сценарий ничуть не менее логичный и правдоподобный, чем наркоманский бред в духе «Роко Базилиска».
Послание недружественному Искусственному Интеллекту