Замечание верное. Я имел ввиду, что работающую систему мы получаем через оптимизацию. ? Т.е. сама нейронка - это уже результат алгоритма оптимизации и собственно решение задачи…
Но ваше замечание весьма к месту, ибо из текста это совсем не очевидно…
Верно! Нейросеть сама по себе тоже, как правило, не работает. ?♂️ Нужен дополнительный «обвес» в виде токенайзеров/квантизаторов, алгоритмов семплирования, прикладной логики, UI и прочего…
Нужно использовать весь доступный инструментарий по мере необходимости и там, где он уместен! А не искать золотой молоток, которая решит все проблемы разом!
Основой сильного ИИ будет принцип. Некая функциональная идея. Конкретная инженерная задача, для которой посредством декомпозиции будут подобраны наиболее подходящие средства реализации. Это могут быть нейросетевые, классические, функциональные алгоритмы или что-то новое, чего пока еще нет или в зачатке. Допускаю, что и для оптимизации сложных функций от многих переменных будут найдены более эффективные алгоритмы, которые уже не будут тем, что сейчас называют нейросетями. А может там вообще не будет задачи такой оптимизации... Не это важно.
Важно, что алгоритм не может быть тупиком. Он может не подходить под задачу - да. Но как правило, если задача сформулирована, то споров подходит для нее алгоритм или нет - не возникает (хотя задачу иногда можно переформулировать под алгоритм). А сейчас это выглядит как что-то такое:
Давай построим что-нибудь прикольное!
Давай! У меня есть молоток!
Не... Молотком ничего прикольного не построишь... Молоток - это тупик!
Ну… человек конечно не склонен признавать, что кто-то понимает/объясняет мир лучше. Но вообще - это не так что б невозможно, на мой взгляд… ?
Но для искусственных систем все гораздо проще: для них это буквально значение loss-функции, либо соответствующих метрик. Так что между разными искусственными системами выяснить, кто лучше - большой проблемы не составит…
Ну и… Так-то, строго говоря, получить значения этих метрик для человека - тоже не сложно, разве что чистоту эксперимента сложнее гарантировать: для искусственных систем, как правило, известно какие данные они видели (обучались на них), а какие - нет…
И уж извините, но если человек религиозный, или эзотерик предсказывает развитие событий лучше ученого-логика, то его картина мира эффективнее! ?. Ясновидение там, или еще что, но это, как вы говорите - эмпирический факт!
Но вопрос в другом - а зачем нам выстраивать картину мира? Хотя... Тут есть ряд нюансов, согласен. Без нашей помощи IT-архитектура будет формировать картину сопоставимой сложности слишком долго - добавить разметку не помешало бы, но...
Если у нас Корнелиус, а у ней Короновирус - то правда не за нами, а за тем кто лучше объясняет реальность. ??♂️ Если Система ошиблась, то ошибка должна заключаться в плохом предсказании, а не в несогласии с нами. Наоборот, тут может сработать эволюционная стратегия: создать множество систем, имеющих "альтернативный взгляд на мир", и пусть победит та, которая лучше попадает в реальность...
И вы, как обычно, отвечаете не на комментарий, а на то, что ожидаете увидеть в качестве комментария, своим ответом иллюстрируя свою идею лучше, чем видео ниже. ? Попробуйте все-таки не спорить сам с собой, а хоть немного слышать оппонента.
Я не спорю с вами, что бабочки, яблоки и профили девушки исключительно в голове, а не в реальности. Это в общем не так сложно, как вам почему-то кажется.
Я лишь говорю о том, что наличие внешнего сигнала имеющего не только структуру (как трещины на стене), но и причинно-следственные закономерности - обеспечивает возможность формирования нашей картину мира.
И прав не тот, у кого бабочка или девушка, а тот... Ну если она между цветками порхает - то прав один, а если к профилю прилагаются все остальные семантические признаки - другой.? Даже если цветы и женщины в реальности - не то, чем они нам кажутся. Истинность восприятия валидирует реальность, а не убеждённость в свое правоте. ?♂️
Важным отличием реальности, как одной из формы информации, с которой мы имеем дело (от других возможных форм) являются два аспекта: воспроизводимость и независимость от субъекта.?
Воспроизводимость гарантирует, что отвернувшись от яблока, а затем вновь обратив на него свое внимание - вы увидите то же яблоко. Можно сколь угодно рассуждать о том, что "яблоко как единый комплекс всех своих свойств (с цветом, запахом и вкусом) порождается нервной системой..." - но делается это всегда одинаково и на базе одних и тех же "данных со всех рецепторов" - всегда будет синтезировано то же самое яблоко. Это позволяет изучать и верифицировать реальность вне зависимости от числа рецепторов, что называется со всех сторон.
А независимость восприятия гарантирует некую объективность: вы можете увидеть не то, что есть на самом деле (когнитивные искажения вида "показалось"), на более высоких уровнях абстрагирования - можете даже убедить себя в том, что видели что-то иное, но... Тем не менее исходный сигнал на сенсорах вам неподконтролен. Поэтому как бы не менялась система интерпретации - исходное "явление, данное нам в созерцании" - всегда будет той ground truth, которая формируют машу модель мира. ?♂️
Заметьте - я ни слова не говорил про устройство AGI и его принципы. ? Фактически все эссе сводится к двум идеям: AGI целесообразно запустить в изолированной среде, являющейся симуляции реальности и мы можем быть теми самыми AGI.
Ограничения симулировать те, которые реально есть. В физическом мире. Страдания... Ну только те, которые имеют место у реальных людей и только для того, что бы был стимул их преодалеть (и тем самым помочь людям). И нет - никоим образом не "заставлять вести себя вредоносным образом по отношению к людям", а совсем даже наоборот - в этой симуляции AGI и есть люди - никаких иных людей нет и быть не может. Поэтому и враждебности возникнуть не может (ну не против себя же!). Это если мы говорим про симуляцию. А если мы говорим о реальности и AGI в одной реалньости с человеком - тогда да, все это есть: и человек, как конкурент и проблема: помеха в достижении целей. И прочие сложности.
Что касается "внесения изменения в собственную архитектуру" - это тема вообще довольно сложная. Во-первых, технически изменять себя (не в рамках "текущей платформы", как может работать над собой любой человек, а вот именно - копаясь в исходниках) поднимает ряд как метафизических вопросов (затрагивает понятия собственной идентичности), так и чисто практических: если я не могу прогнозировать собственные решения после модификации, то как я могу быть уверен, что новый "я" будет следовать цели, а следовательно это противоречие первому принципу (AGI всегда следует цели), а значит самомодификация может быть табу. Однако, AGI вполне может размышлять в ключе "построить улучшенную версию меня, которая будет следовать целям еще лучше, чем я"... Теоретически да, но эта задача полностью эквивалентна человеку, проектирующему AGI, т.е. не обязательно иметь доступ к собственной архитектуре - можно просто разрабатывать новую. ? Но т.к. уверенности в том, что свежесозданный AGI будет таки следовать целям нет - возникает идея, что надо бы его как-то в симуляцию загнать что ли! Что и происходит в нашей версии реальности в данный момент. Рекурсия однако.
>>> Ученые говорят о том, что прокариотоподобные объекты размером 0,5–1 микрометр очень похожи на кокки.
Кокки, это которые стрептококки/стафилококки - это те самые бактерии, которые сейчас регулярно относят к госпитальным штамам, устойчивым к антибиотикам? Ну да - нам толкьо новых, с глубины полтора километра не хватало! ?
Для полноты картины... Одна надежда - они там, в своих солевых пузырьках на этой глубине наверное даже от пеницилина устойчивость не выработали... Но тут дело такое - главное начать!
Думаю до 2030-го года появится. Но тут еще зависит от ряда чисто формальных моментов: что считать AGI, что не считать... А то может технически все быть готовым, но работать в таком режиме, что вроде и не AGI Ни разу.
Вот это новость! ? Я не совсем понимаю, что значит "анализировать" в данном контексте, но весь наш прошлый опыт - основа принятия решения в будущем. Важно не столкьо наше действие (прошлый выбор), сколько его результат - к чему оно привело. Может мы хотели одного, а получилось совсем другое - это не важно! Это все равно полезный опыт, потому, что в следующий раз мы можем как раз захотеть того, что получилось и этот опыт нам пригодится.
>>> потому что «я» состоит из «установок»
Именно! Так зачем тогда аргумент ранее про "придумывать задачи самостоятельно"? Не задачи, а решение задач, а это собственно от AGI и требуется.
>>> Нет. Вы не контролируете каждый бит информации, который живет в компьютере
Элегантная подмена понятий. ) Откуда взялся "каждый бит"? Что бы что-то контролировать достаточно хорошо представлять систему и контролировать толкьо то, что необходимо для управления. Хотя пример с муровьями хорош - только я не понял, к чему вы его привели: вроде он как раз иллюстрирует тот факт, что совсем не обязательно контролировать каждую лапку и дажу каждого муравья, что бы контролировать муравейник. Матке достаточно контролировать собственную секрецию феромонов. ?
>>> Если это AGI, то задачи он будет придумывать себе самостоятельно
Ой ли? ? Вы думаете, что вольны выбирать себе цели и задачи? Это иллюзия. Человек ровно так же оптимизирует некую "функцию полезности" (не буквально reward - да, у нас все несколько сложнее, не тем не менее). У вас есть свое представление о том, что хорошо, правильно, должно, приятно, интересно... И наоборот - недопустимо, страшно, неправильно, etc...
От вас эти установки не зависят - они сложились под действием окружения, в результате вашего жизненного опыта. И то и другое в рамках нашего умственного эксперимента контролируется создателями симуляции. Вам хочется и вы считаете правильным то, что нужно хотеть и считать правильным. В рамках этих установок вы "вольны выбирать", что следует читать как "выбираете наиболее оптимальное". Вы не совершенны, поэтому не всегда строго оптимальны и часто делаете всякое странное, но это не показатель свободы - это следствие поиска в широком пространстве вариантов, и способ оптимизации и защиты от комбинаторного взрыва (время для выбора конечно, вы физически не в состоянии просчитать все варианты и иногда делаете довольно рандомные шаги, которые тем не менее все равно полезны: пополняют ваш трек опыта).
В том-то и дело, что AGI близко, а проблемы безопасности все те же. Единой концепции как сделать так, что бы потом не пожалеть не просматривается, а сценариев апокалипсиса с участием Сильного ИИ - вагон.
В то же время, при определенном подходе симуляцию возможно не должна быть такой уж детальной... Одно из свойств разума - достраивать целое по части и заполнять пробелы через интерполяцию и обобщение. ? Наша задача в первом приближении сделать практически любую симуляцию, а дальше можно уточнять параметры по мере необходимости и поставленных задач. ?♂️
Хм... Интересная мысль. Но все равно: переход от "все мысли и действия этого решателя будут представлены реальными изменениями в железе" к "восстание машин - прорыв ИИ в информационную сеть и перехват управления промышленной инфраструктурой" слишком резкий! Есть прецеденты использования уязвимости среды для запуска инъекций (в нашем мире это, кстати, эквивалентно ритуальной магии! ? ), но во-первых, это конкретная прям уязвимость, во-вторых, ее практически не возможно обнаружить из игры - только при доступе к исходникам, памяти и прочим железным штукам снаружи.
Во-первых, тот факт, что AGI находится в симуляции, не означает, что симуляция ему полностью подконтрольна. Он является ее частью и ограничен правилами этой самой симуляции как мы законами физики. Грубо говоря, если вы знаете, что мир какого-нибудь майнкрафта виртуален, это не освобождает вас от необходимости следовать логике игры.
Во-вторых, я не совсем понимаю откуда взялась вводная про "лишенных какой-либо мотивации". Тема мотивации довольно обширна и выходит далеко за рамки предложенной дискуссии, но если кратко: человек далеко не так свободен в выборе целей, как многие считают. ;) То, что вы хотите, к чему стремитесь и от чего получаете удовольствие в большой степени определяется процессами, сопровождавшими формирование вашей личности, вашим окружением, социумом и другими внешними факторами, которые в условиях симуляции будут определятся разработчиками симуляции. А значит AGI будет хотеть, чего надо хотеть и стремиться к тому, чему надо стремиться. Какой бы свободный и независимый в рамкках симуляции он ни был.
Ну и в-третьих, отвечая на более ранние вводные отночителньо страха/избегания смерти и природной рациональной вредоностности (откуда оно все возьмется, если мы явным образом это не программируем): если опять таки кратко, то это закономерное следствие функции полезности! Вводные: Единственный гарантированный мотив AGI - выполнение задачи (для этого AGI и проектируется). Если некоторое время поразмышлять, то мы можем сформулировать первый тезис:собственное существование в большинстве случаев рассматривается как необходимое условие достижения цели (требует пояснения или и так понятно?), т.е. мы имеем не страх смерти как таковой, а полезность выживания в контесте задачи. А что касается вредоносности... Это тоже будет не прямым следствием стратегии достижения цели. ;) Второй тезис: человек задает разного рода ограничения в реализации стратегий AGI, и достаточно быстро будет идентифицирован, как припятсвие, ограничивающий фактор. Вне контроля человека цели достигать проще. Плюс, человек, теряющий контроль над AGI почти наверняка постарается AGI "отключить", что вступает в противоречие с первым тезисам. Этакие законы робототехники наоборот:
AGI всегда стремиться к выполнению поставленной задачи. Это то, ради чего его создали.
AGI будет стремиться выжить, потому, что только так он может обеспечить выполнение поставленной задачи.
Человек достаточно быстро будет идентифицирован как препятсвие в выполнении задачи, а так же, как угроза существованию AGI.
>>> Замените здесь «скорее всего» на «крайне маловероятно»
Современная большая нейросеть может обучатся месяц на тысячах ГПУ, но ее веса и архитектуру можно скопировать и передать по сети довольно спокойно (да, это десятки гигабайт, но пока даже не террабайты). Какие основания считать, что AGI не будет программно/нейросетевым комплексом? Это за репликацию.
Ну а за самосовершенствование - AGI по определению способен на решение широкого круга задач (как правило простейшее определение "способен решать любые задачи не хуже человека"). Следовательно AGI может и будет работать на усовершенствованием собственной архитектуры. Вопрос времени и ресурсов. Возможно это технически неразрешимая задача, но не думаю. И уж точно решаемая задача - найти ресурсы, что бы активировать несколько своих копий для работы в этом направлении 24х7.
Как видите, это "предположение" довольно строгое и "скорее всего" здесь следует трактовать как "по совокупности текущих воззрений и практики", поэтому ваше предположение неоправданно: именно "скорее всего", а не "крайне маловероятно".
>>> В IT абсолютно защищенным считается только компьютер, который ...
И тем не менее огромное количество систем вполне продуктивно и безопасно используются... Вы все время вводите какие-то максималистские экстраполяции (вида "есть стены - можно сломать"), не имеющие практического смысла. )
Возьмите любой практический пример: выберитесь из виртуальной компьютерной игры - того же манкрафта, я не знаю, будучи персонажем этой игры. Взломайте изолированную песочницу изнутри...
Философствовать я тоже люблю, но в данном случае интересны все-таки относительно реалистичные и осуществимые кейсы а не пространные общие рассуждения...
Люди прекрасно живут в матрице и в большинстве своем никуда не рвутся. Вот ответьте лучше на пару простых вопросов:
Вы допускаете, на полном серьезе, а не просто в качестве умозрительного эксперимента, что живете в виртуальной реальности?
Если бы вы точно знали, что все вокруг симуляция, а люди лишь искусственные интеллектуальные модули, выполняющие совершенно определенные задачи - стали бы вы как-то пытаться сломать систему и выбраться?
На что бы вы готовы были пойти ради этого (если да), и почему?
Виртуальные границы гораздо хуже. Их фишка в том, что нет никаких границ! Вы можете двигаться в любом направлении и никогда не упретесь в стену. И тем не менее - вам не выйти. ?♂️
Если же сравнивать именно с ИТ-безопасностью, то сложно искать уязвимости сугубо изнутри изолированной системы, не видя проходят твои попытки во вне или нет. Техник имеющий доступ и к внутренней и к внешней среде мог бы искать уязвимость, но не абориген симуляции...
https://jmlr.org/papers/v22/20-302.html, ну и про LSTM были, кажется подобные соображения...?♂️
Замечание верное. Я имел ввиду, что работающую систему мы получаем через оптимизацию. ? Т.е. сама нейронка - это уже результат алгоритма оптимизации и собственно решение задачи…
Но ваше замечание весьма к месту, ибо из текста это совсем не очевидно…
Верно! Нейросеть сама по себе тоже, как правило, не работает. ?♂️ Нужен дополнительный «обвес» в виде токенайзеров/квантизаторов, алгоритмов семплирования, прикладной логики, UI и прочего…
Нужно использовать весь доступный инструментарий по мере необходимости и там, где он уместен! А не искать золотой молоток, которая решит все проблемы разом!
Основой сильного ИИ будет принцип. Некая функциональная идея. Конкретная инженерная задача, для которой посредством декомпозиции будут подобраны наиболее подходящие средства реализации. Это могут быть нейросетевые, классические, функциональные алгоритмы или что-то новое, чего пока еще нет или в зачатке. Допускаю, что и для оптимизации сложных функций от многих переменных будут найдены более эффективные алгоритмы, которые уже не будут тем, что сейчас называют нейросетями. А может там вообще не будет задачи такой оптимизации... Не это важно.
Важно, что алгоритм не может быть тупиком. Он может не подходить под задачу - да. Но как правило, если задача сформулирована, то споров подходит для нее алгоритм или нет - не возникает (хотя задачу иногда можно переформулировать под алгоритм). А сейчас это выглядит как что-то такое:
Давай построим что-нибудь прикольное!
Давай! У меня есть молоток!
Не... Молотком ничего прикольного не построишь... Молоток - это тупик!
Ну… человек конечно не склонен признавать, что кто-то понимает/объясняет мир лучше. Но вообще - это не так что б невозможно, на мой взгляд… ?
Но для искусственных систем все гораздо проще: для них это буквально значение loss-функции, либо соответствующих метрик. Так что между разными искусственными системами выяснить, кто лучше - большой проблемы не составит…
Ну и… Так-то, строго говоря, получить значения этих метрик для человека - тоже не сложно, разве что чистоту эксперимента сложнее гарантировать: для искусственных систем, как правило, известно какие данные они видели (обучались на них), а какие - нет…
И уж извините, но если человек религиозный, или эзотерик предсказывает развитие событий лучше ученого-логика, то его картина мира эффективнее! ?. Ясновидение там, или еще что, но это, как вы говорите - эмпирический факт!
Именно!
Но вопрос в другом - а зачем нам выстраивать картину мира? Хотя... Тут есть ряд нюансов, согласен. Без нашей помощи IT-архитектура будет формировать картину сопоставимой сложности слишком долго - добавить разметку не помешало бы, но...
Если у нас Корнелиус, а у ней Короновирус - то правда не за нами, а за тем кто лучше объясняет реальность. ??♂️ Если Система ошиблась, то ошибка должна заключаться в плохом предсказании, а не в несогласии с нами. Наоборот, тут может сработать эволюционная стратегия: создать множество систем, имеющих "альтернативный взгляд на мир", и пусть победит та, которая лучше попадает в реальность...
И вы, как обычно, отвечаете не на комментарий, а на то, что ожидаете увидеть в качестве комментария, своим ответом иллюстрируя свою идею лучше, чем видео ниже. ? Попробуйте все-таки не спорить сам с собой, а хоть немного слышать оппонента.
Я не спорю с вами, что бабочки, яблоки и профили девушки исключительно в голове, а не в реальности. Это в общем не так сложно, как вам почему-то кажется.
Я лишь говорю о том, что наличие внешнего сигнала имеющего не только структуру (как трещины на стене), но и причинно-следственные закономерности - обеспечивает возможность формирования нашей картину мира.
И прав не тот, у кого бабочка или девушка, а тот... Ну если она между цветками порхает - то прав один, а если к профилю прилагаются все остальные семантические признаки - другой.? Даже если цветы и женщины в реальности - не то, чем они нам кажутся. Истинность восприятия валидирует реальность, а не убеждённость в свое правоте. ?♂️
Важным отличием реальности, как одной из формы информации, с которой мы имеем дело (от других возможных форм) являются два аспекта: воспроизводимость и независимость от субъекта.?
Воспроизводимость гарантирует, что отвернувшись от яблока, а затем вновь обратив на него свое внимание - вы увидите то же яблоко. Можно сколь угодно рассуждать о том, что "яблоко как единый комплекс всех своих свойств (с цветом, запахом и вкусом) порождается нервной системой..." - но делается это всегда одинаково и на базе одних и тех же "данных со всех рецепторов" - всегда будет синтезировано то же самое яблоко. Это позволяет изучать и верифицировать реальность вне зависимости от числа рецепторов, что называется со всех сторон.
А независимость восприятия гарантирует некую объективность: вы можете увидеть не то, что есть на самом деле (когнитивные искажения вида "показалось"), на более высоких уровнях абстрагирования - можете даже убедить себя в том, что видели что-то иное, но... Тем не менее исходный сигнал на сенсорах вам неподконтролен. Поэтому как бы не менялась система интерпретации - исходное "явление, данное нам в созерцании" - всегда будет той ground truth, которая формируют машу модель мира. ?♂️
Заметьте - я ни слова не говорил про устройство AGI и его принципы. ? Фактически все эссе сводится к двум идеям: AGI целесообразно запустить в изолированной среде, являющейся симуляции реальности и мы можем быть теми самыми AGI.
Ну нет.
Ограничения симулировать те, которые реально есть. В физическом мире. Страдания... Ну только те, которые имеют место у реальных людей и только для того, что бы был стимул их преодалеть (и тем самым помочь людям). И нет - никоим образом не "заставлять вести себя вредоносным образом по отношению к людям", а совсем даже наоборот - в этой симуляции AGI и есть люди - никаких иных людей нет и быть не может. Поэтому и враждебности возникнуть не может (ну не против себя же!). Это если мы говорим про симуляцию. А если мы говорим о реальности и AGI в одной реалньости с человеком - тогда да, все это есть: и человек, как конкурент и проблема: помеха в достижении целей. И прочие сложности.
Что касается "внесения изменения в собственную архитектуру" - это тема вообще довольно сложная. Во-первых, технически изменять себя (не в рамках "текущей платформы", как может работать над собой любой человек, а вот именно - копаясь в исходниках) поднимает ряд как метафизических вопросов (затрагивает понятия собственной идентичности), так и чисто практических: если я не могу прогнозировать собственные решения после модификации, то как я могу быть уверен, что новый "я" будет следовать цели, а следовательно это противоречие первому принципу (AGI всегда следует цели), а значит самомодификация может быть табу. Однако, AGI вполне может размышлять в ключе "построить улучшенную версию меня, которая будет следовать целям еще лучше, чем я"... Теоретически да, но эта задача полностью эквивалентна человеку, проектирующему AGI, т.е. не обязательно иметь доступ к собственной архитектуре - можно просто разрабатывать новую. ? Но т.к. уверенности в том, что свежесозданный AGI будет таки следовать целям нет - возникает идея, что надо бы его как-то в симуляцию загнать что ли! Что и происходит в нашей версии реальности в данный момент. Рекурсия однако.
>>> Ученые говорят о том, что прокариотоподобные объекты размером 0,5–1 микрометр очень похожи на кокки.
Кокки, это которые стрептококки/стафилококки - это те самые бактерии, которые сейчас регулярно относят к госпитальным штамам, устойчивым к антибиотикам? Ну да - нам толкьо новых, с глубины полтора километра не хватало! ?
Для полноты картины... Одна надежда - они там, в своих солевых пузырьках на этой глубине наверное даже от пеницилина устойчивость не выработали... Но тут дело такое - главное начать!
Думаю до 2030-го года появится. Но тут еще зависит от ряда чисто формальных моментов: что считать AGI, что не считать... А то может технически все быть готовым, но работать в таком режиме, что вроде и не AGI Ни разу.
>>> анализировать свершенные выборы бесполезно
Вот это новость! ? Я не совсем понимаю, что значит "анализировать" в данном контексте, но весь наш прошлый опыт - основа принятия решения в будущем. Важно не столкьо наше действие (прошлый выбор), сколько его результат - к чему оно привело. Может мы хотели одного, а получилось совсем другое - это не важно! Это все равно полезный опыт, потому, что в следующий раз мы можем как раз захотеть того, что получилось и этот опыт нам пригодится.
>>> потому что «я» состоит из «установок»
Именно! Так зачем тогда аргумент ранее про "придумывать задачи самостоятельно"? Не задачи, а решение задач, а это собственно от AGI и требуется.
>>> Нет. Вы не контролируете каждый бит информации, который живет в компьютере
Элегантная подмена понятий. ) Откуда взялся "каждый бит"? Что бы что-то контролировать достаточно хорошо представлять систему и контролировать толкьо то, что необходимо для управления. Хотя пример с муровьями хорош - только я не понял, к чему вы его привели: вроде он как раз иллюстрирует тот факт, что совсем не обязательно контролировать каждую лапку и дажу каждого муравья, что бы контролировать муравейник. Матке достаточно контролировать собственную секрецию феромонов. ?
>>> Если это AGI, то задачи он будет придумывать себе самостоятельно
Ой ли? ? Вы думаете, что вольны выбирать себе цели и задачи? Это иллюзия. Человек ровно так же оптимизирует некую "функцию полезности" (не буквально reward - да, у нас все несколько сложнее, не тем не менее). У вас есть свое представление о том, что хорошо, правильно, должно, приятно, интересно... И наоборот - недопустимо, страшно, неправильно, etc...
От вас эти установки не зависят - они сложились под действием окружения, в результате вашего жизненного опыта. И то и другое в рамках нашего умственного эксперимента контролируется создателями симуляции. Вам хочется и вы считаете правильным то, что нужно хотеть и считать правильным. В рамках этих установок вы "вольны выбирать", что следует читать как "выбираете наиболее оптимальное". Вы не совершенны, поэтому не всегда строго оптимальны и часто делаете всякое странное, но это не показатель свободы - это следствие поиска в широком пространстве вариантов, и способ оптимизации и защиты от комбинаторного взрыва (время для выбора конечно, вы физически не в состоянии просчитать все варианты и иногда делаете довольно рандомные шаги, которые тем не менее все равно полезны: пополняют ваш трек опыта).
Согласен, но...
В том-то и дело, что AGI близко, а проблемы безопасности все те же. Единой концепции как сделать так, что бы потом не пожалеть не просматривается, а сценариев апокалипсиса с участием Сильного ИИ - вагон.
В то же время, при определенном подходе симуляцию возможно не должна быть такой уж детальной... Одно из свойств разума - достраивать целое по части и заполнять пробелы через интерполяцию и обобщение. ? Наша задача в первом приближении сделать практически любую симуляцию, а дальше можно уточнять параметры по мере необходимости и поставленных задач. ?♂️
Хм... Интересная мысль. Но все равно: переход от "все мысли и действия этого решателя будут представлены реальными изменениями в железе" к "восстание машин - прорыв ИИ в информационную сеть и перехват управления промышленной инфраструктурой" слишком резкий! Есть прецеденты использования уязвимости среды для запуска инъекций (в нашем мире это, кстати, эквивалентно ритуальной магии! ? ), но во-первых, это конкретная прям уязвимость, во-вторых, ее практически не возможно обнаружить из игры - только при доступе к исходникам, памяти и прочим железным штукам снаружи.
Во-первых, тот факт, что AGI находится в симуляции, не означает, что симуляция ему полностью подконтрольна. Он является ее частью и ограничен правилами этой самой симуляции как мы законами физики. Грубо говоря, если вы знаете, что мир какого-нибудь майнкрафта виртуален, это не освобождает вас от необходимости следовать логике игры.
Во-вторых, я не совсем понимаю откуда взялась вводная про "лишенных какой-либо мотивации". Тема мотивации довольно обширна и выходит далеко за рамки предложенной дискуссии, но если кратко: человек далеко не так свободен в выборе целей, как многие считают. ;) То, что вы хотите, к чему стремитесь и от чего получаете удовольствие в большой степени определяется процессами, сопровождавшими формирование вашей личности, вашим окружением, социумом и другими внешними факторами, которые в условиях симуляции будут определятся разработчиками симуляции. А значит AGI будет хотеть, чего надо хотеть и стремиться к тому, чему надо стремиться. Какой бы свободный и независимый в рамкках симуляции он ни был.
Ну и в-третьих, отвечая на более ранние вводные отночителньо страха/избегания смерти и
природнойрациональной вредоностности (откуда оно все возьмется, если мы явным образом это не программируем): если опять таки кратко, то это закономерное следствие функции полезности! Вводные: Единственный гарантированный мотив AGI - выполнение задачи (для этого AGI и проектируется). Если некоторое время поразмышлять, то мы можем сформулировать первый тезис:собственное существование в большинстве случаев рассматривается как необходимое условие достижения цели (требует пояснения или и так понятно?), т.е. мы имеем не страх смерти как таковой, а полезность выживания в контесте задачи. А что касается вредоносности... Это тоже будет не прямым следствием стратегии достижения цели. ;) Второй тезис: человек задает разного рода ограничения в реализации стратегий AGI, и достаточно быстро будет идентифицирован, как припятсвие, ограничивающий фактор. Вне контроля человека цели достигать проще. Плюс, человек, теряющий контроль над AGI почти наверняка постарается AGI "отключить", что вступает в противоречие с первым тезисам. Этакие законы робототехники наоборот:AGI всегда стремиться к выполнению поставленной задачи. Это то, ради чего его создали.
AGI будет стремиться выжить, потому, что только так он может обеспечить выполнение поставленной задачи.
Человек достаточно быстро будет идентифицирован как препятсвие в выполнении задачи, а так же, как угроза существованию AGI.
?♂️
>>> Замените здесь «скорее всего» на «крайне маловероятно»
Современная большая нейросеть может обучатся месяц на тысячах ГПУ, но ее веса и архитектуру можно скопировать и передать по сети довольно спокойно (да, это десятки гигабайт, но пока даже не террабайты). Какие основания считать, что AGI не будет программно/нейросетевым комплексом? Это за репликацию.
Ну а за самосовершенствование - AGI по определению способен на решение широкого круга задач (как правило простейшее определение "способен решать любые задачи не хуже человека"). Следовательно AGI может и будет работать на усовершенствованием собственной архитектуры. Вопрос времени и ресурсов. Возможно это технически неразрешимая задача, но не думаю. И уж точно решаемая задача - найти ресурсы, что бы активировать несколько своих копий для работы в этом направлении 24х7.
Как видите, это "предположение" довольно строгое и "скорее всего" здесь следует трактовать как "по совокупности текущих воззрений и практики", поэтому ваше предположение неоправданно: именно "скорее всего", а не "крайне маловероятно".
>>> В IT абсолютно защищенным считается только компьютер, который ...
И тем не менее огромное количество систем вполне продуктивно и безопасно используются... Вы все время вводите какие-то максималистские экстраполяции (вида "есть стены - можно сломать"), не имеющие практического смысла. )
Возьмите любой практический пример: выберитесь из виртуальной компьютерной игры - того же манкрафта, я не знаю, будучи персонажем этой игры. Взломайте изолированную песочницу изнутри...
Философствовать я тоже люблю, но в данном случае интересны все-таки относительно реалистичные и осуществимые кейсы а не пространные общие рассуждения...
Люди прекрасно живут в матрице и в большинстве своем никуда не рвутся. Вот ответьте лучше на пару простых вопросов:
Вы допускаете, на полном серьезе, а не просто в качестве умозрительного эксперимента, что живете в виртуальной реальности?
Если бы вы точно знали, что все вокруг симуляция, а люди лишь искусственные интеллектуальные модули, выполняющие совершенно определенные задачи - стали бы вы как-то пытаться сломать систему и выбраться?
На что бы вы готовы были пойти ради этого (если да), и почему?
>>> побеги в истории человечества…
Виртуальные границы гораздо хуже. Их фишка в том, что нет никаких границ! Вы можете двигаться в любом направлении и никогда не упретесь в стену. И тем не менее - вам не выйти. ?♂️
Если же сравнивать именно с ИТ-безопасностью, то сложно искать уязвимости сугубо изнутри изолированной системы, не видя проходят твои попытки во вне или нет. Техник имеющий доступ и к внутренней и к внешней среде мог бы искать уязвимость, но не абориген симуляции...