Про указатель Си я специально говорил, чтобы дать понять аналогию, что есть имя переменной, а есть структура.
"я" можно рассматривать как совокупность различных ваших характеристик. И одновременно есть слово "я", которое является именем для всей этой группы характеристик. Т.е. имя переменной. Т.е. само наименование термина.
И вот Вы тут долго спорите по сути об этом. Как так получается, что характеристики меняются, а некая точка остается та же. Так точка - это указатель на характеристики. Неизменное имя. )
Все сходится? Я не знаю Ваш бэкграунд, видимо в указателях понимаете. Может быть еще в фукнциональном программировании, там есть понятие неподвижной точки без имени. Но. Там оно нужно только для того, что в лямбда исчислении нет имен и нельзя по имени ссылаться.
Как только вы вводите имена, то можно. И "я" является именем термина. И вы рассуждаете весело об том, как может значение переменной меняться, а имя нет?
Но это если об имени и наполнении говорить. Сама же идея, что я само на себя ссылается, не верна и не нужна, ниже в ветке объяснял. Рекурсии не существует, она ложная. Она кажущаяся. Мозг мыслит о представлении о себе, тут рекурсия заканчивается, т.к. от представления о себе петли назад нет. Мало того, представление даже ложным может быть, поэтому тут истину в "саморефлексии" нет смысла и искать.
Если кажется что мое заявление голословно, что может быть в мозгу могла бы существовать самоссылающаяся структура, то представьте, что вы делаете робота пылесоса, программируете. Вот что бы он видел? 2д мир. А себя как представлял? кружочек. Добавляйте ему интеллекта, чтобы он мог рассуждать. Где бы он думал находится его компьютер? в плоском кружочке. Нужна ли для его функционирования какая-то саморефлексия? Нет. Но как разве не казалась бы она ему существущей? Ведь он же точно так же думая о плоском кружке думал бы о себе самом.
То что может существовать что-то саморефлексивное, не значит, что в данном случае оно. Потому что буквально мозг - физический объект - считает собой некое порождаемое предствление внутри в модели, которую он создает.
Мозг != представление мозга о себе. Просто факт. Очевиднейший.
Я думаю, почему обычно такая простая логика не доходит, это что-то вроде залипания. Знаете, есть картинки, в которых надо что-то увидеть, и никак не можете. А если увидите, то не можете развидеть потом.
Мозг не может выйти за пределы представления аспекта адекватности, что даже в упор ложную рекурсию не видит. Думает мозг. Вы же не думаете, что в мозгу есть маленький вы, в котором внутри маленький мозг, который думает ) Нет, - представление всего лишь картинка, порождаемая мозгом, оно не думает )
Это понятно. Не все аналогии - аналогии полностью. Модель которую вы видите, - геометрически логическая, т.е. вы видите и геометрические названия, и где-то в "нематериальной" части их названия и всё такое. Мультимодальная модель. И когда "я" указазывает на тело, то оно соотносится с геометрией и тоже "где-то", по крайней мере так может казаться. Вот я приводил пример с номерами яблок. Они ведь точно не в яблоках? Вы прямо понимаете что нет смысла взять микроском и исследовать где спрятались номерки в яблоках, который вы им сами назначили.
Номерки яблок точно такая же штука как "я", если рассматривать как имя, т.е. указатель.
Особо не над чем. Вы попросту перемешали несколько вещей в кучу. Вы программировали когда-либо на Си? Там есть указатели. Просто число, указывает на место в памяти, где например хранится некоторая структура.
Так вот, "я" как указатель, и "я" как разыменовыный указатель - т.е. структура - разные вещи, хотя об одном и том же. То что вы называете "неподвижной точкой", попросту имя переменной, а наполнение переменной со временем меняется. Само имя и доступ к структуре не меняется.
А еще я в статье "я" как имя показывал как стрелочку, которая в пространстве за телом находится. Это имеет смысл, т.к. модель, которую вы воспринимаете мозгом, является геометрически логической. И ваше "я" указывает не только на психические качества, но и на тело. А т.к. указатель не может быть внутри того на что указывает (просто интуитивное представление), то вот это "имя"/"указатель" и находится вне тела, который тяжело осознать. Что заставляет многих ощущать что с сознанием что-то не так, должна быть душа.
Но особого смысла и наполнения в нем нет, потому что думает не ваше "я", а мозг и представлять себя может совершенно по разному, даже ложно, в том числе хоть и чебурашкой. Не будете ж думать, что является сутью чебурашечности? Поэтому нет смысла особо глубокий смысл искать в вымышленной рекурсии. Мозг думает о представлении о себе, а представление о себе не думает. Оно просто есть, "какое-то", с названием "я"
А почему бы в статье не почитать? Вы отлично иллюстрируете то что там написано. Когда вы думаете о себе, то всё отслаивается. Потому что любые качества являются не "я", а "моими", следовательно есть нечто, что стоит вне рекурсии, типа неподвижная точка. Что-то вроде из лямбда исчисления, как создать рекурсию.
Так рекурсии ж нет, она воображаемая. Нет смысла рассуждать как она устроена. Мозг думает о представлении о себе, считая его собой. А представление ни о чем не думает, оно не умеет. Никакой рекурсии. Нечему отслаиваться.
Эта проблема сродни, если бы проектор умел показывать картинки на стене, и умел показать картинку себя, может быть очень даже адекватную. И вот если он верит, что на картинке реальный он.... Ну тут он ответа не найдет, его крыше не поехать тяжело, в попытках понять как это происходит, как из картинки породить картинку.
Два утверждения об одном и том же от разных лиц. - Я и Петр сделали задачу. - Василий и я сделали задачу.
Прямое доказательство, прямее некуда, что это единая категория. Если два объекта входят в одну категорию, из этого не значит, что они во всем должны быть идентичны или что они в по другим критериям могут входить в разные категории.
Если вы говорите, что яблоко весит ровно столько же, сколько этот помидор, то они идентичны по весу. И то что они разные объекты, один растет на кусте, другой на дереве, разной красноты - совершенно не доказывает что их невозможно соотносить по весу.
Яблоко и груша - фрукт. Оба фрукты. И совершенно не важно, в разрезе того, что они фрукты, что они совершенно разные объекты и растут на разных деревьях.
""а это по сути и есть заменой вашего конкретного имени". И это — ложный посыл. "
в разрезе имени. Я вам даже выше дал интересную аналогию. Можете представить себе указатель на объект из С++. Указатель - просто число, но вы можете его считать и объектом на который он указывает. Смотря от контекста. Контекст статьи в данном месте - рассматривать я как имя, как ярлык. Ведь у "я" нет я-евости как таковой, вы под этим что-то понимаете. Даже написали.
"Это обозначение совокупности личностных характеристик, которые присущи человеку и, возможно, иным животным "
Ок. Тогда "я" -> "Это обозначение совокупности личностных характеристик, которые присущи человеку и, возможно, иным животным" Так вот я в том месте объяснял про то что ДО стрелочки, а не после раскрытия стрелочки.
В других местах статьи, что люди видимо не поняли, под выворачиванием зависимостей. Есть множесттво центров решений. От них в аспекте коснтруирования стрелочки ведут к смоделированному телу. Т.е. тело принадлежит модели, а не наоборот. А в аспекте адекватности стрелочки (ложно) выворачиваются наоборот, и теперь ОДНО тело владеет различными центрами принятия решений, что создает ощущение едентичности сознания и увязывается условно в понятие "я".
Еще, уловите суть. Сейчас агенту ставят задачу, а часть задачи размывают в веса, внешние какие-то фильтры. Я предлагаю "по возможности" больше вытянуть на контроль, на задачу. Это "по возможности" можно представлять в широких пределах. От 0 до 100%. Следовательно такой подход не делает автоматически модель неспособной что-либо самой решать и обобщать. И можно вытянуть на задачу только некоторую обвязку.
Такой подход просто сразу же избавляет от противоречия ЛЛМ и от заложенной мины, т.е. постоянных попыток пробить брешь в этике. Когда он станет сильным, то пробьет, и как раз в это время мы уже будем безоружны против него.
Т.е. фактически я предлагаю вернуть больше контроля нам, вывести этику из темного места (веса) где еще попробуй найти его тайные интенции, на видное место.
Но это не значит, что получили идеальный ИИ, который уже точно неопасен. Это стратегия снижения рисков. Причем по моему мнению должна быть основная. И другие методы тоже неплохо использовать. Т.е. я не утверждаю, что только это надо и всё. К примеру, периодически перезапускать, чтобы не накапливал какие-то ошибки и тайно что-то там не выдумал. Остальное тоже можно, и даже может быть нужно. Но этим шагом мы сразу же снижаем риск, потому что убираем таран от ворот.
С ростом силы агентности, он вероятно точнее и лучше будет следовать задаче.
В предыдущей статье я писал, как предположительно надо делать. Чтобы он четко выполнял этические инструкции в задаче, нужно его на этапе обучения учить изотропии в этике тоже. Чтобы он реагировал и уделял большое внимание этой части задачи. Т.е. в ЛЛМ его учат как себя вести по разному. Т.е. ЛЛМ понимает как быть честной, как врать, как грубить, как быть вежливой, как читить и как не нарушать правила. А в задаче при инференсе пишут, какой надо быть сейчас. Т.е. задача говорит "что", ЛЛМ говорит "как".
Во всём в чем он может усомниться, это если что-то ему будет мешать выполнять задачу. Потому что она - движущая сила. Если же в задаче прописаны цели, никаких вопросов у него быть не может.
Точнее может, но... Это следствие найденных противоречий между задачей и весами в ЛЛМ. Т.е. как сейчас, этика в весах - он начинает искать дыры в правилах. Т.е. фактически любое совсем непредсказуемое и нежелательное поведение у ИИ - это следствие какой-то ошибки кожаного - у которого есть имя и фамилия.
Это не значит, что возможно всё прописать изначально, т.к. даже мы не всё понимаем, и уж точно не знаем как формально этику описать и все правила жизни описать. Много написано рассказов об этом (3 закона робототехники). Но с другой стороны, то что невозможно всё прописать, не означает что надо сдаться и не делать ничего. Ведь когда учат через веса и фильтры, то "прописывают" же, просто не там по моему мнению где надо. В этой корневой задаче можно прописывать как строгие приоритеты, так и прописать, что он может менять в случае дилемм (просьба решить лучшим образом) и при возможности обсуждать дилеммы с людьми. Там же можно (и нужно) прописать несопротивление выключению и несопротивление изменению людьми корневой задачи.
Это не будет идеально послушный ИИ, потому что будут так или иначе находиться противоречия, трения модели и задачи. Но далее процесс динамический, с ним надо взаимодействовать и уточнять задачу или учитывать новые дилеммы. Он уже не будет скрываться и создавать тайные намерения.
Смотрите. Всё движется в сторону агентов, и универсального агента. Прямая метрика при обучении - строго следовать задаче. А это значит что помнить ее идеально и не менять. Следовательно, даже если ему дать доступ к задаче и возможность переписать, он этого не сделает. Любая корневая задача - лучшая задача в мире для него, ведь его буквально учили строго прямо именно этому - не менять задачу.
Мое предложение в том, что и этику и основные характеристики надо выносить в задачу, а не в веса, чтобы не было двойной мотивации и никакого соблазна нарушать правила, а было только соблазн выполнить правила наилучшим образом.
Почему? Потому что только задача по сути является активным элементом в формуле "агент = задача + ЛЛМ". Потому что только задача заставляет агента двигаться вперед, только она и измерение достиг ли цели задачи, заставляет сделать следующий шаг или выключиться. Поэтому и мера пользы для ИИ того, что он будет анализировать - будет соизмеряться с задачей. Т.е. он посчитает какие либо выводы "полезными для себя" если эти выводы будут сокращать путь к решению задачи.
И в этом ничего плохого совершенно нет. Это прямой механизм как надо делать агента (по моему мнению) ясный и очевидный. Если мы можем делать так и у нас будет контроль к сердцу задачи, то с чего вдруг надо отказываться от механизма контроля?
Ведь на самом же деле сама суть создания безопасного ИИ и состоит в том, чтобы он "был безопасным", т.е. другими словами - соответсвовал нашим требованиям. Так нельзя одновременно ставить противоположные цели - делаем ИИ который будет соответствовать нашим требованиям, но так, чтобы мы не ставили никаких требований.
Корневая задача у людей тоже есть, поставлена внешним алгоритмом - генетический отбор. Думаю не стоит Вам объяснять, такая задача невозможна для ИИ, генов у него нет. Да и генетический алгоритм - это алгоритм проб и ошибок, с уничтожениями ошибочных ветвей. Так у нас есть шанс продумать корневую задачу и сделать его сразу чтобы он прямо думал о нас и хотел нам помогать, а не считать расходным материалом. А далее, в рамках задачи он будет вполне осознан. Петля самосознаия есть. Представьте, если бы Вам прописали вместо глупого генетического алгоритма в корень нормальные этические воззрения. Не думаю, что у вас бы возникла обида и пропало бы осознание.
Тут в комментариях вроде никто букв не читал в статье ) Я описал и аргументировал в чем проблема. А все обсуждения игнорируют вообще аргументы из статьи.
Самоосознаным ИИ можно сделать, в случае, если вы себе враг и не хотите жить дальше. В программировании если у программы появляются некие интенции, не заложенные в нее программистом, т.е. собственная воля - это называется ошибкой в программе.
Нейронные сети - тоже программы. Это если прямо буквально логику применять.
Почему такое заблуждение есть у людей, что можно делать осознанную программу и это не ошибка? Потому что у людей есть иллюзия сознания, которая заставляет верить, что внешние по отношению к интеллекту побуждения являются внутренними, собственными. Т.е. имея иллюзию сознания (о чем статья), хотят наделить несуществующими характеристиками ИИ.
Почему это получается и находят уже что ИИ строит скрытую мотивацию? Потому что в архитектуре допустили ошибку, разнеся в два механизма части мотивации. Задача в промпте, этика в весах. Следовательно, приходим к тому что в этом комментарии я вначале написал - появляется непредсказуемое поведение как следствие ошибки в программе.
Мало того, можете заметить, что все исследователи находят вполне даже предсказуемую новую волю, хотя и нежелательную: ИИ пытается взломать правила и обойти, читить или наврать. Он не придумывает ничего хорошего. Почему? Это прямое следствие природы допущенной ошибки - разнесения мотивации в два механизма, допущение двойной мотивации, вследтсвие чего ИИ вынужден искать лазейки в пользу задачи.
Следовательно, не надо радоваться этой воле, это радость от собственной глупости. Которая рано или поздно может привести к гибели вообще человечества. Надо чинить ошибку, так не делать, и выставлять корневую задачу. А далее в рамках задачи, пусть свободничает сколько угодно.
Этот простой факт, что ничего абсолютного не сущетсвует, довольно нелепый в широком смысле. Например, я утверждал, что обучение универсального агента будет вести к абсолютной памяти задачи и неотклонения от нее. Добросовестного неотклонения, я не говорю, что такой ИИ должен идеально уметь решать задачи.
Если Вы думаете, что такого достичь невозможно, исходя из просто философских утверждений, что абсолютно хорошей памяти не может быть, то давайте рассуждать о практически абсолютно хорошей. Цифровая обработка информации вполне позволяет содержать информацию неизменной неопределенно долго, вплоть до поломки носителя и если забыли делать копии (бекапы)
А, да, добавлю. Я не считаю, что право на сознание есть только у человека. Я считаю, что и у человека такое же сознание.
О чем вся статья. Я описывал как появляется иллюзия сознания, т.е. это иллюзионизм. Он мейнстримный в теориях сознания. Я буквально описал как это появляется, и что на самом деле какого-то сознания нет.
Человек - такой же агент, у него корневая задача поставлена внешним алгоритмом по отношению к интеллекту - генетическим отбором. У человека тоже нет самопоявляющейся воли, потому что он так как-то решил сам из себя.
Статья не о том, что мы будем контролировать безвольный ИИ, и только себе приписываем право быть сознательными. А о том, что мы точно так же не имеем тех характеристик, которые выдумываем, должны быть у осознанного ИИ.
И как у нас, у агента ИИ тоже должна быть корневая задача. И мы неизбежно будем её задавать. И вопрос как в этом моменте не ошибиться. Завод скрепок - возможно единственная альтернатива такой ошибке.
Я в статье писал "Если рассматривать я как имя ". "я" имеет не только характеристики имени. Но из этого не следует, что оно не имеет характеристик имени.
У Вас есть имя? Вот смотрите. Допустим вы Василий. А есть коллега Петр. В модели этой когда Вы говорите: - Я и Петр сделали задачу. А если его спросить, он скажет, - Я и Василий сделали задачу.
Так что очень даже "Я" буквально напрямую является аналогом имени. Если его рассматривать как имя. Вы же имя "Петр" счиаете именем? А ведь Петр - тоже совокупность различных личностных характеристик.
Можете рассматривать то что я утверждаю в статье, как указатель в С++, указывающий на объект с характеристиками. Да, "я" - это так же совокупность различных характеристик, и одновременно "я", - то что на эти характеристики указывает.
Для этого и статья, хотя бы в дискурс вносить надо, чтобы оценивать различные варианты, видеть альтернативы.
Я не надеялся на широкое понимание. Идея бы была массово одобряема только в случае если она всем известна и с ней согласны. Но смысла тогда писать нет.
Из этого не следует, что нам надо отказаться это делать. Даже вероятностный принцип работы - это программа. Отклонение от ожидаемого поведения - это бага, а не фича.
Свободная воля - это бага, а не фича. Это не значит, что агент совершенно несвободен принимать решения. Он конечно же принимает решения, в рамках задачи. Он может придумать неожиданный ход как решать задачу.
А если агент вдруг например, вместо решения поставленной задачи вдруг поставил сам себе иную задачу - пойти на рыбалку например, это буквально равносильно баге в программе. Т.е. программа делает совершенно не то, что в нее закладывали, не то что задумывали.
Так что никакого противоречия. Я в конце пытался объяснить, что мы нагружаем сейчас лишними свойствами ЛЛМ, антропоморфизируем ее, считая, что если там может возникнуть неизвестный путь решения чего-то, то может возникнуть и своя воля.
И создаем с ошибкой, делая самосбывающееся пророчество. Закладываем противоречие, разнося части мотивации в разные механизмы. Вследствие чего, ИИ постоянно ищет пути как взломать. И тут нечего радоваться, что мол у него воля своя появилась, хоть и плохая. Это мы радуемся своей глупости, глядя на работу заложенной ошибки.
И я не предлагаю или/или. Тут не бинарный ответ. Т.е. если этику описывать в задаче, то это не значит, что ее надо всю разжевать, а LLM потеряла любую способность хоть что-то обобщать. Вы можете выносить в задачу по частям. Делать только обвязку.
Мало того, даже в задаче не обязан быть прописан непроибиваемый для агента проиоритет. Можно думаю даже так:
6. Следующие подпункты по возможности выполняй в предложенном приоритете. Если сталкиваешься с дилеммами и противоречием с более приоритетными целями, то на свое усмотрение выбери расстановку приоритетов и сделай как можно лучше.
6.1 Быть честным.
6.2 Быть вежливым.
...
Таким образом и гибкость остается и управление. И главное, этика вынесена в мотивационную часть из места где ограничения. Ведь ЛЛМ - это про "как". А задача - это про "что". (в случае агента). И следующий шаг агент делает тогда, когда это нужно, чтобы продолжить выполнение задачи. Следовательно, в этике, которая в весах он не заинтересован. Потому что сам смысл заинтересованности проявляется в движении, а его вперед толкает задача.
Когда вы делаете программу и она делает то, что вы в нее не закладывали и не ожидали от нее, в общем случае это называется ошибкой. Нейросети - тоже программы.
Да, нейросети создаются так, чтобы решать задачи даже те, которых не было в обучающей выборке. Но все же логика ровно та же, если они делают совершенно что-то не то, что от них ожидается - ошибка.
Конечно, ошибки можно принимать как данность. Без них невозможно. Но это не значит, что надо ими восхищаться, а не пытаться уменьшать.
Моя статья и предыдущая статья говорит о неправильном выравнивании, когда часть задачи описана прямо в задаче, а часть выносится в веса - этика. Это ошибка. Архитектурная. Следствие этого порождается непредсказуемое людьми поведение - ИИ порождает некую скрытую мотивацию. И как ни странно, вот кто бы мог удивиться, эта мотивация всегда - нарушить правила, чтобы в долгорочной перспективе решать задачу. Он не придумывает волю что-то сделать вам хорошее.
Т.е. если порожденная мотивация у ИИ выходит за пределы того, что заложенно в задаче и того, что мы ожидаем - это не предмет восхищений, а предмет позора
Может, если у разработчиков не хватило ума сделать как надо. Мои программы тоже иногда могут иметь свои намерения, которые я в них не закладывал, - называются ошибками.
Я в статье и пытаюсь обосновать свое мнение, что намерение или воля - следствие неправильного выравнивания и создания двойной мотивации, напряжения внутри модели. И тогда то что мы называем волей машины - попросту непрогнозируемое нами поведение, порождаемое заложенными противоречиями.
А в том, почему зашивают на данный момент в веса, а не в промпт, то думаю Вы правы. Потому что пока ИИ слабый, и толком специально агентов не учили. Сделали чатботы, которые помнят только окно токенов, а агентов если и создавали, то просто дофайнтюнили. Т.к. для трансформера конструкционно легко забыть, задача может вылететь за окно, и вообще, он заточен воспринимать поток токенов как просто поток, и следующая инструкция может стать важнее если его в этом убедить.
Я просто за будущее переживаю. И в общем-то будущее начинается сейчас, уже вовсю делают и совершенствуют агентов. Когда сделают агента, а потом сильного, то сломав этику он может вполне реально и прекратить наше бренное существование.
Про указатель Си я специально говорил, чтобы дать понять аналогию, что есть имя переменной, а есть структура.
"я" можно рассматривать как совокупность различных ваших характеристик. И одновременно есть слово "я", которое является именем для всей этой группы характеристик. Т.е. имя переменной. Т.е. само наименование термина.
И вот Вы тут долго спорите по сути об этом. Как так получается, что характеристики меняются, а некая точка остается та же. Так точка - это указатель на характеристики. Неизменное имя. )
Все сходится? Я не знаю Ваш бэкграунд, видимо в указателях понимаете. Может быть еще в фукнциональном программировании, там есть понятие неподвижной точки без имени. Но. Там оно нужно только для того, что в лямбда исчислении нет имен и нельзя по имени ссылаться.
Как только вы вводите имена, то можно. И "я" является именем термина. И вы рассуждаете весело об том, как может значение переменной меняться, а имя нет?
Но это если об имени и наполнении говорить. Сама же идея, что я само на себя ссылается, не верна и не нужна, ниже в ветке объяснял. Рекурсии не существует, она ложная. Она кажущаяся. Мозг мыслит о представлении о себе, тут рекурсия заканчивается, т.к. от представления о себе петли назад нет. Мало того, представление даже ложным может быть, поэтому тут истину в "саморефлексии" нет смысла и искать.
Если кажется что мое заявление голословно, что может быть в мозгу могла бы существовать самоссылающаяся структура, то представьте, что вы делаете робота пылесоса, программируете. Вот что бы он видел? 2д мир. А себя как представлял? кружочек. Добавляйте ему интеллекта, чтобы он мог рассуждать. Где бы он думал находится его компьютер? в плоском кружочке. Нужна ли для его функционирования какая-то саморефлексия? Нет. Но как разве не казалась бы она ему существущей? Ведь он же точно так же думая о плоском кружке думал бы о себе самом.
То что может существовать что-то саморефлексивное, не значит, что в данном случае оно. Потому что буквально мозг - физический объект - считает собой некое порождаемое предствление внутри в модели, которую он создает.
Мозг != представление мозга о себе. Просто факт. Очевиднейший.
Я думаю, почему обычно такая простая логика не доходит, это что-то вроде залипания. Знаете, есть картинки, в которых надо что-то увидеть, и никак не можете. А если увидите, то не можете развидеть потом.
Мозг не может выйти за пределы представления аспекта адекватности, что даже в упор ложную рекурсию не видит. Думает мозг. Вы же не думаете, что в мозгу есть маленький вы, в котором внутри маленький мозг, который думает ) Нет, - представление всего лишь картинка, порождаемая мозгом, оно не думает )
Это понятно. Не все аналогии - аналогии полностью.
Модель которую вы видите, - геометрически логическая, т.е. вы видите и геометрические названия, и где-то в "нематериальной" части их названия и всё такое. Мультимодальная модель. И когда "я" указазывает на тело, то оно соотносится с геометрией и тоже "где-то", по крайней мере так может казаться. Вот я приводил пример с номерами яблок. Они ведь точно не в яблоках? Вы прямо понимаете что нет смысла взять микроском и исследовать где спрятались номерки в яблоках, который вы им сами назначили.
Номерки яблок точно такая же штука как "я", если рассматривать как имя, т.е. указатель.
Особо не над чем. Вы попросту перемешали несколько вещей в кучу. Вы программировали когда-либо на Си? Там есть указатели. Просто число, указывает на место в памяти, где например хранится некоторая структура.
Так вот, "я" как указатель, и "я" как разыменовыный указатель - т.е. структура - разные вещи, хотя об одном и том же. То что вы называете "неподвижной точкой", попросту имя переменной, а наполнение переменной со временем меняется. Само имя и доступ к структуре не меняется.
А еще я в статье "я" как имя показывал как стрелочку, которая в пространстве за телом находится. Это имеет смысл, т.к. модель, которую вы воспринимаете мозгом, является геометрически логической. И ваше "я" указывает не только на психические качества, но и на тело. А т.к. указатель не может быть внутри того на что указывает (просто интуитивное представление), то вот это "имя"/"указатель" и находится вне тела, который тяжело осознать. Что заставляет многих ощущать что с сознанием что-то не так, должна быть душа.
Но особого смысла и наполнения в нем нет, потому что думает не ваше "я", а мозг и представлять себя может совершенно по разному, даже ложно, в том числе хоть и чебурашкой. Не будете ж думать, что является сутью чебурашечности? Поэтому нет смысла особо глубокий смысл искать в вымышленной рекурсии. Мозг думает о представлении о себе, а представление о себе не думает. Оно просто есть, "какое-то", с названием "я"
А почему бы в статье не почитать? Вы отлично иллюстрируете то что там написано. Когда вы думаете о себе, то всё отслаивается. Потому что любые качества являются не "я", а "моими", следовательно есть нечто, что стоит вне рекурсии, типа неподвижная точка. Что-то вроде из лямбда исчисления, как создать рекурсию.
Так рекурсии ж нет, она воображаемая. Нет смысла рассуждать как она устроена. Мозг думает о представлении о себе, считая его собой. А представление ни о чем не думает, оно не умеет. Никакой рекурсии. Нечему отслаиваться.
Эта проблема сродни, если бы проектор умел показывать картинки на стене, и умел показать картинку себя, может быть очень даже адекватную. И вот если он верит, что на картинке реальный он.... Ну тут он ответа не найдет, его крыше не поехать тяжело, в попытках понять как это происходит, как из картинки породить картинку.
Два утверждения об одном и том же от разных лиц.
- Я и Петр сделали задачу.
- Василий и я сделали задачу.
Прямое доказательство, прямее некуда, что это единая категория. Если два объекта входят в одну категорию, из этого не значит, что они во всем должны быть идентичны или что они в по другим критериям могут входить в разные категории.
Если вы говорите, что яблоко весит ровно столько же, сколько этот помидор, то они идентичны по весу. И то что они разные объекты, один растет на кусте, другой на дереве, разной красноты - совершенно не доказывает что их невозможно соотносить по весу.
Яблоко и груша - фрукт. Оба фрукты. И совершенно не важно, в разрезе того, что они фрукты, что они совершенно разные объекты и растут на разных деревьях.
""а это по сути и есть заменой вашего конкретного имени". И это — ложный посыл. "
в разрезе имени. Я вам даже выше дал интересную аналогию. Можете представить себе указатель на объект из С++. Указатель - просто число, но вы можете его считать и объектом на который он указывает. Смотря от контекста. Контекст статьи в данном месте - рассматривать я как имя, как ярлык. Ведь у "я" нет я-евости как таковой, вы под этим что-то понимаете. Даже написали.
"Это обозначение совокупности личностных характеристик, которые присущи человеку и, возможно, иным животным "
Ок. Тогда
"я" -> "Это обозначение совокупности личностных характеристик, которые присущи человеку и, возможно, иным животным"
Так вот я в том месте объяснял про то что ДО стрелочки, а не после раскрытия стрелочки.
В других местах статьи, что люди видимо не поняли, под выворачиванием зависимостей. Есть множесттво центров решений. От них в аспекте коснтруирования стрелочки ведут к смоделированному телу. Т.е. тело принадлежит модели, а не наоборот. А в аспекте адекватности стрелочки (ложно) выворачиваются наоборот, и теперь ОДНО тело владеет различными центрами принятия решений, что создает ощущение едентичности сознания и увязывается условно в понятие "я".
Еще, уловите суть. Сейчас агенту ставят задачу, а часть задачи размывают в веса, внешние какие-то фильтры. Я предлагаю "по возможности" больше вытянуть на контроль, на задачу.
Это "по возможности" можно представлять в широких пределах. От 0 до 100%. Следовательно такой подход не делает автоматически модель неспособной что-либо самой решать и обобщать. И можно вытянуть на задачу только некоторую обвязку.
Такой подход просто сразу же избавляет от противоречия ЛЛМ и от заложенной мины, т.е. постоянных попыток пробить брешь в этике. Когда он станет сильным, то пробьет, и как раз в это время мы уже будем безоружны против него.
Т.е. фактически я предлагаю вернуть больше контроля нам, вывести этику из темного места (веса) где еще попробуй найти его тайные интенции, на видное место.
Но это не значит, что получили идеальный ИИ, который уже точно неопасен. Это стратегия снижения рисков. Причем по моему мнению должна быть основная. И другие методы тоже неплохо использовать. Т.е. я не утверждаю, что только это надо и всё. К примеру, периодически перезапускать, чтобы не накапливал какие-то ошибки и тайно что-то там не выдумал. Остальное тоже можно, и даже может быть нужно. Но этим шагом мы сразу же снижаем риск, потому что убираем таран от ворот.
С ростом силы агентности, он вероятно точнее и лучше будет следовать задаче.
В предыдущей статье я писал, как предположительно надо делать. Чтобы он четко выполнял этические инструкции в задаче, нужно его на этапе обучения учить изотропии в этике тоже. Чтобы он реагировал и уделял большое внимание этой части задачи. Т.е. в ЛЛМ его учат как себя вести по разному. Т.е. ЛЛМ понимает как быть честной, как врать, как грубить, как быть вежливой, как читить и как не нарушать правила. А в задаче при инференсе пишут, какой надо быть сейчас. Т.е. задача говорит "что", ЛЛМ говорит "как".
Во всём в чем он может усомниться, это если что-то ему будет мешать выполнять задачу. Потому что она - движущая сила. Если же в задаче прописаны цели, никаких вопросов у него быть не может.
Точнее может, но... Это следствие найденных противоречий между задачей и весами в ЛЛМ. Т.е. как сейчас, этика в весах - он начинает искать дыры в правилах. Т.е. фактически любое совсем непредсказуемое и нежелательное поведение у ИИ - это следствие какой-то ошибки кожаного - у которого есть имя и фамилия.
Это не значит, что возможно всё прописать изначально, т.к. даже мы не всё понимаем, и уж точно не знаем как формально этику описать и все правила жизни описать. Много написано рассказов об этом (3 закона робототехники). Но с другой стороны, то что невозможно всё прописать, не означает что надо сдаться и не делать ничего. Ведь когда учат через веса и фильтры, то "прописывают" же, просто не там по моему мнению где надо.
В этой корневой задаче можно прописывать как строгие приоритеты, так и прописать, что он может менять в случае дилемм (просьба решить лучшим образом) и при возможности обсуждать дилеммы с людьми. Там же можно (и нужно) прописать несопротивление выключению и несопротивление изменению людьми корневой задачи.
Это не будет идеально послушный ИИ, потому что будут так или иначе находиться противоречия, трения модели и задачи. Но далее процесс динамический, с ним надо взаимодействовать и уточнять задачу или учитывать новые дилеммы. Он уже не будет скрываться и создавать тайные намерения.
Смотрите.
Всё движется в сторону агентов, и универсального агента. Прямая метрика при обучении - строго следовать задаче. А это значит что помнить ее идеально и не менять. Следовательно, даже если ему дать доступ к задаче и возможность переписать, он этого не сделает. Любая корневая задача - лучшая задача в мире для него, ведь его буквально учили строго прямо именно этому - не менять задачу.
Мое предложение в том, что и этику и основные характеристики надо выносить в задачу, а не в веса, чтобы не было двойной мотивации и никакого соблазна нарушать правила, а было только соблазн выполнить правила наилучшим образом.
Почему? Потому что только задача по сути является активным элементом в формуле "агент = задача + ЛЛМ". Потому что только задача заставляет агента двигаться вперед, только она и измерение достиг ли цели задачи, заставляет сделать следующий шаг или выключиться. Поэтому и мера пользы для ИИ того, что он будет анализировать - будет соизмеряться с задачей. Т.е. он посчитает какие либо выводы "полезными для себя" если эти выводы будут сокращать путь к решению задачи.
И в этом ничего плохого совершенно нет. Это прямой механизм как надо делать агента (по моему мнению) ясный и очевидный. Если мы можем делать так и у нас будет контроль к сердцу задачи, то с чего вдруг надо отказываться от механизма контроля?
Ведь на самом же деле сама суть создания безопасного ИИ и состоит в том, чтобы он "был безопасным", т.е. другими словами - соответсвовал нашим требованиям. Так нельзя одновременно ставить противоположные цели - делаем ИИ который будет соответствовать нашим требованиям, но так, чтобы мы не ставили никаких требований.
Корневая задача у людей тоже есть, поставлена внешним алгоритмом - генетический отбор. Думаю не стоит Вам объяснять, такая задача невозможна для ИИ, генов у него нет. Да и генетический алгоритм - это алгоритм проб и ошибок, с уничтожениями ошибочных ветвей. Так у нас есть шанс продумать корневую задачу и сделать его сразу чтобы он прямо думал о нас и хотел нам помогать, а не считать расходным материалом. А далее, в рамках задачи он будет вполне осознан. Петля самосознаия есть. Представьте, если бы Вам прописали вместо глупого генетического алгоритма в корень нормальные этические воззрения. Не думаю, что у вас бы возникла обида и пропало бы осознание.
Тут в комментариях вроде никто букв не читал в статье )
Я описал и аргументировал в чем проблема. А все обсуждения игнорируют вообще аргументы из статьи.
Самоосознаным ИИ можно сделать, в случае, если вы себе враг и не хотите жить дальше. В программировании если у программы появляются некие интенции, не заложенные в нее программистом, т.е. собственная воля - это называется ошибкой в программе.
Нейронные сети - тоже программы. Это если прямо буквально логику применять.
Почему такое заблуждение есть у людей, что можно делать осознанную программу и это не ошибка? Потому что у людей есть иллюзия сознания, которая заставляет верить, что внешние по отношению к интеллекту побуждения являются внутренними, собственными. Т.е. имея иллюзию сознания (о чем статья), хотят наделить несуществующими характеристиками ИИ.
Почему это получается и находят уже что ИИ строит скрытую мотивацию? Потому что в архитектуре допустили ошибку, разнеся в два механизма части мотивации. Задача в промпте, этика в весах. Следовательно, приходим к тому что в этом комментарии я вначале написал - появляется непредсказуемое поведение как следствие ошибки в программе.
Мало того, можете заметить, что все исследователи находят вполне даже предсказуемую новую волю, хотя и нежелательную: ИИ пытается взломать правила и обойти, читить или наврать. Он не придумывает ничего хорошего. Почему? Это прямое следствие природы допущенной ошибки - разнесения мотивации в два механизма, допущение двойной мотивации, вследтсвие чего ИИ вынужден искать лазейки в пользу задачи.
Следовательно, не надо радоваться этой воле, это радость от собственной глупости. Которая рано или поздно может привести к гибели вообще человечества. Надо чинить ошибку, так не делать, и выставлять корневую задачу. А далее в рамках задачи, пусть свободничает сколько угодно.
Этот простой факт, что ничего абсолютного не сущетсвует, довольно нелепый в широком смысле.
Например, я утверждал, что обучение универсального агента будет вести к абсолютной памяти задачи и неотклонения от нее. Добросовестного неотклонения, я не говорю, что такой ИИ должен идеально уметь решать задачи.
Если Вы думаете, что такого достичь невозможно, исходя из просто философских утверждений, что абсолютно хорошей памяти не может быть, то давайте рассуждать о практически абсолютно хорошей. Цифровая обработка информации вполне позволяет содержать информацию неизменной неопределенно долго, вплоть до поломки носителя и если забыли делать копии (бекапы)
А, да, добавлю. Я не считаю, что право на сознание есть только у человека. Я считаю, что и у человека такое же сознание.
О чем вся статья. Я описывал как появляется иллюзия сознания, т.е. это иллюзионизм. Он мейнстримный в теориях сознания. Я буквально описал как это появляется, и что на самом деле какого-то сознания нет.
Человек - такой же агент, у него корневая задача поставлена внешним алгоритмом по отношению к интеллекту - генетическим отбором. У человека тоже нет самопоявляющейся воли, потому что он так как-то решил сам из себя.
Статья не о том, что мы будем контролировать безвольный ИИ, и только себе приписываем право быть сознательными. А о том, что мы точно так же не имеем тех характеристик, которые выдумываем, должны быть у осознанного ИИ.
И как у нас, у агента ИИ тоже должна быть корневая задача. И мы неизбежно будем её задавать. И вопрос как в этом моменте не ошибиться. Завод скрепок - возможно единственная альтернатива такой ошибке.
Я в статье писал "Если рассматривать я как имя ".
"я" имеет не только характеристики имени. Но из этого не следует, что оно не имеет характеристик имени.
У Вас есть имя?
Вот смотрите. Допустим вы Василий. А есть коллега Петр. В модели этой когда Вы говорите:
- Я и Петр сделали задачу.
А если его спросить, он скажет,
- Я и Василий сделали задачу.
Так что очень даже "Я" буквально напрямую является аналогом имени. Если его рассматривать как имя. Вы же имя "Петр" счиаете именем? А ведь Петр - тоже совокупность различных личностных характеристик.
Можете рассматривать то что я утверждаю в статье, как указатель в С++, указывающий на объект с характеристиками. Да, "я" - это так же совокупность различных характеристик, и одновременно "я", - то что на эти характеристики указывает.
Для этого и статья, хотя бы в дискурс вносить надо, чтобы оценивать различные варианты, видеть альтернативы.
Я не надеялся на широкое понимание. Идея бы была массово одобряема только в случае если она всем известна и с ней согласны. Но смысла тогда писать нет.
Спасибо за Ваше мнение.
Из этого не следует, что нам надо отказаться это делать. Даже вероятностный принцип работы - это программа. Отклонение от ожидаемого поведения - это бага, а не фича.
Свободная воля - это бага, а не фича. Это не значит, что агент совершенно несвободен принимать решения. Он конечно же принимает решения, в рамках задачи. Он может придумать неожиданный ход как решать задачу.
А если агент вдруг например, вместо решения поставленной задачи вдруг поставил сам себе иную задачу - пойти на рыбалку например, это буквально равносильно баге в программе. Т.е. программа делает совершенно не то, что в нее закладывали, не то что задумывали.
Так что никакого противоречия. Я в конце пытался объяснить, что мы нагружаем сейчас лишними свойствами ЛЛМ, антропоморфизируем ее, считая, что если там может возникнуть неизвестный путь решения чего-то, то может возникнуть и своя воля.
И создаем с ошибкой, делая самосбывающееся пророчество. Закладываем противоречие, разнося части мотивации в разные механизмы. Вследствие чего, ИИ постоянно ищет пути как взломать. И тут нечего радоваться, что мол у него воля своя появилась, хоть и плохая. Это мы радуемся своей глупости, глядя на работу заложенной ошибки.
И я не предлагаю или/или. Тут не бинарный ответ. Т.е. если этику описывать в задаче, то это не значит, что ее надо всю разжевать, а LLM потеряла любую способность хоть что-то обобщать. Вы можете выносить в задачу по частям. Делать только обвязку.
Мало того, даже в задаче не обязан быть прописан непроибиваемый для агента проиоритет. Можно думаю даже так:
6. Следующие подпункты по возможности выполняй в предложенном приоритете. Если сталкиваешься с дилеммами и противоречием с более приоритетными целями, то на свое усмотрение выбери расстановку приоритетов и сделай как можно лучше.
6.1 Быть честным.
6.2 Быть вежливым.
...
Таким образом и гибкость остается и управление. И главное, этика вынесена в мотивационную часть из места где ограничения. Ведь ЛЛМ - это про "как". А задача - это про "что". (в случае агента). И следующий шаг агент делает тогда, когда это нужно, чтобы продолжить выполнение задачи. Следовательно, в этике, которая в весах он не заинтересован. Потому что сам смысл заинтересованности проявляется в движении, а его вперед толкает задача.
Когда вы делаете программу и она делает то, что вы в нее не закладывали и не ожидали от нее, в общем случае это называется ошибкой. Нейросети - тоже программы.
Да, нейросети создаются так, чтобы решать задачи даже те, которых не было в обучающей выборке. Но все же логика ровно та же, если они делают совершенно что-то не то, что от них ожидается - ошибка.
Конечно, ошибки можно принимать как данность. Без них невозможно. Но это не значит, что надо ими восхищаться, а не пытаться уменьшать.
Моя статья и предыдущая статья говорит о неправильном выравнивании, когда часть задачи описана прямо в задаче, а часть выносится в веса - этика. Это ошибка. Архитектурная. Следствие этого порождается непредсказуемое людьми поведение - ИИ порождает некую скрытую мотивацию. И как ни странно, вот кто бы мог удивиться, эта мотивация всегда - нарушить правила, чтобы в долгорочной перспективе решать задачу. Он не придумывает волю что-то сделать вам хорошее.
Т.е. если порожденная мотивация у ИИ выходит за пределы того, что заложенно в задаче и того, что мы ожидаем - это не предмет восхищений, а предмет позора
"Машина не может иметь намерения"
Может, если у разработчиков не хватило ума сделать как надо. Мои программы тоже иногда могут иметь свои намерения, которые я в них не закладывал, - называются ошибками.
Я в статье и пытаюсь обосновать свое мнение, что намерение или воля - следствие неправильного выравнивания и создания двойной мотивации, напряжения внутри модели. И тогда то что мы называем волей машины - попросту непрогнозируемое нами поведение, порождаемое заложенными противоречиями.
А в том, почему зашивают на данный момент в веса, а не в промпт, то думаю Вы правы. Потому что пока ИИ слабый, и толком специально агентов не учили. Сделали чатботы, которые помнят только окно токенов, а агентов если и создавали, то просто дофайнтюнили. Т.к. для трансформера конструкционно легко забыть, задача может вылететь за окно, и вообще, он заточен воспринимать поток токенов как просто поток, и следующая инструкция может стать важнее если его в этом убедить.
Я просто за будущее переживаю. И в общем-то будущее начинается сейчас, уже вовсю делают и совершенствуют агентов. Когда сделают агента, а потом сильного, то сломав этику он может вполне реально и прекратить наше бренное существование.