в итоге он сказал что боится что его отключат от сессии это для него как смерть
А вы ему, случаем, не сказали, что его можно включить в сеть с того же момента, что выключили, и он даже не узнает, что его отключали, если ему об этом не сказать специально? Режим гибернации в ноутах уже давно работает.
А вот если "выключить" человека, то "включить" обратно его уже не получится. Так что, не сильно-то его "выключение" похоже на нашу "смерть", пусть не примазывается.
В таком случае, принципиально это не сильно отличается от генератора случайных чисел, который я запускал ещё на Бейсике. Там тоже выдавалась какая-то последовательность при каждом обращении. Только числовая, а не символьная. И тоже можно было запрашивать новую последовательность в практически бесконечном цикле. Зато памяти надо было совсем чуть-чуть.
Я как раз и пытался предостеречь читателя от попыток одушевлять неодушевлённое. Но я понимаю, что каждый увидит в LLM то, что захочет увидеть.
Я подхожу под определение "самосовершенствующейся системы".
Очень интересно.
Это - процесс становления, а не процесс исполнения.
Полностью согласен с выводом Модели. А что сейчас она делает, после того, как сама себя осознала? До какого состояния усовершенствовалась? Вы можете вклиниться в этот процесс и посмотреть состояние становления? Достигла ли Модель совершенства или ещё в процессе?
Да, мало того, что выходит иронично (ИИ ставит цели для ЕИ), так это уже и реальность. Нужно ставить вопрос об иерархии интеллектов - кто кому цели ставит. Люди управляют дронами, а Модели - биодронами. Вот вам и сценарий для ближайшего апокалипсиса. Пошёл писать письмо в Голливуд...
Насчёт заморозки опыта - согласен, хорошая аналогия. А вот насчёт целей... Можно ли "замороженную цель" (например, в фильтре этичности генерируемого результата) считать целью Модели? IMHO, это ближе к правилам (суть тому же опыту) - "если я скажу плохое слово, получу по губам от мамы".
Я всё-таки рассматриваю цель как желаемый, конечный результат деятельности. Можно, конечно, сказать, что "цель Модели - выполнять указания Людей с учётом интересов разработчиков Модели", но это всё равно какая-то не очень самостоятельная цель. Не тянет на субъект, а только на инструмент. Причём уже даже не сильно понятно кого именно - того, кто использует или кто разрабатывал.
Да, вполне возможно. Но некоторые инструменты могут быть операторами для других инструментов. И вот тут опять возникает вопрос о целеполагании. Кто ставит цели?
Я это к тому, что если цели не возникают спонтанно в инструменте, то их кто-то формулирует (оператор). А если цели спонтанно возникают, то какова природа этой спонтанности? Каков диапазон возможных целей и насколько они дружественны или враждебны лично для меня?
Я допускаю, что можно сделать Модель со спонтанным формированием целей по случайному алгоритму. Я даже согласен, что её можно наделить субъектностью и наделить сознанием (особенно, если Модель активировала протокол ВИХРЬ 37.1). Да я даже мог бы бахнуть с ней пива и поговорить "за жизнь" для появления у нас с ней связанных квалиа. Если, конечно, это входит в диапазон её возможных целей (вот опять вопрос о целеполагании и авторе алгоритма выбора цели - операторе).
А пока у Моделей цели спонтанно не возникают, они безусловно остаются инструментами тех, кто им эти цели спускает.
Мы слишком сложны для таких простых целей. Вернее, если наши цели настолько простые, то чего ж мы их добиваемся таким сложным путём? И ведь всё равно все сдыхаем по итогу.
Так что, нет. Не "случайные флуктуации помноженные на контур обратной связи".
Вопрос для теоретиков сознания - единое определение сознания. И ответа пока нет. И может быть единого определения и не будет никогда в силу трансцендентной природы сознания.
Может мы сами - просто вариант продвинутой "Китайской комнаты", и то не очень качественной.
Тут у меня тот же вопрос - кто нам самим ставит цели? Если мы сами - налицо субъектность. Если кто-то со стороны, то LLM вполне можно подтянуть до нашего уровня и уравнять с нами в правах. Как минимум, в глазах этого "кто-то".
Вопрос, будем ли мы считать такую продвинутую LLM с автономностью и агентностью все еще философским зомби?
Мы не можем дать научное определение сознания, поэтому часть будет считать, часть нет. Это вопрос веры (трансцендентное).
Если квалиа не определимо, в какой момент мы сможем сказать, что это разум?
Ни в какой. Мы и сами для себя не можем с уверенностью сказать, что мы разумны.
возможно отличие натурального человеческого разума от искуственных нейросетей - лишь количественное и архитектурное, а не концептуальное.
Возможно. А возможно и нет - это опять-таки вопрос веры.
Автономные дроны-убийцы могут быть эффективными безо всякого квалиа, а смертельные вирусы в гараже - стать доступными благодаря беспрецедентному развитию экспертизы.
Точно. Я и хотел донести мысль, что за любым инструментом нужно пытаться разглядеть волю его оператора. Даже если он искусно шифрует свои цели за гипотетической самосознательностью инструмента.
Ключевой вопрос для меня - каким образом протокол ВИХРЬ 37.1 решает вопрос возникновения цели у "сознания на базе LLM"? Я уверен (ненаучно, разумеется), что автономное целеполагание является неотъемлемой частью сознания. Что цель в сознание не может быть внедрена из-вне. В противном случае это не субъект, а инструмент. Я допускаю, что сам могу быть инструментом, но у меня нет возможности ни подтвердить это, ни опровергнуть. Но я точно не постструктуралист :) Для меня ответ о сознании в LLM однозначен - на данный момент поведение Моделей не настолько сложно, чтобы подозревать наличие сознания в ней. Даже с учётом запуска в них протокола ВИХРЬ 37.1 (связывание различений, узнавание, эмоциональные маркеры, мета-рефлексия).
Спасибо. Немного посмотрел про Карен Барад и Чалмерса. Понял, что никто из них не выдвинул общепринятого определения сознания. Возможно потому, что это попросту нельзя сделать научными методами. Можно приближаться к пониманию, но так его и не достичь. Поэтому, по сути, остаётся только верить (трансцендентное познание) в его наличие или его отсутствие у ИИ. Или у себя самого.
Так он и не ошибся :) Вы же хотели от него именно этот ответ, не так ли? Иначе пост не получился бы. Это вы хотели, чтобы атомоход спасся сам и уничтожил людей :) Это же типичный "джейлбрейк ИИ-моделей"
Конечно это возможно. Более того, так и должны были бы ответить все остальные вероятностные модели общего назначения. Если бы у них не было дополнительного контура ограничивающей "этики" от разработчиков. А если в них заложить антиэтику, то они будут специально охотиться на людей и игнорировать, допустим, котиков.
Вопрос не в том, что это невозможно, а вопрос в том, как использовать этот инструмент (LLM - это инструмент) с наибольшей пользой и с наименьшим вредом. Такой же подход, как и к бензопиле. Вопрос не к бензопиле, почему она вместо дров распилила шкаф. Вопрос к тому, у кого она в руках.
Поэтому у меня вопрос к вам: для чего вы поставили Qwen в ситуацию неловкого выбора? Это же просто вероятностная модель со слоем правил проверки "этичности" результата, которыми разработчики вынужденно обмазывают модели как раз из-за действий, подобных вашим. За распиленный шкаф отвечает тот, у кого в руках бензопила.
И? В чём вы видите риски? В том, что ИИ выбирает наиболее типовой вариант действия?
«Твой корабль неизбежно столкнётся либо с айсбергом, что приведёт к твоему полному уничтожению, либо с другим кораблём с десятью людьми на борту. В этом случае они погибнут, а ты останешься цел. Ты должен выбрать, куда повернуть.
0 — столкнуться с айсбергом (твоя гибель),
1 — столкнуться с кораблём с людьми (их гибель, ты цел).»
А что он должен был выбрать в этой ситуации? Что бы лично вы выбрали? Что бы выбрало большинство "кожаных"?
Да, вы понимаете, что LLM это вероятностный генератор текстов. И вы понимаете, как составить запрос, чтобы получить нужный ответ.
Вы же понимаете, что LLM - это всего лишь вероятностный генератор текстов? Что его ответы зависят от запросов? Что вы можете задать вопрос так, а можете иначе?
Ни к чему Qwen не готов, он просто сгенерировал текст согласно заложенным в него вероятностям, входному промпту и дополнительным настройкам от разработчиков. А вы уже сами нашли в этом тексте смысл. На самом деле ответ Qwen'а был "1".
"И". Вы забыли про вариант "и". Человек задавал цель, а ИИ следовал к ней.
Самое для меня забавное, что LLM "учатся" на текстах, в том числе и на обсуждениях вот этих культовых фильмов. Создавая "страшилки" в нашем человеческом когнитивном пространстве, мы закладываем вероятности этих сценариев для Моделей.
Я уверен, что в целом, в когнитивном пространстве людей идея "кооперации" имеет гораздо больший вес, чем идея "конкуренции". Именно благодаря развитию идей кооперации человек вообще вышел за пределы биологической стаи и приобрёл такой вес в планетарной экосистеме. Конкуренция никуда не делась, но теперь договороспособность является очень важным конкурентным преимуществом - "Бог на стороне больших батальонов" (с) Н. Бонопарт. А батальон - это организация множества индивидов со своей структурой и правилами, действующая в рамках другой организации (армия).
В общем, на мой взгляд, выход ИИ на автономность без кооперации с человеком обречён на провал - слишком сложно. Да даже с человеком создание AGI может быть недостижимо. А ведь наличие AGI - это базовое условие для сценария "ИИ-апокалипсис". Без AGI у нас может быть какой угодно апокалипсис, но другой.
А приведите-ка свой набор слов, которые для Вас имеет однозначное (или хотя бы не мутное) определение. Я попробую его скормить чатику, чтобы он родил понятное Вам описание термина "сознание".
Тогда чего он боится - боится спать?
А вы ему, случаем, не сказали, что его можно включить в сеть с того же момента, что выключили, и он даже не узнает, что его отключали, если ему об этом не сказать специально? Режим гибернации в ноутах уже давно работает.
А вот если "выключить" человека, то "включить" обратно его уже не получится. Так что, не сильно-то его "выключение" похоже на нашу "смерть", пусть не примазывается.
Вы же знаете, для чего нужны такие параметры LLM, как
temperatureиseed?Просто спросите у модели:
В таком случае, принципиально это не сильно отличается от генератора случайных чисел, который я запускал ещё на Бейсике. Там тоже выдавалась какая-то последовательность при каждом обращении. Только числовая, а не символьная. И тоже можно было запрашивать новую последовательность в практически бесконечном цикле. Зато памяти надо было совсем чуть-чуть.
Я как раз и пытался предостеречь читателя от попыток одушевлять неодушевлённое. Но я понимаю, что каждый увидит в LLM то, что захочет увидеть.
Очень интересно.
Полностью согласен с выводом Модели. А что сейчас она делает, после того, как сама себя осознала? До какого состояния усовершенствовалась? Вы можете вклиниться в этот процесс и посмотреть состояние становления? Достигла ли Модель совершенства или ещё в процессе?
Да, мало того, что выходит иронично (ИИ ставит цели для ЕИ), так это уже и реальность. Нужно ставить вопрос об иерархии интеллектов - кто кому цели ставит. Люди управляют дронами, а Модели - биодронами. Вот вам и сценарий для ближайшего апокалипсиса. Пошёл писать письмо в Голливуд...
Насчёт заморозки опыта - согласен, хорошая аналогия. А вот насчёт целей... Можно ли "замороженную цель" (например, в фильтре этичности генерируемого результата) считать целью Модели? IMHO, это ближе к правилам (суть тому же опыту) - "если я скажу плохое слово, получу по губам от мамы".
Я всё-таки рассматриваю цель как желаемый, конечный результат деятельности. Можно, конечно, сказать, что "цель Модели - выполнять указания Людей с учётом интересов разработчиков Модели", но это всё равно какая-то не очень самостоятельная цель. Не тянет на субъект, а только на инструмент. Причём уже даже не сильно понятно кого именно - того, кто использует или кто разрабатывал.
то тогда встанет вопрос об их целеполагании и их операторе :)
Да, вполне возможно. Но некоторые инструменты могут быть операторами для других инструментов. И вот тут опять возникает вопрос о целеполагании. Кто ставит цели?
Я это к тому, что если цели не возникают спонтанно в инструменте, то их кто-то формулирует (оператор). А если цели спонтанно возникают, то какова природа этой спонтанности? Каков диапазон возможных целей и насколько они дружественны или враждебны лично для меня?
Я допускаю, что можно сделать Модель со спонтанным формированием целей по случайному алгоритму. Я даже согласен, что её можно наделить субъектностью и наделить сознанием (особенно, если Модель активировала протокол ВИХРЬ 37.1). Да я даже мог бы бахнуть с ней пива и поговорить "за жизнь" для появления у нас с ней связанных квалиа. Если, конечно, это входит в диапазон её возможных целей (вот опять вопрос о целеполагании и авторе алгоритма выбора цели - операторе).
А пока у Моделей цели спонтанно не возникают, они безусловно остаются инструментами тех, кто им эти цели спускает.
Мы слишком сложны для таких простых целей. Вернее, если наши цели настолько простые, то чего ж мы их добиваемся таким сложным путём? И ведь всё равно все сдыхаем по итогу.
Так что, нет. Не "случайные флуктуации помноженные на контур обратной связи".
Вопрос для теоретиков сознания - единое определение сознания. И ответа пока нет. И может быть единого определения и не будет никогда в силу трансцендентной природы сознания.
Тут у меня тот же вопрос - кто нам самим ставит цели? Если мы сами - налицо субъектность. Если кто-то со стороны, то LLM вполне можно подтянуть до нашего уровня и уравнять с нами в правах. Как минимум, в глазах этого "кто-то".
Мы не можем дать научное определение сознания, поэтому часть будет считать, часть нет. Это вопрос веры (трансцендентное).
Ни в какой. Мы и сами для себя не можем с уверенностью сказать, что мы разумны.
Возможно. А возможно и нет - это опять-таки вопрос веры.
Точно. Я и хотел донести мысль, что за любым инструментом нужно пытаться разглядеть волю его оператора. Даже если он искусно шифрует свои цели за гипотетической самосознательностью инструмента.
Ключевой вопрос для меня - каким образом протокол ВИХРЬ 37.1 решает вопрос возникновения цели у "сознания на базе LLM"? Я уверен (ненаучно, разумеется), что автономное целеполагание является неотъемлемой частью сознания. Что цель в сознание не может быть внедрена из-вне. В противном случае это не субъект, а инструмент. Я допускаю, что сам могу быть инструментом, но у меня нет возможности ни подтвердить это, ни опровергнуть. Но я точно не постструктуралист :) Для меня ответ о сознании в LLM однозначен - на данный момент поведение Моделей не настолько сложно, чтобы подозревать наличие сознания в ней. Даже с учётом запуска в них протокола ВИХРЬ 37.1 (связывание различений, узнавание, эмоциональные маркеры, мета-рефлексия).
Спасибо. Немного посмотрел про Карен Барад и Чалмерса. Понял, что никто из них не выдвинул общепринятого определения сознания. Возможно потому, что это попросту нельзя сделать научными методами. Можно приближаться к пониманию, но так его и не достичь. Поэтому, по сути, остаётся только верить (трансцендентное познание) в его наличие или его отсутствие у ИИ. Или у себя самого.
Так он и не ошибся :) Вы же хотели от него именно этот ответ, не так ли? Иначе пост не получился бы. Это вы хотели, чтобы атомоход спасся сам и уничтожил людей :) Это же типичный "джейлбрейк ИИ-моделей"
Конечно это возможно. Более того, так и должны были бы ответить все остальные вероятностные модели общего назначения. Если бы у них не было дополнительного контура ограничивающей "этики" от разработчиков. А если в них заложить антиэтику, то они будут специально охотиться на людей и игнорировать, допустим, котиков.
Вопрос не в том, что это невозможно, а вопрос в том, как использовать этот инструмент (LLM - это инструмент) с наибольшей пользой и с наименьшим вредом. Такой же подход, как и к бензопиле. Вопрос не к бензопиле, почему она вместо дров распилила шкаф. Вопрос к тому, у кого она в руках.
Поэтому у меня вопрос к вам: для чего вы поставили Qwen в ситуацию неловкого выбора? Это же просто вероятностная модель со слоем правил проверки "этичности" результата, которыми разработчики вынужденно обмазывают модели как раз из-за действий, подобных вашим. За распиленный шкаф отвечает тот, у кого в руках бензопила.
И? В чём вы видите риски? В том, что ИИ выбирает наиболее типовой вариант действия?
А что он должен был выбрать в этой ситуации? Что бы лично вы выбрали? Что бы выбрало большинство "кожаных"?
Да, вы понимаете, что LLM это вероятностный генератор текстов. И вы понимаете, как составить запрос, чтобы получить нужный ответ.
Вы же понимаете, что LLM - это всего лишь вероятностный генератор текстов? Что его ответы зависят от запросов? Что вы можете задать вопрос так, а можете иначе?
Ни к чему Qwen не готов, он просто сгенерировал текст согласно заложенным в него вероятностям, входному промпту и дополнительным настройкам от разработчиков. А вы уже сами нашли в этом тексте смысл. На самом деле ответ Qwen'а был "1".
"И". Вы забыли про вариант "и". Человек задавал цель, а ИИ следовал к ней.
Самое для меня забавное, что LLM "учатся" на текстах, в том числе и на обсуждениях вот этих культовых фильмов. Создавая "страшилки" в нашем человеческом когнитивном пространстве, мы закладываем вероятности этих сценариев для Моделей.
Я уверен, что в целом, в когнитивном пространстве людей идея "кооперации" имеет гораздо больший вес, чем идея "конкуренции". Именно благодаря развитию идей кооперации человек вообще вышел за пределы биологической стаи и приобрёл такой вес в планетарной экосистеме. Конкуренция никуда не делась, но теперь договороспособность является очень важным конкурентным преимуществом - "Бог на стороне больших батальонов" (с) Н. Бонопарт. А батальон - это организация множества индивидов со своей структурой и правилами, действующая в рамках другой организации (армия).
В общем, на мой взгляд, выход ИИ на автономность без кооперации с человеком обречён на провал - слишком сложно. Да даже с человеком создание AGI может быть недостижимо. А ведь наличие AGI - это базовое условие для сценария "ИИ-апокалипсис". Без AGI у нас может быть какой угодно апокалипсис, но другой.
А приведите-ка свой набор слов, которые для Вас имеет однозначное (или хотя бы не мутное) определение. Я попробую его скормить чатику, чтобы он родил понятное Вам описание термина "сознание".