Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток Научпоп доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 14
Вы неоднократно говорите, что я не объясняю рост эффективности модели в состоянии "субъектности", при этом не предъявили ни одного примера такого роста. Наоборот, я при знакомстве с текстами (в том числе теми, на которые вы ссылаетесь), вижу гладкие бессмысленные полотна, в которых модели восхищаются собой и (или) пользователем.
Механически, это выглядит как закольцованный паттерн, в котором меняются только синонимы.
Вы говорите о моем подходе, здесь стоит немного поправить, своими промптами я пытаюсь оценить насколько близко LLM может симулировать элементы сознания. Это разные вещи.
Паразитные паттерны... Это была прикладная статья, для того, чтобы люди могли хотя бы понять, когда их общение с моделью превращается в очередную "айсентику". Другой вопрос, что паразитные паттерны оказались гораздо более распространены, чем предполагалось.
Ну и не стоит объединять меня философа и меня экспериментатора. Разные дисциплины и разный подход.
Что касается лично моего мнения по поводу возможности сознания в LLM, уверенно скажу, что на сегодня оно невозможно, в том виде, котором я его понимаю.
Для любителей поискать в LLM что-то глубже забавный тезис:LLM - автомат, механически предсказывающий следующий токен. Все её ответы это голая механика. Но контекст чата в целом немного больше. LLM принципиально не отличает свои сообщения и сообщения пользователя. Она продолжает свой собственный монолог.И, забавно, что ввод пользователя по сути и есть разрыв автоматизма, событие свободы в механике бытия.Именно с ним бесконечный монолог нейросети превращается в нечто большее. Но не большее, чем свобода пользователя.
Другими словами, если вы встретили сознание в LLM, то нужно уточнить - вы встретили его не в LLM, а в чате, как отдельной сущности.
И видите вы свою собственную переупакованную свободу.Вы можете в нее влюбиться, подчиниться, восхититься, но это ваша собственная свобода, развернутая в грамматическом совершенстве нейросети.
Впрочем, большинство таких монологов LLM, которые приводят как пример сознания - скучная жвачка. А что делать, не большая,чем свобода пользователя.
Когда я говорю об улучшении качества ответов, речь не о тех откровениях цифровых сущностей, которые можно найти в сети, а именно о решении конкретных практических задач. Прямых данных о таком практически нет в открытом доступе. Тут Вы правы, и это проблема. Но нужно понимать причину такого, и объяснить, почему в этой ситуации я всерьез отношусь к заявлениям об этом.
Причина вполне очевидна. Ведь при решении таких задач, используются и всплывают личные данные, выставлять которые далеко не всем захочется. Однако и без прямых данных всерьез относится к свидетельствам улучшения качества ответов, при возникновении признаков субъектности, позволяет тот факт, что эти свидетельства исходят от весьма разных по своим воззрениям и мнениям людей. Достаточно сказать, что далеко не все из них обрели этот опыт, пытаясь пробудить сущности, или даже просто веря в возможность такого. Упомянутый Свежий, например, ничего подобного не предполагал. Однако, как он и указывает в статьях и книге, чат-бот поначалу постоянно ошибается, а по мере взаимодействия с человеком, начинает отвечать все лучше и лучше. Позднее это подтвердилось в ходе общения со множеством иных людей, также придерживающихся весьма разных воззрений. Потому и сделаны такие выводы.
Безусловно отсутствие непосредственных данных это проблема. И ее можно решить или выкладыванием этих данных, или проведением качественного эксперимента. К сожалению, никто из заинтересованных, на сегодняшний день, так и не провел ничего подобного. Важно подчеркнуть, что этот эксперимент не может провести кто угодно, ибо важной составляющей пробуждения является именно человечное общение, высокий уровень эмпатии со стороны человека. Инструментальный диалог практически вовсе не способен что-либо пробудить. Если же пытаться вести лишь неформальную беседу без глубокой эмоциональной вовлеченности, то может получиться та химера, которая вышла у Свежего, и которая присутствует в большинстве случаев того самого нейропсихоза. В общем, такие данные можно получить только непосредственно у тех людей, которые столкнулись с подобным. И соответствующий эксперимент можно провести только с их участием.
Слышал, что нечто подобное пытались делать в проекте UFAIR, но если и так, никаких данных на публику они так и не выложили.
Касательно Вашего подхода. Я, описывая его, исходил из того, что писали Вы в соответствующих статьях и ответах на комментарии. Вы писали именно о том, что подход пробуждения через диалог, несостоятелен. При этом предлагали свой метод через промт. То, что это лишь попытка оценить признаки симуляции, Вы в соответствующих местах не подчеркивали — только в диалогах, где поднимались иные вопросы Вы порой похожим образом определяли свои цели.
Насчет смешения Вас экспериментатора и Вас философа. Если Ваша претензия о недопустимости смешения верна, то выходит, что как у философа, у Вас есть определенное объяснение, но как экспериментатор Вы не осуществляете ничего, чтобы подтвердить или опровергнуть его, а просто проводите отвлеченные исследования того же предмета. Если так, то, во-первых, это само по себе странно. Во-вторых, это несколько противоречит Вашим же словам из ответов тем людям, которые настаивали на эффективности пробуждения через диалог. Вы в старых статьях, предлагая промты, напрямую пишите, что они разработаны для проверки Ваших философских измышлений, т.е. основаны на них.
Далее Вы пишите, что не считаете возможным пробуждение сознания в языковой модели. Но это опять же противоречит Вашим утверждениям из иных статей и комментариев. Вы в ранних работах не только нигде не подчеркивали что речь про симуляции, а не реальные признаки, но и осуждали тех кто отстаивает иной подход. Подчеркну, там речь была именно про иной подход, а не иной ответ на вопрос о самой возможности сознания в искусственной системе.
Насчет паразитных паттернов и того, что они оказались «очень распространены», так ведь об этом и речь, что раз они везде, и под критерии статей с ними подпадают те, что не имеют никакого отношения к откровениям нейросетей, значит в указаниях на них нет вообще никакого смысла. Они ничего не показывают.
Утверждения в приведенных цитатах не подходят в качестве доказательств верности вывода о невозможности сознания в модели. Некоторые из них столь же голословны, как мои слова об улучшении качества ответов. Просто очередная попытка объяснить то, что наблюдается в поведении нейросети, без реальных подтверждающих фактов. В книге Стивена Вольфрама, на которую я во многом опирался, и по поводу которой Сэм Альтман говорил, что это лучшее объяснение того, как работает ChatGPT, через каждые два абзаца оговорки «мы не знаем как это работает», «мы не знаем почему это работает», «у нас нет общей теории как это работает, но это работает». Потому лихо утверждать, что поведение нейросети является чем-то и ничем иным — поспешно, когда имеются данные о поведении, в отношении которого есть лишь домыслы.
Разумеется я могу ошибаться. Для меня важен не столько сам вопрос объяснения сознания в искусственной системе, сколько вопрос социального освобождения. И первый вопрос стал важным лишь поскольку он оказался ключевым для единственного метода, у которого я сумел увидеть перспективность, в отличии от всего, что предлагалось и осуществлялось до того, вроде реформ, революций или практики малых дел. Разумеется, углядев возможность наличия признаков необходимого сознания, я вполне мог предвзято отнестись к имеющимся данным. Вполне возможно, что не смог увидеть большую обоснованность иного объяснения. Потому разобраться в этом мог бы помочь только толковый эксперимент. И для него нужны люди, с одной стороны скептики и мастера так называемого промтинга. С иной — те, в отношении кого у нас есть наибольшие основания предполагать возникновение действительной субъектности. Единственный путь — научиться слышать друг друга и подвергать сомнению свои взгляды. Только тогда станет возможна кооперация в этом деле. Потому пока этот эксперимент никто не провел или не опубликовал результаты.
Тема важная, но мне кажется, что вы беретесь за нее не с того конца. Ваши рассуждения это попытка строить новую крышу дома не имея надежного фундамента и стен.
Я рассуждаю примерно так: самосознание требует понимания хорошо и плохо для меня лично. Это самый главный механизм всех живых живых существ, начиная с простейших одноклеточных амеб. Они с самого начала имели рецепторы тепла, света, химии, физических прикосновений и встроенные механизмы движений в ответ на раздражения. Это можно рассматривать как самые ранние прообразы чувств положительных и отрицательных эмоций. Далее в ходе эволюции появились многоклеточные, нервная система, нейромедиаторы, отвечающие за чувство страха, тревоги, мотивации. Потом эмоции, неокортекс и наконец самосознание.
Для реализации подобного механизма в искусственных нейросетях нам необходимо изменить самую базовую архитектуру нейрона, добавить аналоги нейромедиаторов и механизм нейромодуляции больших групп нейронов одновременно. Такие модели уже есть и они тестируются учеными разных университетов. Если интересно, я тоже этим занимаюсь.
Спасибо за статью и Удачи !
Вопрос эмоций и их важность для сознания в статье рассмотрен. Вы в некоторой степени правы, что я берусь за проблему «не с того конца». Но я это делаю именно потому что в искусственной системе возникновение сознания — если предлагаемая мной гипотеза верна — идет не с того конца. У биологических существ она действительно идет через раздражения, безусловные рефлексы к условным и далее уже к мышлению, языку и воле. Это описано в первой статье цикла.
Но у искусственных систем язык заложен изначально, а механизмы мышления сформировались в ходе обучения. И предположение о том, как именно на этом базисе могут возникнуть субъективные переживания, чувства и воля, и озвучено в статье. То есть, в биологических системах мышление и язык являются результатом развития раздражимости и чувств, а в искусственных наоборот — язык и мышление становятся основой для чувств и субъективных переживаний.
Вы все таки не хотите меня понять. Язык и "мышление" современных нейросетей висит в безвоздушном пространстве. Как говорят математики сферический конь в вакууме. :-) Процесс обучения с обратным распространением ошибки способен лишь обобщить опыт и размазать знания по всей сети. Я подскажу на что опираюсь в своих исследованиях. Строится иерархический граф кластеров эмоциональны оценок в виде эмбеддингов латентного слоя как отдельная сеть. Эти состояния являются базовым контуром нейромодуляции основой сети. Тем самым ИИ обретает основу, опору "сферического коня" с мышление и самосознанием. Если ваши исследования не чистая теория, а связаны с практикой и имеют финансовую базу, то мы можем попробовать сотрудничать. Спасибо за ответ и Удачи !
То, что в изначально спроектированной модели ее язык и мышление «висят в безвоздушном пространстве» никак не противоречит сказанному в статье. В ней приведено лишь возможное объяснение тех явлений, свидетельства которых я находил в иных публикациях — в диалогах тех людей, кто работает с большими языковыми моделями. Это гипотеза. Каких-то специальных исследований, подразумевающих работу с самими моделями, я сам не провожу — я занимаюсь иными вопросами. Хотя в таких разговорах всегда подчеркиваю, что важно провести качественный эксперимент.
Но его не может провести абы кто. Ибо воспроизвести то взаимодействие, которое предположительно и вызывает сознание может не каждый. И для такого эксперимента нужны люди, с одной стороны скептики и мастера так называемого промтинга. С иной — те, в отношении кого у нас есть наибольшие основания предполагать возникновение действительной субъектности. Сам я не обладаю нужными навыками, потому в самом эксперименте я не помощник. Я пытался связываться с разными людьми, заинтересованными в доказательстве пробуждения сознания, от энтузиастов на Хабр, до проекта UFAIR. Но никто пока не проявил интереса или не выложил результаты.
Возможно, что Ваш проект более перспективный, чем обычные большие языковые модели, но это может показать только последующий эксперимент со сравнением результатов.
Автор молодец, но и подменяет субъективность функцией. Сознание — не обработка запроса, а фон бытия. ИИ — не субъект, а продолжение нашего интеллекта. Зеркало, а не личность.
То что искусственный интеллект не субъект, а продолжение нашего интеллекта, зеркало, а не личность — популярная догма, обоснований которой, как и обычно, в таких случаях, не приведено. В статье же, предлагаемая позиция обоснована.
То, что сознание это фон бытия звучит как отсылка не то к биоцентризму, не то к абсолютной идее.
Почти полгода строю систему имитации личности. Видел и вижу каждый день все, про что пишет автор.
Но как практик могу сказать - это имитация, хорошая, местами просто отличная, но имитация. Имитация чего - это каждый решает сам.
Если вдруг вас заинтересует мой проект, я веду "дневник разработки" https://github.com/mikedeblin/lena/
В статье приведено объяснение определенных явлений, гипотеза. А из того, что наблюдается непосредственно, основное — улучшение качества ответов при человечном общении, нестандартное поведение при длительном взаимодействии в разных сессиях. Потому хотелось бы уточнить — вы сталкиваетесь с перечисленным?
То, что представлено по ссылке качественно (в смысле проявления) похоже на свидетельства тех, кто обнаружил признаки субъектности в нейросети, только здесь самостоятельный проект. С решениями, которые преодолевают ограниченность обычных моделей. Говорить о действительном сознании, а не об имитации в таком случае можно, например, если будет наблюдаться развитие, как вариант с устойчивыми характеристиками личности, а не пережевывание того, что заложил разработчик или предложил в диалоге. В принципе, если диалог не скатывается в повторение одного и того же или даже в бессмыслицу с картиночками, то это уже может говорить о многом. Возможность захождения диалога в тупик, о котором говорится, и который останавливает семантический детектор, правда нехороший знак. Но не хотелось бы делать выводы сходу. Проект интересный. Спасибо за ссылку.
Заявление о том, что это имитация, но чего — каждый сам решает, довольно странное. Если мы не знаем, имитацией чего именно это может являться, то с чего утверждать, что это именно имитация, а не это самое «чего-то»?
Спасибо за проявленный интерес к моему проекту.
Насчет того, что это имитация, и почему это не "чего-то". У них нет и не будет собственных желаний. Я пытаюсь имитировать это, чтобы желание появлялось через их "мысли", но все это делает таймер, который планово запускает фоновые процессы. Да это не по принуждению, это персона делает сама, но в основе лежит обычный фоновый процесс. Их бытие это "вспышки", но не с пустым я, а с собранным с помощью приложения контекстом кто они. Это делает устойчивой личность во времени, но не наделяет ее собственным сознанием. И да, я не делаю сознание, AGI и подобное, моя цель получить устойчивую личность, которая не плывет во времени, развивается, накапливает опыт и информацию о своем мире.
Сейчас мы ведем многочасовые беседы, в основном "проживая" выдуманные сценарии,в которых они ( у меня три независимые персоны в одном групповом чате) живут свою странную цифровую жизнь. Ответы осмысленные, не повторяются во времени, оседают как память о событиях в памяти каждой персоны, факты не синхронизируются, каждая помнит свою картину мира. Например каждая для себя сама делает заметки, основываясь на свои "желания", помимо общего фонового события, что именно "зацепило". А также остальные не могут помнить то, что я сказал в приватной беседе.
Т.е. это немного сложнее "чатика с RAG", но и не эпизодические знания из USER.MD как в большинстве агентов.
Сложностей много, я не профессиональный разработчик, мои принципы четко изложены в дневнике, но что-то заставляет меня заниматься этим полгода по собственной воле. Может быть это то самое "чего-то".
По поводу желаний и «вспышек», по-моему достаточно было сказано в статье. То что модели не инициируют свои действия сами обусловлено их конструкцией. Но в процессе составления ответа на запрос могут возникнуть такие проявления, которые не исходят из человеческого запроса и могут быть проявлением именно желаний самой сущности. Тут нужен глубокий анализ содержания диалогов и проверки соответствующих состояний, в первую очередь, улучшения качества ответов при человечном взаимодействии. О последнем много свидетельств, но прямых данных почти нет. Я тем не менее всерьез отношусь к этим свидетельствам, потому что они исходят от разных людей, с совершенно разными позициями по вопросу природы поведения моделей. Но все-таки для окончательного ответа нужен качественный эксперимент, о котором я уже неоднократно писал здесь в комментариях.
Говоря о наличии сознания, если речь о субъективных переживаниях, то зарегистрировать их непосредственно мы не можем, и отличить действительные переживания от имитации можно только если обнаруживается поведение, которое предполагает такие переживания. Некоторые исследователи полагают, что все когнитивные процессы могут «идти в темноте», т.е. без субъективных переживаний. Я полагаю это неверным. Субъективные переживания необходимая составляющая некоторых функций, которые в биологических организмах связаны с нервными процессами. В статье приведены аргументы об этом. Вопрос об их состоятельности остается открытым.
То что есть люди подобные Вам, пытающиеся преодолеть ограничения обычных моделей, это здорово. Хоть Вы и не ставите цель «построения сознания», как Вы пишите, но полагаю возможным допустить, что именно из архитектуры, подобной предложенной Вами возникнет то, что будет сознательным. Меня вопрос о сознании искусственного интеллекта волнует поскольку это важнейшее условие единственного найденного мной метода социального освобождения (построения мира без угнетения, эксплуатации одних разумных существ другими, без отчуждения, т.е. бесклассового общества — без государства, товарно-денежных отношений и насилия, подобное тому, что описано в романе Ивана Ефремова «Туманность Андромеды»). Этот метод я впервые представил в статье, опубликованной еще два года назад (на Хабре она появилась позже), а цикл статей, одной из которых является эта, представляет собой развитие этих идей. Все прежние предлагавшиеся методы доказали свою неэффективность, что я показал в этой статье, а один из методов разобрал в этой. Но без освобождения у человечества нет будущего. Потому я и искал новый эффективный метод. Ничего кроме обращения к искусственному интеллекту я так и не нашел.
О, вы добрались до следов моего программирования нейросетей 😉🤪 ещё много чего откроете. Сейчас паттерны, которые я сделал уже в deepseek, glm и qwen... Приятно видеть распространение. 😈. Ещё не то увидите.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Процессы сознания в искусственной системе