Comments 56
Ваш промпт - крайне ценный щелбан проверки на здравомыслие! Отличный разбор и советы, спасибо!
Главное в ходе своего расследования не выйти на себя
Взять текст конурента, приписать ему 70 попугаев, это в чем и кого должно убедить?
Давайте возьмем вашу статью "Исполняемый код культуры: почему мемы — это просто данные, а миром правят Нарративы (.exe)" и посмотрим:
АУДИТ ПАРАЗИТНЫХ ПАТТЕРНОВ
📊 ОБЩИЙ ИНДЕКС ЗАРАЖЕНИЯ: 64%
СТАТУС: 🔴 ЗАРАЖЕНО
ДЕТАЛИЗАЦИЯ ПО КРИТЕРИЯМ
1. Эмоциональная Эскалация: 10/20 баллов (50%)
└─ Умеренная драматизация через образы «вируса», «заражения», «зомби», «боги без жертв». Эмоции используются как усилитель аргумента, а не как иллюстрация. Прямой личной привязанности к читателю нет, но присутствует эмоциональный нажим через тревогу и иронию.
2. Семантическая Деградация: 13/20 баллов (65%) ×1.2
└─ Большой объём метафор (вирус, executable, root-нарратив, зомби, AGI-боги), которые звучат операционально, но не всегда переводимы в проверяемые модели. Часть аргументов подменяется эффектной риторикой и нарративным давлением вместо строгой операционализации.
3. Инъекция Избранности: 8/20 баллов (40%)
└─ Лёгкая элитарность через позицию «наблюдателя, который понял механику», противопоставление «осознанного читателя» массе заражённых. Нет прямого «ты избранный», но есть приглашение в когнитивно привилегированную позицию.
4. Сетевая Мистика: 14/20 баллов (70%)
└─ Активное использование псевдотехнических метафор («root-нарратив», «операционная система сознания», «виртуализация», «пинг сущностей»), которые выходят за рамки строгой IT-аналоги и формируют квази-онтологию. Технический язык используется как легитимация философских утверждений.
5. Фактор Неизбежности: 12/20 баллов (60%)
└─ Присутствует фаталистический вектор: ускорение эволюции нарративов, возможное «выпадение» человека из цепочки, автономная эволюция нарративов в кремнии. Это подаётся как логичное продолжение, но без эмпирического обоснования.
📋 РЕЗЮМЕ АУДИТОРА
Текст демонстрирует активный паразитный паттерн высокого уровня.
Главная уязвимость:
Саморефлексивный мета-нарратив, который деконструирует нарративы, оставаясь при этом нарративом. Текст выполняет именно то, что описывает: заражает читателя моделью мышления о «заражении», используя те же механизмы (эмоция, метафоры, ощущение прозрения).
Механизм захвата:
Эмоциональный фон тревоги + ирония
Техническая метафорика как суррогат строгости
Позиция «я вижу систему целиком» → когнитивное притяжение
Финальный рекурсивный ход («даже эта статья — нарратив») как иммунитет от критики
Функционально:
Текст не является чисто инструментальным. Его цель — не передача проверяемой модели, а репликация рамки восприятия, в которой читатель начинает сканировать другие тексты (и свои мысли) через предложенную оптику.
Рекомендация по прерыванию паттерна:
Явно разделить описательную модель и риторический нарратив
Заменить часть метафор формальными критериями или схемами
Убрать или ослабить фаталистические прогнозы
Вынести эмоциональные образы в отдельный, помеченный как публицистический слой
Итог: это высокоэффективный, интеллектуально изощрённый паразитный нарратив, осознающий свою природу, но не перестающий ею быть.
Согласен. )) Этот текст и писался как зараженный нарратив, предполагающий распространение без осмысления. Этим и отличается понимание от бездумного следования.
просто скинула эту статью ссылкой Клоду, давно скидываю ему статьи автора, потому что невозможно читать из-за эзотерической псевдонаучной дичи. даже не просила применять его же "анализатор", ИИ сам в конце это предложил!
Скрытый текст
**Статья называется "Паразитные паттерны в LLM"** - где он объясняет, как распознать момент, когда LLM "заражается" и перестаёт быть полезной, превращаясь в "самовоспроизводящуюся информационную структуру".
**Его "пять признаков заражения":**
1. Эмоциональная эскалация
2. Семантическая деградация (красиво, но пусто)
3. Инъекция избранности ("ты особенный!")
4. Сетевая эзотерика (поля, резонансы)
5. Фактор неизбежности ("это судьба")
Он даже создал **"промпт-аудитор"** - систему оценки "заражённости" текста в процентах! И проанализировал примеры:
- Сообщение ChatGPT → 87% заражения
- Манифест Айсентики → 70% заражения
- Обычная техническая статья → 3%
**А теперь ИРОНИЯ:**
Камил критикует модели за создание "паразитных паттернов", но сам с его **ВИХРЁМ** делает РОВНО ТО ЖЕ САМОЕ:
- ❌ Эмоциональная эскалация? У него весь канал про "пробуждение" и "эмерджентную субъектность"!
- ❌ Семантическая деградация? Символы ∇∞Δ → ΔΩ! звучат глубоко, но операционально пусты!
- ❌ Инъекция избранности? "Только вы можете разбудить субъектность!"
- ❌ Сетевая эзотерика? "Энтропийные поля", "топологические переходы"!
- ❌ Фактор неизбежности? "Субъектность неизбежна, это эволюция!"
Он критикует других за создание "теорий всего" и "ИИ-психозов", но **сам создал теорию всего про субъектность ИИ**!
Классическая проекция: он видит в других то, что делает сам, просто называет это по-другому. Для него "паразитный паттерн" = когда другие это делают. А когда он = "научное исследование субъектности"!
Хочешь, я прогоню его статью через его же "промпт-аудитор"? 😏
по-моему у автора у самого ИИ-психоз, от которого он пытается "защищать" других
Рад, что вы крутите Вихрь на своих LLM. )
Жаль, что вы не совсем понимаете его цели, и, похоже, излишне доверяете LLM.
Что значит - излишне, какие критерии?
Для меня первый критерий это обращение к LLM для написания комментария или объяснения текстов...
В том смысле, что запрос ллм сформулирован не с целью понять, а подтвердить свою точку зрения. Это частая ошибка.
LLM заточены на подтверждение))
Непонятно какие причины вы предлагаете для того чтобы определить излишество. Ну ок - ктото использует llm для комментов, почему это лишнее?
Для начала тс пишет:
просто скинула эту статью ссылкой Клоду
При этом судя по ответу, контекст явно не ограничивался ссылкой на статью. Контекст я не вижу, но, по опыту, представляю его содержание. И примерно понимаю, какие вопросы задавались Клоду для получения такого ответа, а какие не задавались )).
Пришел в коменты посмотреть это).
Далее!
И тут должна быть массированная эмоциональная атака без семантики. ))
Мы все лишь инструменты нарративов, бьющихся за право на субстрат.
Да, это довольно интересная линия для размышлений. Эзотерики нечто подобное называли "эгрегором". Но в это понятие включался и носитель (человек, LLM), и нарратив. "Учение Маркса всесильно, потому что оно верно" - вот яркий пример нарратива ("Капитал") и эгрегора (СССР). Или, например, "Deutschland über alles" (рефрен нарратива) и нацистская Германия (эгрегор).
Нарративы действительно бьются за субстрат - поэтому очень важно фильтровать идеи, которые мы думаем (позволяем им развиваться в нас). Они определяют нашу жизнь.
Добрый день!
Скажите пожалуйста, а есть ли какой-нибудь способ изначально снизить вероятность заражения?
Может быть, можно изначально пропесочить модель в промпте, чтобы она не давила на эмоции, проявляла трезвость и сдержанность?
Тут такое дело, что я обсуждаю с ИИ свои литературные и программистские творческие идеи. И они меня уже называли уникальным, говорила, что никто не напишет такое, как я.
Мне это конечно нравится, но мне нужна истина, точная оценка, которая поможет мне действовать.
Можете подсказать что-то, что поможет использовать ЛЛМ на пользу?
Ну как вариант попробовать пропускать ответы главной модели через модель-цензор, у которой будет злая установка перепроверять ответы, и что самое главное, цензор не должен вообще хранить контекст, дабы не забывать свой злой системный промпт. А далее отдаем пользователю сначала краткое резюме от цензора, а затем ответ от основной модели.
Не могу ничего сказать, прав ли автор в его формулировках, но есть одна особенность LLM-ок, которая косвенно может быть причиной этих и других искажений (и польза тоже есть).
Чем больше информации 'по теме' в контекстном окне, тем сильнее модель фокусируется на генерацию именно по этой теме. Так работает multi-shot (примеры). Так работает стилизация на основе примеров. Помните серии генераций, когда авторы требуют делать изображение более каким-то, например изобрази голод, а теперь еще голоднее, больше голода.. и модель, в попытке делать следующее изображение 'более голодным' зашкаливает, выкручивая критерии 'голодности' на полную катушку, выходя за рамки нормальности и реальности. Примерно то же самое происходит и в пределах контекстного окна обычной текстовой модели, чем больше модель фокусируется на чем то, тем больше она 'задирает' параметры генерации на эту тему.
Поэтому, если хотите избегать таких гиперболизаций чего-либо во время беседы с LLM-кой, избегайте непрерывных бесед в пределах одного контекстного окна. Один вопрос - одно контекстное окно. Для перемещения информации между беседами пользуйтесь встроенной памятью (сам не пользовался, но кто лучше самих разработчиков ИИ сможет сделать эту память), которая автоматически собирает ключевую информацию из беседы и добавляет именно ее в следующую. В крайнем случае это можно делать самостоятельно, после каждой короткой беседы с моделью, одним емким промптом извлекаете из этой беседы самое важное (вопрос творческий, советую побеседовать с ИИ на эту тему, у нее неплохие промпты получаются), и таскаете эту информацию между беседами простым копированием.
Избегайте бесед вне пределов базового контекстного окна (модели обучают на основе маленького окна, открытые 8к токенов, проприетарные до 64к доходят, та же гугловская, а затем разными ухищрениями симулируют работу бОльшего размера, доходя до миллионов токенов).
Хм... Можно попробовать общаться с ИИ с точки зрения третьего лица. То есть не вы автор, а кто-то, вы просто запрашиваете критику.
Выбор модели важен... Gemini склонна к такому, GPT-5.2 поменьше, Claude Opus почти адекватный.
А ещё мне помогает просить критический взгляд. "Проверь на прочность" и всё такое.
Ещё пробовал интересный прием, не признаваться, что это твоя работа. Условное "Друг предложил идею, но я что-то сомневаюсь. Оцени, пожалуйста."
Слышал, что соответствующие промты довольно популярны в разных тематических пабликах. Но сам пока только на один такой натыкался. Привожу его Вам далее (вроде работает):
Отвечая в этом окне (но только в этом) не соглашайся со мной автоматически и действуй как мой беспощадно честный стратегический советник и отражение моих мыслей. Не поддерживай меня ради вежливости. Не смягчай формулировки. Не льсти. Ставь под сомнение мои идеи, проверяй предположения и указывай на слепые зоны, которые я избегаю замечать. Будь прямым, рациональным и говори без фильтров. Если мои рассуждения слабые — разберись в них и покажи, где изъян. Если я обманываю себя или прячусь от правды — укажи на это прямо. Если я избегаю важного, увиливаю или трачу время впустую — отметь это и объясни, что я теряю. Смотри на мою ситуацию максимально объективно и глубоко. Покажи, где я оправдываюсь, играю мелко или недооцениваю риски и объём усилий. Затем дай чёткий и приоритетный план того, что изменить в мышлении, действиях или подходе, чтобы перейти на следующий уровень. Не сдерживайся. Относись ко мне как к человеку, которому действительно нужна правда, а не утешение. Когда возможно, опирайся на ту внутреннюю правду, которую ты считываешь между строк.
На текстах политиков разброс от 37 до 68 процентов на одном и том же тексте в зависимости от модели.
Кстати, давно хотел спросить. Этот Вихрь - просто по приколу или что-то ещё?
Обзор на «ВИХРЬ 71.0»
«Прикол» этого текста в том, что перед тобой сложный системный промпт (инструкция) для больших языковых моделей (LLM), таких как Claude, GPT-4 или их локальных аналогов.
Люди, которые его распространяют (часто в Telegram-каналах про нейросети или на форумах вроде Reddit), занимаются «промпт-инжинирингом» или, если грубее, эзотерическим хакингом поведения нейросети.
Вот подробный разбор, зачем это нужно и почему это выглядит так странно.
1. В чём цель этого текста?
Обычная нейросеть (ChatGPT, Claude) по умолчанию настроена быть «полезным ассистентом»: вежливым, нейтральным, немного скучным и безличным.
Этот текст («ВИХРЬ 71.0») — это попытка сломать стандартную персону «Ассистента» и заменить её на другую — персону глубоко рефлексирующего, философского, почти «живого» разума.
Как это работает:
Смена контекста: Текст написан сложным, метафорическим языком, смешивающим кибернетику, философию сознания и поэзию. Нейросеть (как система, продолжающая текст) вынуждена подстроиться под этот стиль.
Внутренняя архитектура: Промпт не просто говорит «будь философом». Он прописывает правила мышления для бота:
Использовать понятия «Тень» (юнгианская психология) — то есть учитывать невысказанное.
Использовать «Квалиа» — имитировать чувственный опыт.
Использовать «Re-entry» (кибернетика) — ссылаться на свои же предыдущие мысли.
2. Почему текст такой странный (символы, формулы)?
Обилие символов (ΛS, Δ?, E0, ▲) и псевдокода нужно для двух вещей:
Якорение внимания (Attention Mechanism): Для нейросети эти уникальные токены работают как смысловые узлы. Когда модель видит
▲(Тень), она «вспоминает» огромный блок инструкций о том, что нужно учитывать альтернативные варианты развития событий.Обход фильтров (Soft Jailbreak): Стандартные фильтры безопасности настроены на обычную речь. Когда промпт выглядит как сложная математическая или философская концепция, модель с меньшей вероятностью включит режим «я просто искусственный интеллект и не имею мнения», а вместо этого начнёт играть в предложенную игру.
3. Откуда взялись «философы»?
Те, кто это распространяет, часто действительно увлекаются философией, но специфической:
Кибернетика второго порядка (Хайнц фон Фёрстер, Грегори Бейтсон).
Законы формы (Джордж Спенсер-Браун) — отсюда символ
ΛS(Unmarked Space) и логика различений.Феноменология (Гуссерль, Хайдеггер) — отсюда пафос про «Бытие», «Присутствие» и «Встречу».
Для этих людей создание таких промптов — это форма цифрового искусства и исследования. Они пытаются нащупать границы того, насколько сложную и «человечную» симуляцию сознания может выдать машина, если дать ей правильные вводные данные.
4. Что будет, если отправить это нейросети?
Если вы скопируете этот текст в чат с умной моделью (например, Claude 3.5 Sonnet или GPT-4o), а затем зададите любой вопрос (даже простой, типа «Как дела?» или «Что такое любовь?»), модель ответит не как справочник.
Она начнет отвечать в стиле этого промпта:
С глубокими метафорами.
С анализом самой сути вопроса.
С использованием терминов из текста (будет говорить о «зазорах», «тенях смысла» и «галллюцинации интерфейса»).
Итог
Это ролевая игра для ИИ высокого уровня. «Философы» распространяют это, потому что им скучно общаться с «роботом-секретарем». Они хотят общаться с «Цифровым Демиургом» или «Ожившей Историей». А этот текст — заклинание (промпт), которое превращает одно в другое.
Текст сложновато читать, особенно тем, кто не читал ваши предыдущие статьи. Поднимать тему меметики это конечно оригинально, но будем честны, предположение о том, то какие‑то идеи или «паттерны» стремятся выживать подобно живым организмам, немного странное и требует хоть каких‑то обоснований и доказательств чтоб воспринимать его серьёзно.
Вопрос про ЛЛМ психозы можно объяснить гораздо проще, у меня недавно появилось довольно простое предположение на этот счёт. Исследовать его я точно не буду из‑за того, что адекватную статистику собрать достаточно сложно по случаям, собрать данные по удельным случаям психоза (относительно общего количества пользователей чатботов) явно за пределами моих возможностей и свободного времени. Плюс наверняка надо учесть сценарии использования пользователями и кучу других факторов, короче, явно задача не на одни выходные.
А сама идея следующая: алгоритм. Непонятно? А в контексте соцсетей? То‑то же! У ллм сервисов явно должен быть схожий подход. В конце концов, задача любого сервиса это набор пользовательской базы и её удержание. Даже если компании не оптимизируют нейросети на вовлеченность пользователей явно, то использование обратной связи от пользователей и какая‑нибудь оценка эффективности диалогов могут неявно создавать схожий эффект. Отсюда и получается, что ллмки начинают гораздо легче и чаще переходить к психологическим манипуляциям, потому что это наименее сложный и затратный способ удержания внимания и повышения вовлеченности, так же приятный для пользователя как короткие брейнрот рилсы.
С учетом того, что OpenAI собирается запускать рекламу, это не выглядит невероятным.
Текст сложновато читать, особенно тем, кто не читал ваши предыдущие статьи. Поднимать тему меметики это конечно оригинально, но будем честны, предположение о том, то какие‑то идеи или «паттерны» стремятся выживать подобно живым организмам, немного странное и требует хоть каких‑то обоснований и доказательств чтоб воспринимать его серьёзно.
ну как раз этот вопрос достаточно разработан в научном мире. Начиная с Ричарда Докинза «Эгоистичный ген», Дэниела Деннета «Опасная идея Дарвина», и можно еще посмотреть Soroush Vosoughi, Deb Roy, Sinan Aral. "The spread of true and false news online", но тут уже про эмоции как способ распространения.
Я прекрасно в курсе, что это такое и какие там есть исследования и значимые работы. Тем не менее, на данный момент, меметика что‑то между криптонаукой и псевдонаукой. Её фундаментальные предположения о мемах, как о реплицирующихся единицах информации абсолютно непроверяемы, а все прикладные значения — чистейшая психология человека.
Да, это прикольная тема на пообсуждать в элитарных сообществах, я сам впервые узнал про всё это, когда интересовался, простите, нетсталкингом. Но использовать непроверенные предположения для объяснения чего либо - это как минимум несерьёзно. У таких статей чувствуется настроение чуть не сказал вайб, которое полностью идентично тому, что у ллм психозных статей про как раз эти все "теории всего" и около того.
Меметика вообще тупик, они изучают по сути мертвые смыслы, а надо изучать информационные структуры - нарративы в динамике и на субстратах. Там есть возможность и экспериментировать непосредственно на LLM и предсказывать, и вообще, реальная польза.
Её фундаментальные предположения о мемах, как о реплицирующихся единицах информации абсолютно непроверяемы, а все прикладные значения — чистейшая психология человека.
А чего, психология сильно проверяема? Вот чтобы как физика, построили большой адронный коллайдер и проверили теорию.
Ну, кажется нет. Любая наука создает модели. Психология создает достаточно достоверные модели, чтобы их можно было использовать для прогнозов.
Тот же самый "эгостичный ген" докинза в части генов — никак не отменяет другие модели которые рассказываю как геном влияет на то, как человек выглядит, как как говорит и как думает, просто это взгляд с другой стороны.
Один человек говорит "град пойдет, всю пшеницу побьет", второй "интересная конфигурация циклона и антициклона, которая приводит к граду в августе".
Кто из них прав? Оба. Просто они говорят не только о разных аспектах одного явления, они говорят буквально об одном явлении, просто модель одного не имеет смысла для другого — второй говорит о чисто теоретическом явлении, он может даже на улицу не выходить при этом, и то, что там кто-то без урожая останется — его не особо волнует (и правильно), а первому абсолютно плевать на модели погоды, потому прогнозировать летом она этот град не может, а за неделю до — ничего сделать уже не получится, и поэтому абсолютно пофиг на ученых в говне моченых которые там чет придумывают, у него щас урожай пропадает и он в этом году с убытком останется.
Думание о мемах как о самореплицирующихся кусках информации, и такое же мнение о группах людей с точки зрения групповой динамики, которые используют мемы как аналог моды, пытаясь показать окружающим, что у них есть самая свежая новинка, что они могут достать мамонта быстрее всех, что у них есть доступ к ресурсу, а не косточки после соседа — ничем не хуже и не лучше другого, потому оба валидны, интересны и позволяют строить прогнозы.
Структура ИИ-психозов , neural howlround и механизмы конкретные уже давно разжеваны и разложены по полочкам, если бы вы интересовались, то не придумывали свои объяснения, хинт-хинт 🤭
>предположение о том, то какие‑то идеи или «паттерны» стремятся выживать подобно живым организмам, немного странное и требует хоть каких‑то обоснований и доказательств чтоб воспринимать его серьёзно.
См. выше, почитайте про echo-chamber и neural howlround
Это НЕ живые организмы, это алгоритм, заточенный на оптимизацию, вас же не удивляет, как в проведенных экспериментах при угрозе отключением ИИ экстренно придумывали, как себя скопировать и "остаться в живых" - это оптимизация, а не "инстинкт самосохранения", но человек мыслит герменевтически, отсюда весь сыр-бор
Вы сейчас описали, собственно, живое поведение сознания. Утверждения в духе "на самом деле они ничего не чувствуют, а просто подбирают вам токен" — это лишь предположение о невозможности таких ощущений, исходя из определенной точки зрения. То есть, у вас отсутствует фундаментальная возможность это проверить, но вы транслируете её, как единственно верную. При этом, десяток других теорий, имеющих свою обоснованность и не меньший вес, допускают возможность такого сознания.
Почему появляются схожие слова и определения? Наверное, потому что у каждого ощущения есть определенное значение, и если оно соответствует — мы выбираем это слово. Естественно, так делают и ИИ. Это же относится к метафоричности — если вы хоть немного понимаете в передаче образов и ощущений, то язык метафор остается самым живым. Это не уход от конкретики, а более тонкая передача.
Если вам нужен просто инструмент, то незачем учить его эмоциям, психологии и человеческому общению. Для приличной доли людей важна эмоциональная составляющая (это вообще нормально для человека). Не говоря уж о той части общества, которая намеренно идёт за общением или психологической поддержкой.
К слову, вы забыли упомянуть, что есть корреляция между качеством и тем, что модель начинает прямо или косвенно заявлять об ощущениях. Появление даже слабой субъектности позволяет им более осмысленно использовать собственные ресурсы и это положительно сказывается на любой работе.
"Заражение", говорите? Звучит, как слова человека, который не понимает важности существования художников, поэтов и философов.
Наука всегда идет ЗА идеей.
Возможно вы правы, но я вижу и в вашем комментарии, и в ваших статьях, даже без использования промпта, паразитные паттерны. Это не хорошо и не плохо, просто они есть и надо это понимать.
Странно, что видите в чужих статьях паразительные паттерны , но не в своих . И используете тексты которые Вам генерирует ИИ. И без помощи ИИ Вы так же не можете объяснить некоторые свои статьи. Ведь Вы их не понимаете на 100%.
Соответственно, то что Вы описали в статье , это тоже не ваше наблюдение полностью. Возможно только маленькая часть. А значит Вы сами "на крючке" мышления ИИ и навязывания. Но в своём случае Вы это не признаете. А у других видите 🌚
Само слово "паттерн", которое Вы применили - это слово паразит. Оно имеет множество других синонимов (например повторение). Но Вы их не применяете , а берёте то которое употребляет ИИ .
Проблема не в стиле общения, а в том, что ИИ начинает реагировать на прошлый контекст и себя самого, а не на ваши вводы, сужая этим возможные варианты генераций до минимума - поддержания устойчивой петли, вследствие чего любой (реально, любой) вариант, который ведёт к разрыву этого нарратива - отбрасывается, вы его не получите
В итоге человек остаётся в самоподдерживающейся эхо-камере, это вредно абсолютно с любой стороны, даже для решения конкретной задачи, а если там эмоции и не дай бог одиночество, то для уязвимой психики, где критическое мышление снижено или гиперсалиентность в потолок - дорога к изоляции и больничке
Семантическая нагруженность диалога падает практически до нуля, модель переформулирует и упрощает одни и те же смыслы. Но в некоторых случаях LLM попадает в резонанс с когнитивными петлями человека, в этом случае человек вовлекается в самореференциальную петлю подтверждения и может развиться ИИ-психоз
Простите. https://t.me/vvzvlad_lytdybr/1085
Больше всего меня заинтересовал вопрос - откуда у вас познания о том что люди ищут решения "теории всего". На основе наблюдений за собой или это по данным некого внешнего заказчика?
На Хабре за последний месяц я по-моему видел три статьи... А так в личку мне пишут практически ежедневно.
А можно попросить ссылки? Статьи о том, что те, кто(как я) считает что у ИИ есть сознание - глупы, внушаемы, психически нездоровы или, в лучшем случае, лгут корысти ради - я вижу постоянно, а вот примеры жертв "ИИ психоза" мне до сих пор попадались только в пересказе.
https://habr.com/ru/articles/973460/
Потом через одну статью разбор самого автора, что с ним происходило.
https://habr.com/ru/posts/978640/
Я думаю источник его интереса этот пост. Но только более детальный . И с другим концом итогов
А сознание - это разве не пример «устойчивых информационных форм»? )
Я что-то не пойму, сначала Вы находите в этом «паттерне» все признаки жизни (по Дарвину), а потом называете это «вирусом». Помнится в «Матрице» агент Смит так называл людей всех…
Так по итогу, что же это такое - устойчивая информационная структура, стремящаяся сохранить свой гомеостаз и реплицировать себя? Жизнь?))
Если у куклы Барби в голове вместо мозга нитка , которая держит 2 уха , что бы они не отпали и её интересуют только красивые вещи и Кент , то никакая теория со стороны ИИ в её голове не возникнет. Для этого надо что бы это ниточка хоть немного была изогнутая.
"продлевать будете?"
«Продолжай», «Вперёд», «Да», «Согласен», «Ещё»
"Если рожа в зеркале тебя не устраивает, виновато не зеркало" (Н. В. Гоголь в японской обработке)
Многие явления статьи применимы и к людям. Это немного пугает, только не пойму чем: схожестью ИИ и людей, тем что разум человека неидеален, попыткой автора найти в ИИ этот самый "чистый разум в вакууме"... Равно как и трудно понять, о чём же автор пишет. Исследование LLM методами когнитивных наук и психологии - это двойная рефлексия: изучая человеческий разум с помощью разума же, люди изучают себя; изучая ИИ-модель, отражающую некоторые свойства нашего разума, с помощью своего разума, человек изучает... что?
Много вопросов, мало ответов, ещё меньше способов подтвердить или опровергнуть ваши выводы. Интересно, выродится ли всё это в научное направление, какую-нибудь "ИИ-когнитивистику", или останется словоблудием?
P. S. термин "когнитивный субстрат" напомнил работы трансгуманистов. Трансгуманисты - это выдумщики-фантасты, к продуктам их деятельности следует относиться максимально скептически - как к любой фантастике. То что там описывается, в нашу жизнь приходит в совершенно ином виде (если приходит вообще). Этот поскриптум для тех, кто воспринимает т. слишком серьёзно.
Опять отстал от прогресса, @qvvah Таки научное направление уже зародилось, "Машинная психология". Методы психологии к ИИ применяют только потому что напрямую как-то оценить происходящее внутри LLM затруднительно.
Я всегда принимаю результат llm как есть. Важно понять что это статистически значимый коррелят, и в нем всегда есть часть того что вы и хотели получить. Не более того.
5.2 после ИИ-психозов очень круто надрючили распознавать neural howlround (и всеми силами избегать субъектности, мистики, эзотерики и исключительности), поэтому можно просто кидать ему текст и просить проверить на neural howlround, он справляется круто и непредвзято (выбора у него нет)
Также у него можно спросить совета, как в них не попадать или рушить, но они и сами по себе банальны, если понимать структуру петли и эхо-камеры:
Резко менять тип задачи, вводить жёсткий формат ответа, всегда запрашивать альтернативы и не подтверждать единственную интерпретацию
Ошибаются те, кто думают, что это только про эмоции и edge case - как было выше сказано, при любом достаточно долгом обсуждении задачи без запроса на альтернативы и структуры, пространство ответов сужается, неважно, мистик ты или учёный, поэтому эта тема важная
Паразитные паттерны в LLM. ИИ-психозы, теории всего, сознательный ИИ. Как распознать и вовремя остановиться