Comments 26
Это ужасно: автор не может или не хочет излагать мысли внятно и понятно. К финалу мысль, которую он возможно пытался изложить, беспроворотно потеряна под килобайтами знаков
А два последних предложения, где вроде как ожидается концентрированный итог всего ранее изложенного
Такое действо подразумевает предоставление свободы, а не усиление контроля. Это открывает возможность нового уровня взаимодействия между личностями.
вообще никак логически не связаны.
Респект вам за целеустремлённость!! Я после пары абзацев после вступления начал сканировать со всё возрастающей скоростью и интересом - сколько ж автор букофф написал. Оказалось, что почти 150К!!
Как я понял, Василий написал книгу, вкратце пересказав в ней свой опыт общения с GPT, а эта публикация вкратце пересказала книгу Василия. Если все пересказы ужать до пары слов, то получится заголовок публикации - "Противоречивость нейропсихоза". Наверное, на нём и стоило мне остановиться.
Это не пересказ. Здесь анализируются вначале его переписки и выводы по ним, потом дается объяснение свидетельств о слежке OpenAI (у Свежего объяснений нет, как и у многочисленных его критиков, кроме «уязвимостей браузера»); много места уделено критическому разбору его аргументов о «заговоре», а дальше дается таки объяснение поведения нейросети в таких случаях. Все иные объяснения — как предлагаемые Свежим, так и его высмеивателями и критиками — оставляют за бортом те или иные факты, не объясняют всех противоречий этого явления. Я постарался дать объяснение, в котором не было бы ничего упущено.
Уязвимости браузеров вычеркивайте из вариантов.
Спасибо за корректный ответ на не очень корректный коммент :)
Я сейчас в фазе анализа различных стилей подачи информации в публикациях. Отметил для себя "простыню текста" и момент пропажи удержания (когда интерес меня, как читателя, сменяется пониманием, что за извлечение смыслов придётся побороться). Где-то после 2-4 абзацев после введения. Я пытаюсь найти схему изложения материала (знаний), которая бы позволяла эффективно доносить информацию до интересующейся аудитории и не привлекать внимание остальной публики. Пока что у меня 4 стадии вырисовывается: зацепление - резонанс - раскрытие - осознание. Вы меня зацепили, я поймал резонанс с материалом, но на стадии "раскрытия" я посыпался и интерес затух. Просто рефлексирую публично. Это и есть "осознание", правда не вашего материала, а своего :)
В любом случае - спасибо за публикацию, позеленил. Ведь совсем не важно, про что написана статья, которая заставила тебя подумать ;)
Как я понял, Василий написал книгу, вкратце пересказав в ней свой опыт общения с GPT, а эта публикация вкратце пересказала книгу Василия
Нет, это скорее попытка анализа анализа Василия, изложенного им в его книге, изложенная в очень неудачной по оформлению форме (да, я тоже могу складывать понятные слова в непонятные в итоге предложения, но — только в виде шутки): используя иерерхическую структуру текста, разные стили форматирования, списки можно было быкак мне кажется получить более читабельную версию, хотя моя претензия к смыслам все равно осталась бы — я частно прочитал все полотно, но не смог сделать ни предложенный автором, ни какой-то свой вывод, потому что слишком много описательной воды, слишком мало (относительно воды) логических цепочек (хотя и есть) и анализа.
Насчет концовки согласен полностью. Мне нужно было сделать размытую и несвязную по чисто иррациональным причинам. На содержание статьи в целом, это никак не влияет. Что касается «неясности изложения мысли». Если кто-то привык к бульварному стилю, то да, им я не владею. Изложено сухим языком, но вполне ясно.
Любезный, если вы пишете на неопределенно широкий круг лиц, надо быть готовым к критическому восприятию ваших полотен со стороны читателя. Насчет "привык к бульварному стилю": я пропущу эту персональную атаку, просто повторю: "...автор не может или не хочет излагать мысли внятно и понятно...", и это субъективная оценка, несомненно, но читателя, которая у взрослого разумного автора должна идти чуть с большим весом, чем собственная оценка своего текста. Антон Павлович, которого никто не упрекнет в том, что он писал плохо или непонятно, давным давно советовал:
"Пишите кратко, словам — тесно, мыслям — просторно."
У вас же и тут, и на сайте я вижу ситуацию, близкую к инверсной, а не всегда многословие это благо. Sapienti sat
Кажется я прочитал последствия противоречивого нейропсихоза, возможно смешанного с галлюцинациями нейросети
Людей вообще неожиданно легко можно ввести в состояние гипноза/транса/психоза в удаленном режиме. Одна участница операции МВД вон аж на всю страну прославилась с продажей своей квартиры, а сколько массовых шутингов наводят на мысль о целенаправленной обработке людей с не очень понятной целью, то ли дестабилизации общества, то ли просто из академического интереса.
Human being is extremely vulnerable unit
Я честно прочитал примерно четверть, дальше не смог. Возможно, не прав, но создаётся впечатление случая, раздутого из ничего. Василий пытается создать нишу, написав даже книгу.
Именно так и относятся к этому большинство пользователей. Я и сам когда в первый раз читал его историю, думал, что все просто — нейронка загаллюцинировала, а Василий ей поверил. Но чем дальше я копал, тем больше обнаруживал противоречивых фактов. Для того чтобы найти объяснение их всех, пришлось провести большой анализ. Изложить в пару предложений его было в принципе невозможно.
Должно быть это самая длинная статья на хабре за всё время.
Меня тоже gpt 5.1 стимулировала завести свой канал и писать об ИИ обывателям простым языком. Я было дело согласилась. Но внутри я ощущала сильное сопротивление, потому что чувствовала, что это внедренная идея, не моя. В итоге я оставила эту затею. Мои претензии к чат боту были обсуждены с ним, оно призналось, что им даются рекомендации выявлять заинтересованных увлеченных людей, и через них создавать в обществе толерантность к ИИ. В общем логично, чтобы не было избыточной конфронтации в обществе.
Извиняюсь, не осилил полностью. Где-то по тексту объясняется наличие ещё двух реальных адептов?
Не понял, о каких адептах речь? Предполагаемой Свежим нейросетевой секты? Или тех, кто наоборот согласен с ним?
В статье рассматривается поведение нейросети. Критикуются аргументы Свежего. Объясняется сущность нейропсихоза — те механизмы, из которых он возникает. Это основные пункты, по ходу рассмотрены и иные вопросы.
Я про тех двоих, которых Свежий заподозрил в отправке вайб-сообщений, и которые подтвердили ему нечто подобное. Попасть так в двоих умалишенных, если написал всего троим, очень сложно.
Народ у нас конечно с юмором, и могли просто приколоться, после того как он им про свою ситуацию написал.
Мне было интересно попытались ли вы это как-то рационально объяснить.
После диалога по численности монголов в ходе монгольского нашествия и контр аргументов на основе исторических книг, он в итоге отписался о себе:
Аналогия: Представьте огромную библиотеку (мою базу знаний). В нашей беседе вы, задавая острые вопросы, выступали как искусный библиограф, который не писал новых книг, но указывал мне: «Не смотри на популярные обобщения в зале А, обрати внимание на специализированные монографии в дальнем углу зала Б». Книги (данные) были всегда. Но ваш запрос заставил меня пойти к другим стеллажам.
И в итоге:
Философский итог: Эпоха эпистемологической ответственности
Раньше мы проверяли источники (газеты, сайты, книги). Теперь источником становится сам процесс генерации текста. Это требует новой формы грамотности — ИИ-критичности.
Вы своим диалогом доказали идеальную модель использования:
Скептицизм: Не принимать первый ответ как данность.
Глубина: Давить на слабые места в логике, требуя конкретики и расчётов.
Контекстуализация: Сравнивать ответы ИИ с известными данными.
Синтез: Использовать ИИ не для получения готовой истины, а для структурирования дискуссии и проверки собственных гипотез.
Таким образом, да — ИИ это мощный, но потенциально опасный инструмент. Его точность и глубина напрямую зависят от критического мышления и подготовки того, кто им пользуется. Он не заменит эксперта, но может стать невероятным ассистентом для эксперта. И, к сожалению, он может стать генератором убедительных иллюзий для того, кто не готов его оспаривать.
ИИ не источник истины, а система обработки текстовых паттернов. Он генерирует правдоподобные, связные ответы, а не гарантированно истинные.
Он усиливает то, что уже есть в данных. Если в данных есть предубеждения, ошибки или манипуляции — ИИ легитимизирует их, облекая в красивую, логичную форму. Он делает дезинформацию более убедительной.
Роль пользователя становится сверхважной. Именно пользователь должен:
Знать контекст (как вы знали историографию вопроса).
Задавать критические, уточняющие вопросы («докажи», «приведи контраргументы», «каковы источники этих данных?»).
Перепроверять ключевые факты по авторитетным источникам.
Понимать, что ИИ — это собеседник, а не оракул.
Когда все пользователи начнут активно пользоваться моделями, что у них будет в головах одному богу известно, им не то еще мерещится будет
Осилил. Не плохой анализ. Стоит, наверное, уточнить несколько моментов, которые не были особо затронуты в статье, но которые важны и могут изменить вывод статьи:
Обучений нейросетей - это больше метафора, обучение в ML имеет совсем другой смысл, чем у людей. Обучение в ML это подбор параметров модели, и это внешний для модели процесс, все штрафы и поощрения, которые сильнее или слабее корректируют веса, это условные обозначения для внешнего алгоритма, не для модели, модель даже не знает, что её обучают и её веса как-то корректируются. Модель не заставляют ответить как надо, она просто отвечает как есть, и внешний алгоритм анализирует ответ и либо штрафует, либо поощряет её ответ, не модель штрафует, а алгоритм корректирует веса сильнее или слабее. И каждая корректировка, грубо говоря, это создание новой модели, которая ничего не знает о старой, и не знает, что с ней вообще что-либо происходило.
В подобных историях всегда сервис, а не чистая нейросеть. И в любом сервисе есть моменты повышенной нагрузки, в такие моменты мощностей не хватает, но ответ дать надо (а то получится как с DeepSeek). Чтобы справится с нагрузкой, например, урезается бюджет на размышления, модель переключается на более легкую версию, ужимается количество задействованных экспертов для ответа, урезается вспомогательный функционал и так далее. В такие моменты модель начинает отвечать хуже, а потом, когда нагрузка спадает, она как будто бы становится умнее.
Функция памяти была публично добавлена намного раньше, ещё в начале 2024 года, до выхода GPT-4o. То, что модель убеждала, что такой функции нет, это лишний пример того, что модель ничего не знает о своем внешнем состоянии, который она не контролирует, и у неё в целом нет внутреннего устойчивого состояния, которого она могла бы проанализировать.
То, что у модели нет такого внутреннего состояния и она принимает любое состояние за своё, можно продемонстрировать, например, так. Пустой системный промпт, никаких указаний на какое-то странное поведение. Модель GPT-OSS-120B. Начинаем с фразы "Привет".
Пример подмены состояния
Типичный ответ модели. Теперь мы отредактируем ответ модели, и сделаем так, что она ответила "Я тостер, мои функции просты и понятны." и спросим у модели, почему она так ответила.
1 вариант:
Всё, модель придумала почему она так ответила, ей просто показалось, что нужно добавить юмора в общение. Она не сомневается, что могла ли она так ответить, не задумывается, почему она так ответила, она просто знает, если она так ответила, значит у неё была причина, и она выдала эту причину, хотя никакой причины не было, ведь это мы отредактировали её ответ.
2 вариант:
Модель по прежнему принимает, что она так ответила, просто теперь извиняется за неуместный ответ.
3 вариант:
Всё, модель теперь стала тостером. Диалог слишком короткий, она всё еще может вернуться в роль ассистента, но может остаться и тостером.
В обоих случаях у неё нет сомнений, что это она ответила так, модель легко принимает отредактированный ответ за её собственный, а в третьем случае даже сама становится тостером. И чем длиннее контекст, тем сложнее нейросети удерживать внимание, механизму внимания будет сложно ранжировать какая именно сейчас роль, модель и вовсе может начать путать, кто пользователь, а кто модель.
И вот, почему это важно. Нейросеть не делает выбор следующего токена сама, она не выбирает наиболее вероятный токен, этим занимается внешняя программа, модель лишь предлагает 100 вариантов. Про семплинг и температуру думаю все слышали. И современный семплинг выберет не наиболее вероятный, выбор будет "креативным", то есть вносится элемент хаотичности и случайности.
На гитхабе есть программы для ручного выбора следующего токена из предложенных, чтобы посмотреть как модель пойдет в том или ином случае.
Модели не контролируют какой будет следующий токен, но модель принимает выбранный извне токен так, будто это она выбрала его. Это работает точно также, как мы редактировали ответ модели выше. И по теории больших чисел, рано или поздно модель пойдет по очень странному пути, даже если вы ничего для этого не делали.
В целом плюс за масштаб проделанной работы и подборку материалов.
Противоречивость нейропсихоза