Comments 19
Сегодня мы имеем доступ к огромным массивам информации, накопленной за тысячелетия. Но их правильное структурирование, поиск максимально возможной объективности — вызов для каждого. К сожалению, наше субъективное мнение часто к этому не готово. Запрещать и подавлять проще, чем разбираться в сложных вопросах.
Никакая «Алиса» не заменит в этом процессе самого человека. Большие библиотеки ИИ могут быть как хорошими помощниками, так и инструментами введения в заблуждение. Вся ответственность лежит на тех, кто и как их использует. За нас этот вопрос не решит никто.
Текст пока только начал читать, но слог мне нравится. Чем-то таким от Умберто Эко отдаёт :)
LLM могут быть как хорошими помощниками, так и мощными инструментами введения в заблуждение. Но точно так же, как и любое символическое вообще — включая религию, философию, науку и идеологии.
Ярчайший исторический пример — геоцентрическая система мира (модель Птолемея).
В течение почти полутора тысяч лет (с античности до XVII века) она считалась не просто «лучшей теорией», а объективной истиной, освящённой авторитетом Аристотеля, Птолемея, а позже и христианской церковью. Она идеально «структурировала» огромный массив наблюдений того времени: объясняла видимое движение планет через эпициклы и деференты, соответствовала повседневному опыту («Земля неподвижна, Солнце и звёзды вращаются вокруг нас»), поддерживала антропоцентрическое мировоззрение («человек — центр творения») и прекрасно вписывалась в богословскую картину мира.
Ответственность человека остаётся не в «правильном структурировании информации», а в постоянной готовности к тому, что сегодняшняя «максимально возможная объективность» завтра может оказаться новым геоцентризмом. Ответственность в постоянном подозрении к любой идее, которая обещает объяснить всё.
Если прослеживать вашу мысль, то для каждой местности или исторической эпохи есть своя определяющая догматика, что совершенно верно. Как верно и то, что она может быть большим заблуждением. Вопрос в «чистоте знаний» и объективности, если сам человек, как «мерило истины», бывает очень предвзят и часто от нее достаточно далек. Как замерить полноту, если ты ей не обладаешь? Так и выходит бег человека и цивилизаций — кругами. У людей такая мешанина, а LLM ее копирует и местами усиливает, показывая наше же отражение.
Истина часто болезненна, неудобна и разрушает уютную картину мира. Геоцентризм держался полторы тысячи лет не потому, что люди были глупы, а потому, что он прекрасно успокаивал: «Мы в центре, всё имеет смысл, Бог нас любит, мир упорядочен».
Точно так же в финальной сцене фильма «Не смотри наверх», когда комета уже входит в атмосферу и конец неизбежен, большинство людей выбирают не истину, а душевное спокойствие. Они собираются за семейным ужином, молятся, шутят, говорят о простых вещах и просто проводят последние минуты вместе — вместо того чтобы смотреть на приближающуюся катастрофу. Они отказываются «смотреть наверх» до самого конца.
Сегодняшние религиозные догматики выполняют ровно ту же функцию. Религия — это уже не опиум, а прозак. Она стала высокоэффективным психологическим щитом, который защищает психику от тревоги, пустоты и экзистенциального ужаса.
LLM лишь усиливают этот механизм. Они позволяют человеку ещё глубже спрятаться в комфортной, внутренне когерентной картине мира, даже когда реальность уже летит прямо на вас.
Мысли понятные. Именно поэтому я подчёркиваю: ИИ — это не источник истины, а лишь инструмент для выявления противоречий. Геоцентризм держался полторы тысячи лет не из-за глупости людей, а потому что не было инструментария (необходимого анализа) для его системного опровержения. Сегодня LLM-библиотеки могут помочь увидеть — тем, кто этого желает — где наша картина мира «трещит по швам». Можно, конечно, уйти и в большие дебри. Но всё зависит от того, кто и чего ищет.
Проблема в том, что LLM в силу своей сути не может уйти с человеческой точки зрения. Он и представляет собой модель человеческого мышления, логики, последовательности слов, обычно выдаваемых людьми.
Да, он может показать закономерности, найти мелкие нестыковки (типа уязвимостей в ПО), но кардинально сменить парадигму и создать принципиально новую модель мира не способен (IMHO, конечно).
Геоцентризм держался полторы тысячи лет не из-за глупости людей, а потому что не было инструментария (необходимого анализа) для его системного опровержения.
Когда появились более сильные инструменты (телескоп Галилея и др.), церковь (и общество) не обрадовались «новой истине», а попытались её запретить — официально осудила гелиоцентризм как ересь в 1616 году. Возможность системного опровержения привела только к большему сопротивлению. Церковь официально признала ошибку только в 1992 году — через 376 лет
ИИ — это не источник истины, а лишь инструмент для выявления противоречий.
ИИ — это не источник истины, а лишь инструмент для выявления противоречий внутри его собственного символического порядка. Он отлично находит логические нестыковки между текстами и гипотезами, добавлять новые, более изящные эпициклы.
Сегодня LLM-библиотеки могут помочь увидеть — тем, кто этого желает — где наша картина мира «трещит по швам». Можно, конечно, уйти и в большие дебри. Но всё зависит от того, кто и чего ищет.
Если вы ищете более красивую и приятную ложь — ИИ станет вашим лучшим помощником. Он мастерски полирует старые иллюзии, делает их внутренне непротиворечивыми и убедительными.
Если вы хотите понять, чем ваша картина мира отличается от Реального, то ИИ вам не поможет. У него нет объективной реальности данной ему в ощущение!
Спасибо за интересный комментарий👍. Действительно, ИИ не даёт доступа к Реальному, т. к. у него нет ощущений, только текст. Но разве у нас самих есть прямой доступ к объективной реальности? Википедия, БЭС и прочие источники разве дают доступ к объективной полноте? Мы тоже ограничены языком, концептами, культурным кодом — своим «символическим порядком».
Разница в том, что ИИ может “масштабировать” выявление противоречий, где он за секунды проверяет то, на что у человека ушли бы годы. Понятно, что это не гарантия истины, но ускорение критического анализа.
Геоцентризм держался не потому, что не было телескопов, а потому что не было “культуры системного сомнения”. Сегодня ситуация похожа. Всё, что говорят по ТВ — “100% правда”, потому что «так сказали по ТВ» или «так учат в школе» и не важно, в какой точке мира. Взгляды могут быть диаметрально противоположными, но механизм доверия к авторитету — тот же. ИИ в групповом применении может стать полезным инструментом такой культуры или инструментом её имитации. Выбор, как вы верно заметили, за нами.
Человек может прочитать в Википедии «вода имеет температуру кипения 100°C», а в Дуропедии «вода имеет температуру кипения -300°C» — и теоретически проверить это экспериментально. Но это исключение, а не норма. На практике тот же человек верит в ядерную физику, не имея доступа к ускорителю частиц. Субъект не может верифицировать всё самостоятельно — и поэтому делегирует истину не содержанию, а позиции.
Лакан называет эту позицию Большим Другим (le grand Autre) — не конкретным человеком или институтом, а самой структурой символического порядка: местом, из которого исходит гарантия смысла. ТВ, школа, Википедия — это не источники знания, а позиции в структуре. Субъект доверяет не тому, что сказано, а откуда сказано.
Отсюда — понятие субъекта, предположительно знающего (sujet supposé savoir): инстанции, которой мы приписываем знание, не требуя доказательств. Это не наивность и не глупость — это структурная необходимость. Невозможно жить, постоянно всё перепроверяя.
Отсюда и парадокс информационной войны: два источника с диаметрально противоположными утверждениями не разрушают механизм доверия — каждый субъект просто выбирает своего «субъекта, предположительно знающего». Механизм един, содержание различно. Это война не фактов, а война за право кого считать Гарантом истины.
Геоцентризм рухнул не тогда, когда появился телескоп. Он рухнул тогда, когда культура смогла вынести тревогу от того, что Церковь — уже не Гарант. И это то, что Лакан называл прохождением сквозь фантазм: момент, когда субъект учится жить с тем, что прежнего Гаранта нет. Это крайне некомфортно для верующего в бога. Именно поэтому Большой Другой так живуч — и именно поэтому выбор между двумя позициями есть одновременно выбор о том, какую тревогу мы готовы терпеть.
ИИ может занять позицию нового Большого Другого вместо науки и церкви — «спроси у ИИ, он знает». Тогда субъект переносит на него функцию субъекта, предположительно знающего (sujet supposé savoir), и структура воспроизводится: вместо «так сказали по ТВ» — «так сказал ИИ». Большой Другой не исчезает — он меняет лицо.
Вам кажется, что ИИ может использоваться не как новый Гарант, а как инструмент, который делает саму структуру гарантии видимой — показывает, где смысл зафиксирован произвольно, где доверие подменяет аргумент, где позиция важнее содержания. Но ИИ тоже «ходил в школу» и тоже делегирует истину тем кто его обучил.
В статье Ideologies Embed Taboos Against Common Knowledge Formation: a Case Study with LLMs или в его блоге (я не знаю, что РКН блокирнул на это раз) это разбирается на примере политической позиции и приготовлении пищи.
Проблема в том, что вывод, полученный шаг за шагом через корректное рассуждение, не стабилизируется как предпосылка для следующего шага. Модель может вывести заключение — и в следующем абзаце его опровергнуть, не замечая этого. Grok одновременно утверждал и отрицал одно и то же.
Вы можете принять меня вместе с моими объяснениями за субъекта, предположительно знающего (sujet supposé savoir) или самостоятельно все верифицировать. Выбор, как вы верно заметили, за вами.
Ваш комментарий стоит отдельной статьи. Вы правы, механизм делегирования истины «Большому Другому» структурная необходимость, а не ошибка. ИИ действительно может занять такую позицию - «спроси у нейросети», как новый ритуал доверия.
Однако есть нюанс, ИИ не стабилен как Гарант. Он может утверждать и отрицать одно в соседних абзацах не из злого умысла, а из-за архитектуры. Это не баг, а особенность, т. к. у него нет «внутренней позиции», только статистические паттерны.
Именно эта нестабильность может стать инструментом, когда ИИ сам показывает трещины в собственной аргументации, он вынуждает пользователя не делегировать, а включать критическое мышление. Это не замена Большому Другому, а скорее «зеркало, которое трескается» и в этих трещинах видна структура доверия.
И да, вы можете быть для меня «субъектом, предположительно знающим». Но я предпочту проверить, а что, если ИИ, используемый ансамблем моделей + перекрёстная проверка + human-in-the-loop, может не заменить Гаранта, но сделать сам механизм гарантии видимым для анализа?
Выбор, как вы верно заметили, за нами. Но теперь у нас есть более тонкие инструменты, чтобы этот выбор делать осознанно.
Именно эта нестабильность может стать инструментом, когда ИИ сам показывает трещины в собственной аргументации, он вынуждает пользователя не делегировать, а включать критическое мышление.
Религия тоже показывает трещины в своей аргументации. Например вопросами:
«Может ли Бог создать камень, который он сам не сможет поднять?» или «Может ли всемогущее существо, действуя в рамках геометрии Евклида, создать треугольник, сумма углов которого не равна 180 градусов?» или «Может ли Бог создать настолько надёжную тюрьму, что сам не сможет из неё вырваться?». Они ставят по сомнение всемогущество бога.
Это парадоксы неразрешимы, какое бы критическое мышление вы не включали, поскольку являются частным случаем парадокса Рассела.
Дело в том, что для вас комфортнее: верить в бога и не замечать этих парадоксов или не верить и замечать. Большинство современных людей выбирают второе.
Частные случаи парадоксов Рассела действительно могут выглядеть неразрешимыми в рамках формальной логики. Но почему мы должны утверждать, что Бог обязан действовать в рамках аристотелевской логики? Это уже вопрос категориального несоответствия.
И вот здесь LLM может быть полезен. Он за секунды находит сложные моменты, которые человек может упускать всю жизнь.
Пример. В это воскресенье отмечают Пасху. А что было ~2000 лет назад в пятницу (сегодня)?
Лук 23:26: «…возложили на него [Симона] крест, чтобы нес за Иисусом (физически не мог нести)
Флп 2:6-8 даёт ключ: «…уничижил Себя Самого, приняв образ раба…».
Это кеносис (самоуничижение), т. е. ответ на парадокс «камня» известен уже 2000 лет. Всемогущий Бог добровольно ограничивает Себя, принимая конечную природу.
Зачастую проблема не в сложности задач или парадоксах, а в нашей личной догматике. Если мы решили, что «земля плоская», то никакие доказательства не будут приняты — ведь в противном случае разрушается основа нашего внутреннего мироздания. Неприязнь к анализу LLM строится именно на этом. Он может выводить на свет наши противоречия, а это воспринимается как угроза ложному комфорту.
Включается уязвлённая гордость (назовите это «когнитивным искажением», «глюком» или «грехом»), и белое автоматически объявляется чёрным.
ИИ здесь не судья, а «зеркало». Он показывает противоречия, но не говорит, что с ними делать и именно это беспокоит. Инструмент заставляет видеть то, что раньше можно было игнорировать. Более того, ИИ масштабирует наши «сбои». Он может как усилить догматизм («найди подтверждения моей ереси»), так и усилить рефлексию («покажи, где моя позиция противоречит сама себе»).
Возрождение к «чистой системе» возможно и это вопрос, изначально решённый Инженером, её запустившим. Даже современникам понятно, что данные (душа — будь то смартфона или человека) могут храниться независимо от конкретного «железа» в облаке.
Выбор, как всегда, за нами. Но теперь он может быть куда более информированным.
Мечтают ли андроиды об электроовцах? Можно ли обсуждать воображаемого всемогущего повелителя с воображаемым всезнающим экспертом? И другие философские вопросы... ;)
Вессь вопрос, кого считать воображаемым и по какому критерию оценивается такая экспертиза от возможного эксперта?
Нейросеть не анализирует контент на предмет правдоподобия. Но способна пройтись по нему с точки зрения банальной житейской логики. Раньше этим занимались живые редакторы и тратили на это дни и недели. Главная проблема религиозных текстов это публикация "as is". То есть в них масса несостыковок. Нейросеть находит их довольно быстро. И это бесит церковников, потому что если простая логика хромает, то о каком авторитете может идти речь. Тут "духовность" это просто повод прикрыть свое негативное отношение. Это как налоговый инспектор или аудитор - "враги" бизнеса с точки зрения предпринимателя.
Служитель во время проповеди берет заранее обработанный фрагмент и никогда не представляет картину в целом. Обычный человек тоже когда читает, то помнит лишь последние события. А LLM помнит все.
Хороший у вас пример про аудитора. Действительно, ИИ не судит об истинности, но отлично находит внутренние противоречия, как раз то, на что у живого редактора ушли бы недели.
Небольшой нюанс. ИИ не «понимает» житейскую логику. Он находит статистические паттерны, которые в обучающих данных коррелируют с логической связностью. Поэтому иногда «видит» нестыковки, которые человек пропустил бы, а иногда наоборот, генерирует красивые, но ложные объяснения («изящные эпициклы»). И про память: технически у LLM есть предел контекста, но даже этого достаточно, чтобы удерживать в «поле зрения» то, что человек физически не способен держать в рабочей памяти. Это не замена критическому мышлению, но усилитель масштаба анализа.
И да, когда инструмент начинает показывать трещины в том, что раньше принималось «как есть», это закономерно вызывает дискомфорт. Но ведь и телескоп Галилея тоже наверное кого-то «бесил»?
«Сожжение за ересь» в цифровую эпоху: почему ИИ не новый римский папа, а просто очень большая Википедия