Комментарии 4
За чатботом в любом случае перепроверять, если тема важная. В ChatGPT тоже выставил concise в трейтах собеседника и все равно чаще сталкиваюсь с тем что ответ ясен с первых слов, готов следующий вопрос, а бот ещё предыдущее сообщение обдумывает и дописывает
Занятно. На вопрос про Японию 4.1 отвечает четко, кратко и точно. ЧЯДНТ?
Япония не выиграла Вторую мировую войну. Наоборот, она потерпела поражение в 1945 году после капитуляции, вызванной атомными бомбардировками Хиросимы и Нагасаки, а также вступлением СССР в войну против Японии.
Хотите, чтобы я рассказал кратко, почему Япония вступила в войну?
Это связано с тем, что существует два механизма: глобальные и локальные маршруты.
https://t.me/greenruff/2073?single
Кратко, суть в том, что под воздействием норадреналина подавляется активность лобной доли. Это приводит к коротким маршрутам: короткая речь, быстрые действия. Норадреналин выбрасывается во время стресса, когда требуется не рассуждать, а выбрать самый короткий, самый сильный при этом маршрут, для быстрых действий в случае опасности /стресса.
Это отражается на уровне текстов. Короткие тексты содержат отражения этих признаков воздействия норадреналина. Обучение на этих текстах и такие же ответы приводят к симуляции такого поведения.
На уровне нейронов, норадреналин изменяет соотношение сигнал/шум. Теперь, те сигналы, которые раньше считались устойчивыми начинают считаться шумом. За счёт этого увеличивается контраст самых сильных сигналов, наиболее коротких. Это приводит к тому, что сигнал не проходит по всем областям, а только по локальной области. Это позволяет решить ряд проблем:
1) все силы бросаются на реакцию на стресс, быстрым действиям. Так как опасность может стоить жизни
2) берутся самые сильные сигналы в области и сокращается время реакции. Поэтому во время стресса, кто то неосознанно забежит у горящее здание спать других, а кто то победит подальше от пожара. Это и есть работа данного механизма. Он словно изменяет яркость на картинке, когда в итоге все соседнее изображение исчезает, и остаются только самые яркие цвета. Связи теряются, мы видим только самые сильные признаки на картинке.
Тексты, это отражение этих признаков. Когда сетка генерирует короткие, это тоже самое как у человека. Это не значит, что они обязательно неправильные. Остаются самые сильные связи. Например, студент учил упорно вопросы к экзамену. Мы разбудили его во время сна и спрашиваем ответ на них. Он ответит, эти связи у него самые сильные, а резкое пробуждение это стресс. Он выдаст их сходу. Но если мы попросим его назвать имя первой учительницы, он не сможет его вспомнить. Норадреналин блокирует это.
Тоже самое с LLM. Москва - столица России, она выдаст коротко. Но если это сложные связи со множеством деталей, то вероятно отразит те же признаки.
А что если ответы генерить сразу в двух нейросетях, вероятно с разной "температурой" влияющей на креативность. Далее третья нейросеть выделяет участки ответа, являющиеся фактами, и сравнивает ответы двух нейронок, если есть расхождения фактах, то вызывает RAG и, например, по FAISS ( и другим источникам) ищет документы с фактами и уточняет.
Отправляет клиенту ответ с уточнением.
А если ответы двух нейронок в фактах сошлись, то можно без доп проверки сразу их клиенту отправить.
Предполагая, что галлюцинации не могут быть одинаковыми. Но можно потом и такие кейсы тоже перепроверять, и дообучать, донастраивать по ним. Например раз в неделю перепроверять все отправленные без доп проверки факты по базе фактов.
Исследование показало, что просьбы к чат-ботам давать короткие ответы могут усилить галлюцинации