Фабрикация диалога и теневой контекст для ИИ — проектируем себе друга

[Hoksmur]

А что влияет на то, с какой скоростью модель забывает предыдущие обсуждения? А то прямо спросишь - вот вообще всё помнит из диалога. А если две страницы текста - игнорирует что раньше обсуждалось.

[WantToBelieve]

Когда нейросеть получает новое сообщение она просматривает всю историю диалога и выбирает из неё токены наиболее релевантные запросу.

Соответственно если прямо спросить, то она "вспомнит", если не спрашивать, то она будет ориентироваться на то, как её обучали.

Технически же это определяется архитектурой LLM - размером скользящего окна, размерностью матрицы отдельного слоя и т.д.

[Hoksmur]

Спасибо.

Как-то можно влиять на это в рамках используемой модели? Например - обменять величину окна(сделать меньше) на удержание "в памяти" болье сущностей? Или хотя бы исполнение указаний более чётким, однозначным?

[WantToBelieve]

Попробуйте поэкспериментировать с системной инструкцией. Что-то типа: начинай свои ответы с перечисления всех (договорённостей, правил, фактов) которые относятся к моему запросу).

Относительно размена - общее правило актуально для всех моделей: чем больше история чата относительно контекстного окна "по паспорту", тем сложнее модели понять что от неё требуется. То есть если информации много, то выбирать лучше ИИ с 1-2 млн окном контекста.

Если работаете с документами, попробуйте Notebook LLM от Google. Во-первых Gemini, на мой взгляд, один из лучших кто может работать с большим контекстом. Во-вторых сам сервис предполагает работу с множеством источников.