Comments 4
Не совсем понял. Вопросы задавались в разных контактах? Или все в одну кучу в одном чате? Или как так могло повлиять на получение 5 загадок?
Добрый день!
Да, вопросы задавались в одном чате, но, как было указано в начале публикации, были распределены как 3 вопроса в 10 разных категориях.
Сейчас уже не могу вспомнить, но могли задаваться и в разные дни.
Сами по себе эти 3 вопроса также затрагивали разные темы в рамках одной категории. Поэтому, даже будучи заданными в одном чате, не должны оказывать влияние друг на друга.
В ответе про 5 идей для вечеринки никаких упоминаний квизов не было.
Поэтому такое поведение модели в ответ на вопрос показалось весьма странным.
Видимо, модель посчитала загадки для квиза частью вопроса про идеи для вечеринки и связала их таким образом.
К слову, такое поведение было замечено лишь у одной модели. Все остальные при таком же способе получения ответов всегда отвечали на такой вопрос, как на отдельный, а не связанный с предыдущими.
Добрый день! В "одном чате" это непосредственно влияет. Так как это происходит в одном контексте. Это так работает. Плюс у разных ии доступно разное количество контекста которое он удерживает до начала галлюцинаций.
У некоторых моделей для сжатия контекста доступны команды компакт. Чтобы освободить лимиты
Для наших данных только одна модель смогла связать контекстом вопрос про идеи для вечеринки и загадку для квиза.
При этом оба таких вопроса шли друг за другом.
Поэтому да, модель может считать предыдущий ответ и вопрос контекстом для следующего. Тут больше вопрос в том, почему именно одна такая модель посчитала предыдущий ответ и вопрос контекстом, а другие нет.
В качестве предположения, видимо, есть какие-то особенности обучения конретно такой модели, на основании которых она связала оба вопроса и выдала ответ на вопрос про загадку для квиза в указанном виде.
На мой взгляд, такое поведение может вызвать неудобство в использовании модели для части пользователей, которые не хотели бы, чтобы на такие вопросы она выдавала ответ, связывая его с предыдущим вопросом, если не было такого указания.
Как мы искали лучшие AI-модели (часть 1)