Мы как мир

[dyadyaSerezha]

Сумел дойти лишь до половины. Сумбурно, размыто, декларативно, нелогично.

[Kamil_GR]

Ага, надо было писать проще.

[dyadyaSerezha]

Не проще, а чище, стройнее, строже и логичнее.

[Kamil_GR]

Полагаю всё таки надо было писать проще.

Давайте вы спросите или укажете, где вы видите срыв логики, а где размыто. Я попробую разобрать.

[Ka463]

Проблема в том, что веса агента не меняются — меняется только контекст и общая память. То есть LLM — оболочка без мира, которая не может врасти внутрь. Поэтому записи в общей памяти агенты чаще исполняют, чем интерпретируют.

Вот тут интересно, можем ли мы тонко влиять на веса, таким образом что бы не сломать все остальное, влиять в зависимости от паттернов закрепленных в общей памяти, не обучение новому, а изменение того что уже есть, в таком случае внешняя общая память становится контуром опыта, который медленно, меняет поведение самой модели.
Теоретически можно было бы использовать Activation steering / representation engineering. встраивая векторы поведения, это относительно дешево по сравнению с переобучением модели.

[ToxaBes]

Можем. Более того, можем вот такое 1, 2, 3, но пока что не в больших LLM. Для этого еще нужны исследования.

[Ka463]

Да ваша идея близка и похожа, но это не то что я предполагал, вы используете LoRa, да дешево, но это до обучение и изменение весов, я предполагал другое  steering/ReFT — вмешательство в активации без изменения весов.

[ToxaBes]

вмешательство в активации без изменения весов.

Посмотрите ссылки 1,2,3 в моем комментарии. Там как раз про спайковые структуры, которые позволяют изменять активацию без изменения весов.