Собственно из-за этого суммаризация и делается отдельным вызовом LLM (этой же или попроще). Если это общий разговор, то он может пойти как угодно и у LLM есть шанс понять основной смысл и попробовать решить что тут важно, а что было обсуждением, которое зашло в тупик и его можно выкинуть, если модель правильно поняла суть, то сжатие будет неплохим, если перепутала, то будет хуже. При этом после нескольких суммаризаций шансов, что все детали будут учтены становится все меньше. Защита первой части помогает прежде всего в специализированных агентах, где процесс завязан на первоначальной постановке и это явное решение автора агента, который знает его специфику. В целом переполнение контекстного окна почти всегда зло, суммаризация лишь попытка продлить пользователю возможность продолжить диалог попробовав сделать это не сильно больно.
Сильно зависит от проекта, если это разработка, то у меня как правило любой новые в жизни проекта - отдельный чат для формирования идеи и ее "раскрытия" или обсуждения - где результат пишется в файл, потом отдельным чатом идея превращается в детальную спецификацию для реализации (часто с несколькими отдельными работами), потом отдельным чатом прошу взять спецификацию и начать реализацию каждого пункта из спецификации в отдельном субагенте (у каждого будет свой короткий контекст и в родительский чат они выкинут только результат), а потом проверить общий результат.
Чем меньше и понятнее задача для чата, тем лучше он ее сделает. сейчас Grok только что выпустил модель с приличным контекстным окном и неплохой ценой, только вся фишка, что после 200K токенов цена удваивается, фактически они перешли к экономическим стимулам для пользователей не спрашивать все в одном чате
R интерпретируемый язык, поэтому циклы и неоптимизированы, а групповые операции как раз всю оптимизацию внутри циклов и имеют. Поэтому в R важно понимать что делаешь.
Собственно из-за этого суммаризация и делается отдельным вызовом LLM (этой же или попроще). Если это общий разговор, то он может пойти как угодно и у LLM есть шанс понять основной смысл и попробовать решить что тут важно, а что было обсуждением, которое зашло в тупик и его можно выкинуть, если модель правильно поняла суть, то сжатие будет неплохим, если перепутала, то будет хуже. При этом после нескольких суммаризаций шансов, что все детали будут учтены становится все меньше. Защита первой части помогает прежде всего в специализированных агентах, где процесс завязан на первоначальной постановке и это явное решение автора агента, который знает его специфику. В целом переполнение контекстного окна почти всегда зло, суммаризация лишь попытка продлить пользователю возможность продолжить диалог попробовав сделать это не сильно больно.
Сильно зависит от проекта, если это разработка, то у меня как правило любой новые в жизни проекта - отдельный чат для формирования идеи и ее "раскрытия" или обсуждения - где результат пишется в файл, потом отдельным чатом идея превращается в детальную спецификацию для реализации (часто с несколькими отдельными работами), потом отдельным чатом прошу взять спецификацию и начать реализацию каждого пункта из спецификации в отдельном субагенте (у каждого будет свой короткий контекст и в родительский чат они выкинут только результат), а потом проверить общий результат.
Чем меньше и понятнее задача для чата, тем лучше он ее сделает. сейчас Grok только что выпустил модель с приличным контекстным окном и неплохой ценой, только вся фишка, что после 200K токенов цена удваивается, фактически они перешли к экономическим стимулам для пользователей не спрашивать все в одном чате