Комментарии 3
Спасибо, технически “вкусно” (ну, на мой вкус).
Во-вторых, запрос должен попасть туда, где это начало уже успело прогреться. В single-node setup это почти не заметно. В multi-replica это уже отдельная инженерная проблема.
Можно вот тут подробнее? Вроде как кэшируется по API-ключу, если на репликах один ключ, то проблем быть не должно, или…?
Проблема не в стабильности prompt’а. Prompt может быть одинаковым. Порядок запуска - нет.
Тут, видимо, точнее будет сказать, что проблема не в порядке запуска, а в возможном одновременном запуске, т.е. может иметь место Cache Stampede or Dogpile Problem in System Design
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Один timestamp, один round-robin, один плавающий список tools: 7 анти-паттернов, которые убивают префикс кэша LLM