Свои GPU плюс облако: как LLM-шлюз живёт в продакшене — ноды, отказы, ключи, обновления

[innokentyBo]

В таблице отказ Redis для пула нод приводит к переходу в облако. Как это сочетается с nodes_only, где облака не должно быть вообще? Для такой политики я бы отдельно проверял сценарий: локальные ноды живы, но их состояние недоступно — запрос завершается ошибкой, а вызовов облачного вендора нет. Для части пользователей это ограничение не про экономию, а про допустимое место обработки данных, поэтому восстановление доступности не должно незаметно менять политику размещения.

[coylOne]

Хороший вопрос, и в таблице это стоило оговорить. nodes_only применяется раньше отказоустойчивости: облачные модели убираются из цепочки ещё до исполнения. Поэтому, когда Redis недоступен и пул нод пропускается, в цепочке не остаётся ничего, и запрос завершается ошибкой без вызова облака.

«Переход в облако» из таблицы работает только там, где облако разрешено, то есть в nodes_first или с политикой по умолчанию. Сценарий, который вы описали, — ноды живы, состояние недоступно, ошибка, ноль вызовов вендора, — проверим отдельным тестом и уточним таблицу.

Вы правы, что для части пользователей место обработки данных — это требование, а не оптимизация.