Как мы сделали клиентскую поддержку интернет-магазина действительно умной: опыт внедрения RAG-бота

Здравствуйте, спасибо за статью, отличная работа. Но у меня еще остался вопрос. Насколько я понимаю, процесс предварительной обработки сообщения пользователя довольно трудозатратный, и иногда задействует повторные запросы в ту же LLM, CRM и DB. И всё это выполняется, прежде чем отправляется запрос на генерацию релевантного ответа. В добавок, сама генерация ответа тоже может занимать некоторое время. Отсюда вопрос. Насколько быстро отвечает такой ассистент и какие подходы вы используете для разгона системы?