RAG-системы: что это такое, принципы работы, архитектура и ограничения

Хорошая статья, посмотрел гитхаб - проект заслуживает внимания.

Вопрос, насколько трудозатратен процесс разбиения на чанки. Я правильно, понимаю, что этот процесс в основном ручной? Или существуют методы автоматизации с учётом конфиденциальности?