Локальный RAG без магии: sources, timings, request_id и отказ от генерации

у вас в конфиге олламы "num_gpu": 20, это не влезет ну никак на Радеон от ноута , оллама принудительно сбросит все слои в ram и генерация будет 1 токен/с. Для квантовой модели которую вы используете нужно минимум 11 Гб vram)