ПростоГраф: как я сделал глубокий форк LightRAG под свои (и, возможно, ваши) нужды

[fshp]

TTFT (время до генерации первого токена) на домашней видеокарте 4070 Super, входном контексте в 120к токенов и 8B‑модели — 4 минуты. TPS (скорость генерации) — 3,5 т/с.

Запустите модель на CPU. Скорее всего скорость генерации будет выше, а потом догадаетесь почему так.

[Front-Den]

Это было в прошедшем) сейчас я понимаю и про слои, куда-сколько и про движки инференса и прочее. Тогда опыта было 0

[frei480]

Попробовал.
1. Cпотыкается на простых текстовых файлах, кодировка utf-8 ему не нравится?
Этап анализа пропущен: да Начало анализа: 18.06.2026, 07:37:00 Окончание парсинга: 18.06.2026, 07:36:46 Движок парсинга: legacy Формат парсинга: raw Начало парсинга: 18.06.2026, 07:36:45 Окончание обработки: 18.06.2026, 07:37:02 Параметры обработки: F Начало обработки: 18.06.2026, 07:37:01 Исходный файл: search.html.md Сообщение об ошибке: 'Фрагмент[1/17]: doc-036394d1fd5bad23bd6973d5e02e9cb4-chunk-000: ascii' codec can't encode characters in position 7-13: ordinal not in range(128)

2. При попытке в веб-интерфейсе поменять настройки в секции эмбеддингов: указал модель "text-embedding-embeddinggemma-300m" и провайдер http://host.docker.internal:1234/v1i http://host.docker.internal:1234/v1 без заполнения поля "API-ключ эмбеддингов", которое не требуется выдает ошику
INFO: 172.22.0.1:39642 - "POST /user_llm_settings HTTP/1.1" 400

[TheRealMaN]

не получилось использовать с .md файлами, виснет на обработке

подскажите может есть какой проект полегче весом, чтобы использовать с маленькой коллекцией заметок в папках/подпапках с mardodwn файлами?