Как собрать персональную wiki без Claude Code

[Void-Cowboy]

интересно это карпати специально проплачивает статьи? явно идет на затмение славы Юлии Якубени

А относительно темы статьи - просто векторный поиск по текстовым файлам и LLM в качестве "поискового движка". Существует масса гоовых плагинов на тот же Обсидиан или если серьезно то прям цельных систем по типу Paperless

[Mixael_sas]

У меня есть задача поиска по большим документам человеческим языком. К Obsidian можно прикрутить LLM и работать по загруженному документу?

[Void-Cowboy]

легко

скорее устанешь выбирать среди сотни плагинов именно тот что тебе идеально подходит

[Timur555]

я решал похожую задачу, есть 48 часов видео с курса, и нужно собрать из них вики для собственного использования

В ито сделал готовый продукт. Все кроме экстракции сущностей, происходит локально.
Хорошая мысль написать про него статью тоже

[khmelkoff]

А как вы делали связи между сущностями? И ещё интересно, "для собственного использования" предполагает ответы по wiki от wiki-агента?

[Timur555]

Связи двухслойные, и обе защиты — от выдуманных ссылок. На экстракции каждая порция транскрипта даёт структурированные темы, из них собирается индекс и план статей. Дальше, когда модель пишет статью, она получает белый список уже существующих заголовков и инструкцию: ссылаться [[так]] можно только на темы из списка. А на сборке vault все ссылки ещё раз проверяются против реальных страниц: неизвестная ссылка не остаётся битой — она уезжает в отдельный индекс Unlinked Mentions с указанием, кто её упоминал. Получается одновременно защита от галлюцинированных связей и очередь кандидатов на следующие статьи: у меня сейчас 47 написанных и примерно полторы тысячи отложенных тем в этом индексе.

Про агента — честно: пока нет. Пользуюсь руками в Obsidian: из статьи ссылка ведёт в чанк-источник, из чанка — в транскрипт, так что «ответ по вики» у меня — это статья плюс два клика до первоисточника. По устройству vault — готовый RAG-корпус, агент поверх напрашивается, но это следующий шаг, а не текущий.

[khmelkoff]

неизвестная ссылка не остаётся битой — она уезжает в отдельный индекс Unlinked Mentions с указанием, кто её упоминал

я как раз думаю двигаться в этом направлении.

По устройству vault — готовый RAG-корпус

На моём бенчмарке векторный поиск работает немного слабее LLM-агента, который всегда видит индекс и умеет ходить по ссылкам. Особенно по полноте ответа. И это у меня был RAG с адаптивным top_k. Наверняка кто-то ещё пытался сравнивать.

[Timur555]

я делал домашний раг на qwen0.6b (да, именно 0,6 млрд параметров)
поиск по библиотеке документов работал очень даже достойно
По сути, от модели требовалось только скомпилировать связный текст по чанкам, а векторный поиск делал основную работу