Обновить

Ваша База Знаний — золотая клетка с прозрачными стенами

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели7.2K
Всего голосов 4: ↑3 и ↓1+2
Комментарии34

Комментарии 34

/me пожимает плечами и продолжает пользоваться Emacs + org-mode.

/me машет приветом из irc, кивает и не трогает ваш .emacs.

Итоговый вариант к которому пришел - просто каталог с подкаталогами по темам, просто текстовые файлы и картинки, и файловый менеджер Миднайт (кто не знает - Нортоно-подобный).
Хочешь - читай, хочешь - пиши, хочешь - копируй, хоть на флешку, хоть по сети.

Утилиты grep, diff - само собой. Встроенный в Миднайт поиск - ESC + ? и ищи что хочешь по файлам в каталогах, и найдет, и в отдельную панельку соберет.

Нужно уточнить нюансы установки MongoDB в Docker? Симлинки - почти такие же ссылки как в веб, вот тут про одно, вот тут про другое, и всё как бы в одном месте, всё под рукой.

Узнал что-то новое, полезное - не поленись, создай каталог и запиши в файлик, когда-нибудь и пригодится.

А чтобы всё это не исчезло в один момент - люди изобрели RAID-массивы, и rsync если покажется мало.

Если захочется бекапа всего и сразу - tar

И к чёрту облака.

Да, технологии еще 90-х годов прошлого века, в заметках ни заголовков, ни выделения курсивом, тупо текст, но работают же?

Вы описали не ностальгию по 90-м, а как раз тот тест из статьи. Каталог, текстовые файлы, grep, diff, rsync, tar, RAID — это и есть “владение”. «К чёрту облака» - отлично, выключатель не у вендора!

Курсив и заголовки я бы не списывал так быстро: Markdown всё ещё текст и по-прежнему открывается блокнотом. Ломается не «красота», а когда заметка перестаёт быть файлом.

Я упирался в другую проблему. Рядом с txt лежит PDF клиента, который нельзя переписывать и ставить пометки, таблица, которая должна складывать, и связь «все это про тот договор». Midnight командер честно показывает как файлы, но оперировать структурой уже сложнее.

Поэтому я оставил тот же инвариант, что у вас: workspace — обычная папка, её можно унести на флешку и открыть в Midnight. Оболочка сверху заточена под заметки и внешние офисные файлы, а не под то, чтобы стать ещё одной базой. Удалил приложение — папка на месте, MC её по-прежнему ест. Формат, которому нужна структура (таблицы, вайтбоард), — JSON, тоже текст, не контейнер.

Если вам хватает txt и Midnight — все остальное выглядит избыточно. А если работа начинается с PDF и Word в той же папке? Вот отсюда и растет Intessika.

Obsidian-люди: сколько из вашей папки, кроме .md, проходит тест Блокнотом?

А должно? Ну т.е. признаюсь честно, не все в моем хранилище md файлы. Основные потери которые я понесу при смене текстового редактора md: canvas (но это временные файлы до составления полной структуры заметок, красивые диаграммы на нем сложно отрисовать) и base (как средство сборки автотаблиц - и для меня это будет действительно неприятно). Но основная претензия на сколько я понял к .obsidian папке. Там хранятся индексы и все то почему обс работает. При переносе в другую систему, например в вашу, я ожидаю, что копирования md файлов достаточно, чтобы новая система построила свои индексы и дала мне тот же автокомплит, поиск, индексы и так далее, иначе я в нее не поеду. Еще одно замечание: обсидиан все ж таки не облако, разустановить его с моего компа довольно трудно. Поэтому отсутствие доступа к обновлению мне мало чем грозит.

Вторая часть претензии, как я понял, к плагинам, тут тоже не вижу проблем, для того чтобы продолжать работу в обсе: чтобы они сломались их надо разустановить и закрыть мне доступ к маркету Обса и Гитхабу (на котором они лежат в виде кода). Однако это не остановит меня переписать их самостоятельно.

В целом Ваша идея свернуть все к форматам md для текста, csv для данных, и к примеру mermaid для векторной графики и интерпретируемому языку, который поддерживался бы в каждом чайнике для того, чтобы это красиво отображать, мне нравится. Но боюсь ее век еще не наступил, хотя подвижки в эту сторону имеются. Вызывает правда опасение, что для того, чтобы они поддерживали фичи, которые есть в проприетарном ПО по типу Word и Excel, они усложнятся безмерно и потеряют и человекочитаемость и возможность писать это руками. Чего в целом то и хочется достичь: написать где угодно, как угодно и просмотреть это в том, в чем потом удобней это смотреть.

Про .obsidian вы правы: индексы — не заметки. При переезде копирования .md должно хватать, чтобы новая система собрала поиск и автокомплит. Иначе продают оболочку, а не папку. Этот запрос принимаю и к себе.

Настоящие потери у вас не плагины и не облако, а Bases (встроенные в Obsidian таблицы-базы по заметкам). В целом Obsidian — не Notion: сервер не чужой, и плагины можно переписать.

Согласен с тем, что Markdown + CSV + mermaid хороши, пока не начинают быть Word и Excel. Тогда руками уже не пишется, а «открой Блокнотом» остаётся формальностью, хотя если формат прозрачен, то тоже пишется.

В Vault можно жить. Intessika не про автотаблицы из .md, а про PDF и Word рядом с заметкой. Подход тот же: скопировал файлы — и поехал.

Bases появился относительно недавно, раньше вполне жили без него. Кто-то вообще не пользовался подобной функциональностью, кто-то осваивал Dataview.

Можно сказать что Dataview в этом смысле честнее: запрос лежит в .md, grep его видит. Нужен плагин, чтобы выполнить, не чтобы прочитать. Это ближе к закрытому движку, чем к закрытому контейнеру.

В каком-то смысле что-то подобное есть: если у вас линукс, данные в csv и требуется что-то там сложить - в линуксе практически всегда есть perl, который имхо куда проще питона, и вот как раз такие штуки типа обработки текстовых файлов на нем прекрасно делаются.

А красиво вывести в PDF или в картинки можно из текcтовых же файлов, сгенерированных перлом по csv и текстовым шаблонам, с помощью LaTeX.
Вот его надо устанавливать, по умолчанию в каждом чайнике его нет.

Но кто сейчас умеет писать скрипты на perl и шаблоны на LaTeX? )
Скорее, напишут на rust бинарник...

Perl, Python или Rust не важно. Важно, что на выходе снова текст — контроль у нас. А если «откроется только нашим бинарником» — то опять собрали третью клетку, только без облака.

"Нет никаких облаков, есть только чужие компьютеры" - лучше и не скажешь.

Да, маркетинг. First principles: байты либо у вас на диске, либо у них в стойке. Третьего не дано. Лет через десять фраза «лежит в облаке» будет звучать как «информационная супер магистраль»: красиво, но никто уже не вспомнит, почему так говорили. Кто держит диск — тот пишет законы. Остальные арендуют память и надеются, что арендодатель добрый.

ваш .md честный, и вы это знаете

Уверены? А хотите поискать сколько несовместимых версий / расширений md формата?

Я не уверен, что это один формат. но уверен в другом: это всё ещё голый текст. CommonMark, GFM, wikilinks, callout’ы, ![[embed]] — ну да, зоопарк, и чужой рендер откроет это криво. Но криво != мёртвый файл. В блокноте видно текст и grep найдёт слово,а git покажет дифф. С .one и sqlite так не выйдет пока не приехал их парсер.

Несовместимые диалекты это проболема, но читаемо через века. Закрытый контейнер это засада. Статья как раз про второе. Первое неприятно, не никто и не спорит.

ну да, зоопарк, и чужой рендер откроет это криво.

В чем принципиальная разница с docx? Обычный ZIP c XML где лежит просто текст. В тегах, с мусором дополнительной информацией. Но поиск по слову в обычном notepad/vi работает.

Проблема именно отрендерить корректно...

Разница не в рендере, а в том, что лежит на диске.

.md — уже текст: открыл, нашёл слово, прочитал дифф. .docx — ZIP. В блокноте не предложение, а архив. Текст появляется после распаковки, и в XML его ещё режут теги и grep по слову легко промахивается.

Кривой Markdown всё ещё читается сразу, docx читается после обработки.

Перефразирую: Ваша (персональная) База Знаний — это в надежном месте flat-file (NoSQL\noDBMS) и желательно с семантической основой (семантическим сахаром).

Развернуто тут.

Понял, почему не в комментарии, а в свой .md: Хабр - чужой компьютер, git - ваши файлы. Это как раз тезис статьи, и вы его сразу применили. Прекрасно! По сути: склад в flat-file и несколько копий - да. Если говорим что без RDF это «ещё не знания» - это совсем другой разговор; я же писал про то, чтобы склад нельзя было отнять, не про reasoner (это вообще другой уровень иерархии, как бы надстройка над текстом). Triplestore, да, ок, пока turtle/JSON-LD хранятся как текст. Как только с базой говорит их движок, сразу попадаем в третью клетку с онтологиями (для понимания всем: triplestore часто живёт как служебная база (Blazegraph, Jena TDB): снаружи только SPARQL и внутри свой формат).

Semantic ZK я не обещаю, сейчас разработана только основа - Папка, Markdown, JSON. Это как раз та база, над которой можно потом поставить ИИ, reasoner или онтологии при чем и своим скриптом, своим плагином, чужим SPARQL по JSON-LD или плагин к Intessika. Но все это дополнения к, а не вместо папки.

Хабр - чужой компьютер, git - ваши файлы.

Иногда: "в поте лица" "пишешь и пишешь" комент к статье, стараешься, а спустя время статью и соответственно все (мои и чужие, но тоже интересные) коменты к ней - в бан.

Вставьте ключ из ответа или импортируйте прикрепленный intessika.licenseфайл. 

Я бы посмотрел, но как по мне "такое" (ключ) для проприетарной бета-версии desktop - явный перебор (поэтому же ARIS Express не использую).

Демо в облаке будет? Полный help как скачать (или из intessika.exe вытащить)?

По ссылке Ресурсы "Исходный код (zip)" - исходного кода нет ..., т.е. "На заборе написано Исходный код", а там только 9 screenshots ...

Наиболее близкий аналог к intessika - какой?

По теме semantic ZK - что-то встречалось? Может RDF-плагины к несемантическим ZK?  

Про пот лица это 100%. поддерживаю, всегда обидно писать в пустоту.

На счет ключа - он строго опционален. Это был бы перебор, если б без него не пускало. У Intessika ключ по почте по желанию: больше для тестеров и какой то статистики. Приложение полностью работает без .license. Тут просто недопонимание - может это баг формулировки, перечитаю, исправлю.

Облачное демо что имеется ввиду? Если мы говорим о Help, то все лежит на сайте (браузерный перевод хорошо все переводит):

  • на главной странице https://intessika.com базовая информация и несколько видео, FAQ, скрины

  • https://intessika.com/learn/ - по шагам курсы обучения, они же открываются в приложении с бОльшим интерактивом

  • https://intessika.com/blog - для более глубокого понимания общей идеи

  • в самом приложении все основные элементы с детальными тултипами, есть что почитать

«Исходный код (zip)» - это стандартная кнопка GitHub у каждого релиза, не моя идея выдать «вот исходники приложения». Ядро проприетарное, в публичном репозитории исходников клиента нет. На заборе написано GitHub, не open source, он автоматом собирает этот zip.

Ближний аналог - Obsidian. Общее это папка на диске и файлы .md. Дальше разъезжаемся: у меня папка разнотипных заметок и слой пометок (аннотации) к PDF/Office без перезаписи оригинала + управление контекстами Mission Control (основные фичи, которые помогают вернуться в контекст максимально быстро). Это не Notion и не Obsidian\SMW.

Semantic ZK не моя стихия. Из того что на слуху, Semantic MediaWiki есть. По обычному ZK если, то это - свойства Logseq, Dataview в Obsidian (это ещё не RDF), дальше уже JSON-LD / turtle поверх файлов.

У меня в Obsidian Vault прекрасно живут в нужных папках и xls, и pdf, и архивы. Двойным кликом по xls, например, откроется OnlyOffice или MS Excel, в зависимости от компа. Можно редактировать и сохранить. Честно говоря, не понял вашу мысль про "В Vault можно жить. Intessika не про автотаблицы из .md, а про PDF и Word рядом с заметкой."

Речь была не про то, что файлы нельзя положить рядом , а о том что с ними делает оболочка. Obsidian отдаёт документ наружу. Intessika заточена под работу с ним: пометки и связи, не переписывая оригинал. Это новый слой рядом, без изменений оригинала. Если вам достаточно открыть OnlyOffice - это просто. Если нужно связать свои заметки с внешним документом еще и в нужных абзацах, то тут как раз Intessika поможет.

Joplin — опенсорс, но заметки лежат в SQLite

Разве это закрытый формат? База открывается любыми подходящими клиентами, схема - именно такая, какую вы ожидаете, никакой магии. Заметки хранятся plain-текстом, основной формат - тот же markdown с популярными расширениями, вроде LaTeX и Mermaid. Кросс-ссылки и вложения - markdown-ссылками с id прямо в тексте, файлы - в директории resources рядом, с id в именах.

Синк-сервер - чужой за деньги или в доску свой self-hosting. Joplin форсит толстые клиенты под каждую платформу, поэтому на каждом устройстве будет полная копия базы, даже если враги вероломно прекратят поддержку серверов или полиция накроет ваш уютный дата-центр в Нидерландах. При этом E2EE доступен из коробки - не нужно искать компромисс безопасности и удобства.

Согласен, формат SQLite известен, это открытый контейнер, а не .one какой-нибудь. По этой части нет претензий.

Имелась в виду другая сторона - прочитать возможно, но рабочая копия это файл базы, не папка заметок. Блокнот .sqlite не откроет, rg по дереву не найдёт фразу, пока не сунетесь в SQL. Git увидит бинарный дифф. Не так жестко и в целом юзабельно, но это не vault из .md и не текст. Для работы уже нужна надстройка если есть и текст на диске и база. Либо все перемещать в одно место.

Про синк тут спорить нечего: толстый клиент + своя копия + E2EE + self-host. Это не Notion. Если сервер в Нидерландах накроют, у вас останется база на диске скорее всего.

Итого да, Joplin уже ближе к владению. Остаётся только вопрос привычки - жить в SQL или в файлах. А если надо и там и там?

не папка заметок

Все лежит в одном месте - разве не красота? Нет ни разъезжающихся внешних индексов, ни вездесущих служебных файлов.

Блокнот .sqlite не откроет, rg по дереву не найдёт фразу, пока не сунетесь в SQL

Как теоретическую необходимость - не вижу проблемы в совании в SQL. Но мне правда сложно представить кейс, когда заметку будет необходимо из базы напрямую читать. Joplin даже в CLI умеет.

Git увидит бинарный дифф.

Joplin сам умеет в ревизии заметок и хранит diff в базе.

Остаётся только вопрос привычки

Привычки можно фиксить силой воли и другими привычками. Для всего остального есть ~MasterCard~ импорт заметок.

Второй обман злее первого, потому что выглядит как забота: «Конечно, вы можете уйти. Вот кнопка экспорт».

Конкурентов поругали, а в вашей софтине есть средства экспорта? Не голые файлы, а метаданные: связи, теги, пометки на документах и т.п. А импорт того же ENEX?

Тут задумка другая. Мастера экспорта метаданных в чужой формат нет, импорта ENEX тоже нет, потому что он должен быть не нужен.

В данном случае обычная сохранение в Intessika и есть выгрузка. Markdown, JSON, связи, теги, слой пометок к PDF, это все txt файлы в вашей папке. Скопировали папку - уехали заметки, оригиналы и связи рядом.

И в статье уже озвучено: спеки полей на диске ещё нет. Но на то оно и бета. Развитие продолжается.

То есть в эту софтину нужно заходить с чистого листа и обратного пути нет. Львиная дола аудитории с существующей базой заметок идет мимо сразу.

Откуда такие выводы? ~90% (опрос) - это те кто ведут заметки в md или txt и живет в папке. Intessika их обрабатывает прозрачно. Соответственно самого понятия “вход” нет как такового, скинули свою структуру папок и готово. Обратный путь есть всегда: папка остаётся у вас и .md уедет в любой редактор, а PDF как был чужим файлом, так и остался. Мастера “заходов” нужны если бы был проприетарный формат. И кстати, такие сервисы, наказывают за выход, тк это бизнес-модель.

~90% (опрос) - это те кто ведут заметки в md или txt и живет в папке.

Эти никуда и не пойдут - у них маленькие базы со слабыми связями.

папка остаётся у вас и .md уедет в любой редактор

Ничего кроме текста не уедет. Ценность - в метаданных. Это ж очевидно: даже ваша софтина по сути тоже нужна для генерации и обработки этой дополнительной информации. Иначе хватало бы директорий и текстовиков.

Мастера “заходов” нужны если бы был проприетарный формат.

Уже есть тот же ENEX. Вы предлагаете вручную теги копировать? Разве не в этой статье автор жалуется, что много кликов для миграции пришлось делать?

такие сервисы, наказывают за выход, тк это бизнес-модель.

Почему вы наказываете пользователя ЗА ВХОД?))

зайдите и узнаете ))

Как импорт-экспорт сделаете - так сразу))

Вы не владеете тем, что не можете открыть. Не «посмотреть в их приложении», а открыть обычным Блокнотом.

Сомнительный аргумент, есть куча видов данных которые нельзя представить текстом, фотографии к примеру.

В статье нет посыла «всё должно быть текстом». Аргумент статьи - этот файл открывается без их программы (блокнот как пример, для простоты). Фотография на диске, к примеру, открывается чем угодно, копируется на флешку. Фотография, которая живёт только в их базе и без аккаунта не скачивается, считается не ваша.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации