Комментарии 144
Сейчас человечество вошло в интересный период. Информационные технологии стали настолько сложными, что без участия государства надёжное сохранение информации невозможно (сколько там потерялось картиночек на огромном количестве форумов из-за того, что закрылся один крупный сервис?). То, что отдельные энтузиасты дисциплинированно что-то у себя сохраняют, общую проблему не решает. Но при этом государства сейчас такие, что доверять им этот важный общественный вопрос невозможно. Противоречие.
Не припомню чтобы хранением информации на длительном промежутке занималось именно государство. Обычно это как раз люди (для поддержки страны и общества), а государство - это что-то быстро сваять на коленке. Если у людей, которые интересуются сохранением информации есть ресурсы и влияние на государство, то может происходить улучшение процессов сохранения, а у государств нет такой сверхзадачи. Государства приходят и уходят, а информация сохраняется людьми. Государство может легко вам сказать что-то вроде "Незаменимой информации нет" или усложнить вам доступ, хотя для вас информация может быть важной.
А кто же еще?
Архивы - государственные, либо аффилированные с государством.
Библиотеки - аналогично.
Да даже ЗАГС ой, церковные книги - аффилированы с государством.
Начиналось с отдельных летописцев и монастырей как систем дублирования и холодного хранения. Но они не занимались всеми знаниями. Даже знаменитая библиотека Ватикана и его сеть разведки тоже преследовала в первую очередь свои, а не общечеловеческие интересы.
Даже знаменитая библиотека Ватикана и его сеть разведки тоже преследовала
в первую очередь свои, а не общечеловеческие интересы.
все так делают. всегда так делают.
а интерес летописца вести хронику непонятен и неправдоподобен.
так же как интерес монастыря как хозяйственной единицы кормить этого грамотея-бездельника (притом что бизнес-процессы самого монастыря нуждаются в документировании и учете).
также неправдоподобен интерес монастыря содержать какую-то там библиотеку. нужно выделять правильное помещение с правильным микроклиматом, спеца-библиотекаря, а если в библиотеке найдется какая-нибудь еретическая книжонка - мало не покажется никому.
а интерес летописца вести хронику непонятен и неправдоподобен.
Но почему? Монастырь — это в первую очередь не хозяйственная единица, а центр духовной жизни, отсюда и библиотека (понятно, что в первую очередь с религиозными трудами). А зачем писать летописи — ну а зачем людям делать разные другие общественно-полезные вещи по своей инициативе? Но делают же.
"духовная жизнь" недоступна внешнему наблюдателю и отвратительно документируется. есть ли там она, нет ее, или она имитируется ради гей-оргий с молодыми послушниками - мне разбираться лень и нет желания. для упрощения позиции предлагаю игнорировать.
про библиотеку я написал, вы проигнорировали. окей.
а зачем людям делать разные другие общественно-полезные вещи по своей инициативе?
им за это платят деньги. или награждают красными революционными шароварами.
им легче делать социальную карьеру, т.к. растет известность.
они близко к сердцу восприняли концепцию "греха" и чего-то там искупают.
рассмотрим движение волонтеров по обе стороны СВО ... впрочем нет, рассмотрим движение "Лиза Алерт". что это такое ? а это штрейкбрехеры. тем, чем они занимаются, должны заниматься специальные люди за зарплату.
Архивы не обязательно долговременное, хватит нескольких поколений (государства обычно дольше и не существуют). Государству принципиально долговременное не нужно. ЗАГС и другие краткосрочные способы регулировать массы нужны, а долговременное сохранение - такую задачу решают энтузиасты. Там в примере вообще форумы с картинками - зачем государству это сохранять? Энтузиастам интересно, люди раньше и сайты копировали. Как пример - есть архив интернета.
Как раз плохая идея - оставить на волю государства то, что должно решаться децентрализованными методами. Был такой общественный деятель, Иван Бегтин, последнее десятилетие он потратил много усилий, чтобы приложить концепции OpenData к данным государства, и, в целом, пока не свернули, много было сделано. Параллельно его АНО также бэкапило архивы информационных порталов, которые (сюрприз-сюрприз) местные власти часто просто закрывали и выкидывали, когда приходило время реорганизовать учреждение или закрыть очередной тендер по релизайну.
С закрытыми или условно узявимыми данными, конечно, все посложнее.
АНБ государственное? А там все есть. Даже ваш упавший бэкап.
Сомнительно. У гугла редко, но что-нибудь падает, а тут какая-то заморская контора все сохранит? Да и зачем им все? Не знаю про абн, но если не так далеко, то сколько по Яровой нужно хранить? Там ведь наверняка хранят какое-то время, а дальше перезаписывают на те же носители, недолговечное это дело, хранят ровно столько времени, чтобы хватило вас поймать, согласно Яровой и другим близким к этому правилам хранения трафика, а хранить вот прямо все и надолго - не нужно.
как раз государства не заинтересованы в долгом хранении информации. Ведь лучше иметь законы забвения. У меня крякнул диск(моя беспечность меня подвела), но не это самое страшное, а то, что много интересных исторических фактов и свидетельств определенных событий была утеряна, а в интернет осталось либо совсем не то, либо ничего. Закон забвения работает хорошо.
как раз государства не заинтересованы в долгом хранении информации.
Подтверждаю. Конкретный пример: на прошлой неделе понадобился эпикриз, который выдали матушке в 2022 году. Захожу в ЕМИАС — нет его. Как-будто маму вообще не госпитализировали по ОМС в 2022 году.
Хорошо что при выписке сохранил эпикриз в недрах своего SSD, помня золотые слова Мюллера:
«В наше смутное время, Штирлиц, никому нельзя доверять. Слышите? Никому!».
Иначе важная информация, от которой зависит здоровье и жизнь родного человека, исчезла бы навсегда. Либо для ее восстановления потребовалось на несколько порядков больше времени по сравнению с поиском на собственном диске.
Возможно проблема в том, что мы недостаточно осознаём необходимость децентрализованных технологий. Информация в Интернете со временем исчезает, сохранение не всегда помогает - не все сайты легко сохранить так, чтобы они работали оффлайн, чтобы ссылки между страницами открывались, все скрипты загрузились и т.д. И у нас вроде бы нет стандартного решения, чтобы ресурсы загружались по некоему уникальному идентификатору (криптографическому хешу) из распределённой системы, причём напрямую через браузер, без использования каких-либо дополнительных средств, то есть, чтобы можно было вставить, например, изображение в HTML так: <img src="uid:2da3fb89a01721eb5" alt="Очень важная картинка">, и чтобы оно грузилось чисто по идентификатору. Конечно так большинство делать бы не стали, но во многих случаях эта возможность была бы очень полезна.
Или наоборот, слишком хорошо осознали, что централизация помогает дистанцироваться от лишних проблем: всякого сомнительного и потенциально незаконного (копии текстов без явного разрешения уже попадают в эту категорию).
Есть ipfs и ipfs gateway, чтобы "через браузер, без дополнений", но... это скорее такая продвинутая чудаковатая CDN. Она решает одни проблемы торрентов (доступность из браузера, контентная адресация индивидуальных файлов, обновление файлов), но не призвана заменить их.
Нафига она сделана файловой системой? (это прикольно). Почему не предусмотрено простое сидирование? (молодой человек, это не для вас делали!). Почему за почти 10 лет не сделали ограничение скорости (по техническим причинам, уходите говорят, закрыто!). И какой смысл ещё в... (я сейчас полицию вызову!).
При чем тут государство? Если у тебя нет информации локально, у тебя ее нет совсем - вот и весь принцип. Это дело личное и персональное. Статья об этом, а не о том, как стать вторым Мошковым или Третьяковым.
Государство вообще не заинтересовано в сохранении всей подряд информации. Ни одно. Государству не может быть интересен альтернативный метод прочистки труб или апокрифические библиотеки JS, не говоря уже о том, что у каждой страны свой взгляд на исторические события
Извините, выглядит как фантазия об идеальной базе.
Где примеры э...единиц знания и объснения как это заносится в базу? Структура папок? Используемые скрипты? Используемый софт?
------------
Не знаю, как у автора, но у меня так:
Собираю профильную литературу и стандарты. Это скорее не база, а глоссарий.
1) Софт: a. OneNote, b. excel;
2) Структура: a. по видам деятельности (ОКВЭД), b. Системы. с. Этапы ЖЦС;
3) Единица знания: Определение (желательно одно и в контексте);
4) Шаблоны кода храню в блокноте (не основной профиль).
Onenote (в основном, для картинок)
Правда, кроме меня тут никто не ориентируется 🙄
excel (реестр стандартов)
литература (не особо сортирую)
К литературе отношусь с осторожностью, тк автор/переводчик может некорректно использовать термины... да и вообще напи***ть лишнего)
На мой взгляд, важнее не инструменты, а умение правильно задать вопрос/запрос к интересующим знаниям... а тогда, будет понятно, как это хранить и классифицировать.
Лучшая БЗ - та в которой лучше поиск.
Тоже сижу на OneNote уже лет 10. Эта штука, у меня лично, раскрылась с появлением планшета со стилусом. Прям кайф - минус миллиард бумажек и заметок на полях.
Использую для своей базы знаний и заметок OneNote. Прям с первого его релиза в Office 2003 (если не ошибаюсь). Кочует с диска на диск, из системы в систему вот уже 20 лет. Имеется пара резервных копий этой базы. OneNote подкупает простой и удобством. А перо так сказать добавляет ещё удобства. Реально такая толстенная записная книжка.
Напрягает одно - иной раз приходит мысль что перееду на Linux и там это уже никак нельзя будет использовать.
Ну и библиотека PDF + TXT то же есть.
Делайте хорошо, плохо не делайте. Сохраняйте данные, делайте бэкапы. Как именно - ваши проблемы, мы вас предупредили. Ага.
>Мы сохраняли всё полезное у себя на винчестерах, героически пытаясь вместить всё нужное в скромный объём дискового пространства
До сих порт так делаю и делать буду ^___^
Расскажите, как вы решаете ситуацию с переездами?
В принципе, вопрос не только к вам. Последние года как-то стало сильно актуальнее.
Хранение в облаке OneDrive например )
А чем внешний жесткий диск не устраивает? ну его можно еще замотать в что то мягкое
NAS закинул в багажник и увёз. Он же в стену не вмурован.
У меня всё влезает на 1 двухтерабайтный диск. Но, справедливости ради, нужно упомянуть, что в этот раз он меня подвёл в отпуске и перестал определяться тип раздела на диске. Из за чего данные стали недоступны. Появилось 5 бэд секторов. Конечно, это не беда, т.к. у меня дома есть еще два зеркала-бэкапа.
Ну а остальные диски с фильмами, музыкой, играми (ISO образами PS1 дисков) лежат просто стопкой. Если я соберусь переезжать, то просто закажу перевозку вместе с другим хламом.
UPD: Текущие проекты, которые постоянно обновляются, синхронизируются через synthing.
Ценные ютуб ролики выкачиваю в разрешении ниже среднего, когда пересматриваю, вычленяю нужную информацию и записываю в zettelkasten, если нужно делаю скриншоты, потом удаляю.
Если что я не из тех, кто без разбора скачивает и хранит всё подряд. Например, из софта у меня парочка дистрибутивов ОС (LTS версии), blender, Krita, Inkscape и т.п. Чтобы их не качать если интернеты медленные. Да и всё, пожалуй. А вот музыку храню, когда-то сделал правильное — выкачал весь плейлист из ВК.
Я "посетил" переездами наверное 4 страны, всё что очень нужно ежедневно на ноуте на втором диске, ноут с собой, крайний справа голденфир на край можно вытащить и с собой взять, там второстепенная информация, которая нужна с собой но не ежедневно, остальные диск примерно по терабайту, два крайних слева под бекап (2 копии). В багаже вон та пачка много места не занимает, один бекап с собой и голденфир - в портфеле место будет. Если потеряют мой багаж или приедет позже, информация не пропадёт. Думал про НАС, но оно как-то конских денег стоит толковый, что проще и дешевле мини-блок на кучу сата собрать. Но так как 20-25Мбайт/сек хватает, то не вижу смысла.
Про какие диски дома вы говорите? Разве что котиков с ютуба хранить, вот только зачем. А вот если работать с данными, то нужных данных оказывается нереально много. Вполне типовый набор данных для анализа сегодня занимает терабайты (радарные и оптические космоснимки, к примеру, а к ним модели рельефа и гравики и прочее, плюс научные статьи, код для анализа и так далее), за пару лет получается петабайт, если хранить исходные данные и результаты. А на Google Earth Engine можно миллион космоснимков обработать за минуту, каждый на гигабайт. Впрочем, и тысячи прочитанных научных статей хранить толку нет - никогда не будет столько времени, чтобы их все прочитать и обдумать заново (потому что с каждым годом сотни новых добавляются). Но хранители коллекций анекдотов и прочего барахла год за годом рассказывают, как они хранят «информацию» на дисках :)
Насчет нереальности больших объемов - даже петабайтное хранилище сейчас вполне доступно для частного пользователя. Да, дорого, но если оно приносит доход - почему бы и нет.
Хранение тысяч научных статей (в моем случае сотен тысяч книг) - это не ради того, чтобы прочитать их все, а для того, чтобы в нужный момент найти одну единственную, которая понадобилась именно сейчас.
У всех разные потребности. Полагаю, есть любители литературы, у тех на жесткий диск влезет столько книг, что они за жизнь не умпеют перечитать.
Потому что кто-то - ищет нужное полнотекстовым поиском. Кому то - нужны гарантии что если захочется вот прям сейчас почитать X - это можно будет взять и открыть в удобном виде (а не искать у каких сейчас копирастов права, что именно они опять поменяли в своей читалке что она перестала работать и почему они внезапно решили что даже купленная у этих конкретных копирастов внезапно вот именно вам не доступна потому что одни придурки решили что там пропаганда детского терроризма, другие - что там главные герои любят не то и не так (и не тех) что полагается, третьи - что вам надо не книжки читать а идти свергать свое правительство а как свергните - обращайтесь мы подумаем на предмет снять санкции).
Ну по сути описали обсидиан с хранением базы например в Яндекс диске
У меня вся информация теперь хранится в ChatGPT. )
Сжатая в мульён раз и пропущенная через галлюцинирующие фильтры
Да, но будущее все равно за таким подходом, а не за хранением книг и статей на диске.
Можно будет скормить своему собственному ИИ любую книгу.
Боюсь, мы с Вами не доживем до того времени, когда искусственному интеллекту, доступному для широких масс, можно будет доверять в такой степени.
Мы очень близко уже. Например, ChatRTX от Nvidia. Можно поставить модель для работы с файлами. Скормить ему пару папок. С любыми данными. Извлекать по мере необходимости ответы. Не бродить по папкам самому, не создавать базу с гиперссылками. Фото, текстовые, таблицы, pdf. Не идеально, но.
ChatRTX от Nvidia недоступен для широких масс. Не каждый может позволить себе видеокарту стоимостью от $200. А без нее никак, ибо в системных требованиях ChatRTX указано:
Видеокарта NVIDIA GeForce™ RTX 30 или 40 либо NVIDIA RTX™ поколения Ampere или Ada с минимум 8 ГБ видеопамяти
Тут огромная проблема - если веса модели не у вас (а лучше и сама модель на вашем железе) - в дополнение к галлюцинациям - там будет и пропаганда чего надо владельцам модели и правильная с их точки зрения цензура и меняться это будет без предупреждения.
Эта проблема существует с нами уже давно — выдача в поиске Яндекса и Google отличается именно по этой причине, набор книг в вашей городской библиотеке и доступные вам каналы в телевизоре и т.д. и т.п. Это не проблема ИИ.
С ИИ она становится хуже, понять что нет ответа с определенной точки зрения (а те что есть - явно показывают на кого работают) - проще чем если система тебе все равно ответ даст.
Конечно, я бы тоже не расчитывал, что ИИ даст понимание, как устроен мир. Тут нужно думать самому. Изучать историю. Но в прикладных задачах влияние каких-либо идеологических манипуляций почти невозможно. Или нам нужен конкретный пример.
Прикладных - да. Но используют то поиск далеко не только для них.
Вот смотрю я можно сказать результат нейропоиска эталонного можно сказать "политического вопроса": чей крым? в Яндекс Нейро, Perplexity и Kagi. Пока ответ более менее соответствует реальности что все сложно и по мнению России - Российский и был референдум(+была передача УССР в 1954 и так далее, включая что почти все остальные страны зовут это - незаконной аннексией). При этом у Нейро уже первым пунктом со ссылкой на otvety.mail.ru "18 марта 2014 стал частью Российской Федерации". А теперь думаем что будет если желающие "бороться с фейками" решат что поисковые системы с ИИ должны убирать "ложную" информацию - и поди пойми что эта информация вообще была если тебе уже дали ответ.
Менее политический вопрос: как скачать лукьененко? (именно в таком написании)
perplexity - в ответе есть и флибуста и какая то MCA и рекомендация использовать официальные магазины электронных книг
kagi - в ответе есть литпортал, флибуста, royallib, litres, fictionbook и типа любой берите
нейро - в ответе на первом месте литрес и НЕТ флибусты. Никакой плашки порезвился роскомндзор в ответе нейро - нет (в просто поиске - есть хотя бы плашка что часть результатов была удалена потому что нарушает...)
Смотрю заминусовали, видимо, серьезные люди хранящие базы знаний на домашних дисках совсем не про юмор)
Не минусовал ;), просто такой подход годится для информации, точность которой некритична. Например, скормить модели все свои фоточки и видосики с отдыха, а потом просто запрашивать у нее - "покажи фото меня и супруги на Пхукете" - и смотреть на полученный результат. Все равно никто не помнит, что там было на фоне, и во что кто был одет.
А для информации технического характера - "подскажи, при какой температуре замерзает 50% раствор этилового спирта в воде" - галлюцинации ИИ могут привести к тому, что система разморозится.
"покажи фото меня и супруги на Пхукете" - и смотреть на полученный результат. Все равно никто не помнит, что там было на фоне, и во что кто был одет.
Нет, нужен оригинал. Для меня старые фотки (даже десятилетней давности) являются чем-то вроде окошка в прошлое, я вижу фотографию и тут же вспоминаю кучу деталей, чего без фотографии, наверно, не смог бы - какая была погода, как мы поехали кататься на велосипедах и заблудились, как потом приехали перекусить в kfc и даже о чём там разговаривали.
Если взять сгенерированную фотку, такого эффекта не будет и напоминающих зацепок - тоже.
Для научных данных наверное рановато для него, а для бытовых, прикладных, рабочих почти вполне уже достаточно. Гуглом почти не пользуюсь, в плане поиска информации , не хожу по ссылкам и не ищу в них ответы. Прямой вопрос ему — четкий ответ от него. За год он стал гораздо меньше впадать в маразм. ChatGPT.
И как она сохранит фотку вашего кота\сына\дочери etc.?
Как организован быстрый поиск нужной информации в этом "хаосе"?
Со временем придёт и к индивидуальным локально-носимым ИИ моделям в телефоне с достаточным контекстом или дообучением на всей получаемой личной цифровой информации для смены парадигмы в использовании цифровых данных.
Кто вам это даст? Сейчас основные деньги идут через манипуляцию пользователем. Отдавая принятие решений внешней системе вы попадете в зависимость от ее хозяев...
Это абсолютно так, вы правы. Но меня удивляет количество противников ИИ здесь. Какие-то параноидальные мысли о возможных манипуляциях. Можно подумать сейчас нет манипуляций с помощью более древних технологий.
Ваша позиция заслуживает уважения, но задумайтесь - насколько это легально в современном авторском праве? Скачать то же видео с ютуба или онлайн кинотеатра. Я уже нет говорю с торрентов.
Имхо это не говорит, что не правы вы. Это говорите о том, что авторское право устарело.
А зачем скачивать видео программисту? Для журналиста или блогера - это, наверное, актуально, а программисту незачем так бездарно тратить память компьютера.
Чтобы было! Программист не человек? И на его компе только все по работе должно быть?
Искал недавно на Ютюбе интервью гражданина Кадырова Политковской или хотя бы Собчачке. Нету. Но пока ещё есть на других платформах.
Про снос клипов/концертов и говорить не приходится. Да и вообще масса редких видео, которые доступны, пока доступен чей-то канал
В списке "смотреть позже" куча недоступных видео. Если убрать строчку "видео недоступно", то вообще не понять, что там что-то исчезло
И что там нелегального в скачивании с ютуба? Поподробнее, развёрнуто. Но чисто поржать с вашей теории заговора
Условия использования (youtube.com)
При использовании Сервиса запрещается:
... скачивать ... Исключения составляют случаи, в которых действует: а) прямое указание Сервиса; б) предварительное письменное разрешение от YouTube и, если необходимо, правообладателей.
Пользуюсь Obsidian + Nextcloud + скрипт для браузера, что то важное сохранить.
Я делаю то же самое по пунктам. Разве что без индексирования и резервирования. Вместо индексирования у меня в каждом файле, в котором есть несколько подразделов, есть подробное содержание с указанием страниц. И вся база по программированию у меня на диске D, поэтому её можно будет восстановить почти в любом случае.
Если я не знаю ответа на какой-то вопрос по программированию, я нахожу хорошие источники по данному вопросу на сайтах или в учебниках и копирую (предварительно изучив) в один файл с указанием источников. Получается такой конспект по данному вопросу. И, если есть возможность, в начале файла помещаю болванку-пример с решением данной задачи. В результате у меня в компьютере почти в идеальном порядке есть подробные ответы на все нужные мне для работы вопросы.
Мало того, я одинаково форматирую все файлы в своей базе знаний, независимо от того, в каком формате информация была в первоисточнике. Поэтому мой компьютер сам меняет стиль: после крупного жирного зелёного заголовка выводит самый мелкий чёрный шрифт для ссылки или названия учебника.
Кстати, у меня подобная база данных и по другим вопросам только без теории в отдельных файлах. Поэтому я могу в течение 5 минут найти любую нужную мне информацию по вопросу, который я когда-то изучала. Конечно, и учебники я сохраняю в компьютере, но искать любую информацию гораздо проще и быстрее в моей базе знаний.
В правила можно еще включить добавление тегов, облегчающих поиск и альтернативные программы поиска.
Но, похоже, настало время вернуться к истокам. Всё чаще оказывается, что нужный контент становится недоступным или меняется до неузнаваемости.
Здесь по логике должен быть пример. Но его нет, потому что его нужно придумать )
Если примеры нужны, то они не нужны.
Утверждение про частоту примером не доказать, нужно исследование, вряд ли такое есть.
В целом о проблеме доступности: думаю, кому статья актуальна, те и так знают, что меньше месяца назад кэш гугла как сервис закрыли, или что около 2000 сайтов целиком исключено из archive.org. Или имеют свои какие-то свои примеры на тему работы с источниками.
Из кэша гугла можно было вытащить недавно удалённую или изменённую информацию, всё ещё попадающую в выдачу (остались кэши бинга и яндекса).
Не думал, что начнут приводить плюшкинские примеры. Но случилось )
Эти выдуманные примеры настолько не примеры, что покажите мне того человека, которому надо та неактуальная инфа (причём вся на свете), исключая вас и ещё 3.5 Плюшкина.
Если вам нужен весь интернет со всеми изменениями, то вам нужен свой гугл кэш, что не выглядит целесообразным, о чём вам развёрнуто написал ниже Elpi
Я с ним полностью согласен, потому что у меня с сотню закладок со сверхважной и нужной инфой, которую еле нашёл, и которая нафиг не нужна спустя год )
А может, Вы просто не в состоянии определить, где важная информация, а где мусор? Лично я систематически использую информацию из своей базы знаний.
та неактуальная инфа (причём вся на свете)
весь интернет со всеми изменениями
Демагог. Посмотри ещё на глупых учоных - не хотят от неактуальной инфы отказываться. Инфа из интернета самоустраниться пытается, а они ссылку на архив ставят, гады.
Ну я тут не то что бы полностью согласен с вами, но вот недавно сам пересматривал свои гигабайты скаченных статей про Java - jsp, servlets, Application Servers, про Delphi. И понимаю что хоть они и навевают радостные ностальгический воспоминания, но они практически полностью бесполезны сейчас. Так что может в качестве временного решения - сохранить оффлайн, чтобы потом почитать где-нибудь в дороге без интернета, - это и норм, сохранить к себе на диск. Но копить эту инфу годами и наполнять её для дальнейшего использования - конкретно для меня получилось проще это найти в сети.
Пример не нужно придумывать. Их море. Например, статьи в Википедии изменяются систематически и не факт, что на более истинный контент. Также я частенько вижу на разных сайтах надпись "Это видео недоступно в вашей стране".
Но я знаю и совершенно конкретный пример. Попробуйте найти полное видео одесской Хатыни. Его в интернете нет, а оно было, я смотрела его, там на фоне были звонки жителей города спасателям.
Чем дальше, тем веселее. А знаете, мне (белорусу) не надо втирать про Хатынь и сравнение её с чем-то, что близко на неё не похоже. Свои мемасики и видосики о теориях заговора вы вправе коллекционировать, только к теме статьи это отношения не имеет. Для актуальных знаний есть интернет, актуальность знаний в вашем чулане (а в вашем случае даже знаний нет) - околонулевая.
Белорусы номерами не подписываются, потому что ассоциации неприятные. А теории заговора только в Вашей голове. Если задаться целью, то можно убрать любую информацию из интернета и заинтересованные лица это делают. Мемасики и видосики лично я не сохраняю, в отличие от Вас, у меня есть много гораздо более интересных занятий. А знания в программировании не изменяются кардинально, просто добавляются новые. Да и во всех науках тоже. Поэтому Ваши рассуждения об актуальных знаниях умиляют ;)
Там есть история правок, источники и их архивация ботами (на archive.org и .is), зачем такой пример в разговоре про потерю информации? Так же странно говорить об одном полном видео - его просто не может быть, начать надо с двухсот девяти ютубовских роликов группы 2 мая.
Где там?
Именно этот пример просто потому, что я точно знаю, что видео было, а потом исчезло, потому что я его пыталась найти пару лет назад. Это очень легко проверить. Другие видео про 2 мая есть, а этого нету. Значит, его удалили. И я даже подозреваю, кто.
А что именно Вас смущает?
В википедии. Потеря того, что сохраняется (история правок) и поиск какого-то видео как полного (существуют только сотни разрозненных видео), смущают.
В мобильных устройствах ссылка на историю правок в Википедии не отображается. А сколько людей заходят в Википедию не с мобильных устройств?
Т.е. найти это видео в интернете сейчас невозможно, зато можно найти сотни фейков, но этот пример Вас смущает?
Мы говорили об исчезновении информации из интернета. А то, что историю правок надо искать внизу и там же переключатель на десктопную версию сайта - это вопрос компьютерной грамотности (для произвольных сайтов есть ещё переключатели в браузерах).
Полного видео не может быть. То, чего не может быть, нельзя найти. Но ладно, я назвал крупнейший архив, где стоит поискать, а получил игнор. То есть... тоже не очень нужно было?
Вот если бы там была история удалений в мобильной версии с цитатами удалённого текста, всё было бы корректно. А на данный момент проверить, что и когда удалили, очень проблематично, если не невозможно. Но, допустим, Википедия - не самый удачный пример, Вы хотите сказать, что информация из интернета не исчезает? ;)
Я пишу о совершенно конкретном видео. Оно было длительностью в несколько часов с указанием времени и с наложенной аудиозаписью из службы спасения. Вот когда Вы его найдёте и скинете мне ссылку на него, я поблагодарю Вас, скачаю это видео и признаю, что была не права :) Вы сами-то пытались в этих архивах что-то найти? И тот и другой архивы сохраняют веб страницы, а не видео.
Достаточно вспомнить хотя бы последнюю историю с YouTube.
Видимо, вы один помните эту историю? )
Наоборот, это вы один, кто не помнит эту историю.
Сейчас нашел на сайте ИКИ РАН такую цитату: "В статистической физике энтропия трактуется как мера вероятности пребывания системы в данном состоянии. Чем больше беспорядка, тем больше энтропия. Любая система постепенно переходит к своему более вероятному состоянию."
Я понял это уже давно. Снижение энтропии (упорядочение чего-либо) требует работы, затраты сил и ресурсов. Недавно тут была хорошая статья адвоката, который приводил пример того, что судебная тяжба за 10 000 руб. будет стоить много дороже, чем эта сумма.
Отсюда вопрос - а чего ради тратить ресурсы (в конечном итоге, свою жизнь) на создание БЗ?
Помнится, в книгах Жюля Верна меня в детстве поражала способность героев на коленке делать полезную приспособу. Типа вольтовой дуги для освещения местности под воздушным шаром. Позднее до меня (после нескольких лет усилий) дошло, что для этого необходимо обладать в голове кладовой, до верху забитой конкретными инструкциями. Которые - по моему опыту и стилю жизни - не нужны никогда. А когда вдруг раз в 10 лет бывает что-то нужно, то это фиг вспомнишь/найдешь.
В данном материале на предлагаю передовую методу сооружения подобной кладовой. При этом не приводятся пользовательские сценарии (кейсы), когда и почему эти вложения окупаются (в любой форме).
Замечу по ходу, что я-то вижу в этом проявление компульсивно-обсессивного расстройства. Разной степени выраженности:)
В моей реальности я не вижу смысла устраивать личное хранилище знаний. Поэтому храню на диске фото, музыку и книги. Все в профильных прогах (т.е., в конечном итоге, БД). Если есть возражения, хотелось бы, повторюсь, увидеть описание конкретных кейсов, когда эта работа бывает экономически обоснованно востребована. (Уверен, что примеры будут про зарабатывание денег фрилансом или по работе.)
Отмечу, что есть редко, но периодически повторяющиеся события. Когда успеваешь забыть, что и как нужно делать. Вот для них у меня есть несколько подробных пошаговых конспектов (которые я делаю сразу после успешного выполнения такой процедуры). Т.е. вот именно подобные описания "как сделать" важны и их можно и нужно хранить.
А вот просто тратить время и силы на странные упражнения, на мой взгляд, это самообман в надежде, что это поможет когда-либо где-либо. Вы проверяйте себя - а помогает ли? Я вот иногда не выбрасываю вещи, а откладываю по этой же причине (авось понадобится). Но когда через год-два нахожу "артефакт" лежащим на антресолях - просто выбрасываю. Практика - критерий истины.
Я подозреваю, что Вы не работаете на компьютере, поэтому и хранилище знаний Вам там не нужно. Вы ведь в курсе, что даже в шкафах искать вещи гораздо проще, когда они лежат в определённом порядке?
Большое сомнение, что вы на нём работаете. Я имею ввиду, работаете, а не просто набиваете текст и смотрите видосики.
Человек всё по делу написал, разложил по полочкам. Но плюшкины приводят в пример свои шкафы. Как плюшкин со стажем, я точно знаю, что во всех этих правильных шкафах невозможно найти то, что нужно именно здесь и сейчас. Не надо пытаться объяснить эту болезнь, лучше ещё раз перечитайте внимательно, что написал умный человек
Да, эти шкафы нужны были во времена тотального дефицита всего и вся, в нормальной экономике просто пойдёшь и купишь, что надо и тогда, когда это нужно. )
Я работаю на компьютере. Причём, больше 15 лет. И не готова тратить время на поиск информации, которую я один раз уже нашла. Поэтому у меня в компьютере порядок. Чего и Вам желаю. Если бы Вы занимались программированием или хоть чем-то связанным с печатной информацией, Вы бы оценили предложенную систему.
P.S. Если у Вас нет шкафов дома, значит, у Вас просто нет своего дома. ;) Никто не покупает верхнюю одежду или зимнюю обувь каждый сезон. И никто не ходит в одной тряпке весь год. Кроме того, книжные шкафы, шкафы для хранения постельного белья и шкафы для хранения посуды тоже никто не отменял.
Вы, нмв, некорректно переводите разговор в иную плоскость. В психологическую (см. выше про комп.-обсесс. рас-во). Плюс тяжелое наследие прошлого. Мои родители тяжело жили сразу после той войны - поэтому у них было особое отношение к еде и вещам. Плюс запас соли, мыла и свечей.
*
Какое отношение эти идеографические особенности имеют к построению БЗ на компе? Причем тут посуда и одежда?
*
Теперь о "порядке на компьютере". Тут уже многое сказано о том, на какие мысли это наводит. Ладно. Но я бы добавил еще о том, что запоминать надо не формулу, а то, как она выводится. Т.е. понимать исходные посылки, аксиомы и логику. Вкупе с умением искать инфу в сети этого в большинстве случаев (я оцениваю в 99%) достаточно. А исключения не стоят того, чтобы тратить на них ресурсы.
*
Заметьте, я говорю только о досуге. Организация хранения знаний по работе - это отдельно. Я, помнится, переводил свою бумажную библиографическую картотеку в БД от Borland (название забыл и не нашел на скорую руку) еще в конце 90-х на 286 машине. К концу нулевых в ней было более 10000 рефератов (уже из Web of Science и т.п. источников). К нескольким сотням вручную были "подвязаны" полные тексты статей в PDF. Но под эти цели есть специализированные научные БД и проги для эффективной работы и хранения.
1 и 2. Последний коммент я писала не Вам. Посчитайте серые точки возле моего аватара. :) Запасы соли, мыла и свечей у меня есть, но маленький - на пару месяцев ;)
Каждый раз изобретать велосипед можно, но не имеет смысла, поскольку никакой жизни на это не хватит. Поэтому люди обычно используют готовые решения. Особенно в программировании. Запоминать всё это вообще не имеет смысла, поскольку 90% тебе никогда не пригодится. Но вот изучить и попробовать на практике смысл имеет. И конспект написать, чтобы при необходимости легко всё вспомнилось.
Похоже, Вы один тут пишете о досуге. Все остальные - о работе на компьютере. ;) Лично я понятия не имею, о каких специализированных научных БД или прогах Вы пишете, но абсолютно уверена, что мои конспекты лучше, потому что в них только то, что мною проверено на практике с моими примерами. Вы разницу не улавливаете?
Не, это вы не улавливаете. Я за компьютером минимум 8 часов в день по работе. И что надо храню. Вы не улавливаете разницу между наукой и программированием.
*
Это, кстати, очень любопытная тема. Поскольку бытие определяет сознание, то обилие айтишников, вовлекаемых в это дело с младых ногтей приводит к быстрому распространению homo programming. Особая сущность со своими атрибутами. Я все ожидаю, когда они пройдут стадию самоидентификации и осознания - и кто-то напишет об этом. У меня идеи есть, но я не программер, изнутри не чувствую.
*
Да, так для цели этого разговора ученые давно себя осознали и самоорганизовались в части публикаций результатов и поиска по публикациям. Все это сделано с самого начала по уму и, ессно, платное.
*
А одна из особенностей айтишника vulgaris в том, что они привыкли к эклектике и колхозной самодеятельности. По типу "Я тебя слепила из того, что было..." (с). Это, кстати полезная черта - желание что-то сделать своими руками, допилить, отладить.
*
Но это же ведет к обилию самоделок, которые одну и ту же задачу решают разными алгоритмами и реализациями. Именно поэтому вы и вынуждены допиливать OneNote, Obsidian. Причем для вас это совершенно нормально. Даже где-то хобби и демонстрация крутизны.
*
Хотя по факту это цеховой, ремесленнический подход.
*
Теперь про запоминание готовых рецептов, чтобы темп не терять. Если память позволяет, то почему бы и нет. Только я помню выступление программера Миши на нашей научной конференции. Он стал доказывать, что "хороший растворитель" для макромолекулы - это тот, в котором радиус ее клубка минимален. Хотя по определению хорошего растворителя ровно наоборот. Радиус больше, потому что молекулы растворителя сольватируют макромолекулу, не давая ей принять плотную упаковку. На вопрос "как так" он на голубом глазу ответил, что его прога так выдает.
Т.е. - по моим ощущениям - в процессе такой деятельности иногда теряется желание оставаться в реальности. Понимать стоящий за кодом и цифирью физический смысл.
*
Это ни в коем случае не критика, программистов я глубоко уважаю. Смысл ровно в том, что нужно осознавать и не отрываться уж совсем:) В т.ч. оперируя готовыми цельнотянутыми блоками кода из Git;)
P.S. Да, та СУБД от Borland называлась Paradox.
И какое отношение Ваши рассуждения имеют к обсуждаемому вопросу? ;)
Вы помните, что мы обсуждаем статью программиста о хранении базы знаний? :) При чём тут наука или развлечения?
Для учёного Вы делаете слишком скоропалительные и ни на чём не основанные выводы. Например, я прекрасно знаю, чем отличается наука от программирования, потому что у меня два высших образования. :)
А также знаю, что публикация результатов и поиск по публикациям и рядом не стояли с тем, что и как ищет программист. Это просто разные виды деятельности.
По поводу homo programming я с Вами в чём-то согласна. Хватает программистов, которые не понимают, что и зачем делают, но и научных работников таких хватает. Но, в отличие от научных работников, которые могут годами делать вид, что работают, программист получает деньги только за готовый и работающий продукт, поэтому имитировать жизнедеятельность или оторваться от реальности ему сложнее.
Готовый рецепт - это не код с гитхаба, а кратчайший путь для достижения конкретного результата. Маленький кусок кода (например, класс счётчика) или короткий путь (например, в Эклипс) или справочная информация в компактном виде (например, самые употребляемые мною цвета с кодами).
P.S. Paradox - это такая же СУБД как MySQL и использовать её с той целью, которая здесь обсуждается, невозможно.
Но я бы добавил еще о том, что запоминать надо не формулу, а то, как она выводится.
Это частая то ли ошибка, то ли не учет того, что происходит. Это почему-то плохо объясняют. Дело в том, что когда помнишь только способ вывода - ты теряешь в беглости и теряешь способность "ага, вот тут эту формулу можно применить и сразу нужный результат получится". Получается как чтение со словарем против чтения, когда ты сразу слова знаешь.
Как плюшкин со стажем, я точно знаю, что во всех этих правильных шкафах невозможно найти то, что нужно именно здесь и сейчас
Я всё прекрасно нахожу даже в plaintext-файлах. Структурность решает. Теперь перехожу на Обсидиан, потому что текстовые файлы слишком ограничены, даже тегов нет.
Дык есть уже локальный ИИ который всю инфу отсортирует и разложит и еще на вопросы поотвечает) А свое время лучше потратить на чтото другое тк неважно как хранить главное как искать))))))
А может кто из хабарчан подскажет, если пироги для этого, для хранения и поиска
Делаю тоже самое, плюс фоточки за год свожу в альбом и распечатываю в виде книжки. Да, стоит денег, но выглядит весьма презентабельно. И не надо включать компьютер и хаотично искать лучшие фотографии из сотен других, чтобы показать гостям.
Самая большая проблема, на мой взгляд, именно в поиске. И нужна возможность тегирования, присваивания категорий. Как пример, по поиску "вано" я хотел бы видеть всех Ивановых в текстах и тд. Начало и окончание может быть разным, поэтому и такой странный запрос. Перебрал кучку wiki (media, js, doku и т.д.) - увы, так не работает. Есть варианты c "*вано*", но это тоже не подходит, так как какая-то из звёздочек может быть и не нужна. Например, если это хеш чего-либо и точное количество символов неизвестно.
Категории папочками не заменить: информация может быть важна для разных ситуаций, ну не симлинками же маяться.
Пока эту роль пока выполняет уже указанный ваше обсидиан. Но как его не синхронизировать, он (в бесплатной версии) не рассчитан на множество устройств: конфликты бывают и достаточно часто. Посмотрим, может смогу найти что-то по своим запросам.
Никаких «Новых папок», набитых сотнями неразобранных файлов
Уважаемый пользователь сервера nextcloud, котрый я тебе недавно инсталлировал, пожалуйста, разбери содержимое директории на сервере с названием "!Пакет пакетов", она занимает 80% общего занятого места.
P.S.: Основания для просьбы не выдуманы )
Могу порекомендовать программу Calibre. Формально она является каталогизатором электронных книг. Но функционал там огромный (включая полнотекстовое индексирование).
*
Я много лет храню там текстовые доки. Но сейчас вот проделал упражнение:
Из меню
https://habrastorage.org/webt/bw/i9/gz/bwi9gzimyjxbz6y_-rahl_jehqk.png
к существующей книге формата epub добавлено изображение в формате jpg
https://habrastorage.org/webt/i0/hz/ov/i0hzovwh-jtng_1fyzojr-dykxw.png
(почему в ссылке png не вникал, т.к. фото храню в Лайтруме, но при желании там можно класть zip с любым содержанием)
*
Т.е. хранить можно что угодно. Возможности добавления метаданных, групировки, индексирования, рейтингования, создания виртуальных библиотек, сохранения поисковых запросов и пр. огромные.
P.S. Книжка (и автор), кстати, весьма достойная:)
Причем у нее есть еще и плагины. И можно писать свои.
У меня например еще до того как в Calibre появилось то что там названо полнотекстовым поиском был плагин для поиска через Recoll (немного доработанный чтобы жить можно было). Recoll в принципе можно и просто на свалку файлов натравить - будет работать.
У каждого свой путь, свои приложения, свои правила и предпочтения.
Поэтому добавлю свой путь )
С самого начала нужно не просто бездумно набивать диск потенциально полезными файлами, а сразу организовывать их в систему.
Моя "система" — это стандартная папка %USERPROFILE%\Documents :-)
Для поиска в текстовых файлах использую FileLocator — "Search software for professionals" (классическое быстрое Win32 приложение на С++). Индексация всей папки Documents снижает время поиска необходимой информации в бесчисленное количество раз.
Для музыки использую MediaMonkey — "The media manager for serious collectors". Там своя БД и индексация. Когда в одной строке отображается чуть ли не вся информация по одному треку, это действительно удобно.
Графические файлы организую только на уровне файловой системы: по тематике, годам и т.п.
Я стараюсь дополнять базу индексными списками, а также страницами со ссылками на файлы по какой-то определённой теме и поддерживать их в актуальном состоянии.
Увидев заплюсованный комментарий выше, решил поделиться своим простым решением, к которому пришел в 2018 году и с тех пор ежедневно им пользуюсь.
Я принципиально отказался от программ вроде OneNote и Obsidian. Потому что программы, их версии, GUI, настройки и UX — меняются, а файловая система — нет. Достаточно один раз настроить по своему вкусу и потребностям FileLocator, и затем на долгие годы забыть об обновлениях и (повторных) настройках.
По возможности я всегда стараюсь сохранять ссылку на сайт, с которого я загрузил информацию.
Лайфхак: расширение для браузеров SingleFile сохраняет ссылку на источник автоматически.
Моя база — это строгое и аскетичное хранилище чистого знания и инструментов, организованное по моим собственным правилам. Я всё чаще предпочитаю её Интернету.
Да, но есть нюанс. В наше время многие виды информации устаревают слишком быстро. Поэтому для получения актуальных сведений всё равно приходится обращаться к интернету.
Спасибо автору за статью по насущной теме. Я бы только добавил хотя бы пару строк про синхронизацию данных на ПК/ноутбуке со смартфоном (без использования всяких "облаков", разумеется).
Автор статьи не сделал ни одного комментария к комментарию.
-----------------------------------------------------------------------------------------
Я как-то героическим усилием разобрался на винчестере.
А результате получил примерно такую структуру
1. Наука
1.1 Расчеты
1.2 Эксперимент
1.3 Статьи
1.3.1 Статьи по теме...
1.3.2 Статьи авторов...
...
2. Музыка
2.1 Ноты того что я играю
2.2 Музыка с разными людьми -
2.2.1 Музыка с NAME1
2.2.2 Музыка с NAME2
....
3. Домашнее
4. Жизнь
4.1 Жизненные планы
4.2 Творчество
Получилось очень удобно. Впрочем думаю такое почти у всех есть в том или ином виде.
И да - есть папка Разное - как же без неё - не особо большая кстати - туда запихивается сложноструктурируемое.
А что делать с теми данными, которые подойдут сразу в несколько категорий? Эксперимент с музыкой, например?
На работе в аналогичной структуре я пользуюсь ярлычками (софтлинками на папки). Поэтому одна папка с одним содержимым может присутствовать как в "Томской области", так и в "Создании неведомой хрени" :)
Таких почему-то нет. Я задумался - деление скорее по типам выделяемого времени. Эксперименты это не эксперименты вообще - а то что на работе. С музыкой оно не пересекается. Мои собственные эксперименты с определением коэффициента упругости нейлоновой струны (делал как-то) - это относится к моим музыкальным занятиям. Худлит не пересекается с технической литературой.
Пример ниже - тут вопрос, что более обще - создаю ли я неведомую хрень не только в Томской области, а еще и в Рязанской и Московской, или я в Томской области создаю не только неведомую хрень, а чем-то еще занимаюсь.
А что делать с теми данными, которые подойдут сразу в несколько категорий? Эксперимент с музыкой, например?
Я в конце концов пришел к выводу, что первичное раскитывание - делать тупо по времени, когда это к тебе попало или ты это сделал. А дальше - линками, тегами и прочими организаторами, которые ссылаются на нужные документы в этой шкале по времени.
Тут смысл в том, что организация по времени - это такой естественный уникальный ID (в твоей модели мира), про который ломать голову не надо.
Идеальная база знаний:
Валишь все интересное\нужное в одну кучу без разбора
Над этой кучей регулярно трудится локальная нейросеть, разгребая все это и впитывая знания
В качестве интерфейса базы у пользователя есть одно поле для ввода запросов на человеческом языке, на которые нейросеть сразу выдает ответы, краем глаза подглядывая в Интернет, если конкретного ответа в своей базе нет
Надеюсь, что уже кто-то пилит подобное как плагин для Obsidian, например.
По моему опыту (хотя БЗ у меня специфичная) очень удобно
использовать git + публичный хостинг
использовать plaintext
хранить только те знания которые ты применял на практике
Такая БЗ отлично грепается,тиражируется,обновляется и бекапится. Для всего остального (медиа, дистрибутивы, документы) рекомендую syncthing поверх недлинного списка каталогов
Может кто-нибудь подсказать аналог Obsidian, но только на основе баз данных, а не этих бесячих текстовиков?
Например Joplin
Например Joplin
Он не слишком 'на основе баз данных' - отношения между записями в отношения базы данных практически не отображаются.
Он базу просто использует, чтобы отдельные заметки в виде записи базы хранить, а не в виде файла. Ну теги еще отдельной табличкой. Линки между страницами - уже, насколько я помню уже нет.
/del
Logseq. Пилят db версию с sqlite внутри (на гитхабе ветка feat/db).
Пример использования: link.
Потыкать альфаверсию : test.logseq.com
Всё своё ношу с собой. Мои простые правила организации личной базы знаний