Comments 35
Т.е. черные круги с ядром в центре это изолированные вселенные авторов?
вы сохранили дамп загружаемых html файлов? можете опубликовать в виде торент файла? или хоть в каком то виде? а комментарии? это один запрос json файла...
перегонял в markdown.
комментарии не анализировал.
на удивление, там не много по размеру получилось, всего пол гигабайта.
я правильно понимаю, вы загрузили только 40к статей? а не весь хабр? очень жаль
да, граф больше мой комп не потянет(
А что насчёт работы с таким объёмом Обсидиана в целом?
да, он медленно соображает, при построении графа такого объёма, но копм (другие приложения) работают нормально.
обса на одном ядре граф строит и из-за этого такие проблемы. многопотока нативного не хватает.
Не знаю насчет обсидиана, работал с pyvis, там графы больше 10к обьектов превращаются в слайдшоу с 1 фпс и грузятся по три минуты, при этом машина неслабая. Но если отключить физику - все летает, хотя и красивой картинки со "сферами" не получится
А какое у вас железо? Чисто в теории MacBook Air на M4 / комп на R7 5800X3D + RTX 4070 TiS смогут отобразить больше? Дюже красивый граф получился просто...
Круто!
А шкурный комментарий можно? А я как автор как выгляжу там?
Извиняюсь за долгий ответ, был не дома.
Ого! Спасибо!
А с кем я связан? Кто эти люди?
Ставлю на то, что это те люди, которых можно найти по поиску
"empenoso -> Комментарии":
https://habr.com/ru/search/?q=+empenoso&target\_type=comments&order=relevance&target_type=comments
Там правда 18 упоминаний, а здесь всего связанных 5 узлов.
Но ведь и статей проанализировано 43К вместо примерно 450К
перегнали б в дазу данных, прикрутили б какой-нибудь D3.js и скрафтили б отдельный интерактивный граф
Интересно. В смысле красиво. Но без аналитики скучновато. Например, кто эти порядка 10 авторов, вокруг которых построены скопления узлов графа? Редакторы Хабра?
Какие ещё закономерности вы обнаружили?
без аналитики скучновато
Кхм-кхм, ну-у... :)
Она есть у меня:
https://habr.com/ru/articles/905052/
Статьи с нечётным id всегда выдавали статус-код 404, не найдено.
Накручивают счетчик?) С одной стороны понятно, что денюжка сама себя не заработает, с другой — странно, что отраслевой ресурс в нынешнее время решил не придерживаться AI-ready подхода, рискуя остаться на обочине истории
Такого количества уже наверное хватит на какой-нибудь космосим)))
Наконец-то это кто-то показал! Вау
На самом деле, для многих сайтов этого не хватает, для понимания объёма сайтов… может быть есть расширения для браузера, которые это отображают?
Есть определённое смещение восприятия, которое вызывает подобная диаграмма. На ней новостник, строчащий по 20 заметок в день, пускай даже их читает по 500 человек и лайкает 0 человек, будет ярчайшей галактикой. Не менее яркой будет графоман король конъюнктуры, пишущий в равной мере как неплохие статьи, так и матёрый трэш, но в огромном количестве.
Ваша статья натолкнула меня на интересный вопрос: а есть ли авторы, пишущие регулярно, но только хиты?
Я тут поднял свои бумажки, посидел с калькулятором БЗ-18М и прикинул.
Если считать за отсечку хитовости уровень +30 (минимум, с которого начинают платить ППА), то абсолютным лидером с большим отрывом является @Erwinmalс 210 статьями, каждая из которых выше +30.
Дальше идёт @Guren302 c 48 такими статьями,
затем @elcoyot c 30 такими статьями.
Если же за отсечку брать +50, то лидером является @BootSectorс 13 статьями.
Дальше идут @nemirnyatom и @snipsnap.
Причём второй пишет про локаторы и РЭБ эпохи Холодной войны, а третий про релокацию в Германию. Чем дальше исследую Хабр, тем больше думаю, что он носит маски, которые не следует приподнимать :))
Добавлю это небольшое исследование в свой список интересных статистических фактов о Хабре.
Вижу граф - ставлю лайк. Хабр, добавите такую фичу? Интересно посмотреть как бы выглядел подграф с "java" или "spring".
Весьма интересная идея подобного отображения сайтов, быть может она и не нова, возможно пора пилить аддон для полноценного веб серфинга через обсидан посредствам графа🤔
Шикарно!!)) Люблю обсидиан как раз за его встроенный граф прелестный))
Методология конечно интересная. Если вдруг захочется пошатать большие объёмы то есть рецепты когда не надо загонять всё в обсидиан, а сразу в ПО для визуализации графов.
Нужен csv файлик соедржащий все рёбра с заголовком Source,Target и просто список пар айдишников (или заголовков), статьи где указана ссылка и статьи куда она ссылается. Дальше это можно загнать в Gephi -- это не самый гладкий GUI и нужно дольше разбираться что дальше делать (force atlas укладку как минимум). Или попроще и покрасивее прямо в браузере в https://cosmograph.app/ -- всё это спокойно потащит и сотни тысяч вершин даже на скромном железе.
Интересный сайт.
В коментариях выше упоминали https://observablehq.com/@d3/disjoint-force-directed-graph/2 , полагаю, что перепишу на него (но особого смысла нет, статья уже выпущена).
Что если представить habr в виде obsidian-графа?