Написал расширение, которое качает статьи Хабра в Markdown — и не долбит сервер

[LittleHornet]

Приятного общения с герром майором.

[ShyDamn]

Расширение не обходит никакой защиты. Оно читает открытые статьи через сессию самого пользователя, держит полторы секунды между запросами и замолкает на три минуты по первому же 429. Сохраняет локально, с указанием автора и ссылкой на оригинал, никуда не публикует.

По ГК на личное использование обнародованного есть 1273 и 1335.1, а соглашение Хабра само делает исключение для личного некоммерческого сохранения с сохранением атрибуции. Так что герру майору показывать особо нечего :)

[a3d]

Хм. неплохо, сразу же появилась идея, многие бы думаю порадовались выложенному архиву хабра на какой-то трекер в md формате без всякого г вокруг и что бы статьи которые он не выдаёт для русских ип, тоже конечно выкачались. А потом было бы неплохо еще включить механизм фильтрации от откровенного нейрослопа, ну точнее маркировка таких статей, что бы их можно выключить было из поиска и просмотра. Ну а ещё удобный поиск, сортировка, катологизация.

[ShyDamn]

Интересная идея, спасибо, подумаю над этим на досуге :)

[nitro80]

И комментарии!

[Emelian]

А как вы храните важные статьи, чтобы не потерять?

Наваял скрипт на Питоне, с помощью бесплатного ИИ-сервиса, который загружает мои статьи из Хабра на компьютер, причем, отображение максимально похожее, но, не требующее Интернета. Эти статьи я, постепенно (по мере отсутствия лени), выкладываю, затем, на свой сайт: https://lecole.free.nf/articles.php .

[ShyDamn]

Прикольно сделали, спасибо, что поделились

[a3d]

А что насчёт картинок, md же поддерживает локальные ссылки на png/jpg. А расширение не выкачивает их?

Упс, вот оно, кто тоже с ходу не нашёл настройка - тут. Протестировал как работает, слежение в том числе. Это великолепно читать хабр в своём любимом редакторе .md без смс и регистраци без спама и с фильтрацией тегов! Спасибо за отличный плагин.

[AlexGorky]

В силу возраста и плохого зрения много читать могу только "с бумаги".
Поэтому всегда "ручками" копировал статьи в Ворд и распечатывал для дальнейшего чтения.
За расширение - спасибо!

[Revertis]

В российском праве есть статья 1335.1 ГК — про извлечение материалов из обнародованной базы данных. Она разрешает делать это без разрешения правообладателя в личных, научных и образовательных целях в оправданном объёме, а в иных целях — в объёме, составляющем несущественную часть базы.

Интересно, а поисковики как-то по-другому работают? Они ведь стараются скачать и проиндексировать существенную часть базы.

[ShyDamn]

Поисковики на это не опираются. В сайтах зашит robots.txt - по сути это разрешение от сайта, что и в каком объёме индексировать.И поисковик не замещает источник, тк он отдаёт сниппет со ссылкой и возвращает читателя на площадку. В той же 1335.1 ключевое ограничение звучит как «необоснованное ущемление интересов изготовителя базы», а поисковик их наоборот обслуживает. Плюс у поисковиков есть отдельный статус информационного посредника (1253.1 ГК) со своим режимом ответственности, а это вообще другая правовая конструкция, чем извлечение материалов пользователем.

[michael_v89]

Расширение достаёт данные из HTML по CSS-селекторам вроде .tm-article-presenter__meta или .tm-publication-hub__link

Есть вот такой URL, он возвращает данные в JSON:
https://habr.com/kek/v2/articles/1061238/?fl=ru&hl=ru