Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 91
Ещё можно скачать архив флибусты с читалкой, и в интернет за книжками вообще не нужно будет ходить.
А где можно скачать?
Раньше я флибусту скачивал по этой ссылке: ipv6.nnm-club.me/forum/viewtopic.php?t=521962. К моему огромному сожалению, сейчас только архивы fb2 превышают 100 Gb. Для тех у кого провайдер не отдает IPv6, надо в ссылке ipv6 заменить на www.
Ого! Серьезный размер. Там втнутри архивы? или… сколко ж сам торрент-файл весит )))
Я тоже как-то подумал о том, что неплохо бы на своей карточке памяти в телефоне (32 Гб) уместить архив флибусты, чтобы, при нахождении ссылки на потенциально интересную книгу, не скачивать её, а просто открыть нужный архив.
У меня был архив от начала 2010 года.
Так вот, исследуя содержимое файлов, я понял, что весьма много места в уже сжатых файлах занимают картинки! В отличие от текста, jpg/png весьма плохо сжимается (если сжимается вообще).
Так что если иллюстрации и обложка не особо важны, вполне можно размер коллекции сократить как минимум на треть.
(Для этих целей я использую небольшую самописную программку, которая вырезает все картинки из fb2. Пока что вырезание там идёт довольно костыльным способом. Как соберусь оптимизировать её — думаю выложить сырцы в открытый доступ)
У меня был архив от начала 2010 года.
Так вот, исследуя содержимое файлов, я понял, что весьма много места в уже сжатых файлах занимают картинки! В отличие от текста, jpg/png весьма плохо сжимается (если сжимается вообще).
Так что если иллюстрации и обложка не особо важны, вполне можно размер коллекции сократить как минимум на треть.
(Для этих целей я использую небольшую самописную программку, которая вырезает все картинки из fb2. Пока что вырезание там идёт довольно костыльным способом. Как соберусь оптимизировать её — думаю выложить сырцы в открытый доступ)
flibusta.net/node/64756 — тут найдете официальную ссылку на трекер с архивами флибусты, включая ежедневные и еженедельные обновления
Еще есть архив Либрусека на этом форуме: http://torrent.rus.ec/viewtopic.php?p=198
И это самое правильное решение. Нельзя рассчитывать на то что сайт будет жить вечно.
Я так делал. А потом меня за… о, что при перезагрузке смарта система впадала в долгий ступор, сканируя 64 гига карточки с кучей мелких файлов!
Итогом стали четыре вы… нных из-за глюков базовых станций, вызывающих перезагрузку раз в минуту, карточек и переход на OPDS…
С ностальгией вспомнился первый купленный сидюк «Библиотека в кармане»: тогда оно занимало каких-то 700 мегов…
Потом — два по 700…
Потом перешли на ДВД…
Потом через некоторое время библиотека перестала влезать на карточку — пришлось «урезать осетра», выкидывая те разделы, что я 100% читать не буду даже с перепоя…
На данный момент — по скромным прикидкам на карту не влезет уже даже «только фантастика»!
Итогом стали четыре вы… нных из-за глюков базовых станций, вызывающих перезагрузку раз в минуту, карточек и переход на OPDS…
С ностальгией вспомнился первый купленный сидюк «Библиотека в кармане»: тогда оно занимало каких-то 700 мегов…
Потом — два по 700…
Потом перешли на ДВД…
Потом через некоторое время библиотека перестала влезать на карточку — пришлось «урезать осетра», выкидывая те разделы, что я 100% читать не буду даже с перепоя…
На данный момент — по скромным прикидкам на карту не влезет уже даже «только фантастика»!
Идеальное решение — поднять приватное зеркало флибусты…
Еще-бы кто-то накатал доку как это сделать…
Еще-бы кто-то накатал доку как это сделать…
Копайте в сторону opds, с наскоку попал на такую вещь для создания личного opds сервера на основе Dropbox.
А я прямо на роутере поднял tor и i2p, теперь хожу из дома с любого устройства.
Интересно было бы почитать топик про это.
Это довольно просто на самом деле. В случае I2P есть два главных пункта:
1. Запустить i2p-роутер (для этого не нужно никаких специальных знаний, только установить Java).
2. Создать хост, который будет отдавать .pac файл для автоконфигурации прокси. .pac файл, если что, идёт в комплекте с i2p-роутером.
1. Запустить i2p-роутер (для этого не нужно никаких специальных знаний, только установить Java).
2. Создать хост, который будет отдавать .pac файл для автоконфигурации прокси. .pac файл, если что, идёт в комплекте с i2p-роутером.
Вот то же самое, но с картинками и статьёй.
Думаю, многие под словом «роутер» понимают все ж домашнюю коробочку с блоком питания, которая раздает интернет от провайдера.
И вот в этом случае внезапно утверждение, что нужно «только установить java» нарывается на «ой!...»
(если вы в самом деле установили java на роутер с *wrt и после запустили там i2p — да, круто, расскажите!)
И вот в этом случае внезапно утверждение, что нужно «только установить java» нарывается на «ой!...»
(если вы в самом деле установили java на роутер с *wrt и после запустили там i2p — да, круто, расскажите!)
Нет, я установил на домашний сервер. Насиловать маленькую пластиковую коробочку не было желания. На роутер будет сложнее, но принцип не меняется. Думаю, главной проблемой будет поставить java. Впрочем, я не в курсе, может быть, там уже допилили i2p-роутер на C++.
Вот хорошо бы написать про выбор подходящего недорогого роутера для такой цели.
Достаточно просто.
Заходишь в базу данных (поддерживаемых моделей) dd-wrt или open-wrt.
Там в базе есть помимо названий ещё и ссылки с характеристиками.
Оперативки хватит практически везде.
А вот на флеш для tor нужно порядка 1,5Мб свободного места.
Например, возможностей Linksys WRT-160N уже достаточно. Можно выбирать и другие с примерно такими же (или более мощными) аппаратными возможностями. Для tor этого хватит.
А вот для i2p нужна java. И тут я, честно говоря, не знаю «подходящих недорогих вариантов». Ниже, вон, упомянули N700. Но он весьма слабо подходит под категорию «недорогой».
Заходишь в базу данных (поддерживаемых моделей) dd-wrt или open-wrt.
Там в базе есть помимо названий ещё и ссылки с характеристиками.
Оперативки хватит практически везде.
А вот на флеш для tor нужно порядка 1,5Мб свободного места.
Например, возможностей Linksys WRT-160N уже достаточно. Можно выбирать и другие с примерно такими же (или более мощными) аппаратными возможностями. Для tor этого хватит.
А вот для i2p нужна java. И тут я, честно говоря, не знаю «подходящих недорогих вариантов». Ниже, вон, упомянули N700. Но он весьма слабо подходит под категорию «недорогой».
Какой прокси, вы о чём. Без автоконфигураций прокси, «искаробки», прокси совсем прозрачный.
И да, я имел ввиду именно домашнюю коробочку. С Java. Правда у меня она мощная. Netgear N7000
И да, я имел ввиду именно домашнюю коробочку. С Java. Правда у меня она мощная. Netgear N7000
Если кому интересно, могу действительно написать пост с некоторыми особенностями, но вообще всё сделано по мотивам этого вот поста:
habrahabr.ru/post/122835/
habrahabr.ru/post/122835/
У меня такой топик опубликован. Но только про tor.
На роутере под dd-wrt (то же на open-wrt и, видимо, вообще на всех *wrt).
На роутере под dd-wrt (то же на open-wrt и, видимо, вообще на всех *wrt).
А не логичнее ли поднять тор-прокси и научить свой днс отдавать .onion-адреса? Кажется, в такой ситуации апач и кастомные скрипты под каждый сайт будут не нужны.
Увы, но это было первое решение, которое я попробовал. К сожалению, «оно не прошло» по причине того, что, во-первых, Cool Reader не поддерживает работу с proxy, а proxy droid требует рута на устройстве, а во-вторых, требуется модификация данных отдаваемых сайтом flibustahezeous3.onion. Причем модификация интеллектуальная. Боюсь, что просто тор-прокси в данной ситуации не поможет.
Есть безрутовые прокси — они выглядят для системы как VPN и являются обязательными для всех соединений.
Очень интересно! Можно парочку названий?
org.sandroproxy.drony навскидку.
Судя по всему это обычный прокси-сервер. Нужно приложение которое под андроидом пустит приложение которое не умеет и никогда не умело работать через прокси сервер в интернет через внешний прокси-сервер.
Например, скайп который умеет на андроиде работать только напрямую и игнорирует настройки прокси-сервера в текущем WiFi подключении.
Например, скайп который умеет на андроиде работать только напрямую и игнорирует настройки прокси-сервера в текущем WiFi подключении.
По «чему» всему?
Вот по факу так:
«A: There is no VPN servers. VPN mode is just used to intercept all traffic and direct to Drony app.
Because some apps not respect android OS proxy settings. You can check this if Drony then redirect traffic to other proxy. Squid for example. In squid logs will be just requests to servers that android apps needs.»
«Поскольку некоторые приклады не уважают настройки прокси в системе — включается VPN режим, который и забирает на себя весь трафик. Левых VPN серверов нет, только указанный вами прокси. Можете сами проверить, направив трафик на ваш собственный, например, Squid, и убедитесь, что трафик как раз тот, что генерирует ваш софт».
Вот по факу так:
«A: There is no VPN servers. VPN mode is just used to intercept all traffic and direct to Drony app.
Because some apps not respect android OS proxy settings. You can check this if Drony then redirect traffic to other proxy. Squid for example. In squid logs will be just requests to servers that android apps needs.»
«Поскольку некоторые приклады не уважают настройки прокси в системе — включается VPN режим, который и забирает на себя весь трафик. Левых VPN серверов нет, только указанный вами прокси. Можете сами проверить, направив трафик на ваш собственный, например, Squid, и убедитесь, что трафик как раз тот, что генерирует ваш софт».
Через Tor2web тоже не завелось?
Неужели такой публичный прокси даст много нагрузки сервер?
Благодаря этому посту вспомнил, что бережно храню скриншоты в память о том как мы (читатели хабра) за пару суток слили рейтинг у приложения компании, подавший жалобу на CoolReader за его функцию, позволявшую скачивать книги с Флибусты.
через несколько часов после публикации поста:
пару дней спустя:
пару дней спустя:
«Слушай!» так полностью и не оправились. А «Смс.Книги» вообще удалили из маркета.
Да, на WOT тоже рейтинг подпорчен и это правильно.
Жаль, что с тех пор так и не появилось конкурентов с сопоставимым ассортиментом и поддержкой читалок.
coollib.net/ — насколько я помню в этот opds зазеркалили и флибусту и либрусек.
Я как-то больше надеялся на решение «всё в планшете» — чаще всего OPDS мне нужен не дома, но статью в избранное добавлю: мало-ли?
Кстати, а почему работать OPDS перестал? Копирасты загнобили разработчика CoolReader?
Вроде бы работает флибуста.
OPDS отлично работает. Это флибуста через клирнет не отдаёт 90% книг. Через TOR или i2p — пожалуйста.
Для себя решил вопрос связкой из Orbot и I2P-роутера, слегка подкрутив privoxy, который приходит с Orbot.
Для себя решил вопрос связкой из Orbot и I2P-роутера, слегка подкрутив privoxy, который приходит с Orbot.
Пользовался CoolReader больше четырех лет — практически каждый день. Следил за разработкой, участвовал в обсуждении на 4pda. И вот месяц назад отказался от него окончательно и бесповоротно, и удалил со всех девайсов. Основные причины: автор пилит новую версию, якобы полностью переработанную и кроссплатформенную, но она настолько сырая, что пользоваться невозможно. На старую версию забил, на 4pda вообще перестал появляться. Обновлений нет уже год. Старые баги не исправляются. OPDS работает через пень-колоду.
Да, в свое время это была лучшая читалка, даже при наличии багов. Но теперь мой выбор — AlReader.
Да, в свое время это была лучшая читалка, даже при наличии багов. Но теперь мой выбор — AlReader.
Может немного не в тему, но я недавно столкнулся с проблемкой — нельзя было скачать книги с флибусты через хром на ipad, при это с сафари все отлично качалось
Вот такой софт позволяет сделать свой OPDS каталог на домашнем сервере из копии флибусты или либрусека
tinyopds.codeplex.com/
tinyopds.codeplex.com/
Это хорошее решение, которым я даже попытался воспользоваться, но у него есть ряд недостатков:
Думаю в сторону решения на perl+mysql.
- Если размещать дома, то требуется постоянно включенный основной компьютер, а это электричество, шум, да и неудобно
- Если размещать в интернете, то VPS такого масштаба стоит уже не копейки и на сервере со 128 мегабайтами оперативной памяти такое уже не поднять: требуется Mono и общие требования к памяти у TinyOPDS весьма значительные.
- Весьма неповоротлив на слабом железе, т.к. в качестве структур хранения данных использует класс Dictionary, что, конечно, проигрывает mysql эффективности доступа к данным
Думаю в сторону решения на perl+mysql.
Хм… А я в свое время просто запустил на роутере вторую точку доступа.
Которая ВЕСЬ трафик рулила на tor (ну, за исключением, пожалуй, dhcp — чтоб ip-шник подключившимся клиентам выдавал все ж сам роутер, а не tor).
В итоге с .onion адресами ВООБЩЕ нет никаких проблем (просто ровно такие же адреса, как все остальные).
Никаких телодвижений с прокси тоже не нужно!
Которая ВЕСЬ трафик рулила на tor (ну, за исключением, пожалуй, dhcp — чтоб ip-шник подключившимся клиентам выдавал все ж сам роутер, а не tor).
В итоге с .onion адресами ВООБЩЕ нет никаких проблем (просто ровно такие же адреса, как все остальные).
Никаких телодвижений с прокси тоже не нужно!
(Да, вот, если что)
Ясинского читаете? Анджея что ли?
пенсионерка, ветеран труда
соседка хотела [...] «50 оттенков серого»
На самом деле
очень хорошая женщина
miriarder, поиск не работает с таким прокси, если на страницу с браузера заходить.
куда копать?
куда копать?
Никуда копать не надо. Спасибо за описание проблемы. Задача делалась для CoolReader, а там поиска нет, потому он и не проверялся. В шаг 2 и шаг 3 в статье внесены необходимые изменения. Теперь поиск работает.
Я конечно понимаю, что писалось для CoolReader для «внутреннего» использования, но:
1. в OPDS не индексируется Донцова)))
2. с офф. сайта в поиске Донцова ищется
3. было интересно «копать»
Большое спасибо Вам за статью, для меня она «академически» очень интересна.
1. в OPDS не индексируется Донцова)))
2. с офф. сайта в поиске Донцова ищется
3. было интересно «копать»
Большое спасибо Вам за статью, для меня она «академически» очень интересна.
Отвечу по пунктам:
Я все-таки надеялся на практический результат.
- Только у вас не индексируется. У всех остальных в OPDS она прекрасно присуствует:
. Версия Сool Reader 3.1.2-39. Скриншот оригинального размера: уменьшен, что б не порвать комментарии - Ищется, но не скачивается, о чем написано в статье
- Видимо не в ту сторону копали
Я все-таки надеялся на практический результат.
Прошу прощения, я тут всех запутал.
Да, на Сool Reader'е всё c OPDS прекрасно.
Я же гоняю все это на FBReader'e.
Очень хочется «копать»))
Да, на Сool Reader'е всё c OPDS прекрасно.
Я же гоняю все это на FBReader'e.
Очень хочется «копать»))
Поиск в FBR ищет по названию книги, по автору не ищет, походу.
CR вообще ищет локально? Простите, если туплю))
В индексе «По авторам» автор доступен и FBR и в CR.
Хотя, в браузере:
CR вообще ищет локально? Простите, если туплю))
В индексе «По авторам» автор доступен и FBR и в CR.
Хотя, в браузере:
/opds/search?searchType=authors&searchTerm=Донцова
<title>Донцова Дарья</title>
<content type="text">204 книги</content>
<link href="/opds/author/2623" type="application/atom+xml;profile=opds-catalog" />
<link href="/sites/default/files/doncova.jpg" rel="http://opds-spec.org/image" type="image/jpeg" />
<link href="/sites/default/files/doncova.jpg" rel="x-stanza-cover-image" type="image/jpeg" />
<link href="/sites/default/files/doncova.jpg" rel="http://opds-spec.org/image/thumbnail" type="image/jpeg" />
<link href="/sites/default/files/doncova.jpg" rel="x-stanza-cover-image-thumbnail" type="image/jpeg" />
<link href="/opds/authorsequences/2623" rel="http://www.feedbooks.com/opds/facet" type="application/atom+xml;profile=opds-catalog" title="Книги автора по сериям" />
<link href="/opds/authorsequenceless/2623" rel="http://www.feedbooks.com/opds/facet" type="application/atom+xml;profile=opds-catalog" title="Книги автора вне серий" />
</entry>
Добавил поддержку TOR Proxy — ORobot для доступа к OPDS
CoolReader-3.1.2-45.apk
В качестве OPDS URL просто укажите .onion сайт. Например, flibustahezeous3.onion/opds (ORobot должен быть запущен).
Другие изменения:
Доступен выбор бОльших размеров шрифта (в зависимости от размера экрана).
Исправлен размер тулбаров.
Имя пользователя и пароль, а также поддержка HTTPS для OPDS.
Исправлена поддержка MOBI.
CoolReader-3.1.2-45.apk
В качестве OPDS URL просто укажите .onion сайт. Например, flibustahezeous3.onion/opds (ORobot должен быть запущен).
Другие изменения:
Доступен выбор бОльших размеров шрифта (в зависимости от размера экрана).
Исправлен размер тулбаров.
Имя пользователя и пароль, а также поддержка HTTPS для OPDS.
Исправлена поддержка MOBI.
Спасибо автору за скрипт!
Реализовал себе по схеме автора все тоже самое, только без заморочек с переопределением имени proxy.flibusta.net в DNS, а со своим кастомным именем хоста и портом (доступно только через личный vpn).
По ходу настройки были некоторые проблемы с запуском cgi-скрипта — выкладываю свои изменения, может быть кому-то это будет полезным.
Измененный конфиг apache2:
diff perl-скрипта:
PS для запуска perl-скрипта в Ubuntu также пришлось доустановить пакеты libhttp-proxy-perl и liblwp-protocol-socks-perl
Реализовал себе по схеме автора все тоже самое, только без заморочек с переопределением имени proxy.flibusta.net в DNS, а со своим кастомным именем хоста и портом (доступно только через личный vpn).
По ходу настройки были некоторые проблемы с запуском cgi-скрипта — выкладываю свои изменения, может быть кому-то это будет полезным.
Измененный конфиг apache2:
Listen *:8085
<VirtualHost *:8085>
ServerAdmin webmaster@my.domain.ru
ServerName my.domain.ru
DirectoryIndex /nph-flibusta.pl
<Location /nph-flibusta.pl>
SetHandler cgi-script
</Location>
DocumentRoot /home/user/flibusta/
<Directory /home/user/flibusta/ >
AllowOverride None
Options -Indexes +ExecCGI -MultiViews +SymLinksIfOwnerMatch
Order allow,deny
Allow from all
</Directory>
RewriteEngine On
# RewriteCond %{HTTP_HOST} =proxy.flibusta.net
RewriteRule ^(.*)$ /nph-flibusta.pl?url=$1 [H=cgi-script,QSA,L]
LogLevel warn
CustomLog /var/log/apache2/flibusta-access.log combined
ErrorLog /var/log/apache2/flibusta-error.log
</VirtualHost>
diff perl-скрипта:
--- nph-flibusta.pl.orig 2014-10-14 13:58:42.610908292 +0400
+++ nph-flibusta.pl.new 2014-10-14 16:34:52.395385027 +0400
@@ -7,13 +7,13 @@
use CGI qw(:standard -nph);
my $q = new CGI;
-my $ua = LWP::UserAgent->new(max_redirect => 0, agent => $q->user_agent(),);
+my $ua = LWP::UserAgent->new(max_redirect => 3, agent => $q->user_agent(),);
$ua->timeout(60);
$ua->proxy([qw/ http https /] => 'socks://127.0.0.1:9050'); # Tor proxy
my $refer = $q->referer();
$refer = "" unless defined($refer);
-$refer =~ s/proxy\.flibusta\.net/flibustahezeous3.onion/g;
+$refer =~ s/my\.domain\.ru:8085/flibustahezeous3.onion/g;
#handle extra parameters
my $ep ="";
PS для запуска perl-скрипта в Ubuntu также пришлось доустановить пакеты libhttp-proxy-perl и liblwp-protocol-socks-perl
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Свободная литература или сказ про дружбу CoolReader c Tor