Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 123
Все больше проникаюсь уважением к командной строке.
Оффтоп, но попробуйте использовать lftp - вполне комфортно, функционально и многопоточно. :)
Зачем?
В очень многих случаях то увеличивает скорость скачивания, часто в десятки раз..
По моему опыту закачка в несколько потоков увеличивает скорость, только если сервер принудительно ограничивает скорость для одного потока. Но такое, слава Богу, встречается крайне редко. Поэтому для меня wget - отличный менеджер загрузок.
Не только. В случае с широким каналом и большим пингом скорость в 1 поток будет скорее всего намного меньше чем в несколько. Широкий канал и большой пинг может быть как у юзера, так и в ДЦ где стоит сервер, так и где-то между.
При скачивании из Укр. ДЦ из России (через Германию) такое наблюдается почти всегда (думаю это далеко не единственный случай подобной ситуации)
При скачивании из Укр. ДЦ из России (через Германию) такое наблюдается почти всегда (думаю это далеко не единственный случай подобной ситуации)
Скорость скачивания больше зависит от ширины канала и технических особенностей функционирования сети по обе стороны, нежели количества потоков. Если всё как надо, то и со 100 мбит линком в один поток качается на пределе возможностей.
Многопоточное скачивание для достижения повышенных скоростей - это, имхо, больше маркетинговый ход. Выше головы всё равно не прыгнуть.
Многопоточное скачивание для достижения повышенных скоростей - это, имхо, больше маркетинговый ход. Выше головы всё равно не прыгнуть.
Умеет с незапамятных времен читайте ман на тему ключа range, тока нафиг это баловство (скачивание в несколько потоков) не надо...
Посмотри тут, вроде скрипт простой чтобы заставить wget качать в несколько потоков
area2?
интересно и познавательно, но в чем может быть проблема набрать рейтинг на torrents.ru не понимаю :)
проблема в том что если уж мне что то и надо скачать, то это как правило редкое или элитарное кино или малопопулярный у масс сериал и т.п., набрать на таком рейтинг нереально. А все популярное есть в локальном пиринге так что нужды брать с торрентов нет.
опередил:)
Я обхожусь просто популярным кино :) тоже хорошо расходится :) А на том же дистрибутиве MAC OS весом в семь гигов я набрал ратио почти 10 не напрягаясь :) пути есть, с другой стороны - кому что :)
На торрентс.ру прон вынесли на отдельный трекер, но свежие фильмы все так же рулят в деле поднятия рейтинга.
самоее фееричное то, что половина людей, нагнетающих тебе рейтинг, качают прон, чтобы поднимать себе рейтинг ;)
можно скачать(найти в локальном пиринге файл из торрента и подменить его) один ролик с порнухой, оставить на неделю, и рейтинг просто взлетит:)
ну боюсь быть заминусованным,но все же, у меня были такие же проблемы и проблемы с исходящим каналом, если немного порыться в гугле то существуют сотни програм для поднятия рейтинга
ну так конечно не наберешь рейтинг, т.е. если он тебе нужен, просто надо взять пару популярных раздач и все, выше уже посоветовали :)
Во-первых на torrents.ru далеко не всё есть, а во-вторых, не вижу проблемы заработать за год ~50 евро.
мда, я лично не пользуюсь рапидой вообще, все что мне надо я могу найти не только на торрентс.ру, нафиг мне тратить на это 50 евро, есть кстати масса трекеров и диси хабов, на которых не нужно набирать рейтинг
Ну я же говорю, первый и главный аргумент - "далеко не всё есть". Просто у вас другие запросы.
а на рапиде значит "всё" есть?
Не занудствуйте. Да, на рапиду часто выкладывают то, чего не на торрентах, и наоборот.
на thepiratebay.org есть все ;)
Ну да, конечно. Сразу видно, что сравнивали.
что с чем? я с рапиды никогда ничего не качаю, как можно сравнивать файловый хостинг и торрент-трекер?
Я имею в виду thepiratebay.org и torrents.ru. Утверждение про первый ресурс "там есть всё" - не более чем шутка.
это почему?
Потому. Просто поверьте, что вы не смотрели все фильмы и не слушали всю музыку на свете.
это называется разговор ни о чем :) а на пиратбэе выложено процентов 80 всех доступных в интернете ресурсов, поэтому я и сказал, что там есть всё и от своих слов не отказываюсь, потому что 80% это практически все что можно себе представить ;)
Это называется, считать себя самым осведомленным, основываясь на своем узком кругозоре.
Еще раз перечитайте мой прошлый пост. Если вам полностью хватает перечисленных вами ресурсов, рад за вас. Не очень понимаю, о чем вы хотите говорить, если и так всё знаете.
Еще раз перечитайте мой прошлый пост. Если вам полностью хватает перечисленных вами ресурсов, рад за вас. Не очень понимаю, о чем вы хотите говорить, если и так всё знаете.
да нет это вы считаете себя умнее остальных и пытаетесь отстоять свою точку зрения во что бы то ни стало, а мой кругозор шире вашего ;) так что успокойтесь :) я отдаю себе отчет в том что занимаюсь тролингом, а вот вы нет ;) если вы не смогли чего-то найти на пиратбэи или других бесплатных трекерах это ваши личные проблемы, можете покупать премиум аккаунты на рапиде, а ещё лучше покупайте контент в специализированных официальных источниках, там точно есть всё, что можно найти, начиная от ультра-раритетов, заканчивая дебильными американскими фильмами, только стоить это вам будет не 50 евро, платить деньги за скачку с файлообенников я считаю глупым занятием, потому что есть бесплатные варианты, сразу прошу прощения, но ваш ответ я читать не буду поэтому можете ничего не отвечать :)
Тролля обидели и он сбежал? А мне ведь несложно ответить :)
Я вам объяснил, зачем люди используют рапиду, ничего более. А ваши рассуждения про дебильные фильмы и ультра-раритеты только подтверждают мое предположение о вашем кругозоре. И вы считаете, что меня интересуют ваши советы на тему того, где брать контент ? Спасибо не надо, это мои личные проблемы :)
Я вам объяснил, зачем люди используют рапиду, ничего более. А ваши рассуждения про дебильные фильмы и ультра-раритеты только подтверждают мое предположение о вашем кругозоре. И вы считаете, что меня интересуют ваши советы на тему того, где брать контент ? Спасибо не надо, это мои личные проблемы :)
ах, если бы, он больше на файлопомойку похож
и русскоязычного контента я там как-то не находил
и русскоязычного контента я там как-то не находил
А я подумал по заголовку, что wget научился с рапидшары без логинов и безо всяких ограничений o0
;)
;)
А смысл генерить кучу ссылок java скриптом ? Если уж работаем в консоли, то может стоит быть последовательным до конца ? :)
for i in {0..100} ; wget супер_файл_часть_$i ; done
for i in {0..100} ; wget супер_файл_часть_$i ; done
Премиум гораздо проще оплачивается с помощью различных интернет валют, в автоматическом режиме и в течении 5 минут, список официальных ресейлеров в России http://www.rapidshare.com/resellers.html
только вот чтоб купить интернет валюты надо вылзать на улицу, искать автомат или банк или карточки по грабительскому курсу... короче предпочитаю платить с visa там где это возможно.
Интернет валюты можно купить с той же карточки не выходя из дома.
как купить webmoney с карточки? Несколько раз искал такую возможность но ничего не нашел кроме каких то мутных вариантов через несколько валют или с грабителькими тарифами.
купить предоплаченную карту не вариант ?
дайте ссылку где это можно сделать в сети.
на plati.ru думаю можно найти такие варианты.
plati.ru как я понял по этому тексту http://plati.ru/asp/howtobuy.asp не принимает карты visa в оплату
https://banking.webmoney.ru/asp/banking.… — покупал WMR. долго правда, дня два.
Автору не повезло с банком, преимиум зачастую покупается визой без всяких проблем и танцев с интернет валютами.
Можно вместо wget использовать aria2. Понимает вызов вида aria2c -P http://server.tld/file[0-10].rar для закачки списка файлов. Среди преимуществ закача в несколько потоков, торренты, cookie и что самое "вкусное" это режим работы демоном. Чтобы совсем все было в командной строке можно с помощю awk вырезать ссылки из предварительно скачанного файла. Например как то вот так: awk '/href/ {for (i=1; i<=NF; i++) {if ($i ~ /^href/) {print $i}}}' file.html
P.S.: спасибо за статью, достаточно полезно.
P.S.: спасибо за статью, достаточно полезно.
Ещё можно скачивать через http-авторизацию
wget --http-user=<user> --http-passwd=<pass> <rapidshare-url>
+1, изврат какой-то пост запросом отправлять логин с паролем, когда можно через HTTP авторизацию
Да, самый правильный метод
Хотя и под первый можно написать простой bash-скрипт, который будет проверять наличие кук, логаться и допустим качать определенный диапазон файлов
Хотя и под первый можно написать простой bash-скрипт, который будет проверять наличие кук, логаться и допустим качать определенный диапазон файлов
мало того, думаю что прокатит даже ссылка http://username:password@rapidshare.com/url-bla-bla-bla
Во втором FF список ссылок на странице показывался в Page Info, в 3м эту возможность убрали. ИМХО, зря.
Ну её же легко вернуть... Всё равно этой фичей пользовались только "продвинутые" пользователи...
wget — штука хорошая, но многопоточную загрузку не поддерживает. Это БОЛЬШОЙ минус, когда качаешь с медленных серверов. Есть в нём и другая (не такая большая, но всё же) трабла: не поддерживает большие файлы. Когда я попытался скачать какой-то SDK с майкрософта, wget определил размер файла как отрицательный и отказался качать (реальный размер был чуть больше одного гигабайта).
Если пользоваться Windows религия не запрещает, FlashGet forever, а для рапиды и иже с ними — RapGet.
Если пользоваться Windows религия не запрещает, FlashGet forever, а для рапиды и иже с ними — RapGet.
Есть shell скрипт реализующий многопоточность для wget.
В wget есть опция --ignore-length, добаленная специально для веб серверов отдающих некорректный Content-Length.
В wget есть опция --ignore-length, добаленная специально для веб серверов отдающих некорректный Content-Length.
Пока сидел под виндой пользовался wget.exe =)
Спасибо за статью, попробуем!! ж)
Не проще с DownThemAll скачать?
есть решение проще
1) создаем файл (например list)
2) забиваем все ссылки туда
3) wget --user логин --password пароль -с -i /путь к файлу/list
man wget :)
1) создаем файл (например list)
2) забиваем все ссылки туда
3) wget --user логин --password пароль -с -i /путь к файлу/list
man wget :)
а где можно узнать расписание happy hours на рапиде ?
echo "wget --http-user='login' --http-password='pass' $1" > rget
chmod +x rget
./rget http://rapodshare.com/....
chmod +x rget
./rget http://rapodshare.com/....
Все это класно но для чего такие сложности. Все значительно проще. Пишем wget -b --http-user=Ваш логин --http-passwd=Ваш пароль --input-file=файл с списком файлов которые закачиваются и все закачка пойдет в бакграунде да еще можна указать папку куда класть файлы --directory-prefix=/home/roman/download следить за закачкой можна коммандой tail -f wget.log
Линукс и коммандная строка рулит :-))
Линукс и коммандная строка рулит :-))
а можно еще проще, просто заполнить .wgetrc и .netrc
~$ cat .wgetrc
user-agent = "Mozilla/5.0"
read_timeout = 300
tries = 1000
wait = 0
waitretry = 0
continue = on
dir_prefix = ~/Downloads/
~$ cat .netrc
machine example1.com login password
machine example2.com login password
затем от ныне и по скончание веков просто wget -i list.txt
А то, не то что рулит, еще и педалит за тебя ;)
~$ cat .wgetrc
user-agent = "Mozilla/5.0"
read_timeout = 300
tries = 1000
wait = 0
waitretry = 0
continue = on
dir_prefix = ~/Downloads/
~$ cat .netrc
machine example1.com login password
machine example2.com login password
затем от ныне и по скончание веков просто wget -i list.txt
А то, не то что рулит, еще и педалит за тебя ;)
а я Perl + CURL юзаю %)
и не надо direct downloads включать
#!/usr/bin/perl
use strict;
use warnings;
use LWP::UserAgent;
if ($#ARGV == -1)
{
print "syntax: $0 \n";
exit(1);
}
exit(1) if ($ARGV[0] !~ qr{^http://((www|rs\d+)\.)?rapidshare\.com/files/\d+/.+$});
my $ua = LWP::UserAgent->new;
my $cookie = 'user=ЛОГИН-ПАРОЛЬ';
my $response = $ua->get($ARGV[0], cookie => $cookie);
catch_unsuccess($response);
extit(1) if ($response->content !~ //)
$response = $ua->post($1, ['dl.start' => 'PREMIUM'], cookie => $cookie);
catch_unsuccess($response);
if ($response->content =~ qr{'(http://rs\d+tg\.rapidshare\.com/files/\d+/dl/(.+?))'})
{
exec(sprintf("curl -b '%s' '%s' -o '%s'", $cookie, $1, $2));
exit(0);
}
sub catch_unsuccess
{
my ($response) = @_;
if (!$response->is_success)
{
print $response->status_line . "\n";
exit(1);
}
}
cat mylinks.txt | xargs rapidshare.pl
и не надо direct downloads включать
#!/usr/bin/perl
use strict;
use warnings;
use LWP::UserAgent;
if ($#ARGV == -1)
{
print "syntax: $0 \n";
exit(1);
}
exit(1) if ($ARGV[0] !~ qr{^http://((www|rs\d+)\.)?rapidshare\.com/files/\d+/.+$});
my $ua = LWP::UserAgent->new;
my $cookie = 'user=ЛОГИН-ПАРОЛЬ';
my $response = $ua->get($ARGV[0], cookie => $cookie);
catch_unsuccess($response);
extit(1) if ($response->content !~ //)
$response = $ua->post($1, ['dl.start' => 'PREMIUM'], cookie => $cookie);
catch_unsuccess($response);
if ($response->content =~ qr{'(http://rs\d+tg\.rapidshare\.com/files/\d+/dl/(.+?))'})
{
exec(sprintf("curl -b '%s' '%s' -o '%s'", $cookie, $1, $2));
exit(0);
}
sub catch_unsuccess
{
my ($response) = @_;
if (!$response->is_success)
{
print $response->status_line . "\n";
exit(1);
}
}
cat mylinks.txt | xargs rapidshare.pl
Следующим шагом будет поставить под firefox плагин flashgot и добавить под него правило
wget -c -S [--directory-prefix=FOLDER] [--referer=REFERER] [--post-data=POST]
[--load-cookies=CFILE] [--header=Cookie:COOKIE] [--input-file=UFILE]
wget -c -S [--directory-prefix=FOLDER] [--referer=REFERER] [--post-data=POST]
[--load-cookies=CFILE] [--header=Cookie:COOKIE] [--input-file=UFILE]
интересный топик, особенно удивляет его рейтинг.
неужели тут столько людей, которые не знают, что wget поддерживает куки?
бред какой-то.
неужели тут столько людей, которые не знают, что wget поддерживает куки?
бред какой-то.
Реально понравилось вставка javascript'овская - что-то в этом есть.
Про поддерживает куки и авторизацию во wget - знал
Про поддерживает куки и авторизацию во wget - знал
ipetr@acid8:~> wget --http-user=*** --http-passwd='***' http://rapidshare.com/files/127026941/fm0704.7z
--18:41:41-- http://rapidshare.com/files/127026941/fm0704.7z
=> `fm0704.7z'
Resolving rapidshare.com... 195.122.131.8, 195.122.131.9, 195.122.131.10, ...
Connecting to rapidshare.com[195.122.131.8]:80... connected.
HTTP request sent, awaiting response... 302 Moved Temporarily
Location: http://rs382tg.rapidshare.com/files/127026941/fm0704.7z [following]
--18:41:41-- http://rs382tg.rapidshare.com/files/127026941/fm0704.7z
=> `fm0704.7z'
Resolving rs382tg.rapidshare.com... 80.231.41.183
Connecting to rs382tg.rapidshare.com[80.231.41.183]:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 4,922,004 [application/octet-stream]
100%[==================================================================================================================>] 4,922,004 892.51K/s ETA 00:00
1. Нет необходимости принимать и сохранять cookies
2. Если уж использовать специальный скрипт, то такой, который бы только ссылки на rapidshare отфильтровывал (Опера умеет, кстати, то же самое по Ctrl-J)
3. На случай, если что-то нужно закачать на rapidshare я использую официальный перловый скрипт rsapi.pl
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как качать с Rapidshare.com premium используя wget