grokinn Jul 3 2008 at 10:25

Как качать с Rapidshare.com premium используя wget

2 min

3.6K

Configuring Linux*

+45

123

Comments 123

alfsoft Jul 3 2008 at 10:52

Все больше проникаюсь уважением к командной строке.

UFO just landed and posted this here

radislav Jul 3 2008 at 11:50

Оффтоп, но попробуйте использовать lftp - вполне комфортно, функционально и многопоточно. :)

Exabiche Jul 3 2008 at 12:37

Зачем?

esc Jul 3 2008 at 14:36

В очень многих случаях то увеличивает скорость скачивания, часто в десятки раз..

Exabiche Jul 3 2008 at 19:21

По моему опыту закачка в несколько потоков увеличивает скорость, только если сервер принудительно ограничивает скорость для одного потока. Но такое, слава Богу, встречается крайне редко. Поэтому для меня wget - отличный менеджер загрузок.

esc Jul 3 2008 at 21:48

Не только. В случае с широким каналом и большим пингом скорость в 1 поток будет скорее всего намного меньше чем в несколько. Широкий канал и большой пинг может быть как у юзера, так и в ДЦ где стоит сервер, так и где-то между.
При скачивании из Укр. ДЦ из России (через Германию) такое наблюдается почти всегда (думаю это далеко не единственный случай подобной ситуации)

UFO just landed and posted this here

impass Jul 3 2008 at 19:34

Скорость скачивания больше зависит от ширины канала и технических особенностей функционирования сети по обе стороны, нежели количества потоков. Если всё как надо, то и со 100 мбит линком в один поток качается на пределе возможностей.

Многопоточное скачивание для достижения повышенных скоростей - это, имхо, больше маркетинговый ход. Выше головы всё равно не прыгнуть.

UFO just landed and posted this here

smartly Jul 4 2008 at 19:34

Так может это ограничение на сервере установлено не просто так? Ты что - хочешь обмануть сервер?
Из-за таких многопоточных качальщиков приходится ограничивать число коннектов с одного ИП.

UFO just landed and posted this here

Cepg Jul 3 2008 at 13:03

Умеет с незапамятных времен читайте ман на тему ключа range, тока нафиг это баловство (скачивание в несколько потоков) не надо...

lefler Jul 3 2008 at 13:58

Нет в чистом виде не умеет и ключа такого нет.

Goganchic Jul 3 2008 at 18:07

Посмотри тут, вроде скрипт простой чтобы заставить wget качать в несколько потоков

UFO just landed and posted this here

Bal Jul 8 2008 at 09:33

area2?

darksab0r May 2 2009 at 09:47

aria2

bezgubov Jul 3 2008 at 11:16

интересно и познавательно, но в чем может быть проблема набрать рейтинг на torrents.ru не понимаю :)

grokinn Jul 3 2008 at 11:21

проблема в том что если уж мне что то и надо скачать, то это как правило редкое или элитарное кино или малопопулярный у масс сериал и т.п., набрать на таком рейтинг нереально. А все популярное есть в локальном пиринге так что нужды брать с торрентов нет.

UFO just landed and posted this here

sergeyfast Jul 3 2008 at 11:29

опередил:)

VaNcHeR Jul 3 2008 at 11:35

Я обхожусь просто популярным кино :) тоже хорошо расходится :) А на том же дистрибутиве MAC OS весом в семь гигов я набрал ратио почти 10 не напрягаясь :) пути есть, с другой стороны - кому что :)

darksab0r Jul 3 2008 at 11:45

На торрентс.ру прон вынесли на отдельный трекер, но свежие фильмы все так же рулят в деле поднятия рейтинга.

bezgubov Jul 3 2008 at 13:57

хочешь сказать что за прон не идет рейтинг?

darksab0r Jul 3 2008 at 15:01

Ошибся я, сейчас выносят, в июле, видимо, завершат переезд. Как я понял, текущий рейтинг будет скопирован, а дальше подсчет будет вестись раздельно. Просто сначала речь шла о переезде в течение недели, видимо все оказалось сложнее.

Frosty Jul 3 2008 at 12:09

самоее фееричное то, что половина людей, нагнетающих тебе рейтинг, качают прон, чтобы поднимать себе рейтинг ;)

sergeyfast Jul 3 2008 at 11:29

можно скачать~~(найти в локальном пиринге файл из торрента и подменить его)~~ один ролик с порнухой, оставить на неделю, и рейтинг просто взлетит:)

nAggOHOK Jul 3 2008 at 13:09

Так и поднимал =) только не порнухой, вытащил из пиринга популярную какуюто киношку, просто по пирам посмотрел =) и воткнул себе. на 3Mb канале рейтинг в космос улетел.

bezgubov Jul 3 2008 at 14:00

у меня так взлетел рейтиинг один раз когда у меня на раздаче были все сезоны симпсонов и кторрент находил личеров в 100 мбит локалке :) вот это было круто, правда не долго проработало, видимо был один личер, который качнул и ушел :)

invah Jul 3 2008 at 12:14

ну боюсь быть заминусованным,но все же, у меня были такие же проблемы и проблемы с исходящим каналом, если немного порыться в гугле то существуют сотни програм для поднятия рейтинга

bezgubov Jul 3 2008 at 13:56

ну так конечно не наберешь рейтинг, т.е. если он тебе нужен, просто надо взять пару популярных раздач и все, выше уже посоветовали :)

ice9 Jul 3 2008 at 15:34

Во-первых на torrents.ru далеко не всё есть, а во-вторых, не вижу проблемы заработать за год ~50 евро.

bezgubov Jul 3 2008 at 21:24

мда, я лично не пользуюсь рапидой вообще, все что мне надо я могу найти не только на торрентс.ру, нафиг мне тратить на это 50 евро, есть кстати масса трекеров и диси хабов, на которых не нужно набирать рейтинг

ice9 Jul 3 2008 at 21:38

Ну я же говорю, первый и главный аргумент - "далеко не всё есть". Просто у вас другие запросы.

bezgubov Jul 3 2008 at 21:41

а на рапиде значит "всё" есть?

ice9 Jul 3 2008 at 22:35

Не занудствуйте. Да, на рапиду часто выкладывают то, чего не на торрентах, и наоборот.

bezgubov Jul 3 2008 at 22:39

на thepiratebay.org есть все ;)

ice9 Jul 3 2008 at 22:45

Ну да, конечно. Сразу видно, что сравнивали.

bezgubov Jul 3 2008 at 22:59

что с чем? я с рапиды никогда ничего не качаю, как можно сравнивать файловый хостинг и торрент-трекер?

ice9 Jul 3 2008 at 23:04

Я имею в виду thepiratebay.org и torrents.ru. Утверждение про первый ресурс "там есть всё" - не более чем шутка.

bezgubov Jul 3 2008 at 23:08

это почему?

ice9 Jul 3 2008 at 23:17

Потому. Просто поверьте, что вы не смотрели все фильмы и не слушали всю музыку на свете.

bezgubov Jul 3 2008 at 23:33

это называется разговор ни о чем :) а на пиратбэе выложено процентов 80 всех доступных в интернете ресурсов, поэтому я и сказал, что там есть всё и от своих слов не отказываюсь, потому что 80% это практически все что можно себе представить ;)

ice9 Jul 3 2008 at 23:45

Это называется, считать себя самым осведомленным, основываясь на своем узком кругозоре.
Еще раз перечитайте мой прошлый пост. Если вам полностью хватает перечисленных вами ресурсов, рад за вас. Не очень понимаю, о чем вы хотите говорить, если и так всё знаете.

bezgubov Jul 3 2008 at 23:58

да нет это вы считаете себя умнее остальных и пытаетесь отстоять свою точку зрения во что бы то ни стало, а мой кругозор шире вашего ;) так что успокойтесь :) я отдаю себе отчет в том что занимаюсь тролингом, а вот вы нет ;) если вы не смогли чего-то найти на пиратбэи или других бесплатных трекерах это ваши личные проблемы, можете покупать премиум аккаунты на рапиде, а ещё лучше покупайте контент в специализированных официальных источниках, там точно есть всё, что можно найти, начиная от ультра-раритетов, заканчивая дебильными американскими фильмами, только стоить это вам будет не 50 евро, платить деньги за скачку с файлообенников я считаю глупым занятием, потому что есть бесплатные варианты, сразу прошу прощения, но ваш ответ я читать не буду поэтому можете ничего не отвечать :)

ice9 Jul 4 2008 at 00:10

Тролля обидели и он сбежал? А мне ведь несложно ответить :)
Я вам объяснил, зачем люди используют рапиду, ничего более. А ваши рассуждения про дебильные фильмы и ультра-раритеты только подтверждают мое предположение о вашем кругозоре. И вы считаете, что меня интересуют ваши советы на тему того, где брать контент ? Спасибо не надо, это мои личные проблемы :)

impass Jul 4 2008 at 22:02

ах, если бы, он больше на файлопомойку похож
и русскоязычного контента я там как-то не находил

bezgubov Jul 4 2008 at 23:42

ну это же не значит что его там нет :) просто там невнятный поиск, да и то только на первый взгляд

nini Jul 3 2008 at 11:23

А я подумал по заголовку, что wget научился с рапидшары без логинов и безо всяких ограничений o0
;)

nini Jul 3 2008 at 11:24

* качать

nooze Jul 3 2008 at 11:26

все бы вам на халяву :)

nini Jul 3 2008 at 11:38

Да я вообще давно с рапиды ничего не качал =)

lefler Jul 3 2008 at 11:29

А смысл генерить кучу ссылок java скриптом ? Если уж работаем в консоли, то может стоит быть последовательным до конца ? :)
for i in {0..100} ; wget супер_файл_часть_$i ; done

grokinn Jul 3 2008 at 11:35

нее смотри - на сайтах написано супер_файл_1 а под ним скрывается ссылка http...com/...rar консолью html так просто не распарсишь.

monsterzz Jul 3 2008 at 13:06

wget + sed + awk + bash делают невозможное :)
В конце концов perl никто не отменял;;;

redchrom Jul 3 2008 at 13:24

Мм, а это в каком шелле range через {} работает? В баше вроде только так можно $(seq 0..100) ?

lefler Jul 3 2008 at 13:35

~$ bash --version
GNU bash, version 3.2.39(1)-release

UFO just landed and posted this here

VaNcHeR Jul 3 2008 at 11:36

Вот, блин, почему этот раздел на торрентс.ру так развит :)

Kreker Jul 3 2008 at 11:43

Че вы всё про порно... Может у человека канал несимметричный;))

bubuq Jul 3 2008 at 13:11

В смысле, всё идёт со скоростью 64mbps, а на проне разгоняется до 512? :)

Ygg Jul 3 2008 at 11:34

Премиум гораздо проще оплачивается с помощью различных интернет валют, в автоматическом режиме и в течении 5 минут, список официальных ресейлеров в России http://www.rapidshare.com/resellers.html

grokinn Jul 3 2008 at 11:49

только вот чтоб купить интернет валюты надо вылзать на улицу, искать автомат или банк или карточки по грабительскому курсу... короче предпочитаю платить с visa там где это возможно.

Ygg Jul 3 2008 at 12:55

Интернет валюты можно купить с той же карточки не выходя из дома.

grokinn Jul 3 2008 at 13:00

как купить webmoney с карточки? Несколько раз искал такую возможность но ничего не нашел кроме каких то мутных вариантов через несколько валют или с грабителькими тарифами.

lefler Jul 3 2008 at 13:17

купить предоплаченную карту не вариант ?

grokinn Jul 3 2008 at 13:38

дайте ссылку где это можно сделать в сети.

lefler Jul 3 2008 at 13:49

на plati.ru думаю можно найти такие варианты.

grokinn Jul 3 2008 at 13:56

plati.ru как я понял по этому тексту http://plati.ru/asp/howtobuy.asp не принимает карты visa в оплату

dmiceman Jul 3 2008 at 14:04

https://banking.webmoney.ru/asp/banking.… — покупал WMR. долго правда, дня два.

ice9 Jul 3 2008 at 15:31

Автору не повезло с банком, преимиум зачастую покупается визой без всяких проблем и танцев с интернет валютами.

UFO just landed and posted this here

denispost Jul 3 2008 at 11:40

Можно вместо wget использовать aria2. Понимает вызов вида aria2c -P http://server.tld/file[0-10].rar для закачки списка файлов. Среди преимуществ закача в несколько потоков, торренты, cookie и что самое "вкусное" это режим работы демоном. Чтобы совсем все было в командной строке можно с помощю awk вырезать ссылки из предварительно скачанного файла. Например как то вот так: awk '/href/ {for (i=1; i<=NF; i++) {if ($i ~ /^href/) {print $i}}}' file.html

P.S.: спасибо за статью, достаточно полезно.

Dimka Jul 3 2008 at 11:41

Ещё можно скачивать через http-авторизацию

wget --http-user=<user> --http-passwd=<pass> <rapidshare-url>

DexizeR Jul 3 2008 at 12:03

+1, изврат какой-то пост запросом отправлять логин с паролем, когда можно через HTTP авторизацию

grokinn Jul 3 2008 at 12:34

пост запросом они отправляются один раз и потом лежат у тебя на винте готовые куки, а через http каждый раз надо вводить логин с паролем

lefler Jul 3 2008 at 12:38

~/.wgetrc

sylvio Jul 3 2008 at 17:25

Да, самый правильный метод
Хотя и под первый можно написать простой bash-скрипт, который будет проверять наличие кук, логаться и допустим качать определенный диапазон файлов

Hest Jul 3 2008 at 21:34

мало того, думаю что прокатит даже ссылка http://username:password@rapidshare.com/url-bla-bla-bla

salvator Jul 3 2008 at 12:05

Во втором FF список ссылок на странице показывался в Page Info, в 3м эту возможность убрали. ИМХО, зря.

khim Jul 3 2008 at 12:55

Ну её же легко вернуть... Всё равно этой фичей пользовались только "продвинутые" пользователи...

rg_software Jul 3 2008 at 12:37

wget штука хорошая, но многопоточную загрузку не поддерживает. Это БОЛЬШОЙ минус, когда качаешь с медленных серверов. Есть в нём и другая (не такая большая, но всё же) трабла: не поддерживает большие файлы. Когда я попытался скачать какой-то SDK с майкрософта, wget определил размер файла как отрицательный и отказался качать (реальный размер был чуть больше одного гигабайта).

Если пользоваться Windows религия не запрещает, FlashGet forever, а для рапиды и иже с ними RapGet.

lefler Jul 3 2008 at 12:45

Есть shell скрипт реализующий многопоточность для wget.
В wget есть опция --ignore-length, добаленная специально для веб серверов отдающих некорректный Content-Length.

khim Jul 3 2008 at 12:57

Проблема не в --ignore-length, а в том, что кто-то пользуется устаревшей версией wget'а (ну или сборкой под Windows, что, в принципе, одно и то же)...

rg_software Jul 3 2008 at 13:42

Верно, проблема в самом wget'e, который хранит длину файла в переменной слишком короткого размера.
А shell-script и прочее здорово, но во FlashGet все встроено, что удобно. Wget хорош для закачки через удаленную консоль, тут действительно ничего лучше нет.

heroOfOurTime Jul 3 2008 at 13:24

Пока сидел под виндой пользовался wget.exe =)

psyxoz Jul 3 2008 at 12:48

Спасибо за статью, попробуем!! ж)

setevik Jul 3 2008 at 13:14

Не проще ли?
login:pass@rapidshare.com/blablabla...
:)

grokinn Jul 3 2008 at 13:49

да очень просто всю сотню ссылок изменять подобным образом:)

dmiceman Jul 3 2008 at 14:05

а какие сложности?

setevik Jul 3 2008 at 14:10

Не вручную ведь :)

grokinn Jul 3 2008 at 14:16

видимо можно написать скрипт, но меня ломает, напиши тогда и опубликуй в отдельном хабратопике:)

MazaFakagro Jul 3 2008 at 13:16

Не проще с DownThemAll скачать?

randomtoy Jul 3 2008 at 13:32

есть решение проще
1) создаем файл (например list)
2) забиваем все ссылки туда
3) wget --user логин --password пароль -с -i /путь к файлу/list

man wget :)

UFO just landed and posted this here

grokinn Jul 3 2008 at 14:15

сделать три мутных действия очевидно быстрее для меня чем перезагружаться в висту 5 минут ради одной закачки.

UFO just landed and posted this here

grokinn Jul 3 2008 at 14:30

да я вообще тупой, не видите чтоли?

rapida Jul 3 2008 at 14:38

а где можно узнать расписание happy hours на рапиде ?

randomtoy Jul 7 2008 at 12:52

спросить у генератора случайных чисел

esc Jul 3 2008 at 14:40

echo "wget --http-user='login' --http-password='pass' $1" > rget
chmod +x rget
./rget http://rapodshare.com/....

UFO just landed and posted this here

impass Jul 3 2008 at 20:54

а слабо такое же бесплатно? :)

UFO just landed and posted this here

impass Jul 3 2008 at 23:00

это сервис для закачки, а не скачивания

UFO just landed and posted this here

impass Jul 4 2008 at 03:44

я нисколько не сомневаюсь в полезности предложенного сервиса, но боюсь в России запрашиваемые за его использования деньги вряд ли кто платить будет

мне так хватает одного премиума для RapidShare :)

UFO just landed and posted this here

burgui Jul 3 2008 at 18:02

Все это класно но для чего такие сложности. Все значительно проще. Пишем wget -b --http-user=Ваш логин --http-passwd=Ваш пароль --input-file=файл с списком файлов которые закачиваются и все закачка пойдет в бакграунде да еще можна указать папку куда класть файлы --directory-prefix=/home/roman/download следить за закачкой можна коммандой tail -f wget.log
Линукс и коммандная строка рулит :-))

Frosty Jul 3 2008 at 19:18

а можно еще проще, просто заполнить .wgetrc и .netrc

~$ cat .wgetrc
user-agent = "Mozilla/5.0"
read_timeout = 300
tries = 1000
wait = 0
waitretry = 0
continue = on
dir_prefix = ~/Downloads/

~$ cat .netrc
machine example1.com login password
machine example2.com login password

затем от ныне и по скончание веков просто wget -i list.txt

А то, не то что рулит, еще и педалит за тебя ;)

Frosty Jul 3 2008 at 19:27

~$ cat .netrc
machine example1.com login (login) password (password)
machine example2.com login (login) password (password)

il_zoff Jul 7 2008 at 22:58

а можно сделать так, чтобы для разных сайтов разный dir_prefix был?

impass Jul 3 2008 at 20:04

а я Perl + CURL юзаю %)
и не надо direct downloads включать

#!/usr/bin/perl
use strict;
use warnings;
use LWP::UserAgent;
if ($#ARGV == -1)
{
print "syntax: $0 \n";
exit(1);
}
exit(1) if ($ARGV[0] !~ qr{^http://((www|rs\d+)\.)?rapidshare\.com/files/\d+/.+$});
my $ua = LWP::UserAgent->new;
my $cookie = 'user=ЛОГИН-ПАРОЛЬ';
my $response = $ua->get($ARGV[0], cookie => $cookie);
catch_unsuccess($response);
extit(1) if ($response->content !~ //)
$response = $ua->post($1, ['dl.start' => 'PREMIUM'], cookie => $cookie);
catch_unsuccess($response);
if ($response->content =~ qr{'(http://rs\d+tg\.rapidshare\.com/files/\d+/dl/(.+?))'})
{
exec(sprintf("curl -b '%s' '%s' -o '%s'", $cookie, $1, $2));
exit(0);
}
sub catch_unsuccess
{
my ($response) = @_;
if (!$response->is_success)
{
print $response->status_line . "\n";
exit(1);
}
}

cat mylinks.txt | xargs rapidshare.pl

impass Jul 3 2008 at 20:33

криво вставилось :(

нормальный сорец: http://pastebin.ca/1061432

lsf Jul 4 2008 at 02:23

Следующим шагом будет поставить под firefox плагин flashgot и добавить под него правило
wget -c -S [--directory-prefix=FOLDER] [--referer=REFERER] [--post-data=POST]
[--load-cookies=CFILE] [--header=Cookie:COOKIE] [--input-file=UFILE]

dolcegabbana Jul 4 2008 at 02:34

интересный топик, особенно удивляет его рейтинг.
неужели тут столько людей, которые не знают, что wget поддерживает куки?
бред какой-то.

AoN Jul 4 2008 at 14:12

Реально понравилось вставка javascript'овская - что-то в этом есть.

Про поддерживает куки и авторизацию во wget - знал

Cosmonaut Jul 4 2008 at 20:37

ipetr@acid8:~> wget --http-user=*** --http-passwd='***' http://rapidshare.com/files/127026941/fm0704.7z
--18:41:41-- http://rapidshare.com/files/127026941/fm0704.7z
=> `fm0704.7z'
Resolving rapidshare.com... 195.122.131.8, 195.122.131.9, 195.122.131.10, ...
Connecting to rapidshare.com[195.122.131.8]:80... connected.
HTTP request sent, awaiting response... 302 Moved Temporarily
Location: http://rs382tg.rapidshare.com/files/127026941/fm0704.7z [following]
--18:41:41-- http://rs382tg.rapidshare.com/files/127026941/fm0704.7z
=> `fm0704.7z'
Resolving rs382tg.rapidshare.com... 80.231.41.183
Connecting to rs382tg.rapidshare.com[80.231.41.183]:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 4,922,004 [application/octet-stream]

100%[==================================================================================================================>] 4,922,004 892.51K/s ETA 00:00

1. Нет необходимости принимать и сохранять cookies
2. Если уж использовать специальный скрипт, то такой, который бы только ссылки на rapidshare отфильтровывал (Опера умеет, кстати, то же самое по Ctrl-J)
3. На случай, если что-то нужно закачать на rapidshare я использую официальный перловый скрипт rsapi.pl