Pull to refresh

Как качать с Rapidshare.com premium используя wget

Configuring Linux *
Недавно я, отчаявшись набрать рейтинг на torrents.ru, приобрел Premium аккаунт на известном файлообменнике rapidshare.com. Покупка эта, выполненная с помощью Visa, прошла не без фокусов, впервые в жизни мне звонили из двух банков, проверяя действительно ли я сошел с ума решил купить премиум аккаунт и заняло это несколько дней, а не несколько минут как обычно, ну да речь не об этом.
После покупки мне предложили вписать логин и пароль от аккаунта в Download master и забыть о проблемах. Что же делать если я преимущественно использую linux и люблю wget?

Читать дальше →
Total votes 59: ↑52 and ↓7 +45
Views 3.1K
Comments 124

Самый лучший топик

Habr

«Статистический анализ топиков попавших на первую страницу» или «Самый лучший топик выстрелит во вторник, после обеда, в разделе «Я умный», соберет больше всех голосов и комментариев».


Вытянуто с главной страницы. Линии некоторых кривых для большей наглядности нормализованы. Сырой материал можно изучить здесь.
Читать дальше →
Total votes 155: ↑124 and ↓31 +93
Views 398
Comments 27

Качаем файлы в бэкграунде

Configuring Linux *
Здравствуйте.

У меня на работе безлимитка, которой иногда хочется пользоваться. Например, закачивать много-много музыки, так, чтобы оставил, забыл на пару дней, вспомнил, а оно уже закачалось. Проблема в том, что безлимитка, все-таки, ограничена по скорости (30Kb/s), и если в наглую оставить закачку wget'ом, то никто этому рад не будет.

Я написал небольшой скриптик, который пингует яндекс, и на основании этого меняет скорость закачки:
Читать дальше →
Total votes 44: ↑37 and ↓7 +30
Views 1.5K
Comments 66

Записываем Интернет-радио с помощью Streamripper

Lumber room
Странно, что на Хабре ещё не упоминалась такая полезная программа как Streamripper. Это консольная программа, которая позволяет записывать Интернет-радио с таких ресурсов, как Shoutcast и Icecast. Причём не просто записывать, а вытаскивать из потока отдельные треки вместе с названиями.

Программа работает в Linux, FreeBSD, BeOS, Windows и OS/2. У Streamripper есть несколько графических оболочек, например StationRipper для Windows. Полный список оболочек есть на домашней странице Streamripper.
Читать дальше →
Total votes 8: ↑7 and ↓1 +6
Views 2.2K
Comments 12

Расширяем возможности wget

Configuring Linux *
Здравствуйте.

Вот я и стал полноправным пользователем хабра. Хочу поблагодарить человека, который дал мне инвайт за эту статью:

Не так давно я начал постигать работу с Linux (в частности Ubuntu 8.10) и у меня появилась задача автоматического скачивания файлов по списку. «wget -i» конечно вещь хорошая, но мне хотелось большего, а именно:
  1. Скачивание списка ссылок из файла
  2. Скачивание одновременно нескольких файлов
  3. Перенос неудавшихся закачек в отдельный список для дальнейших повторных попыток.

Так что появилась необходимость в чуть более продвинутом инструменте для скачивания файлов, чем может предложить wget. Я решил реализовать его с помощью bash. Правда может помешать отсутствие опыта написания bash-скриптов, но как раз пришли выходные и часы проведенные за материалом по теме не прошли зря.
Читать дальше →
Total votes 79: ↑70 and ↓9 +61
Views 22K
Comments 48

Как качать с Rapidshare.com «free user», используя curl или wget

Configuring Linux *
Появившаяся почти год назад статья про скачивание с многими любимого кладезя почти легальной вами же забэкапленной информации Rapidshare.com вызвала одобрение у публики хабра. За последнее время рапида убрала с себя капчу, сделала не столь долгим ожидание между загрузками, в общем, всем своим видом показывает, что с ней очень приятно работать. А если это можно делать ещё и бесплатно… так почему же нет?!
Читать дальше →
Total votes 84: ↑82 and ↓2 +80
Views 4.6K
Comments 33

Умная ретрансляция [wget > fifo > ices0 > icecast]

Configuring Linux *
Давайте поговорим немного про умную ретрансляцию mp3 потоков?
Возникла необходимость сделать качественный mp3 relay с четырех нестабильных источников (которые транслируют одно и то же), в основном для себя.
Возьмем, к примеру, KissFM. Есть 4 источника, которые периодически отваливаются (три потока звука одинаково хорошие и один похуже).

На данный момент реализация такая:
Читать дальше →
Total votes 22: ↑20 and ↓2 +18
Views 4.2K
Comments 28

zenity + wget = GUI wget

Configuring Linux *
Топик посвящается тем, кто не любит качать тяжелые файлы браузером из файлообменников, а также для тех кто хочет получше понять работу zenity.

В Linux есть много различных качальщиков от консольных до тяжелых java-приложений и мой скрипт это не еще один новый качальщик, это всего лишь приятная для глаз (eye-candy) обертка для стандартного Wget. Хотя в потенциале он умеет все что умеет Wget, но я реализовал только самые его основные функции. Цель данного скрипта — запустить закачку через wget (отвязав ее от браузера) и показывать ход ее выполнения.
Читать дальше →
Total votes 73: ↑63 and ↓10 +53
Views 8.1K
Comments 62

Google Chrome и RamDisk. Автоматизация, бэкап и автообновление

Google Chrome
Прочитав статью Отучаем Chrome кушать винчестеры, у меня появилась идея использовать рамдиск не только для Хрома, но и для многих других часто запускаемых приложений (WinRAR, Miranda, Firefox, веб-сервер, и т.п.).

Идеей я воспользовался, и остался очень доволен возросшей скоростью работы моего ноута (1000 мб/с против 35 мб/с!). Единственное, что потребовалось – сделать автоматический бэкап изменившихся файлов на рамдиске.

Для этой цели я решил использовать nnCron. Почитав форумы и всяческие хэлпы, я написал несколько скриптов, которые автоматизируют всю рутину, связанную с работой приложений на рамдиске.

В этой статье я затрону только браузер Chrome.

Итак, используем Chrome на рамдиске.
Читать дальше →
Total votes 29: ↑28 and ↓1 +27
Views 15K
Comments 49

Юмор в стиле Open Source

Open source *
Несмотря на устоявшиеся представления о том, что приверженцы Open Source — унылые красноглазики, в лишний раз убедился в адекватности и позитивности настроя лидеров этого движения. Краткая предыстория такова:
  • у нас есть маленькая Open Source-компания, генеральный директор сейчас занят разработкой весьма нетривиального робота для скачивания и обработки интернет-сайтов на C++;
  • в связи с этим мы над ним давно шутим в стиле «хватит уже изобретать свой велосипед, когда для этого есть wget»;
  • несколько дней назад в сети появилось объявление нынешнего разработчика Wget о том, что он собирается прекратить разработку и ищет себе преемника;
  • на днях у нашего директора случился день рождения;
  • мы решили подшутить над ним, попросив автора Wget написать ему письмо с предложением стать мэйнтейнером Wget вместо того, чтобы продолжать писать своего робота.


Результат не заставил себя ждать:

Читать дальше →
Total votes 210: ↑185 and ↓25 +160
Views 3.7K
Comments 78

Парсим RSS LostFilm'a с помощью grep и передаем на закачку через wget

Decentralized networks
Tutorial
RSS
Однажды мне надоело вручную просматривать LostFilm на наличие новых вышедших серий и я решил автоматизировать этот процесс. Дело в том, что многие BitTorrent клиенты имеют в своих настройках так называемые папки слежения (wach directory). Как только в этой папке появляется новый torrent файл BitTorrent клиент сразу же начинает его загрузку. Обычной практикой, к примеру, является создание такой папки и открытие к ней доступа на запись по FTP. Теперь, все что нам требуется, это автоматизировать скачивание torrent файла по выходу нового эпизода в указанную папку для их дальнейшей автоматической загрузки. Как сделать именно это я сейчас и покажу.
Читать дальше →
Total votes 61: ↑53 and ↓8 +45
Views 19K
Comments 75

Продолжаем парсить RSS теперь уже kinozal'a используя grep, wget/curl

Decentralized networks
Tutorial
RSS
В моем предыдущем посте про автоматизацию загрузок новых эпизодов с RSS ленты LostFilm'а хабраюзер AmoN поднял правильный вопрос о невозможности описанным мною способом загрузки раздач, прямых ссылок на torrent файл которых в RSS ленте не содержится. В качестве примера был приведен трекер кинозал.тв. Именно решению этого вопроса посвящен сей пост ;)
Читать дальше →
Total votes 37: ↑31 and ↓6 +25
Views 11K
Comments 24

Парсер RSS на bash для Лостфильма: щадящий режим для RSS сервера, проверка скачанного

Configuring Linux *
Sandbox
Доброго времени суток!
Когда-то, благодаря этому топику, был написан неплохой парсер для Лостфильма. Сейчас я хотел бы поделиться собственной доработкой скрипта, связанной с изменением формата ссылок на Лостфильме, добавлением проверки на обновление ленты и проверки скачанного.

Прежде всего, что-бы снизить нагрузку на RSS сервер, при запросе ленты с помощью wget нужно использовать «If-Modified-Since:». Тогда, при отсутствии обновлений, мы не будем качать и обрабатывать всю ленту. Такой подход снизит нагрузку на сервер (и немного на наш компьютер).
Используем следующий вариант команды:

# Подготовка заголовка If-Modified-Since
lastmod="$( grep -m 1 Last-Modified response.out )"

header="If-Modified-Since:"${lastmod#*:}

Читать дальше →
Total votes 32: ↑28 and ↓4 +24
Views 5.5K
Comments 48

Проценты готовности в заголовке окна

Interfaces *
Утилита wget (по крайней мере, Windows-версия) отображает процент готовности закачки в заголовке окна, и это одно из её полезных качеств.

А вот 7-Zip стабильной версии 9.20 (точнее, консольная утилита 7za.exe) не делает ничего подобного — хотя, очевидно, знает процент готовности архива и даже отображает его в последней из тех строк, которые выводит в консоли. Стало быть, за темпом хода работы не уследишь, если эта часть окна не видима, закрыта другими окнами.

Но по мере устаревания Windows XP эта разница исчезает из сознания потребителей: люди привыкают вообще не видеть заголовок окна программы на её кнопке на панели задач, а видеть значок только.

И это, пожалуй, печально — но многие ли всерьёз опечалены этим?…

Я вот, скорее, досадую.
Total votes 69: ↑16 and ↓53 -37
Views 878
Comments 12

Голосовая почта и качественный скачок услуги благодаря Google (FreeSWITCH edition)

Development of communication systems *
Sandbox
При использовании современных телефонных платформ услуга голосовой почты стала настолько привычной и востребованной, что разработчики «софтовых» АТС создают модули голосовой почты, производители «железных» АТС создают целые платы голосовой почты, а операторы связи предлагают ее как услугу. Все, как говорится, просто и понятно. Не дозвонился до абонента, система тебя переадресует на голосовую почту и предлагает оставить сообщение. Далее есть несколько вариантов — абоненту высылается оповещение (чаще это письмо) о том что оставлено голосовое сообщение, мол — зайди в систему и послушай. В более продвинутом варианте на почту сразу приходит файл с записью, что позволяет не теряя времени на посещение интерфейса системы — сразу из письма прослушать файл. Но можно сделать услугу еще удобнее и качественнее.

FreeSWITH+Google=Voicemail 2.0

Читать дальше →
Total votes 37: ↑33 and ↓4 +29
Views 10K
Comments 17

Автор сurl просит Microsoft удалить алиасы curl и wget из PowerShell

Configuring Linux *PowerShell **nix *Shells *


Позавчера компания Microsoft опубликовала исходный код PowerShell. Таким образом, это средство автоматизации и конфигурирования на базе .NET Framework стало доступным под Linux.

Некоторые скептически относятся к стратегии «Microsoft любит Linux», которую декларирует редмондский гигант. Кое-кто считает, что консоль от Microsoft не нужна в операционной системе, в которой есть bash. Обычно это просто эмоциональные высказывания, но есть и вполне рациональные аргументированные возражения по существу. Например, разработчик программы curl Дэниель Стэнберг (Daniel Stenberg) вполне логично говорит, что наличие внутри PowerShell одноимённого алиаса curl, а также wget совершенно неуместно, потому что мешает запустить нормальные привычные программы.
Читать дальше →
Total votes 54: ↑46 and ↓8 +38
Views 56K
Comments 242

Однажды встретились JMeter и незнакомка…

High performance *IT systems testing *Web services testing *

Кадр из фильма «Дом у озера». Встреча (www.kinopoisk.ru)

Джим ещё не знал, как подойти к ней, с чего начать разговор и на каком языке его вести. Но он видел многое, владел языками и имел в рукаве не один козырь. И будучи уверенным в помощи верных друзей (это мы с вами) и забыв про сомнения, шёл на встречу судьбе.

Ниже рассказ о том, как Джим завоёвывал снова и снова сердце незнакомой системы. Не подумайте, что незнакомок было несколько. Она была одна, единственная, но такая разная, и от того истории будут следовать одна за другой.
Приятного чтения
Total votes 21: ↑19 and ↓2 +17
Views 21K
Comments 5

Стандартный обмен 1С-Битрикс на BASH: инкрементальная выгрузка XML файлов каталога import и offers

API *1С-Bitrix Development for Linux *
Sandbox

Когда говорят о преимуществах 1С-Битрикс, в первых словах упоминают о лёгкой интеграции системы с 1С. Взаимодействие Битрикс с 1С осуществляется посредством передачи данных в формате CommerceML, который определяет формат XML файлов. В дополнение к этому Битрикс предлагает и стандарт обмена этими XML файлами между 1С и сайтом. Обмен состоит в отсылке из 1С обычных HTTP GET и POST запросов на сайт и получения от сайта простых ответов, определяющих результат выполнения команды.


Обычно декларируется, что в составе 1С существует некий "стандартный обмен с сайтом", который должен работать сразу после его включения. На практике, реализация обмена оказывается не такой тривиальной задачей, как это представляется вначале. Есть жалобы на то, что модуль обмена с сайтом 1С непомерно загружает систему и требует доработок под конкретные нужды. То есть, по факту, обмен вроде бы и есть, но чтобы заставить его работать так, как нужно, необходимо приложить усилия.


Есть ещё несколько причин, чтобы вклиниться в стандартный обмен:


  • Во-первых, источником данных для сайта не всегда может быть 1С. Это может быть какая-то другая информационная база или база другого сайта.
  • Кроме этого, может возникнуть ситуация, когда данные из 1С нужно дополнить другими данными или как-то изменить их.
  • Не всегда есть свободные программисты 1С, которые могут заняться доработками стандартной выгрузки или устранением неполадок в ней.
Читать дальше →
Total votes 21: ↑15 and ↓6 +9
Views 11K
Comments 16

Стандартный обмен 1С-Битрикс на BASH: Подробный разбор скрипта инкрементальной выгрузки

API *1С-Bitrix Development for Linux *
Для обеспечения синхронизации каталога товаров между системой 1С и сайтом на системе управления Битрикс, используется стандартный для Битрикса протокол обмена XML файлами в формате CommerceML, основанный на передаче от 1С к Битриксу HTTP GET и POST запросов с определёнными параметрами, и получении стандартных ответов, содержащих статус операции, обозначающий результат её выполнения.

В первой статье этой серии дано обоснование возможности применения отдельного скрипта, берущего сформированные 1С или другой системой или программой, XML файлы, и передающего их Битриксу, используя стандартный протокол.

В этой статье я дам подробные комментарии к каждой строчке скрипта. Это позволит упростить его модификацию под ваши нужды.

Скрипт написан на BASH и является одним из нескольких скриптов, обеспечивающих различные обмены через один и тот же стандарт, который предлагает 1С-Битрикс для передачи товаров каталога из 1С и загрузки заказов с сайта, построенного на основе системы управления Битрикс.

Далее идёт текст скрипта с комментариями. Краткий вид скрипта, содержащий исключительно код, приведён в предыдущей статье, и доступен на github проекта bitrexchange.
Читать дальше →
Total votes 8: ↑6 and ↓2 +4
Views 12K
Comments 0
1