Децентрализованные сети *

В настоящее время все мы живем в мире IPv4. И пока процесс перехода на IPv6 затягивается, IP адресов на всех не хватает. В силу отсутствия достаточного количества уникальных IPv4 адресов, большинство пользователей вынуждено получать доступ к Интернету через NAT устройства на стороне провайдера. С недостатками данного подхода сталкивались многие. Прежде всего, это сложности в организации P2P взаимодействия, в том числе игр. Если хочется запустить «свой» игровой сервер, то без внешнего IP, он будет доступен только из локальной сети, если таковая имеется. Для преодоления возникающих с NAT проблем, были разработаны специальные программы, такие как Hamachi, Garena и др. Теперь, после данного небольшого вступления, перейдем непосредственно к описанию проекта.

Всегда хотели быть админом трекера BitTorrent, но никогда не могли, потому что недоставало технических знаний? Тогда настал ваш счастивый день. При помощи Bitstorm кто угодно может настроить битторрентовый трекер буквально за несколько секунд, так как для Bitstorm нужен только хостинг, поддерживающий PHP. Просто загрузите единственный файл на вебсервер — и получите собственный действующий трекер BitTorrent.

Для начала давайте признаемся: запустить и поддерживать надёжный трекер с десятками тысяч пиров — это не каждому по плечу. Для этого надобны и навыки, и знания, чтобы всё действовало без сучка и задоринки. Кроме того, крупным трекерам (таким, как PublicBitTorrent) нужен гигабитный канал, а он есть не у всякого.

Несмотря на вышесказанное, на свете есть и тысячи небольших трекеров, раздающих по горсточке торрентов каждый. Некоторые люди заводят себе трекер, чтобы раздавать свои файлы в частном порядке, а у других просто хобби такое. При помощи Bitstorm теперь кто угодно может запустить собственный трекер BitTorrent сравнительно легко, и многих технических знаний для этого не потребуется.

Пользуясь услугами какого угодно хостинга, поддерживающего PHP, запустить трекер можно быстрее, чем прочесть предыдущие два абзаца. Bitstorm раздаётся по лицензии GPL, состоит из единственного PHP-файла с немногими строками кода. Просто закачайте его к себе на сервер — и вот он, новорождённый трекер.

Разработчик, Питер Каприоли, разъяснил, что к созданию Bitstorm его подтолкнула неудача в поиске простого и безчепухового битторрентового трекера.

«Некоторое время тому назад мне надо было раздать пару крупных файлов паре десятков людей. Я предпочитал протокол BitTorrent — он и быстрый, и мне не понадобилось бы загружать все эти файлы по двадцать раз. Поэтому я начал искать трекер, чтобы установить его к себе на сервер».

«Некоторое время поискав, я не нашёл ни одного такого трекера, который работал бы, как я хотел. Во всех их была встроена куча добавочных функций, мне не нужных — мне-то нужен был простой трекер, просто обслуживающий пиры, и ничего больше. Почитав вон ту замечательную статью, я придумал Bitstorm», — добавляет Каприоли.

Копирасты всё же добрались до нас. Ниже рассказ как это было.

Первый провайдер

Всё началось в один прекрасный день когда я обнаружил недоступность локального торрента, расположенного на площадке Воронежского филиала «Билайн» (бывшего «Голден Телеком»).

Физически сервер был доступен, и пинг из локальный сети до него проходил:
[dganic@dganic ~]$ ping torrentshost
PING fiberboom.ru (10.255.63.253) 56(84) bytes of data.
64 bytes from 10.255.63.253: icmp_req=1 ttl=59 time=1.02 ms
64 bytes from 10.255.63.253: icmp_req=2 ttl=59 time=1.08 ms
64 bytes from 10.255.63.253: icmp_req=3 ttl=59 time=6.13 ms
64 bytes from 10.255.63.253: icmp_req=4 ttl=59 time=1.03 ms
— fiberboom.ru ping statistics —
4 packets transmitted, 4 received, 0% packet loss, time 3004ms
rtt min/avg/max/mdev = 1.025/2.319/6.138/2.205 ms

Проверяем на доступность портов:
[dganic@dganic ~]$ nmap torrentshost
Starting Nmap 5.51 ( nmap.org ) at 2011-06-23 13:17 MSD
Nmap scan report torrentshost (10.255.63.253)
Host is up (0.023s latency).
Not shown: 997 closed ports
PORT STATE SERVICE
21/tcp open ftp
2222/tcp open EtherNet/IP-1
8000/tcp
(14:43:07) open http-alt
Nmap done: 1 IP address (1 host up) scanned in 0.40 seconds

Ну ладно, подумал я, мало ли какие технические проблемы могут быть, может что обновляют в движке торрента.

Не так давно на хабре мелькал топик про aerofs.
Многие из нас тогда кричали «Вау! Круто! Маст хэв и всё такое». Время шло, интерес поутих, все подзабыли как-то. Я же не отчаивался и оставил несколько запросов на инвайты. Ну и периодически общался с разработчиками. Видимо, время пришло, и мой самый представительный ящик попал в число счастливчиков и получил инвайт.
Само собой, в конце поста — раздача попугаев (то есть инвайтов).
Под катом же — небольшой обзор и скриншоты данной мегаштуки (нет, правда, это именно то, что нужно каждому человеку, у которого больше 1 ПК). Все скриншоты сделаны под Ubuntu. Макоси нет, а windows искать лениво.

Введение

Добрый день.
Использую, как и многие, крупный торрент-трекер — rutracker.org, однако есть одна особенность которая меня раздражает.
Это добавление в список трекеров адреса ix*.rutracker.net, который служит для непонятных мне целей. Однако который часто (у меня — практически всегда) выдаёт ошибки (502 Bad Gateway и 0 No Response). Торрент-клиент (у меня Transmission) помечает торрент сломанным. Что само собой довольно сильно мне мешает. Особенно если учесть особенность Transmission — она задаёт статус торрента по последнему ответу трекера. То есть опрашиваем ix*, он возвращает ошибку, торрент помечается как Broken, через n минут/секунд опрашивается следующий трекер из списка — bt*.rutracker.org или retracker.local, которые возвращают успешный код и торрент снова становится нормальным. Такая чехарда не особо меня радует.

Решение банально — убрать этот нехороший адрес из списка. Однако файлов у меня много, из каждого вручную вырезать совсем не хочется, да и дополнительное действие при добавлении нового торрента выполнять тоже не было никакого желания. Поэтому принял решение разобраться в формате и автоматизировать удаление трекера из списка.

Добрый день.
На своём домашнем серваке сменил систему, и собственно софт тоже нужно было переставлять.
Поэтому ради теста просмотрел несколько самых популярных торрент-клиентов, работающих на *nix (rTorrent, Deluge, MLDonkey, Transmission).
Последний понравился мне больше всего, однако для меня нашёлся существенный минус — невозможно переименовывать зашитые в .torrent-файл имена торрентов.
То есть у нас на диске будут всякие разные папки, например — «Krovavaja gora», «Место Преступления Нью-Йорк», а то и просто «7 Сезон».
Мне это не по нраву, я люблю порядок, соотвестсвенно свою фильмотеку (точнее её сериальную часть) организую в виде "%SERIAL_NAME%/Season N".
Transmission увы не позволяет такого. Но так как в основном всё было хорошо, я взялся подгонять клиент под себя.

Более десяти лет назад (6 сентября 2000 года, как можно выяснить в Архиве Интернета) на свет появился первый выпуск программы eDonkey2000, представивший миру идею и реализацию гиперссылок в формате «ed2k://…» — удивительный для своего времени алхимический сплав трёх идей: во-первых, хэширования файлов, во-вторых, URI (единой формы идентификации ресурсов), и в-третьих, файлообмена.

Хотя через 6 лет (в сентябре 2006 года) юристам RIAA через суд удалось принудить производителя eDonkey2000 прекратить распространение программы (и даже подменить её сайт зловещим предупреждением о нелегальности файлообмена), формат гиперссылок «ed2k://…» был унаследован и широко используется по сей день во всех файлообменных программах и на всех сайтах, имеющих дело с файлообменными сетями ed2k или Kad. Более того, с тех пор этот формат успел слегка подразвиться по сравнению с вариантом 2006 года. Такова эпическая сила идей, в нём заложенных.

Популярность программ, реализующих формат гиперссылок «ed2k://…», также оказалась немалою. В зените своей славы программа eDonkey2000, название которой действительно происходит от английского слова «donkey» («осёл»), в умах российских пользователей на равных боролась за жаргонное название «ослика» с мега-популярным браузером IE, который обязан этой кличкою лишь случайному сходству транскрипции «иэ» и имени ослика Иа-Иа из историй о Винни-Пухе — а также, быть может, и своему ослиному упрямству в некорректной интерпретации некоторых веб-стандартов. (Приязнь к аниме и понимание «иэ» как японского отрицания «нет» в те годы, как видно, не было распространено.) А главный из идейных «наследников» eDonkey2000 — свободная программа eMule с открытым исходным кодом — до сих пор находится в вершине списка наиболее популярных (по числу закачек) продуктов на сайте SourceForge.

Хэширование файлов. URI. Файлообмен. Каким образом все три эти идеи сплелись воедино в формате гиперссылок «ed2k://…»?

 

Привет, %username%!
Когда же уже, наконец, имя хабрапользователя будет подставляться автоматически

На днях наткнулся на весьма интересный ресурс, позволяющий шариться файлами, используя преимущества P2P, и работающий прямо в браузере. Что это значит для всех, кому нужно делиться файлами? (под катом 5 фоток, общий вес ~300K)

Интервью с Брэмом Коэном, американским программистом, автором протокола Bit Torrent, предпринимателем и отцом троих детей. Как и следовало ожидать, Коэн оказался весьма незаурядным человеком с хорошим чувством юмора и экстравагантным взглядом на вещи.

В этом посте я привожу интервью в несколько сокращенном виде, опуская моменты, по моему мнению не уместные на этом сайте.

— Как Вы пришли к идее создания BitTorrent? Это был плавный переход от работы над MojoNation или озарение?

— Нет, определенно не озарение.

— Нет?

— У меня уже был большой опыт сетевого программирования в MojoNation, да и до него тоже. Я в общем-то хотел совместить свои знания о том, что могло сработать и то что было интересным, но, как мне казалось, было сделано недостаточно правильно и должно было быть полностью переделано, с нуля. Я использовал весь этот опыт для создания BitTorrent, и сам по себе он не являлся одномоментным прозрением. В нем не было никакой “Wow!”-идеи. Это была просто комбинация достаточно прозаичных идей, собранных воедино и тщательно подготовленных, в итоге, вылившихся во что-то мощное.

Постоянно сталкиваюсь с проблемой передачи пары файлов, для этого приходится использовать DropBox, обменники и тому подобные сервисы. Большинство обменников перегружено, имеют ограничения, тонну рекламы, низкую скорость.Торренты – больше предназначены для передачи крупных файлов, необходимо наличие приватного торрент-трекера, клиента.

Очень краткий обзор поисковика по файлообменной сети Direct Connect.
Subj ходит по основным хаблистам и на данный момент знает о ~740 миллионах файлов.

dc.proisk.ru

Сегодня стартовало закрытое тестирование пректа Project Pheon — технологии онлайн вещания, основанной на p2p. Для участия в нем необходимо ввести свой емайл на странице проекта и в результате вам будет (всем или избранным тут уж не знаю) прислано приглашение его протестировать.

Компания BitTorrent Inc. дружит с правообладателями, голливудскими студиями и хочет превратить торренты в популярную народную технологию (чтобы заработать на этом много денег).

Примерно месяц назад было опубликовано странное исследование, из которого следовало что 100 самых активных пользователей генерируют 66% всех загрузок и 75% всех скачиваний с торрентов, причём делают это ради финансовой выгоды.

Естественно, такое исследование вызвало массу вопросов, так что его авторов нашли и допросили, то есть взяли интервью. Оказывается, это не какое-то бредовое исследование, а серьёзный научный проект, над которым уже полгода работают учёные из Испании, Германии и США. Они проанализировали 50 000 торрентов с трекеров Pirate Bay и Mininova.

Доброе время суток, дорогой %username%.

Недавно прочитал хабрастатью посвящённую достаточно общей идее распределённого веба. Сам я уже некоторое время занят в практической реализации проекта, идеи которого поразительно похожи на идеи автора вышеупомянутой статьи.

Под катом общие размышления, обзор текущего состояния проекта, перспективы и, конечно, немного трафика.

Если интересно — welcome под кат.

На Вашингтонском автосалоне компания Ford показала пиринговую систему связи между автомобилями по WiFi. Концепты сетей V2V (vehicle-to-vehicle) обсуждались и раньше, но технология Ford Intelligent Vehicles максимально приблизилась к массовому производству.

В последние несколько дней появились слухи о новом проекте под названием «Music Bay».

Четыре года назад команда Pirate Bay зарегистрировала доменное имя themusicbay.org. На нём планировалось разместить наиболее эффективную систему обмена музыкой из когда-либо созданных, однако из-за занятости другими проектами эти планы были отложены.

На днях же появилась информация о том, что домен «Музыкальной бухты» в конце концов начнёт использоваться. В настоящее время он перенаправляет на «Пиратскую бухту», но этой весной на нём может появиться большой сюрприз для музыкальной индустрии.

Года 4 назад у меня родилась идея — написать бота, который бы отслеживал активность в нашем локальном DC-хабе — просто логировал чат и выполнял простые команды в приват. За пару вечеров был найден прекрасный консольный клиент — dctc, с которым можно взаимодействовать через unix-socket; а ещё за пару вечеров — написан простенький бот на php. При создании бота были внесены первые поправки в код dctc, чтобы он не посылал странные команды на сервер. Через некоторое время меня сделали модератором на этом самом хабе и я начал безжалостно банить. Но удобной системы для отслеживания количества банов у конкретных людей не было, но администратор каждые 5 минут генерировал информацию по текущим банам — ещё несколько убитых вечеров — и вот администрация обрела лёгкую возможность отслеживать порядковый номер бана.

Спустя ещё несколько месяцев в сети стали появляться фэйки — это когда, например, скачиваешь Шрэка, а там вовсе даже не Шрэк, а красная шапочка и трое непонятных мужиков… Некоторое время боролись своими силами, но душа поэта не выдержала — и я решил улучшить бота.

3 января, CEO BitTorrent Inc. Эрик Клинкер объявил о том, что пользователей, работающих с сетью BitTorrent через официальный клиент BitTorrent и облегчённый µTorrent, стало больше 100 млн человек в месяц.
Эрик просто в восторге от этого события:

Это великий день для нашей команды. Наша цель — создать настоящую экосистему, состоящую из программного обеспечения, контента и устройств, соединяющих современных создателей контента и огромную Интернет-аудиторию. Это необычайно важная веха в развитии позволяет показать размер нашего сообщества и эффективность нашего ПО

Из дополнительной статистики стоит отметить также:
1). 20 млн. пользователей, работающих с BitTorrent сетью, ежедневно из 220 государств мира.
2). 400 тыс. загрузок программного обеспечения BitTorrent Inc.
3). Локализация на 52 языка.
Официальный пресс-релиз