Поставил я себе недавно задачу — создать в локальной сети бота, который был бы установлен на само́м серверном компьютере, и управлялся бы, в идеале, через web-интерфейс, но можно и по SSH. Задача бота — круглосуточно сидеть на раздаче. При попытке найти такой DC++ клиент, я с огорчением обнаружил, что продуктов отвечавших моим требованиям пока нет. Ncdc и MicroDC2 так и не удалось запустить как демон, да и работали они со скрипом. В сторону MLDonkey не смотрел т.к. рассматривал его скорее как альтернативу торрент-клиенту Transmission, чем как клиент сетей DC++. А зря!

Наиболее частым упрёком, предъявляемым евангелистам блокчейна является почти полное отсутствие данных о практическом применении технологии в бизнесе. Есть море идей и прогнозов, но реальных дел немного. Мы сейчас можем наблюдать первые робкие попытки приступить к реальному применению распределённого реестра. Наиболее яркие и успешные из этих попыток перечислены в данном материале. Он пополняемый. Пожалуйста, пишите в комментариях об известных вам проектах, и я их обязательно добавлю. Речь идёт не о проектах, которые принимают к оплате BitCoin и не являются криптовалютой в чистом виде, но о тех, которые предоставляют дополнительную ценность за счёт применения технологий распределённого реестра.

Преимущественно медиафайлы. На полном серьезе, без шуток.

Введение

Бывает, случается так, что вы хотите скачать альбом 2007 года исполнителя, который кроме вас известен 3.5 людям, какой-нибудь испанский ска-панк или малопопулярный спидкор европейского происхождения. Находите BitTorrent-раздачу, ставите на закачку, быстро скачиваете 14.7%, и… все. Проходит день, неделя, месяц, а процент скачанного не увеличивается. Вы ищете этот альбом в поисковике, натыкаетесь на форумы, показывающие ссылки только после регистрации и 5 написанных сообщений, регистрируетесь, флудите в мертвых темах, вам открываются ссылки на файлообменники вроде rapidshare и megaupload, которые уже сто лет как умерли.


_{Увы, частая ситуация в попытке хоть что-то скачать}

Такое случается. В последнее время, к сожалению, случается чаще: правообладатели и правоохранительные органы всерьез взялись за файлообмен; в прошлом году закрылись или были закрыты KickassTorrents, BlackCat Games, what.cd, btdigg, torrentz.eu, EX.ua, fs.to, torrents.net.ua, и еще куча других сайтов. И если поиск свежих рипов фильмов, сериалов, музыки, мультиков все еще не представляет большой проблемы, несмотря на многократно участившееся удаления со стороны правообладателей контента из поисковых систем, торрент-трекеров и файлообменников, то поиск и скачивание оригинала (DVD или Blu-Ray) фильмов и сериалов или просто ТВ-рипов 7-летней давности на не-английском и не-русском языке — не такая уж простая задача.

Хочу рассказать вам еще об одном способе балансировки нагрузки. Про Pacemaker и IPaddr (ресурс-агент) и настройке его для Active/Passive кластера сказано уже и так достаточно много, но информации по организации полноценного Active/Active кластера, используя этот модуль я нашел крайне мало. Постараюсь исправить эту ситуацию.

Для начала расскажу подробнее чем такой метод балансировки примечателен:

• Отсутсвие внешнего балансировщика — На всех нодах в кластере настраивается один общий виртуальный IP-адрес. Все запросы отправляются на него. Ноды отвечают на запросы на этот адрес случайно и по договоренности между ссобой.
• Высокая доступность — Если одна нода падает ее обязаности подхватывает другая.
• Простота настройки — Настройка осуществляется всего в 3-5 команд.
  

Сегодня мы продолжаем говорить о точке обмена трафиком DataLine-IX. Первая часть была посвящена устройству нашей точки обмена трафиком. В этом посте расскажем про пару инструментов, которые пригодятся ее участникам в работе.


Одно из помещений Meet-Me-Room на площадке OST.

В 90-е, когда российский интернет только зарождался, провайдерам из одного города приходилось обмениваться трафиком через Европу и платить за него транзитным и вышестоящим операторам (аплинкам). Конечный пользователь в итоге получал высокие цены на доступ в Интернет, ограничения по объему доступного трафика, большим временем отклика веб-ресурсов. Чтобы не гонять национальный трафик по заграничным городам и весям, местные провайдеры стали объединяться и создавать точки обмена трафиком в крупных городах.

Сегодня речь пойдет о них: расскажем, зачем нам понадобилась собственная точка обмена трафиком DataLine-IX, как она устроена, и поделимся первыми результатами.


Провайдеры ISP-A и ISP-B обмениваются трафиком своих сетей через точку обмена трафиком. Без нее обмен происходил бы через “большой” Интернет.

Есть ли свет в конце туннеля для провайдеров транзитного трафика?

Я был поражён на недавней встрече NANOG тем, как мало выступлений было по вопросам ISP-пространства и по проблемам, связанным с ISP-операциями, и как много — по среде дата-центров.

Если есть тема, которая является определяющей в нашем общении, то это, безусловно — среда, которая, как представляется, доминирует при проектировании дата-центров и эксплуатации сетей. И, представляется, что функция поставщика интернет-услуг (ISP-функция) и, в частности, функция поставщика транзитного трафика исчезает. Задача доставки пользователей к контенту меняется на задачу доставки контента к пользователям. Означает ли это, что транзит для интернет-пользователей теперь перестаёт действовать? Давайте посмотрим на это немного внимательнее.

В этой статье я расскажу как в ней запустить статичный сайт который будет доступен и напрямую и по IPNS. У сайта будет нормальное доменное имя благодаря использованию DNS. Доменное имя можно использовать для доступа к сайту напрямую, через глобальный и локальный шлюз.

Условия:

1. На нашем сервере установлен IPFS
2. У нас есть домен и доступно редактирование DNS записей

Напомню: InterPlanetary File System — это новая децентрализованная сеть обмена файлами (HTTP-сервер, Content Delivery Network). О ней я начал рассказ в статье "Межпланетная файловая система IPFS".

На хабре уже неоднократно упоминался AceStream: технология, предоставляющая пользователю доступ к видеопотокам по закрытому P2P протоколу AceStream, т.н. torrent телевидение. AceStream предоставляет доступ к распределенной сети доставки контента, т.е. просматривая телеканал пользователь передает данные другим пользователям, что позволяет кардинально снизить стоимость услуг.

А теперь хорошая новость для обладателей медиаплеера на основе raspberry (OSMC, LibreELEC): нашлась сборка acestream под arm, что позволило установить его прямо на raspberry pi. В этой статье предлагается инструкция по установке acestream, и всего необходимого для просмотра ТВ в докер-контейнерах под raspberry. На момент написания статьи, предлагаемое решение позволяет смотреть бесплатно большое количество телеканалов, впрочем без гарантий: acestream в любой момент может перестать быть бесплатным.

InterPlanetary File System — это новая децентрализованная сеть обмена файлами. Также выполняет функцию сети доставки содержимого.

Отличие от других децентрализованных сетей в том что самостоятельной единицей передаваемой в сети является блок. Блок может содержать как часть файла так и ссылки на другие блоки. Из блоков выстраивается направленный ациклический граф из которого в дальнейшем собирается файл или каталог.

Такая система позволяет более гибко подойти к хранению и передаче данных в сети. Недостатком такого подхода является то что всё что загружается в сеть режется на блоки и складывается в отдельный каталог на вашем диске.(Исправлено: "больше нет необходимости копировать в сеть") Поиск по имени файла или каталога в IPFS отсутствует также как и в сети BitTorrent.

Облачные файловые хранилища продолжают набирать популярность, и требования к ним продолжают расти. Современные системы уже не в состоянии полностью удовлетворить все эти требования без значительных затрат ресурсов на поддержку и масштабирование этих систем. Под системой я подразумеваю кластер с тем или иным уровнем доступа к данным. Для пользователя важна надежность хранения и высокая доступность, чтобы файлы можно было всегда легко и быстро получить, а риск потери данных стремился к нулю. В свою очередь для поставщиков и администраторов таких хранилищ важна простота поддержки, масштабируемость и низкая стоимость аппаратных и программных компонентов.

Знакомьтесь: Ceph

Ceph — это программно определяемая распределенная файловая система с открытым исходным кодом, лишенная узких мест и единых точек отказа, которая представляет из себя легко масштабируемый до петабайтных размеров кластер узлов, выполняющих различные функции, обеспечивая хранение и репликацию данных, а также распределение нагрузки, что гарантирует высокую доступность и надежность. Система бесплатная, хотя разработчики могут предоставить платную поддержку. Никакого специального оборудования не требуется.



При выходе любого диска, узла или группы узлов из строя Ceph не только обеспечит сохранность данных, но и сам восстановит утраченные копии на других узлах до тех пор, пока вышедшие из строя узлы или диски не заменят на рабочие. При этом ребилд происходит без секунды простоя и прозрачно для клиентов.

«Храм должен был быть вечным. Как сама глубина. А значит, не зависеть ни от одного сервера. Создающие Храм программы свободно блуждают по сети, их фрагменты дублируются, рекомбинируются, самостоятельно организуются для работы. Чтобы Храм исчез, надо уничтожить все машины в сети.»
— «Фальшивые зеркала», 1999 год, за 2 года до появления протокола BitTorrent


Сегодня стукнуло 41 год Брэму Коэну, создателю протокола BitTorrent.

Интересные факты:

• Коэн начал программировать в 10 лет.
• Коэн признается, что неспособен работать в фиксированном графике, по часам, в компании, предъявляющей строгие требования к дресс-коду, и категорически не может выполнять бессмысленную и неинтересную работу.
• Работал в компании «Evil Geniuses for a Better Tomorrow» и Работал в «Valve».
• Для тестирования BitTorrent Брэм собрал немалую пачку порнухи, которую и раздавали туда-сюда.
• Организатор конференции CodeCon.
• Есть жена и трое детей.
• Самый большой файл на раздаче — архив сайта geocities.com размером в 641 Гб.
• За первые два года было более 20 млн. закачек клиента, сейчас от 100 до 250 млн. пользователей BitTorrent.
• В 2008 в раздачах исполняемых файлов 18% были заражены.
• В 2009 от 43% до 70% трафика в Интернет принадлежало Peer-to-peer сетям.
• В 2009 более 14.5% BitTorrent загрузок содержало zero-day вредоносные программы и поэтому BitTorrent был механизмом дистрибуции 47% zero-day зловредов.
• Технологией BitTorrent пользуются Facebook, Twitter, Internet Archive, Blizzard, World of Tanks, Eve Online, правительство Великобритании, научные исследования (BOINC), множество open source и free software проектов.

Интернет все плотнее входит в жизнь каждого из нас. Мы в Телфин это наблюдаем каждый день. Существует ли предел? Читайте наш перевод статьи «The bandwidth bottleneck that is throttling the Internet».

Специалисты всего мира трудятся день и ночь, чтобы поддержать каналы передачи данных в рабочем состоянии и расширить их, чтобы не дать информационной революции завянуть на корню.


19 июня вышла новая серия «Игры престолов». Сотни тысяч зрителей с территории США тут же запустили просмотр — и стрим-сервис канала HBO не справился с нагрузкой. Около 15 тысяч зрителей не могли получить доступ к серии в течение часа.

Администрация канала извинилась за непредвиденные неполадки и пообещала, что подобное больше не повторится. Однако дело в том, что этот случай — лишь одно из самых заметных проявлений надвигающейся проблемы. Объем трафика в Интернете растет на 22% каждый год, и такой спрос грозит превзойти возможности интернет-провайдеров.

В августе текущего года в архивах IETF появилось обсуждение способов решения проблемы обмена мета-информацией между автономными системами (AS) по методу RFC1997 BGP communities.

Дело в том, что интернет опять угрожает «кончиться», причём самым неожиданным образом — из-за «скелета в шкафу» или частного, но широкого случая, иллюстрирующего, насколько серьёзной может быть проблема технического долга, известная любому разработчику. Сначала мы наблюдали проблему исчерпания пула IPv4 адресов, в качестве решения которой был введён в эксплуатацию не на 100% функционирующий стандарт IPv6. Теперь на наших глазах назревает другая опухоль, связанная, однако, всё с той же сетевой маршрутизацией.

Написанное Йобом Шнайдерсом из компании NTT открытое письмо к IETF служит стартом общественного обсуждения проблемы, угрожающей вскоре стать критической. Дело в том, что основное удобство RFC1997 — 32-битность записи. Первые 16 бит принадлежат ASN, последние 16 несут в себе какое-то значение. Однако уже сейчас один из пяти операторов автономных систем в сети имеет 4-байтный ASN (RFC4893) (4 байта = 32 бита), что делает невозможным использование 16-битной записи (32-битное значение просто не влазит).

Примером Large BGP Community является: 2914:1299:40.

Мы обратились напрямую к Йобу Шнайдерсу за комментарием по данной проблеме.


Йоб Шнайдерс, IP Development Engineer в NTT Communications, основатель NLNOG RING, вице-президент PeeringDB.

В своих статьях «интернет на магнитах» я предлагал публиковать универсальные магниты с помощью которых можно скачать файл из любой p2p сети (Gnutella, Gnutella2, Edonkey2000, DirectConnect, BitTorrent). Их можно получить, либо с помощью программы rhash, либо смешав разные магниты и ссылки на файл на странице сервиса Magnet Converter. Но есть проблема в том что не многие клиенты для p2p сетей лояльно относятся к произвольному порядку параметров в магните. Я решил написать скрипт который исправляет эту ситуацию на всех страницах интернета.

Под катом вас ждёт JavaScript код с комментариями и тестовая ссылка.

Полная версия видео доступна в конце публикации и по ссылке

Это была лишь середина жаркого московского июля, который вот-вот подойдёт к концу. Договорившись с Александром о записи, мы все немного волновались — никогда ещё никто в Хабрахабре не пытался вести предметный диалог с известным техническим специалистом на видео. Не были мы оба уверены и в ходе диалога — в первую очередь потому что, оба Александры, мы никогда не встречались до этого лично. Тем не менее, наша небольшая съёмочная группа прибыла на место назначения, где-то между Беговой и Полежаевской.

Герой сегодняшнего рассказа и диалога родился в городе Ногинск Московской области. Как он рассказал нам, вся его семья по маминой линии из этого региона — на Клязьме деревня была еще несколько веков назад.

Но мама увлеклась романтикой севера и переехала в город Мурманск – это самый большой город за полярным кругом. Там Александр и провел детство. Отец был моряком, мама – бухгалтером.

Ключевых отправных точек в жизни сегодняшнего героя было две. Первая – это когда в 10 лет он увидел «Robotron K 1820», немецкий компьютер: «Меня сильно удивило, что можно рисовать в телевизоре. Мне стало интересно, что это такое, как можно программировать, что такое операционная система. Так получилось, что семья у меня была не сильно богатая…».

Своего компьютера у Саши не было — он занимался в кружке программирования, в областном Дворце Пионеров. Ездил на Олимпиады по программированию, так же, как и по многим другим естественно-научным предметам.

Зато, хвастается он, у одного из первых в городе появился модем — подарили старый-старый терминал DEC VT-220. Так он познакомился с миром сетей.

Второй такой wow-момент был, когда Александр понял, что может разговаривать с человеком, который находится вообще в другом полушарии. Это подвигло его к увлечению сетями – Х.25, IP. Он стал сетевым инженером.

День добрый комрады. Спустя некоторое время, как я устроился системным администратором, я стал сталкиваться с такой бедой задачей:

Специфичный юзкейс, решаемый в данной статье

Подходит сотрудник с просьбой восстановить файл который вчера/сегодня/только-что удалили, а сейчас он кровь-из-носу понадобился. При этом дату создания файла он не помнит, а дату последнего изменения и знать не знает, ибо с файлом в разное время могли работать множество разных сотрудников. И восстановить нужно, разумеется, последнюю версию.
Либо файл вчера/сегодня/только-что случайно и фатально отредактировали/перезаписали. И восстановить нужно, соответственно, предпоследнюю версию.

Итак, исходные данные:

• Имя файла и его адрес: известны хотя бы примерно
• Дата создания искомой версии файла: не известна
• Бэкап ежедневный, инкрементальный или равный ему по ресурсоёмкости. Полный и разностный не используются ввиду ограниченности объёмов дискового пространства в хранилище/приемнике бэкапов.

Концепция интернета на магнитах состоит в том чтобы не зависеть от программного обеспечения, протокола или способа передачи данных. Не важно каким образом вы получаете файл имея магнит вы можете удостоверится что получили именно то что заказывали.

Для создания и обновления магнитного сайта с множеством страниц нам понадобится электронная подпись. Нужна она чтобы обозначить источник и связать между собой страницы сайта. Для её создания и использования можно воспользоваться пакетом GnuPG.

Здравствуйте.
Всем спасибо за проявленный вами интерес и участие в пробном тестировании.

Сначала о результатах со своими плюсам минусами и сюрпризами.
Пожалуй самое важное, что стоит отметить, это то, что на данный момент эта технология вещания, еще не способна полностью заменить собой CDN. Она способна уменьшить нагрузку на сервер примерно на 75%. И исходя из более детального ознакомления с технологией выходит, что авторы и не ставят перед собой задачу уменьшения CDN до максимума, а экономят трафик и добиваются отсутствия зависания видео у пользователей, даже когда интернет канал сервера полностью загружен (в разумных пределах).

Доброго времени суток всем.

Хочу протестировать новую технологию вещания видео не требующую, дополнительных установок со стороны пользователя. Ни каких плагинов или дополнений. Впервые тестирую эту технологию и хотел бы проверить ее на ХабраЭфект. К ее разработке или рекламе, ни какого отношения не имею.