А насчет отдельного сервиса я вот выше написал о ножиданных плюсах объединения p2p и браузера.
Думаю, тут может быть очень много дополнительных плюсов, если покопаться.
Я думаю, Ваше предложение пересекается с моими собственными идеями, мне просто нужно переварить все это. Так что о технической реализации говорить пока рановато.
А идея в том, что кэшировать страницы особо и не надо.
Они ведь уже есть в кэше браузера, просто потому что пользователи заходят на сайты и смотрят описания торрентов.
В этом и интересность совместить p2p и браузер — вдруг получаем много полезной информации — например, если много пользователей посетили страницу с описанием какого-то торрента, то эта страница автоматом считается сетью более интересной и в результатах поиска будет выше.
Обратите внимание на следующую фразу, за той, что Вы привели, начиная со слов «Кроме этого соображения есть и техническая причина.» Там как раз поясняется в чем тут проблема.
Вообще говоря — схему Вы описали не совсем правильно. В вашем рассуждении есть предположение «читай имеют открытый порт», что не обязательно для прохода NAT. В случае UDP проделать дыру в NAT вообще удается «в рамках приличий», без всяких особых трюков, даже если у обеих узлов порты закрыты (это вероятно и происходит в Вашем случае). С TCP приходится извращаться, так что инструментов типа «открыть соединение», «закрыть соединение» будет недостаточно.
Коротко отвечая на Ваш вопрос — что мешает — мешают ограничения песочницы «расширение браузера».
>DHT универсален.
Думаю, Вы ошибаетесь: The downside is that currently no other Client is able to connect to those torrents
Получается, что у каждого клиента свой распределенный хеш, а значит не универсальный.
> будущее не за централизованными торрентами
Совершенно верно, я тоже так считаю, поэтому сделал такой вот децентрализованный трекер.
Конкурренция в этом деле ведь никому не помешает, правильно?
Работаю в этом направлении. Вообще-то программа такая уже написана и работает на сервере в качестве «постоянного» узла сети. Но пока программа не совсем товарного вида, нужно доделать и потом опубликую на sourceforge
>Правда? А плагин? А ограничения на поддерживаемые браузеры?
Речь идет о независимости от клиетнской программы BitTorrent. Это значит что любая из программ uTorrent, Vuze, Transmission и т.п. сможет работать с этим трекером.
>Встроенный в торрент-клиенты механизм анонсирования по DHT практически всегда дает отличные результаты.
Что, тем не менее, не отменяет использования трекеров, верно?
> Да и поиск торрент-файлов в том же µTorrent'e давным-давно реализован
Я прямо сейчас попобовал (еще раз, на всякий случай) поиск в uTorrent, написал в поле поиска слово «чебурашка», нажал кнопку и попал на сайт search.utorrent.com с логотипом google.
>Изобретать какой-то велосипед с прописыванием лишнего трекера в раздачи — простите, но в каком веке мы живем?
В 21 вроде. Не знаю, может в 18-м и не «прописывали лишний трекер в раздачи»…
Ну мухлевать будет не просто. Во-первых идентификатор узла не берется случайно а привязан (частично) к IP, так что 990 000 создать будет проблематично. Во-вторых не «черный черный сеошник» решает, какая часть общей БД будет размещена на узле, так что заполучить контроль за нужной информацией будет непросто. А если в подконтрольных узлах «черного сеошника» есть только информация на тему скажем «отслеживание утечек памяти в расширениях Firefox» то какой ему с этого прок?
У меня есть некоторый опыт в использовании финансовых контрольных механизмов. Если Вы посмотрите на sourceforge, там у меня кроме этого проекта опубликован еще один. Это новый почтовый протокол, который использует в чем то похожие механизмы, но у меня сами пользователи платят друг другу если посылается письмо. Схема называется «плата за входящие», платит отсылающий письмо. Причем сколько будет стоить послать письмо в мой ящик решаю я сам. Так регулируется порог защиты моего ящика от спама. Ну и естественно, если я получаю «правильное» письмо то я одним кликом платеж отменяю. Там много всего интересного из этого вырастает, вот, если интересно, тут и тут мои статьи 2006-7 года на эту тему а это сайт проекта.
Так что я тоже размышляю о подобных механизмах в p2p сети. Но пока в единую концепцию не выстраивается.
Насчет Википедии — навряд ли, там ведь реальная модерация и написание текстов, а в моем предложении модерация сводится к клику на кнопке — «удалить ссылку», большего пользователь не сможет сделать.
Возможно техническое решение не сработает, кто знает.
Но тогда нужно огранизационное.
Ка Вам такая мысль: поскольку дынные для поиска размазаны по всем узлам сети, то каждый пользователь является в то же время модератором своего кусочка всеобщей распределенной БД. Расширение браузера уведомляеет пользователя, к примеру «Сегодня появилось 10 новых ссылок». Пользователь может на них взглянуть и удалить нехорошие. Каждому пользователю достается доля административной работы, но в общем масштабе это небольшая доля.
Что касается платного сервиса, сомневаюсь что это сработает. Мне кажется, что в случае p2p сетей лучше действую методы, направленные на самоорганизацию.
Да куда ж от него деться, от большого брата, пускай следит.
Только вот находить — не всегда находит что надо.
Свежий пример в контексте статьи: ищем ответ на вопрос — поддерживает ли firefox UDP сокет. Я написал в поисковике запрос типа «udp support in firefox» или типа «udp socket support firefox» ну и много подобных. Но найти ответ бедет совсем не просто. И после долгих поисков я наткнулся на ссылку, где есть четкий ответ на вопрос. В таких случаях поисковик — это только первичный инструмент поиска. Далее — руки и голова.
Вот для таких случаев и сгодилась бы поисковая сеть.
Доля правды есть, да. В любом проекте увеличение числа пользователей свыше какого-то уровня требует качественных изменений. Говорят это вообще обшефилософский закон, типа «количество в качество». Например когда на Вашем сайте много посетителей Вы станете использовать вместо одного сервера — несколько и сделаете баллансировку между ними. Это совсем другая архитектура, другие технологии, другие программные продукты, верно? И так во всем. Так что проблемы роста есть всегда, нужно с этим как-то жить и их как-то преодолевать. Я так думаю.
А насчет отдельного сервиса я вот выше написал о ножиданных плюсах объединения p2p и браузера.
Думаю, тут может быть очень много дополнительных плюсов, если покопаться.
А идея в том, что кэшировать страницы особо и не надо.
Они ведь уже есть в кэше браузера, просто потому что пользователи заходят на сайты и смотрят описания торрентов.
В этом и интересность совместить p2p и браузер — вдруг получаем много полезной информации — например, если много пользователей посетили страницу с описанием какого-то торрента, то эта страница автоматом считается сетью более интересной и в результатах поиска будет выше.
В остальном — спасибо за идею, буду соображать.
Вообще говоря — схему Вы описали не совсем правильно. В вашем рассуждении есть предположение «читай имеют открытый порт», что не обязательно для прохода NAT. В случае UDP проделать дыру в NAT вообще удается «в рамках приличий», без всяких особых трюков, даже если у обеих узлов порты закрыты (это вероятно и происходит в Вашем случае). С TCP приходится извращаться, так что инструментов типа «открыть соединение», «закрыть соединение» будет недостаточно.
Коротко отвечая на Ваш вопрос — что мешает — мешают ограничения песочницы «расширение браузера».
Что будет, я не знаю. Посмотрим…
Да. На sourceforge вообще не берут с закрытыми исходниками.
Агнлоговорящие увидят приложение на английском.
В основе сети расширенная реализация Kademlia
Изначально прописан по умолчанию один «постоянный» узел, запущенный на сервере. Остальные подтягиваются.
Во всем есть свои плюсы и минусы, централизованные базы проще структурировать.
Но и распределенные можно, сложнее, но можно.
Думаю, Вы ошибаетесь: The downside is that currently no other Client is able to connect to those torrents
Получается, что у каждого клиента свой распределенный хеш, а значит не универсальный.
> будущее не за централизованными торрентами
Совершенно верно, я тоже так считаю, поэтому сделал такой вот децентрализованный трекер.
Конкурренция в этом деле ведь никому не помешает, правильно?
Там на sourceforge.net есть 2 файла установочных. Нужен vseisk_v08.ff.xpi
Вообще если Вы устанивливали по ссылке из этой статьи, то должна установиться именно версия 0.8
Речь идет о независимости от клиетнской программы BitTorrent. Это значит что любая из программ uTorrent, Vuze, Transmission и т.п. сможет работать с этим трекером.
>Встроенный в торрент-клиенты механизм анонсирования по DHT практически всегда дает отличные результаты.
Что, тем не менее, не отменяет использования трекеров, верно?
> Да и поиск торрент-файлов в том же µTorrent'e давным-давно реализован
Я прямо сейчас попобовал (еще раз, на всякий случай) поиск в uTorrent, написал в поле поиска слово «чебурашка», нажал кнопку и попал на сайт search.utorrent.com с логотипом google.
>Изобретать какой-то велосипед с прописыванием лишнего трекера в раздачи — простите, но в каком веке мы живем?
В 21 вроде. Не знаю, может в 18-м и не «прописывали лишний трекер в раздачи»…
У меня есть некоторый опыт в использовании финансовых контрольных механизмов. Если Вы посмотрите на sourceforge, там у меня кроме этого проекта опубликован еще один. Это новый почтовый протокол, который использует в чем то похожие механизмы, но у меня сами пользователи платят друг другу если посылается письмо. Схема называется «плата за входящие», платит отсылающий письмо. Причем сколько будет стоить послать письмо в мой ящик решаю я сам. Так регулируется порог защиты моего ящика от спама. Ну и естественно, если я получаю «правильное» письмо то я одним кликом платеж отменяю. Там много всего интересного из этого вырастает, вот, если интересно, тут и тут мои статьи 2006-7 года на эту тему а это сайт проекта.
Так что я тоже размышляю о подобных механизмах в p2p сети. Но пока в единую концепцию не выстраивается.
Насчет Википедии — навряд ли, там ведь реальная модерация и написание текстов, а в моем предложении модерация сводится к клику на кнопке — «удалить ссылку», большего пользователь не сможет сделать.
Но тогда нужно огранизационное.
Ка Вам такая мысль: поскольку дынные для поиска размазаны по всем узлам сети, то каждый пользователь является в то же время модератором своего кусочка всеобщей распределенной БД. Расширение браузера уведомляеет пользователя, к примеру «Сегодня появилось 10 новых ссылок». Пользователь может на них взглянуть и удалить нехорошие. Каждому пользователю достается доля административной работы, но в общем масштабе это небольшая доля.
Что касается платного сервиса, сомневаюсь что это сработает. Мне кажется, что в случае p2p сетей лучше действую методы, направленные на самоорганизацию.
Только вот находить — не всегда находит что надо.
Свежий пример в контексте статьи: ищем ответ на вопрос — поддерживает ли firefox UDP сокет. Я написал в поисковике запрос типа «udp support in firefox» или типа «udp socket support firefox» ну и много подобных. Но найти ответ бедет совсем не просто. И после долгих поисков я наткнулся на ссылку, где есть четкий ответ на вопрос. В таких случаях поисковик — это только первичный инструмент поиска. Далее — руки и голова.
Вот для таких случаев и сгодилась бы поисковая сеть.