Comments 53
На мой взгляд, самая большая проблема децентрализованных систем (видео хостинга, в частности) - её децентрализованность.
Развёрнуто: имеется, допустим 150 различных децентрализованных серверов PeerTube и имеется скажем, какой-нибудь блогер, который хочет свой контент постить в этих децентрализованных сетях. Ему одному, по сути, нужно иметь учётные записи в максимально большом количестве серверов и загружать одно и тоже видео на разные сервера. Удобно? Не очень.
Получается, что в любом случае нужен как минимум один некий хаб, который бы агрегировал видео с других PeerTube серверов и показывал тренды посетителям. И нечто такое же создателям контента, чтобы в одном месте загрузил и всё это некой магией разлетелось по другим серверам.
Я, конечно, прочитал, что авторы сделали Sepia Search и это соответствует тому, что я написал выше, но в таком случае, это уже нельзя назвать полной децентрализацией (на мой взгляд), потому что банит оператор поисковик и всё. Fin.
Плюс, ещё возникают вопросы с обязательствами от инстансов. Как долго будет жить инстанс, какие у него правила, условия? Вряд ли будет удобно пересоздавать одно и тоже и много раз его загружать, если инстансы будут закрываться, открываться и работать медленно.
Поправьте меня, если я не прав.
Вот да. Что будет если кто-нибудь зальёт, например, фильм? Будет трактоваться как торрент и письмо счастья прилетит всем, кому не повезло и его нода так же решила пировать этот фильм? И как его забанить в местном поиске? И, если есть центральная ручка бана, кто судьи то?
Отвечу как хостер такого сервиса и автор плагина для Firefox для загрузки видео с Ютуба на peertube в один клик.
Тренды общие, т.е. если мой инстанс фолловит какие-то другие, то на моем инстансе будут тренды по всем этим серверам.
Распределенность теоретически достигается за счёт зеркалирования видео с других инстансов, практически с этим есть проблемы (см. след. пункт)
Главная засада в этом всем это проблема модерации. К примеру, я добавил несколько чужих инстансов и отслеживаю видео с них, поставив галочку "без NSFW". В итоге в трендах регулярно висит прон, который не был помечен автором. Причем если я включу зеркалирование, то копия этого прона целиком ещё и окажется на моём сервере, причем as is, приходи бери и делай.
И это только про прон, который можно глазом найти, помимо этого там полно разного конь тента, который в зависимости от страны расположения зеркала может создать хостеру проблем.
Это результат промискуитета в федеративных отношениях.
Дарю идею: модифицировать систему так, чтобы хостер знал своих пиров, анонсировал свой контент для них выборочно и так же сознательно подписывался на чужие анонсы. (аля BGP)
Иными словами, добавить (недооценённый изначально) "control plane".
Так там так и есть, по умолчанию никто никого не фолловит и не зеркалит. Вручную подписываешься на чей-то сервак, если ленивый, живешь в Голландии и любишь прон - можно включить автофоллоу, когда если кто-то подписался на твой сервер, ты автоматически подписываешься в ответ. Для зеркала также можешь выбрать, кого зеркалить и что зеркалить - лучшее, трендовое или все скопом.
Если скачалось что-то "ни то", то можно у себя снести и забанить это дело, но на это нужны ресурсы. Начинаешь понимать всю скорбь историй про модераторов пейсбука и гугла, которых держат в подвалах на каплях "искусственная слеза", чтобы банить ЦП и сумасшедших,
В DC++ они такие штуки весьма практиковали. Моего знакомого пытались подтянуть за раздачу какого-то экстремизма, который они сами же и положили под левым названием.
PeerTube - часть Fediverse. А это значит, что автор может загружать свои видео на свою ноду, где он может быть вообще единственным пользователем, а его подписчики будут находиться на других нодах PeerTube (или вообще в Mastodon, Pleroma и т.д.) - и при этом они будут получать уведомления и видеть ваши видео в ленте вне зависимости от того на каком инстансе они находятся. Плюс в зависимости от настроек соседних нод по идее будет происходить мирроринг самих видеофайлов на случай если ваша нода уйдет в оффлайн, видео всё равно осталось. Тут уже могу ошибаться, но вроде как функционал зеркалирования там есть.
Так что блогер спокойно может заливать видео к себе или к другу на ноду, а его подписчики смогут это видео смотреть и видеть в общей ленте со своих нод. Плюс на тех нодах где у этого блогера есть подписчики, его видео будет появляться в федеративных лентах.
PeerTube - часть Fediverse. А это значит, что автор может загружать свои видео на свою ноду, где он может быть вообще единственным пользователем, а его подписчики будут находиться на других нодах
В линуксе админ локалхоста тоже "может" буквально всё, в результате с массовостью беда.
Федеративные сети станут худо-бедно жизнеспособными только если будут состоять более чем из одного слоя:
1) "Профаны", с минимумом специальных знаний
- но каждый знает своего "босса", то есть:
2) полноправную и ответственную перед сетью ноду.
Можно вспомнить FIDO..
Ну вот что-то такое необходимо для выживания P2P сетей
Сеть состоит из обычных пользователей (лист, англ. leaf) и ультрапиров (англ. ultrapeer), к которым подключены листья и другие ультрапиры. Причём из-за децентрализации каждый пользователь может объявить себя ультрапиром… Однако этот статус должны подтвердить уже существующие ультрапиры.
(about Gnutella)
Для подтверждения статуса, я полагаю, достаточно участия в BGP-подобном пиринге.
Не душни. DC++ помнишь?
А так все будет просматриваться через какой-нибудь Brave с монетизацией за токены/минута/фильм и тп. в общем ограничить всегда получится, главное технологию обкатать.
смысл децентрализации именно в том, чтобы не иметь много учётных записей в разных серверах, а иметь одну учётную запись на одном сервере, и общаться с людьми, которые представлены другими серверами.
типичный пример это электронная почта: вы ведь не регистрируетесь на каждом почтовом сервере, чтобы отправить письмо человеку, который там зарегистрирован?
А еще есть https://d.tube/ , он использует IPFS.
Как там с анонимностью? Децентрализованность ведь еще не означает анонимность. Это касается всех p2p сетей.
И еще мысль, о другом. Давно уже думаю, что для удобной работы с децентрализованными сетями нужно иметь некое отдельное устройство - что-то вроде домашнего мини-сервера с файлохранилищем. На таком сервере можно поднять основные децентрализованные сети, как анонимные так и нет. Торренты, i2p, retroshare, freenet, ipfs и т.д. (сейчас действует около 20 более-менее известных сетей, и еще наверное множество малоизвестных). На том же сервере можно было бы поднять и базовые средства анонимизации - tor и vpn.
На большой домашний экран зайдет, на WebOS есть клиент?
Если бы это было возможно, то давно бы было создано и использовалось. Торренты вообще умирают, некоторые вещи уже не скачать. Если в системе нет стимулов, как правило материальных, то она работать не будет, а если будут стимулы, то сколько это будет стоить? В реале все ютубы держаться на рекламе. Вы думаете бесполезный контент от миллиардов пользователей дешево хранить и раздавать? Я думаю это стоит миллиарды долларов каждый год.
Если бы это было возможно, то давно бы было создано и использовалось.Вы куда-то спешите? Протокол BitTorrent едва отпраздновал 20-летие, криптовалютам итого меньше.
В реале все ютубы держаться на рекламе. Вы думаете бесполезный контент от миллиардов пользователей дешево хранить и раздавать?Имхо, это и есть бич ютьюба, что администрации есть смысл хранить только то что нагоняет рекламу. Я бы с радостью платил микротрасзакцию хостеру и/ли автору за каждую минуту просмотренного или скачанного видео, лишь бы только не видеть разнообразные виды рекламы.
Торренты умирают, слишком мало людей на раздаче. Крипты у меня больше, чем у вас это точно, я в ней хорошо разбираюсь (с 2017 г), в ней тренд на централизацию.
Вы явно не мыслите трендами, если тренд негативный, то бестолку бросаться числами, тем более 20 лет для цифровых технологий это очень много. Кстати и весь интернет инфраструктурно скатывается в централизацию, до чебурнета в каждой отдельно взятой стране не так долго.
Реклама есть именно потому, что люди не хотят платить, это факт, те кто хочет платить могут платить, но не делают этого, как например я. И кстати на счет контента, который нагоняет трафик, блягодаря всеми нелюбимому гуглу, вы можете хранить любое дерьмо на их серверах сколько угодно, по крайней мере до сих пор никто даже не заикнулся, что станет удалять какой-либо контент с ютуба.
И еще реклама будет в любом случае, еще и потому, что она нужна производителям товаров и услуг, в принципе мир не может существовать без рекламы, т.е. рекламодатель все равно будет платить кому-либо, чтобы вам ее показали, но конечно ее нужно дозировать.
Торренты умирают, слишком мало людей на раздаче.Да не сказал бы. Я сам с недавних пор сидирую 24/7 некоторые редкие вещи которые я люблю, но не потому что кроме меня это негде скачать, а потому что я хочу чтобы с ними познакомилось как можно больше народу. В общем, я не знаю с чего вы это взяли.
Крипты у меня больше, чем у вас это точно, я в ней хорошо разбираюсь (с 2017 г), в ней тренд на централизацию.Надеюсь, у вас действительно её много :) Но моя пиписька, получается, в 2 раза объёмнее вашей, потому что я в теме где-то с апрельского скачка 2012 :) Впрочим, я соглашусь что
бестолку бросаться числами
Вы явно не мыслите трендами, если тренд негативный, то бестолку бросаться числами, тем более 20 лет для цифровых технологий это очень много.Я не знаю чем вы мыслите, в науке не бывает трендов. Вот совершили люди один прорыв — создали протокол BitTorrent. Потом на основании BitTorrent и ещё пары алгоритмов придумали Bitcoin. Теперь на основе Bitcoin пилят всякие децентрализованные хранилища. Хоть один пример «тренда негативного» и «в крипте тренд на централизацию» будет?
Я бы с радостью платил микротрасзакцию хостеру и/ли автору за каждую минуту просмотренного или скачанного видео, лишь бы только не видеть разнообразные виды рекламы.
Так разве YouTube Premium не позволяет смотреть видосы без гугловой рекламы? Что мешает подключить эту фичу уже сейчас?
Социализация - стимул. Поиск единомышленников и общение с ними (в том числе обмен контентом). Если у децентрализованных сетей и есть будущее, то оно за децентрализоваными социальными сетями. Лайк и репост контента = скачивание и присоединение к раздаче. При этом конкретная p2p сеть не имеет значения - это могут быть те же торренты, или ipfs, или peertube, или что нибудь еще. Схема должна работать поверх всех систем. А для этого нам нужны развитые средства работы с метаинформацией - любой скачанный файл не должен быть "вещью в себе", метаинформация о нем должна быть доступна всем клиентам децентрализации, какие установил пользователь.
Все рассуждают о p2p сетях так, словно у них проблем нет.
Отсюда появляются мысли вида "конкретная p2p сеть не имеет значения".
А в реальности все ровно наоборот - сеть имеет значение.
Потому что мобильных пользователей большинство, а p2p сети далеко не все рассчитаны на экономию батарей и трафика.
Пожалуй, только федеративные сети нормально и могут работать. А вот одноранговый IPFS и торренты с мобильными дружить не будут.
Если бы это было возможно, то давно бы было создано и использовалось.
Так оно и создано, и используется.
Торренты вообще умирают, некоторые вещи уже не скачать.
Торрент траффик никуда не делся, у нас по стране (не РФ) он на 3м месте после ютуба и фейсбука.
Если в системе нет стимулов, как правило материальных, то она работать не будет,
Лихо вы выкинули добрую часть опенсорсного софта.
Опенсорс тоже не на энтузиазме держится (По крайней мере большая его часть)
Linux Foundation - получает огромные деньги от Microsoft, IBM, RedHat и т.д.
Blender Foundation - Epic Games, NVIDIA, Facebook, AMD
Даже обычные GNU утилиты развиваются при поддержке FSF
Что уж говорить про всякие Docker, Kubernetes, Suricata/Snort, Asterisk, и т.д.
на одном только рутрекере фильмов и сериалов больше чем на всех нетфликсах вместе взятых, и скачиваются они бесплатно на скорости вашего канала в любое время дня и суток, и вроде никому это ничего не стоит (кроме обворованных правообладателей)
в каком месте торенты умирают?
Я правильно понимаю что если не выкладывать собственный контент, то установка собственного инстанса ничем не поможет платформе?
А что если просто попросить гугл не быть злом? Ну там, через миллионный митинг в ньюйорке, например. На мой взгляд, это гораздо надежнее и проще, чем пытаться решить проблему технически, тем более математика децентрализации играет против перфоманса (пока что).
p.s. Ничего не имею против инициатив и исследований в области децентрализации, даже сам участвую в какой-то мере. Просто смотрю на все эти web 3.0 как на программный костыль для обхода "язв общества". Инженер, считающий, что лучший код - не написанный код, говорит во мне.
Четвёртая версия уже почти готова, сейчас завершается тестирование.
Ну как бы 4.0 уже давно вышла.
Youtube интересен тем, что сам предлагает контент, и очень хороший поиск. С поиском тут пока очень плохо, предложений вообще нет, есть аналоги каналов ака серверы (это уже не плохо), но каналы как странички вообще не интересны сами по себе: зачем мне разный интерфейс, морда странички и т.п., нужны только видео и что бы все нужные каналы можно было смотреть в одном месте, как подписки в Youtube.
Ну и, самое главное, без монетизации, не будет хорошего контента, а без контента пользователей, без которых не будет контента. Пока нет возможости монетизации, это просто детская игрушка, которая подаёт какие-то признаки жизни только потому, что youtube вконец охренели.
P. S. Не озвучена тема лайков-дизлайков и их накрутки, насколько я знаю, в p2p любой интерактив превращается в hard-spam.
Любую такую "свободную альтернативу" надо проверять такими вещами, как: пиратское кино, снаф видео, детское порно, видеорецептами изготовления наркотиков, взрывчатки, оружия и так далее... Peertube такой проверки не пройдет.
Среди категорий даже обычного, довольно разрешенного, порно нет:
Это абсурд.
Это не абсурд. Смысл децентрализации в этом и есть, создавайте свою ноду и заливайте туда какой вам угодно контент. Другой вопрос в том что если вы будете хостить что-то нелегальное, то вам придется решать вопросы уже с хостером и регистратором домена, а не с модераторами ютуба и прочего. Но естественно ни на одной публичной ноде вас ждать с таким контентом никто не будет.
А для вас свобода это обязательно взрывчатка наркотики и детское порно?
Да
Это реальность: есть авторы и потребители. С точки зрения системы это всё — плохо. Однако, думаю, что модерирующее сообщество вполне могло бы с этим справиться. Добавьте сюда флаг «я толстокожий и честный» с персональной рейтинговой системой, и получите мини-парламент — людей, которым в первую очередь показываются видосы от ноунеймов. И это авторитетное сообщество модераторов коллективно оценивает видео как допустимое/недопустимое. А уже после модерации попадает в общую ленту, где его видят более чувствительные пользователи. Автор видео зарабатывает репутацию, что приводит к ускоренной модерации или вообще снимает её необходимость.
Как быть с тем что мало деления на допустимое/недопустимое:
- может быть контент который допустимый в обычном смысле(сцен педофилии с террористов с детьми нет) но незаконный в конкретных местах (ну там — материалы ФБК например)
- есть контент который просто нравится/НЕ нравится определенным группам лиц (религиозный например почти весь)
- или там есть контент который с одной стороны — ну явно ж терроризм а с другой — это журналисткое расследование или исторические хроники.
Логично бы не "допустимое/недопустимое" а иметь единую сложную систему тегов-жанров (включающую в том числе и например педофилию, даже с делением на "педофилия-дети <13, партнеры >21","подростки между собой", и так далее и прочее + "контент нежелателен по мнению властей X") и вешать эти теги по решению модераторов. Будет сильно больше толку. А пользователи могут подписыватся либо на голую ленту либо фильтрованную по каким то критериям.
В децентрализованных системах не хватает законов о модерации. Чтобы отвественность нес только тот, кто выкладывает или потребляет нелегальный контент. А не те пользователи, которые участвуют в работоспособности сети. Чтобы позволить реализовать эффективный механизм самомодерации.
Иначе это опять приведет к появлению излишней цензуры или даже самоцензуры, как в централизованных системах.
Нечто подобное уже сейчас есть в сети торрент, когда узлы шлют мусорные пакеты, сеть отграждает себя от таких сидеров. Как это реализовывать на практике, конечно — не совсем понятно, видимо, какие-то ИИ узлы, которые оценивают контент на кошерность и вы подписыаетесь на их оценки и доверяете их белым/чёрным спискам, авто-тегам.
Во втором приближении, приходим к тому, что нужны источники дополнительной информации, которые анализируют контент и именно они и должны нести ответственность за правильный анализ (собственно поисковики уже этим занимаются и уже несут ответственность). Если подумать, то получаем аналог писковиков со знаком минус (например поиск по картинке, только не поиск, а наоборот: фильтровать контент), которые из тонны мусора предоставляют именно то, что нам нужно. Ну и, собственно, тогда роль государства здорового человека и общества, не запрещать информацию, а анализировать и раскладывать по полочкам, для того что бы потребители не встречались с нежелательным контентом. Сейчас оно так же вкладыват средства в анализ трафика, создание ИИ систем оценки и т.п., но исключительно в деструктивном контексте…
Сейчас тренд - мобильные платформы. Многие смотрят на телефоне, планшете, или транслируют на tv. Лично я с компа мало смотрю, у меня комп нормально тянет фотошоп, автокад, но не тянет ютуб в браузере, почему-то.
Так вот, если смотреть это всё с мобильников, то никаких кеширующих нод особо не будет, а соответственно трафик будет идти только от автора. И сколько автор протянет? Какой ширины канал нужен? Как это всё будет лагать в час пик? Надежда только одна, на тех кто будет кешировать и раздавать. А если я просто развлекательное видео смотрю, пока домой еду, в метро. А если таких как я тысяча? Не, не взлетит. Это не аналог ютуба, это аналог торрента с просмотром без закачивания. Такое, кстати, уже было.
Прежде, чем соберитесь поднимать узел на хостинге в России, погуглите "матемктик Богатов". Разве что оформить всё на офшор на Багамских островах)
Как мне кажется проблема в архитектуре подобных приложений.
Первое, что нужно сделать это отделить вычисления и предоставление мощности от логики бизнес процесса. Это банально решается майнингом токенов. Это решает проблему с дисковым пространством, хранением и зашитой контента. Конечно все транзакции должны быть распределенные и анонимные. При таком варианте архитектуры не нужно хранить и раздавать контент с сотни машин. Достаточно одного распределенного облака. В этом преимущество подобной системы перед торрентом. Монетизация такой системы достаточно проста и понятна. Это стейкинг токенов потребителями. Как и банальный донат авторам за контент. Единственная проблема доната сегодня это неудобство применения. Могут быть другие варианты. Рейтинговая система контента для скоринга шлака.
Вообще подобная система была бы идеальна для замены облачных хранилишь и торрентов. В том числе и экономия для пользователей на тысячах личных хранилишь, где храняться во многом одни и те же файлы. Не говоря уже о сохранениии действительно редких обьектов.
Такое облако легко может быть приватным с доступом по ключу. Для пользователей не является проблемой застейкать токены на 50-100 баксов в год для гарантированного доступа, как и для сохранения своей коллекции фильмов. И этих денег с лихвой хватит на оплату майнинга и дискового пространства. Также можно организовать DAO, которое будет черех голосование устанавливать правила для своего приватного облака. Если уж эти правила действительно необходимы. Как и донат за лучшие обьекты.
Все это упирается в объем контента. Облака принадлежат тем же техногигантам и ничего с этим не сделаешь, вряд ли когда-то появится вариант "личный сервер на 10-100 Тб у каждого дома", а без этого не получится обеспечить хранение и доступность потокового контента, сравнимого по объемам с ютубом.
Распределенность хороша теоретически, но на практике получается что для каждого распределенного сервиса надо держать и настраивать на машине что-то свое - слишком напряжно для миллионов обычных пользователей, не говоря уже о пораждаемой нагрузке на личные компы.
Пиринговый видеохостинг PeerTube — свободная альтернатива YouTube, без цензуры и блокировок