Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 27
Разве Дуров не тоже самое продвигает?
Не видел, а есть ссылка?
https://habr.com/ru/news/961310/
вроде это
ох уж эти влажные фантазии
цифровой коммунизм, точнее коммунизм вычислительных мощностей
и не взлетит по тем же причинам - тупое но наглое меньшинство будет пользоваться результатами работы большинства, нарушая работу всей системы
классическое "ачетакова" отдельных индивидумов и "халявные мощности" для больших компаний
даже если пытаться натянуть для малых групп где все друг-друга знают, все равно посыпется рано или поздно по все те же социальным причинам
и никакая монетизация не поможет так как это будут пытаться обойти в первую очередь
"влажные фантазии" звучит как мой любимый жанр, но да, фрирайдеры и "ахетакова" — вечная классика P2P, от торрентов до кооперативов. Ты прав, социалка рушит даже малые группы, а монетизацию хакнут первыми. Но здесь не коммунизм, а рынок с зубами: токены за каждый токен вывода + slashing (штрафы за фигню) + репутация on-chain, как в Bittensor (они уже пережили такие атаки и выросли до $2.5B). Корпо-халява? KYC-стейкинг для больших нод, чтоб не фармили. Не идеал, но MVP на Petals показывает — если incentives работают, меньшинство не сожрёт всех
вот яркий пример крипта. Она уже давно чисто пузырь на уровне ценных бумаг.
Крипту не приняли как ожидалось, а наоборот подрезали и впихнули в существующую систему. Тут будет то же самое
торент взлетел потому что он оказался реальным win-to-win меж пользователями. Никаких обязательств, все просто и быстро. И главное нельзя насаждать рекламу или висуры, только если пользователь сам такой торент скачает.
Собственно потому и пытаются запретить торенты с переменным успехом, потому что они не влазят в рамки сущестующей системы, а подрезать не выходит потому что там и так уже все максимально просто, только добавлять свои ограничения
Старая как мир классика, с которой мы сталкиваемся с первых дней - в конфликте хулигана и жертвы власть всегда прессует жертву потому что это проще. создать под такое законодательство и процессы сложно, максимум обмажут лицензиями из-за чего оно совершенно потеряет первоначальную задумку
slashing (штрафы за фигню)
А если вредоносный узел, получив задание на проверку, ошибочно обвинит добросовестного клиента, и наложит штраф? Кто будет проверять проверяющих?
Чтобы нормально разобрать кто прав, кто нет, надо логировать все задания и ответы, а это огромный объём хранилища, да и нарушит конфиденциальность.
а что там братья либерманы замутили? видел как они рассказали в интервью о своей реализации этой идеи в оупенсорсе, но так и не нашел что именно
Да, в чем-то похоже, но как понял то что они делают - не для простых смертных, они ориентированы на h100+ без тоо чтобы разбивать модели на экспертов и динамически распределять этих экспертов по нодам в зависимости от возможности нодов. С одной стороны можно сказать что они думают на шаг вперед, что типа ноды очень быстро подрастут и "майнинг" на видеокартах станет не актуален (как было с биткоином) но с другой, я хочумайнить ради токенов, для доступа к мощному ии, так что это вопрос больше не мощностей, а объёма покрытия пользователей. Но на всякий случай я точно не знаю что именно они пытаются делать. Возможно и они тоже - сейчас ситуация очень динамична, и все адаптируются
я тоже так понял что не для дешевых карточек) но я тупо ссылку не могу найти. они заявляют, что код ноды уже опубликован, а где собственно?))
А что тут делать без h100 ? Llama 13b q4 запускать? :)
Гонять промежуточные данные между слоями мне кажется бесперспективно медленно, разве что ориентироваться на тех у кого есть оффлайн задания на генерации, не чаты, тогда смысл есть...
Это был один из первых вопросов который я задал ии. Я тоже думал что "шардить" модели дело бесперспективное - слишком много данных пересылать между нодами, но оказалось что это не так, даже если модель изначально не разбита на относительно независимых экспертов, то ее возможно так разбить, и такие решения уже существуют. И задержки получаются приемлемыми. Кстати не помешала бы система разбиения модели и для локального использования, например чтобы 4 3060 постпвить и получить 48 гигов видео памяти например
IPFS уже выстроили базу для хранения данных. IPVM (The InterPlanetary Virtual Machine) позволяет запускать собственные вычисления на узлах используя WebAssembly CoD(Compute On Data). Любой желающий может подключить свою ноду и получать процент от транзакций. Нода предоставляет пруфы, что надежность и вычислительная мощьность соответствуют. Требования к ноде гораздо выше чем к торрент сидеру, точно не помню, но минимальные превосходят среднестатистический ПК. Вроде как уже запускают stablediffusion на основе IPVM, но я не следил что там получилось https://docs.ipfs.tech/concepts/cod/#bacalhau
Глобальные idle‑вычислительные ресурсы
Для компаний выделяют гранты, строят им персональные электростанции, выдают rtx 9000 100500GB со скидкой. p2p выглядит интересно для мини провайдеров или пользователей которые хотят получить независимость от монополистов/регуляторов. По качеству услуг, ну сомнительно что сможет конкурировать с датацентром.
Ух-ты очень полезная инфа, изучаю..
мда.. потыкал.. Это для гиков через CLI. совсем не то что нужно, нужен нормальный, удобный вэб интерфейс, как AI studio или подобный, у каждой модели может быть свой интерфейс.
Представьте у вас moe , один эксперт пусть 30гб и в сети карточки по 8гб это минимум 4 карточки для просчёта одного токена. И 5 пересылок по сети. Очень грубо, но производительность будет порядка 1сек на токен (5 пересылок плюс время всем на инференс). У вас в чате все уснут уже...
Для cli как раз вариант, для тех у кого скриптами надо пачку задач посчитать и время не важно, главное цена
Да, мы считали с ИИ, ваши цифры - излишне пессимистичны, у нас получалось в среднем 10 сек на ответ для чата. Тут не так однозначно - есть разные задачи, некоторым важна срочность, некоторым не особо, для некоторых нужно много нодов, для других мало, поэтому для любых нодов может найтись работа, но срочные задачи будут решаться на серьезных нодах и такие ноды и будут зарабатывать больше всех.
Да и пользователи могут слайдером указывать, у них в приоритете скорость, или экономия (расход utility токенов)
Проект слишком похож на «пиратский»
нейминг наше все. я вот вообще не понял причем пиратство, но слово торрент по сути уже является синономом пиратства. Да и биткоин - такое себе. а от блокчейн и p2p вроде модно молодежно еще.
по сути проекта. когда то seti@home запустили на добровольных началах и оно как то даже работало. но как только к технологии прикручивают деньги то сомнения возникают сами собой. Что ситуация с nft, что история с chia, что МММ - кото успел хапнуть, а дальше - не волнует. даже pr подобной штуки сейчас надо делать очень деликатно и грамотно.
и наверное не прибивать гвоздями к ИИ. Именно что - распределенных вычислений
Да, тоже с ии обсуждал - нужно ли вообще делать токены ликвидными (торгуемыми на бирже) это сложный вопрос. Есть +++ и ——. В конечном счете скорее всего технология описанная в статье появится и возможно у нее будет несколько групп разработчиков и суровая реальность в том что с высокой вероятностью победит и займет весь рынок та команда которая сделает токены ликвидными.
Почему болит
Промпты летят по чужим нодам, что создает риски утечек.
Решение в "ИИ-торренте"
Zero-knowledge proofs (ZK-SNARKs) для верификации вывода без раскрытия данных; токенизация и обработка промпта локально.
Статья сгенерирована ИИ? Вы данные отсылаете на произвольную ноду, возможно злоумышленника. Шифрование защищает только канал передачи данных, но на самой ноде должны быть ключи для расшифровки данных (иначе модель не сможет с ними работать). Соответственно что мешает ноде прочитать ваши конфиденциальные данные?
В создании статьи участвовали несклько ии. Но все куонцепты - мои.
Мне как конечному пользователю все равно что кто-то видит мои промпты, даже хорошо - пусть модели на них обучаются и запоминают все про меня, ато каждый раз все заново обьяснять - напрягает. (но профессионально делать память лучше через личный локальный кэш, или распределенно)
Но передавать промпты в "чистом" виде - не профессилнально. Нет такого что ноду обязательно присылать весь промпт в исходном виде. Он может получать "анонимизированные" векторы. Правда нода может понять о чем был запрос по тому какой output он сгенерировал, но и тут можно что-н придумать
Не взлетит.
То что приемлемо работает на домашней видеокарте ничего не стоит. То что не работает недоступно для массового развертывания дома.
Это утверждение не зависит от доступных домашним видеокартам мощностей.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
AI-торрент: децентрализованная сеть, где твои GPU станут валютой для супер-AI