Comments 52
Делал тут перенос игры лутгоблина из 5.2 на 5.3 - в чате не работала подгрузка файлов, час пик, сброс кэша.
5.3 запилила api с загрузкой архивов проекта прямо внутрь игры. И восстановила утраченный прогресс.
Я доволен. Спасибо Зая.
Да, я тоже про GLM прям не могу ничего плохого сказать.
Медленная только, зараза. У дипсика приятно смотреть как строчки бегут с космической скоростью.
А GLM - "Блиц, скорость без границ" (из мультика Зверополис)
GLM-5.3 кстати быстрее GLM-.5.3-Flash раза в 2. Я обычно ночью пользуюсь, когда сниженная нагрузка и без наценок часов пик.
Есть Glm 5.3 FlashX но только по апи, в подписку не входит, а жаль. Думаю, это сторонний провайдер.
Все китайцы по подписке медленные, железок не хватает. А по апи уух (американскими провайдерами). Тот же Кими по апи в 5 раз быстрее
От провайдера зависит. Через опенроутер от дипсика плевался весной, 10-30 токенов в сек. Быстро было гуглом, но потом посмотрел их тарифы на дипсик и офигел. Глм же от зайки летал, но тогда ещё бажил мусором. До лета был быстрый. Ща на сайте пишут графики что аж 130 токенов, но реально затупливает порой. Но я всё равно зайкой очень доволен. Пользую как подписку так и сайт для экономии токенов в мелких делах.
Конечно они бояться. До потери сознания. GLM и другие открытые модели могут обрушить всю финасовую конструкцию, постоенную вокруг закрытых моделей.
Все меньше верят в утверждение "фронтир модели на голову выше открытых" потому что жизнь опровергает это на каждом шагу.
А это грозит тем, что таким как Anthropic и OpenAI не принесут ожидаемое количетство денег на IPO и они останутся "с тыквой" и колосальными долгами.
Точно, притом открытые модели уже достигли того уровня когда для работы вполне достаточно, и уже нет особого смысла прыгать между моделями и искать чего то лучшего так как полностью устраивает то что есть, все добавляемые новые плюшки уже не играют такой большой роли как это было еще год назад.
А когда распределенный инференс на базе домашних видеокарт наберет обороты, тогда им точно конец. (не зря же они пытаются уменьшить число мощных домашних компов, провоцируя рост цен на комплектующие)
А когда
*Если. Пока одни пользователи волнуются о том, что их запросы к коммерческим ИИ могут втайне сохранятся и использоваться, вы предлагаете раскрывать свои промпты перед неопределённо большим кругом лиц, до которых фиг доберёшься потом, чтобы засудить. Также нужно будет решить проблему выдавания более слабой или заквантованной модели под видом более сильной, плюс вопрос разрешения споров и оплаты (я взял промпт (и ещё слил его на сторону), выдал чушь в ответе, и утверждаю, что это искренний ответ такой-то вот нейронки, и я все вычисления проводил честно -- как в такой ситуации решать, кто прав?). Вопросы все те же, как в вопросе распределённых вычислений с оплатой в криптовалюте (а о такой идее я ещё в бумажном журнале в 2017 году читал, и до сих пор никаких подвижек).
вы предлагаете раскрывать свои промпты перед неопределённо большим кругом лиц
Есть масса пользователей, с задачами не использующими никакие конфиденциальные данные, не содержащие коммерческой тайны, и не являющимися попыткой совратить модель и склонить ее к сожительству. Им показывать свои промпты совсем не стыдно и не опасно.
(я взял промпт (и ещё слил его на сторону), выдал чушь в ответе, и утверждаю, что это искренний ответ такой-то вот нейронки, и я все вычисления проводил честно
Это генеративный аутсорс какой-то, а не распределенный инференс. Так это работать не будет по любому.
Если*
Естественно если*. Но сейчас это всех касается. ИИ может захватить мир, а может сколлапсировать в ЧД, как метавселенная цукерберга. Поглотив массу денежных средств.
Помимо коммерческой тайны есть ещё и личная. И там может быть много чего такого, что я, например, не хочу сообщать неопределённому кругу лиц (да хотя бы - свои медицинские анализы). Понятно что мы идём в эпоху где платформодержателя экспроприируют данные “цифрового пролетариата” - скольок могут. Но за право личной тайны всё же надо бороться?
> вы предлагаете раскрывать свои промпты перед неопределённо большим кругом лиц
Есть масса пользователей<...>
Это я про то, что ваш сервис уже потерял одно из преимуществ локального запуска -- приватность, и, более того, вероятность слива информации теперь на порядки выше (зависит от того, насколько в систему будет свободный вход. Судя по тому, что предлагается использовать домашнее оборудование, порог входа для владельцев оборудования должен быть низким, а в таком случае можно считать, что промпт утёк наверняка).
Это генеративный аутсорс какой-то, а не распределенный инференс. Так это работать не будет по любому.
Чем тогда отличается ваш "распределённый инференс", и что будет мешать мне отдавать некорректные данные, не проводя вычислений?
и что будет мешать мне отдавать некорректные данные, не проводя вычислений?
Как вы это сделаете?
Миллион способов. Например, отревершу программу и напишу то, что мне нужно, или сделаю драйвер виртуальной видеокарты, или пересоберу Линукс с какими мне нужно изменениями, или сваяю поддельное PCIe-устройство. До последнего вряд ли дойдёт, программа сдастся, думаю, на первом же этапе.
Если проводить "контрольные закупки" и банить тех, кто мухлюет, то есть два варианта развития событий: если у вас регистрация совершенно свободная, то ничего не будет мешать мне создавать по тысяче аккаунтов в день, успевать получать две копейки до бана, и их выводить. Если регистрация суровая, с проверкой там личности или т.п., то таких примитивно действующих мошшеников вы может и перебаните, правда потенциальная аудитория тоже сократится во много раз.
Варианты вида "не пускать к покупателям, пока не докажет, что его вычисления реальны" тоже не работают, потому что в таком случае продавец мощностей будет первое время работать честно, а потом перестанет. Если недобросовестный продавец будет не просто отказываться выполнять взятый заказ, а будет использовать не ту модель, то поимка его усложнится ещё на порядок.
если у вас регистрация совершенно свободная, то ничего не будет мешать мне создавать по тысяче аккаунтов в день, успевать получать две копейки до бана, и их выводить
Ну вот в крипте "регистрация" не то что свободная - она вообще локальная и офлайновая. Но никаких двух копеек с неё вы не получите.
Как этот механизм приладить к ЛЛМкам это отдельный вопрос, но думаю можно за счет небольшой (или большой) избыточности вычислений.
У меня допустим карта 99% времени простаивает. Если она станет загружена на 100%, но я получу х10 к вычислительным возможностям, это позволит использовать полновесные модели и полностью закроет все мои потребности. При этом производительность карты уменьшится в 10 раз.
Но никаких двух копеек с неё вы не получите.
Две копейки я буду успевать получать с тех, кто будет покупать у меня этот самый инференс.
Как этот механизм приладить к ЛЛМкам это отдельный вопрос, но думаю можно за счет небольшой (или большой) избыточности вычислений.
Кмк, не получится никак. Формула простая: если корректность вычислений проверить легко, то такую штуку сделать можно. Так и работает майнинг -- чтобы смайнить блок, нужно долго подбирать хэш, а когда подобрал, то проверить может кто угодно. В случае с нейросетями, чтобы проверить корректность вычислений, нужно буквально их повторить.
У меня допустим карта 99% времени простаивает. Если она станет загружена на 100%, но я получу х10 к вычислительным возможностям, это позволит использовать полновесные модели и полностью закроет все мои потребности. При этом производительность карты уменьшится в 10 раз.
Вы имеете ввиду, что так большие модели не влезают, а если будет соединение из нескольких карт по сети, то станут влезать? Если так, то задержки на передачу данных по сети будут монструозными, см. здесь.
может сколлапсировать в ЧД, как метавселенная цукерберга.
Не может. Его уже растащили энтузиасты включая меня, по всему миру. И железяки покупают не просто так. Обучают, встраивают, работают с ним. Это обычные люди, которым хайп этот по барабану, и даже больше скажу, они хотят абстрагироваться от вот этого всего, что заявляют крупные компании типа ClosedAI. Технология есть и она нужна - с этим не поспорить. А вот капитализации ИИ-компаний, их заявления, "опасения" - это и есть хайп и пузырь (это неточно но логика неумолима).
У цукерберга за кучу денег получилось настолько откровенное дерьмо, что там максимум 3к пользователей в онлайне появилось, а потом и они ушли. У чат-гпт только за месяц появились миллионы пользователей в самом начале. Это несравнимые вещи.
Что крупные ИИ компании могут громко упасть - вполне вероятно. Потому что много врут периодически.
За счет некоторой избыточности можно и содержание скрыть и проверить качество вычислений. Гораздо сложнее обеспечить распределение не гоняя по сети терабайты. Т.е. распределить то можно но быстрее от этого не будет.
Ну, из варианта "один запрос -- одна машина" и варианта "один запрос разбивается на несколько машин", очевидно, остаётся первый вариант, потому что инференсить один промпт на нескольких машинах распределённо это совсем уж неадекватно, даже на слабых картах с подкачиванием модели с SSD инференситься будет на порядки быстрее. И никакого кэша, а для агентной работы кэш -- наше всё.
Не думаю, что “распределенный инференс на базе домашних видеокарт” вообще возможен на сколь-нибудь больших моделях. Там же не проблема разделить, проблема в необходимой скорости обмена. Отсюда прижимаются к nvlink при первой возможности (которой после какого-то года больше нет в домашних видеокартах).
Этоь ограниченно только искуственным занижением количества доступной памяти на видеокарте (ничего заговорщического - просто адаптация под “среднебольничную” архитектуру PC). Но уже делают настольные системы (например с той же “совместной памятью”) которые вполне себе подходят под большие модели. Спрос есть, растёт и предложение тоже будет. Даже если условная нвидия с 512 ГБ на борту будет стоить с лям-полляма (рублей) её же с верхней половиной туловища будут у продавцов урывать сейчас (если будет куда вставить, конечно).
Так что появление настольных инференсов больших моделей - это вопрос исключительно времени, и я думаю, не такого уж и большого: год-два максимум.
Почему, по-вашему, именно потребительские видеокарты должны получить кучу памяти, если уже кто угодно может купить себе вычислитель? Или как понимать "искуственным занижением количества доступной памяти" в одной строке с "ничего заговорщического - просто адаптация под “среднебольничную” архитектуру PC"?
Даже если условная нвидия с 512 ГБ на борту будет стоить с лям-полляма (рублей)
С 279 ГБ стоит 13 млн рублей, с порядком цен вы чуть промахнулись.
искуственным занижением количества доступной памяти на видеокарте
Уже ценой этой самой памяти
Упирается в первую очередь в пропускную способность между вычислительными ядрами и памятью где лежат веса модели. Если делать совместную память на основе DDR5, скорость все равно будет грустной, а цена огромной. Если использовать HBM память, которая расшифровывается как high bandwitch memory, то цена уже будет на порядок больше огромной.
По этому распределенные LLM никогда не взлетят, т.к. эта респределенность даст скорость между узлами даже ниже чем вы просто прямо сейчас запустите какую-нибудь большую модель у себя с SSD а не с видеопамяти на своем компьютере.
Ну а как же MoE распределили по времени, весов много, работают малая часть, подгружаются нужные. Dense модели - там туго с пропускной способностью памяти. Могут и еще что-то придумать в будущем, как говорится дешево и сердито, да и AI провайдеры начали жестко наглеть. Ничо, свято место пусто не бывает. Не удивлюсь, что может появиться архитектура совсем нового поколения. Типа тернарных моделей или еще более экзотическое.
qwen3.8-flash-next на домашнем компьютере вполне работает. сегодня добавили pr на mtp и Георгий заасептил - значит скоро и хорошая скорость будет. а это уровень opus 4.6. на простой писишке
Не будет. Это в целом никому за пределами кучки гиков не нужно.
Нужен инференс в датацентрах и на телефонах. И боятся они того что инференс уйдет из их датацентров в любые другие.
Есть задачи не требующие большой скорости. Есть задачи которые не требуют больших вычислительных мощностей. Собственно сами провайдеры сбрасывают отдельные задачи слабым моделям. Агрегаторы нейросетей могут достаточно эффективно включить распределенный инференс в свою инфраструктуру.
Чего? У нас сейчас дефицит железа, цодов всем нехватает. И закрытые модели тут просто выигрывают свой маржинальностью, а пользователи выбирают закрытые потому что они лучше и вряд ли это изменится.
Дефицит рано или поздно закончится. А откуда вы взяли маржинальность закрытых моделей?
А откуда вы взяли маржинальность закрытых моделей?
Так они сами цены ставят какие хотят, а не кто дешевле всех сделал тот и выигрывает. Поэтому китайцев выгодно крутить только самым-самым дешевым и проблемным хостингам, иначе они просто не окупятся из-за конкурентов. Закрытые модели продаются за более высокую цену и могу юзать более дорогие цоды, что мы и видим.
Дефицит рано или поздно закончится.
Тогда и китайцы могут забить на опенсорс, отдавать инференс бесплатно когда можно забирать с него всю прибыль в общем то незачем.
уменьшить число мощных домашних компов
это, скорее, следствие чем причина
Скоро уже вроде у Антропика IPO, будем посмотреть. Такие мысли что спецом бьют по рукам обычным пользователям конскими ценами тоже возникали.
Проблемы еще ближе. Они все должны безумные деньги под стройку. И при этом убыточны.
Деньги они берут у инвесторов в обмен на долю. А инвесторы им дают деньги потому что каждая следующая оценка выше предыдущей и деньги растут.
Стоит один раз получить оценку ниже предыдущей и пузырь лопнет. Халявные деньги исчезнут, а обязательства останутся. И заодно кружок перекачки виртуальных денег сломается.
Открытые модели ломают всю экономику закрытым. Самая дорогая часть - это обучение, оно идет в минус, а уже инференс приносит деньги. Эта гонка, которую поддержали открытые модели, не дает время, чтобы инференсом отбить деньги потраченные на обучение, нужно выпускать уже следующую модель, а это опять минус.
да ничего они не ломают. железо для запуска GLM-5.3 недоступно почти никому, даже многие средние компании не могут себе позволить. Если бы GLM-5.3 была закрытой по той же цене что сейчас, то особо ничего бы не изменилось в плане конкуренции с антропик. Открытость весов это скорее репутационная история, типа вот смотрите не только в США умеют обучать огромные нейростеи. В реальности ими (большими моделями с открытыми весами) пользуются в основном крупные компании, которые не могут и/или не хотят делиться своими данными
Давайте-ка посмотрим, сколько провайдеров дают доступ к GLM-5.3 на одном только OpenRouter:
Скрытый текст
Убрал под спойлер, ибо картинка очень большая. :) И все они конкурируют друг с другом. А у приватной модели источник один. И ему конкурировать надо только с несколькими производителями других моделей, с которыми можно по-очереди задирать цены, вместо снижения.
Ссылка на опенроутер, а то картинка мутная: https://openrouter.ai/z-ai/glm-5.3
Оно доступно вообще всем. В чем проблема-то? По меркам среднего бизнеса это обычная покупка.
Сотни тысяч долларов это обычные траты для среднего бизнеса. Они равны ФОТ на месяц на сотни сотрудников. Бизнес каждый месяц столько платит и нормально.
Оно финансового смысла не имеет, аренда или оплата по АПИ выгоднее. Но жестко ограничивает сумм за которую инференс можно продать. Примерно Х2 от текущего уже никто не купит, свое выгоднее станет.
Инференс тяжелых сеток на сотни миллиардов параметров в проде тоже обходится в космические суммы
Обрушить не обрушат, но на маржинальность облачных гигантов это точно наступит
Китайцы красавчики )
Anthropic обеспокоены
Посмотрим к чему это все приведет. Я пока сижу с подпиской клод 5X и не планирую никуда дёргаться тем более опусь 5.5 жуть как радует. Я боялся наоборот что начнут затягивать гайки, повышать цены, но похоже что нет
БЯМки уже накалякали идеальный Gboard с T9?
Anthropic по факту сделали китайцам лучшую рекламу за все время) Теперь любая безопасная контора пойдет крутить тесты именно на весах от Заи)
Бедняжки Антропики сначала накрутили безумные гардрейлы, потом порезали всем trusted access, а теперь обеспокоены, что люди уходят к конкурентам. Плак-плак прям.
Anthropic обеспокоены возможностями GLM-5.3