Если не хочется страдать от деградации качества ответов из-за супер агрессивной квантовки K/V кэша - можно взглянуть в сторону https://github.com/RaymondHuang210129/llama.cpp-adaptive-kv-streaming/tree/feature/kv-stream-phase-arena
Это форк llama.cpp в который автор добавил поддержку адаптивного своппинга K/V кэша из VRAM в RAM и обратно, позволяет запустить модель (тестировал на Qwen3.8-27B-GSQ-RCO-IQ3_S.gguf) с полным контекстом (262144) сначала на полной скорости (пока кэш влезает в VRAM) а затем по мере того как влезать перестаёт - движок начинает своппинг из VRAM в RAM с плавной деградацией скорости по мере того, как всё больше перестаёт влезать.
Работает гораздо лучше чем оффлоад слоёв на CPU (и, что круто - если промпт маленький то модель работает вообще без штрафа к скорости, в отличие от оффлоада слоёв который весело тормозит с самого начала).
У меня на 5080 скорость генерации в конце сессии (177592 токенов) составила порядка 15 ток/с, а в начале сессии (без своппинга) была 55 ток/с.
Единственное, не поддерживает MTP(
Кстати, в README есть ссылка на статью автора о том, что он пробовал прежде чем сделал форк (с графиками).
Мне ещё интересно, как обстоит дело с разрушением свободных молекул ДНК в результате такой электрогидроударной стерилизации.
Недавно смотрел видео про горизонтальный перенос генов у бактерий - там как раз этот момент и рассматривал автор, был эпизод про то, что традиционные очистные сооружения самих бактерий-то убивают, но их ДНК (в том числе резистентные к антибиотикам его кусочки) продолжают плавать в воде, и есть угроза того, что обычные речные бациллы их впитают и прокачаются до супербактерий таким образом.
А серебро разве не токсично? Речь же про продукты питания шла
Бактерий оно вроде как одним своим видом убивает, да и оборотни тоже не жалуют его..
upd:
Аргироз или аргирия (др.-греч. ἄργυρος — серебро + -ia) — болезнь, вызванная длительным отложением в организме человека серебра, его соединений, серебряной пыли, коллоидного серебра или наночастиц серебра. Характеризуется необратимой сильной пигментацией кожи, которая принимает серебристый или синевато-серый оттенок. Способов лечения не существует
Одно дело если надо произвести коллоидное серебро как цель, но побочное попадание его туда где его не ждали - имхо совсем другое дело.
Прежде чем пускать этих адекватных людей ввести +2,5 км/ч - надо сначала по всей стране заменить все знаки ограничения скорости на неиспользуемые сейчас знаки "рекомендуемая скорость", затем заставить их провести адекватные проверяи и поставить знаки ограничения только там, где эти ограничения РЕАЛЬНО нужны (знаю пару таких мест на тех маршрутах по которым ездил), затем заставить их ставить адекватные временные знаки, а то взяли за правило на том же МКАДе к примеру на целый день перекрывать пару полос, а на оставшихся ещё и временный знак "60" влепят - и превед, мкад стоит на 10км. Неучи, в школе физику не учили и не знают что в месте сужения потока его скорость неизбежно возрастает - следовательно, в этих местах временный знак должен быть не "60" а "150" если 2 из 5 полос перекрыто а изначально можно было ехать 90.
И вот только лишь после того как эти адекватные люди выпоанят эти адекватные действия их можно будет считать адекватными и позволять им вытворять то что они предлагают.
Есть несколько разных эксплойтов, rootmy.tv (старый, через браузер), crashd (посвежее, уязвимость в системном демоне), DejaVuln (посвежее), faultmanager (вроде самый свежий и при этом даже универсальный). зайдёте на webosbrew.org/rooting и найдёте кучу инфы по разным эксплойтам.
К примеру у меня SSH между белыми айпишниками домашних провайдеров (АльфаНетТелеком => Ростелеком GPON) скорсть репликации TrueNAS по SSH низкая и обрывается, хотя интерактивные сессии вроде как норм.
А что вы можете рассказать о двухцветных черепаховых кошках? Я про чёрно-рыжих и рыже-чёрных.
Это такой же механизм, как у трёхцветных? Или другой? Что отвечает за проявление белого цвета? У моей только усы есть белые (и то не все, некоторые усики у неё чёрные, но рыжих нет ни одного).
Что-то у меня картинка не складывается, каким образом вакуумный котёл на ацетоне сможет дать давление паров в несколько бар при низкой температуре.
По ощущениям он захочет испаряться добровольно пока не достигнет давления насыщенного пара, и на этом система придёт в равновесное состояние (при конкретной температуре и давлении), и чтобы ацетон продолжил испаряться - его придётся хорошенько нагреть
Да даже если бы он захотел испаряться (чисто из уважения к изобретателю которыи вакуумировал котёл) - как только в трубке испарителя будет достигнут 1 бар - условия для испарения станут примерно такими же как при атмосферном давлении, и профита от вакуумированной (когда-то) системы уже не будет никакого.
Думается мне, ничего хорошего без фильтра твёрдых частиц на входе не получится - канавки 0.4мм между дисками довольно быстро зарастут сажей и турбина перестанет пропускать газ.
Разве что сделать еще и точно комплиментарную ротору "щётку", которую периодически вставлять между дисками и выскребать всю грязь оттуда, но имхо это сомнительно - будет заедать и/или гнуть диски/гнуться сама
Если не хочется страдать от деградации качества ответов из-за супер агрессивной квантовки K/V кэша - можно взглянуть в сторону https://github.com/RaymondHuang210129/llama.cpp-adaptive-kv-streaming/tree/feature/kv-stream-phase-arena
Это форк llama.cpp в который автор добавил поддержку адаптивного своппинга K/V кэша из VRAM в RAM и обратно, позволяет запустить модель (тестировал на Qwen3.8-27B-GSQ-RCO-IQ3_S.gguf) с полным контекстом (262144) сначала на полной скорости (пока кэш влезает в VRAM) а затем по мере того как влезать перестаёт - движок начинает своппинг из VRAM в RAM с плавной деградацией скорости по мере того, как всё больше перестаёт влезать.
Работает гораздо лучше чем оффлоад слоёв на CPU (и, что круто - если промпт маленький то модель работает вообще без штрафа к скорости, в отличие от оффлоада слоёв который весело тормозит с самого начала).
У меня на 5080 скорость генерации в конце сессии (177592 токенов) составила порядка 15 ток/с, а в начале сессии (без своппинга) была 55 ток/с.
Единственное, не поддерживает MTP(
Кстати, в README есть ссылка на статью автора о том, что он пробовал прежде чем сделал форк (с графиками).
https://github.com/MrMEEE/bumblebee-Old-and-abbandoned/issues/123
та самая issue с эпичными комментами)
Там сносился не / а /usr/
Мне ещё интересно, как обстоит дело с разрушением свободных молекул ДНК в результате такой электрогидроударной стерилизации.
Недавно смотрел видео про горизонтальный перенос генов у бактерий - там как раз этот момент и рассматривал автор, был эпизод про то, что традиционные очистные сооружения самих бактерий-то убивают, но их ДНК (в том числе резистентные к антибиотикам его кусочки) продолжают плавать в воде, и есть угроза того, что обычные речные бациллы их впитают и прокачаются до супербактерий таким образом.
А серебро разве не токсично? Речь же про продукты питания шла
Бактерий оно вроде как одним своим видом убивает, да и оборотни тоже не жалуют его..
upd:
Аргироз или аргирия (др.-греч. ἄργυρος — серебро + -ia) — болезнь, вызванная длительным отложением в организме человека серебра, его соединений, серебряной пыли, коллоидного серебра или наночастиц серебра. Характеризуется необратимой сильной пигментацией кожи, которая принимает серебристый или синевато-серый оттенок. Способов лечения не существует
Одно дело если надо произвести коллоидное серебро как цель, но побочное попадание его туда где его не ждали - имхо совсем другое дело.
Прежде чем пускать этих адекватных людей ввести +2,5 км/ч - надо сначала по всей стране заменить все знаки ограничения скорости на неиспользуемые сейчас знаки "рекомендуемая скорость", затем заставить их провести адекватные проверяи и поставить знаки ограничения только там, где эти ограничения РЕАЛЬНО нужны (знаю пару таких мест на тех маршрутах по которым ездил), затем заставить их ставить адекватные временные знаки, а то взяли за правило на том же МКАДе к примеру на целый день перекрывать пару полос, а на оставшихся ещё и временный знак "60" влепят - и превед, мкад стоит на 10км. Неучи, в школе физику не учили и не знают что в месте сужения потока его скорость неизбежно возрастает - следовательно, в этих местах временный знак должен быть не "60" а "150" если 2 из 5 полос перекрыто а изначально можно было ехать 90.
И вот только лишь после того как эти адекватные люди выпоанят эти адекватные действия их можно будет считать адекватными и позволять им вытворять то что они предлагают.
Есть несколько разных эксплойтов, rootmy.tv (старый, через браузер), crashd (посвежее, уязвимость в системном демоне), DejaVuln (посвежее), faultmanager (вроде самый свежий и при этом даже универсальный). зайдёте на webosbrew.org/rooting и найдёте кучу инфы по разным эксплойтам.
К примеру у меня SSH между белыми айпишниками домашних провайдеров (АльфаНетТелеком => Ростелеком GPON) скорсть репликации TrueNAS по SSH низкая и обрывается, хотя интерактивные сессии вроде как норм.
Про 60-ю секунду координации (когда время становится 23:59:60) я слышал (автор же, кажется, нет (судя по коду)).
А вот что он хотел сказать этой високосной минутой? В какой момент время может принять значение hh:60:ss?
А котики достаточно прекрасны?
А что вы можете рассказать о двухцветных черепаховых кошках? Я про чёрно-рыжих и рыже-чёрных.
Это такой же механизм, как у трёхцветных? Или другой? Что отвечает за проявление белого цвета? У моей только усы есть белые (и то не все, некоторые усики у неё чёрные, но рыжих нет ни одного).
Что-то у меня картинка не складывается, каким образом вакуумный котёл на ацетоне сможет дать давление паров в несколько бар при низкой температуре.
По ощущениям он захочет испаряться добровольно пока не достигнет давления насыщенного пара, и на этом система придёт в равновесное состояние (при конкретной температуре и давлении), и чтобы ацетон продолжил испаряться - его придётся хорошенько нагреть
Да даже если бы он захотел испаряться (чисто из уважения к изобретателю которыи вакуумировал котёл) - как только в трубке испарителя будет достигнут 1 бар - условия для испарения станут примерно такими же как при атмосферном давлении, и профита от вакуумированной (когда-то) системы уже не будет никакого.
И тут же возникает вопрос - а нужен ли в компании такой идиот, которыи не способен перевернуть ноут и найти шильдик с моделью?
А саппорта жаль, да(
Вы правда думаете, что сильно большая разница взорвётся ли ваш повербанк на полке или в кармане кресла?)
Извините, а с какого гхыра нарушение повторное, если первое нарушение не закрыто?
Длящееся же, нет?
Ну и кому тут интересно корректное окно варнинга?
Лично я пришёл полюбоваться на очередной индусофейл, а тут правильное окно(
Я разочарован.
А что там в калькуляторе прокручивать-то?
Тогда сразу голубятню строить надо, с нынешней госпрограммой по технологической деградации населения.
Думается мне, ничего хорошего без фильтра твёрдых частиц на входе не получится - канавки 0.4мм между дисками довольно быстро зарастут сажей и турбина перестанет пропускать газ.
Разве что сделать еще и точно комплиментарную ротору "щётку", которую периодически вставлять между дисками и выскребать всю грязь оттуда, но имхо это сомнительно - будет заедать и/или гнуть диски/гнуться сама
По хорошему - да.
Не знаю как у вас, а там где учился я (6..10 годы) рефераты делать задавали не чтоб ты научился, а чтоб задолбался. Академическая кара.