скорость шины не особо важна на GX10 для инференса, т. к. памяти с большим запасом и нет инфляции по remat + помогает mtp, которая на обратном проходе (forward) не вычисляет все токены + узкое окно максимальных токенов 64к + всего 1 агент и 3-4 субагентов всего. Если бы было под 50-100 агентов тогда да - включился бы remat и скорость шины была бы важна.
гоняю Qwen3.6 27B Q8 дообученную под свой домен кодинга 1С, вшил sft+dpo по разным критериям. Оборудования для инференса Asus GX10 128Gb скорость при окне 65536 токенов 250-300 ток/сек на прогретом кеше. При окне 131072 токенов 90-150 ток/сек. Заливать инференс на окне 262144 токенов (это макс. для этой модели) не имеет смысла т. к. скорость генерации проседает до 20 ток/сек. - здесь основная причина огромные матрицы для вычислений. Вывод: грамотно подбирать гиперпаркметры для инференса.
Я только не понял причём тут кодинг и гермес? Гермес это тупо агент рабочей среды с набором скилов, памяти, правил. Хороший кодинг зависит от модели и хорошего промта, если на входе тупо написать "сделай мне классный mcp сераер" - на выходе и получите что просили. Для кодинга каждый день использую курсор + модели от антропика для плана + модель grok для кодинга - результат всегда приемлемый.
на arXiv есть статья (ссылку не помню) там пробовали в маскированный токен добавлять timestep, на длинных контекстах больше 32к результат приемлемый. Но KV кеш при увеличении длины контекста улетает в небо, т. к. каждый denoising step обрабатывает уже не 8-16 итераций.
И есть проблема что логиты лучше держать в fp32 для более точной корреляции денозинга.
Не понимаю в чем профит этой системы? Как я понял на каждом слое также используется какая-либо llm для проверки фактов, памяти, источников и.т.п. Так что мешает llm вытащить источник и сказать - "вот нашел источник, он праводоподобный"?
Поддерживаю! Сам говно(вайб)кодер opensource проектов. Но я ими пользуюсь каждый день, допиливаю, смотрю коммиты после агента, т.к. бесят куча fallback + к правке двух строк в одном модуле прилетает еще +100500 файлов. Я только не понимаю как автор 300к строк кода ревьювил?)))
а dpo (датасет из пары хороший-плохой ответ) не пробовали файнтюнить? Сколько статей выкладывают про тюнинг, ни разу не видел чтобы dpo дообучали, все только на датасетах sft (инструкции) останавливаются.
для инференса не имеет смысла, т. к. поддержка fp4 в многих фреймворках, топовые llama. cpp, llama. cpp не поддерживается. Там куча багов и косяков. У меня DGX Spark и работает только на bfloat16, float32 и скорость 400 tflops это потолок.
поддержку fp4 обещают уже 2 года, а воз и ныне там.
В новых драйверах cuda13 ещё продвигают fp8, но опять все топовые фреймворки не работают.
DGX Spark не заточены на инференс, там приемлемо работают модели с квантизацией Q4, т. к. NPU модули хорошо обрабатывают float4. В паре два спарка работают хорошо, когда на одном веса, на другом Kv-cashe. На реддите есть обзоры где запускают на паре спарков модели по 130Млрд.параметров Q4.
Спарки заточены на обучение моделей до 8 млрд. параметров. Вот тут они очень хороши! Когда быстро надо проверить гипотезу при обучении, собрать мини модель, обкатать А/В тестами, и потом можно транспонировать на большую модель код.
Или же фантюнинг открытых моделей, когда прикручиваем свой уникальный слой в веса, например QLora.
У меня аналог Asus Ascent GX10. Я использую под обучение своих моделей. К примеру модель на 4млрд. параметров с 10-тью MoE экспертами обучается за 20 часов. Все дело в размере VRAM, на обычной Rtx 5090 с 32 Gb формально возможно обучение, но это заняло бы месяц, а то и два.
Это бизнес по-русски!))) Купить A100 в Китае за 340к и продавать в России как сервис за 230к в месяц. Про V100 вообще молчу, на авито таких как грязи за 50К.
пробовал загонять qwen 35B тут уже памяти в притык и включается remat - скорость генерации падает бывает до 80 ток/сек
скорость шины не особо важна на GX10 для инференса, т. к. памяти с большим запасом и нет инфляции по remat + помогает mtp, которая на обратном проходе (forward) не вычисляет все токены + узкое окно максимальных токенов 64к + всего 1 агент и 3-4 субагентов всего. Если бы было под 50-100 агентов тогда да - включился бы remat и скорость шины была бы важна.
не ошибся, 27B покрывает 100% моих задач + остаётся большое окно для KV кеша. Использовать 35B для кодинга считаю бессмысленно.
гоняю Qwen3.6 27B Q8 дообученную под свой домен кодинга 1С, вшил sft+dpo по разным критериям. Оборудования для инференса Asus GX10 128Gb скорость при окне 65536 токенов 250-300 ток/сек на прогретом кеше. При окне 131072 токенов 90-150 ток/сек. Заливать инференс на окне 262144 токенов (это макс. для этой модели) не имеет смысла т. к. скорость генерации проседает до 20 ток/сек. - здесь основная причина огромные матрицы для вычислений. Вывод: грамотно подбирать гиперпаркметры для инференса.
Я только не понял причём тут кодинг и гермес? Гермес это тупо агент рабочей среды с набором скилов, памяти, правил. Хороший кодинг зависит от модели и хорошего промта, если на входе тупо написать "сделай мне классный mcp сераер" - на выходе и получите что просили. Для кодинга каждый день использую курсор + модели от антропика для плана + модель grok для кодинга - результат всегда приемлемый.
на arXiv есть статья (ссылку не помню) там пробовали в маскированный токен добавлять timestep, на длинных контекстах больше 32к результат приемлемый. Но KV кеш при увеличении длины контекста улетает в небо, т. к. каждый denoising step обрабатывает уже не 8-16 итераций.
И есть проблема что логиты лучше держать в fp32 для более точной корреляции денозинга.
Не понимаю в чем профит этой системы? Как я понял на каждом слое также используется какая-либо llm для проверки фактов, памяти, источников и.т.п. Так что мешает llm вытащить источник и сказать - "вот нашел источник, он праводоподобный"?
Поддерживаю! Сам говно(вайб)кодер opensource проектов. Но я ими пользуюсь каждый день, допиливаю, смотрю коммиты после агента, т.к. бесят куча fallback + к правке двух строк в одном модуле прилетает еще +100500 файлов. Я только не понимаю как автор 300к строк кода ревьювил?)))
Так я не понял сколько ты заработал на своих торговых ботах? Можно цифрами порадовать?
размер словаря (vocab size) ещё уменьши, удивишься как скорость генерации взлетит.
а dpo (датасет из пары хороший-плохой ответ) не пробовали файнтюнить? Сколько статей выкладывают про тюнинг, ни разу не видел чтобы dpo дообучали, все только на датасетах sft (инструкции) останавливаются.
параметра dt не хватает на каждом шаге, - сколько секунд ушло на каждый шаг.
для инференса не имеет смысла, т. к. поддержка fp4 в многих фреймворках, топовые llama. cpp, llama. cpp не поддерживается. Там куча багов и косяков. У меня DGX Spark и работает только на bfloat16, float32 и скорость 400 tflops это потолок.
поддержку fp4 обещают уже 2 года, а воз и ныне там.
В новых драйверах cuda13 ещё продвигают fp8, но опять все топовые фреймворки не работают.
Спасибо большое! Переезжаю на digitalocean.com!)
если не секрет где сервис размещаешь? Какие мощности под инференс? Сколько в месяц выходит по оплате?
DGX Spark не заточены на инференс, там приемлемо работают модели с квантизацией Q4, т. к. NPU модули хорошо обрабатывают float4. В паре два спарка работают хорошо, когда на одном веса, на другом Kv-cashe. На реддите есть обзоры где запускают на паре спарков модели по 130Млрд.параметров Q4.
Спарки заточены на обучение моделей до 8 млрд. параметров. Вот тут они очень хороши! Когда быстро надо проверить гипотезу при обучении, собрать мини модель, обкатать А/В тестами, и потом можно транспонировать на большую модель код.
Или же фантюнинг открытых моделей, когда прикручиваем свой уникальный слой в веса, например QLora.
У меня аналог Asus Ascent GX10. Я использую под обучение своих моделей. К примеру модель на 4млрд. параметров с 10-тью MoE экспертами обучается за 20 часов. Все дело в размере VRAM, на обычной Rtx 5090 с 32 Gb формально возможно обучение, но это заняло бы месяц, а то и два.
Советую отказаться от LoRa, смотреть в сторону MoE и новый метод дообучения предложенный Allen Institute for AI BAR (Branch-Adapt-Route) . https://www.reddit.com/r/LocalLLaMA/comments/1srrgkw/xpost_allen_ai_bar_train_domain_experts_merge/
30к за датасет из 30к пар дороговато. Чатгпт делает датасеты по 150к за 10 мин + сделать скрипт доочистки мусора, дублей и шума.
И строить датасеты только на парах запрос - ответ так себе. Базовая модель не будет поддерживать reasoning, потом начнёт уходить в дрифт.
Это бизнес по-русски!))) Купить A100 в Китае за 340к и продавать в России как сервис за 230к в месяц. Про V100 вообще молчу, на авито таких как грязи за 50К.
сделан на основе https://github.com/salmanmohammadi/nanocode. Там есть все ручными утилитами cli.