на arXiv есть статья (ссылку не помню) там пробовали в маскированный токен добавлять timestep, на длинных контекстах больше 32к результат приемлемый. Но KV кеш при увеличении длины контекста улетает в небо, т. к. каждый denoising step обрабатывает уже не 8-16 итераций.
И есть проблема что логиты лучше держать в fp32 для более точной корреляции денозинга.
Не понимаю в чем профит этой системы? Как я понял на каждом слое также используется какая-либо llm для проверки фактов, памяти, источников и.т.п. Так что мешает llm вытащить источник и сказать - "вот нашел источник, он праводоподобный"?
Поддерживаю! Сам говно(вайб)кодер opensource проектов. Но я ими пользуюсь каждый день, допиливаю, смотрю коммиты после агента, т.к. бесят куча fallback + к правке двух строк в одном модуле прилетает еще +100500 файлов. Я только не понимаю как автор 300к строк кода ревьювил?)))
а dpo (датасет из пары хороший-плохой ответ) не пробовали файнтюнить? Сколько статей выкладывают про тюнинг, ни разу не видел чтобы dpo дообучали, все только на датасетах sft (инструкции) останавливаются.
для инференса не имеет смысла, т. к. поддержка fp4 в многих фреймворках, топовые llama. cpp, llama. cpp не поддерживается. Там куча багов и косяков. У меня DGX Spark и работает только на bfloat16, float32 и скорость 400 tflops это потолок.
поддержку fp4 обещают уже 2 года, а воз и ныне там.
В новых драйверах cuda13 ещё продвигают fp8, но опять все топовые фреймворки не работают.
DGX Spark не заточены на инференс, там приемлемо работают модели с квантизацией Q4, т. к. NPU модули хорошо обрабатывают float4. В паре два спарка работают хорошо, когда на одном веса, на другом Kv-cashe. На реддите есть обзоры где запускают на паре спарков модели по 130Млрд.параметров Q4.
Спарки заточены на обучение моделей до 8 млрд. параметров. Вот тут они очень хороши! Когда быстро надо проверить гипотезу при обучении, собрать мини модель, обкатать А/В тестами, и потом можно транспонировать на большую модель код.
Или же фантюнинг открытых моделей, когда прикручиваем свой уникальный слой в веса, например QLora.
У меня аналог Asus Ascent GX10. Я использую под обучение своих моделей. К примеру модель на 4млрд. параметров с 10-тью MoE экспертами обучается за 20 часов. Все дело в размере VRAM, на обычной Rtx 5090 с 32 Gb формально возможно обучение, но это заняло бы месяц, а то и два.
Это бизнес по-русски!))) Купить A100 в Китае за 340к и продавать в России как сервис за 230к в месяц. Про V100 вообще молчу, на авито таких как грязи за 50К.
Стесняюсь спросить, как Вы собрались до обучать базовую модель без изменения весов самой модели? Это технически не возможно.
Все топы и делают каждые 3 месяца выкатывают новые модели, которые обучены на старой + новые датасеты.
Можно хоть 1млн. слоев файн тюнинга прикрутить к базовой модели - результат будет минимальным.
А то что модель забывает - проблема в kv-cashe, любая топовая модель не будет делать лишние вычисления, проще поднять старое по смыслу из кеша. А хозяева модели не будут тратить лишние ресурсы на вычисления.
На практике, уменьшите количество голов kv-head и проблема забвения модели сократиться в N раз.
В будущем думаю все текущие проблемы отпадут с появлением квантовых вычислений, когда нет алгоритма, а есть миллиарды результатов на выходе из кубита.
на 8 H100 можно спокойно обучить свою модель на 5-8 млрд. параметров под свой датасет за короткое время. Тем более у Вас есть возможность собрать такой узкий датасет под Kotlin+обучить base train, например на ruwiki+ mathlab++++. Так у Вас будет не модель всезнайка с квантизацией на примере qwen, а узко специализированная под Вас. Докрутить роутеры + MoE. На инференсе получать телеметрики, в том числе поощрения, и автоматом собирать новый датасет под релиз новой модели.
Дали бы мне на недельку такие мощности, эх развернулся бы)))
на arXiv есть статья (ссылку не помню) там пробовали в маскированный токен добавлять timestep, на длинных контекстах больше 32к результат приемлемый. Но KV кеш при увеличении длины контекста улетает в небо, т. к. каждый denoising step обрабатывает уже не 8-16 итераций.
И есть проблема что логиты лучше держать в fp32 для более точной корреляции денозинга.
Не понимаю в чем профит этой системы? Как я понял на каждом слое также используется какая-либо llm для проверки фактов, памяти, источников и.т.п. Так что мешает llm вытащить источник и сказать - "вот нашел источник, он праводоподобный"?
Поддерживаю! Сам говно(вайб)кодер opensource проектов. Но я ими пользуюсь каждый день, допиливаю, смотрю коммиты после агента, т.к. бесят куча fallback + к правке двух строк в одном модуле прилетает еще +100500 файлов. Я только не понимаю как автор 300к строк кода ревьювил?)))
Так я не понял сколько ты заработал на своих торговых ботах? Можно цифрами порадовать?
размер словаря (vocab size) ещё уменьши, удивишься как скорость генерации взлетит.
а dpo (датасет из пары хороший-плохой ответ) не пробовали файнтюнить? Сколько статей выкладывают про тюнинг, ни разу не видел чтобы dpo дообучали, все только на датасетах sft (инструкции) останавливаются.
параметра dt не хватает на каждом шаге, - сколько секунд ушло на каждый шаг.
для инференса не имеет смысла, т. к. поддержка fp4 в многих фреймворках, топовые llama. cpp, llama. cpp не поддерживается. Там куча багов и косяков. У меня DGX Spark и работает только на bfloat16, float32 и скорость 400 tflops это потолок.
поддержку fp4 обещают уже 2 года, а воз и ныне там.
В новых драйверах cuda13 ещё продвигают fp8, но опять все топовые фреймворки не работают.
Спасибо большое! Переезжаю на digitalocean.com!)
если не секрет где сервис размещаешь? Какие мощности под инференс? Сколько в месяц выходит по оплате?
DGX Spark не заточены на инференс, там приемлемо работают модели с квантизацией Q4, т. к. NPU модули хорошо обрабатывают float4. В паре два спарка работают хорошо, когда на одном веса, на другом Kv-cashe. На реддите есть обзоры где запускают на паре спарков модели по 130Млрд.параметров Q4.
Спарки заточены на обучение моделей до 8 млрд. параметров. Вот тут они очень хороши! Когда быстро надо проверить гипотезу при обучении, собрать мини модель, обкатать А/В тестами, и потом можно транспонировать на большую модель код.
Или же фантюнинг открытых моделей, когда прикручиваем свой уникальный слой в веса, например QLora.
У меня аналог Asus Ascent GX10. Я использую под обучение своих моделей. К примеру модель на 4млрд. параметров с 10-тью MoE экспертами обучается за 20 часов. Все дело в размере VRAM, на обычной Rtx 5090 с 32 Gb формально возможно обучение, но это заняло бы месяц, а то и два.
Советую отказаться от LoRa, смотреть в сторону MoE и новый метод дообучения предложенный Allen Institute for AI BAR (Branch-Adapt-Route) . https://www.reddit.com/r/LocalLLaMA/comments/1srrgkw/xpost_allen_ai_bar_train_domain_experts_merge/
30к за датасет из 30к пар дороговато. Чатгпт делает датасеты по 150к за 10 мин + сделать скрипт доочистки мусора, дублей и шума.
И строить датасеты только на парах запрос - ответ так себе. Базовая модель не будет поддерживать reasoning, потом начнёт уходить в дрифт.
Это бизнес по-русски!))) Купить A100 в Китае за 340к и продавать в России как сервис за 230к в месяц. Про V100 вообще молчу, на авито таких как грязи за 50К.
сделан на основе https://github.com/salmanmohammadi/nanocode. Там есть все ручными утилитами cli.
генерить синтетические данные, тем более в статье только пример выборки 1300, я думаю у них намного больше.
Стесняюсь спросить, как Вы собрались до обучать базовую модель без изменения весов самой модели? Это технически не возможно.
Все топы и делают каждые 3 месяца выкатывают новые модели, которые обучены на старой + новые датасеты.
Можно хоть 1млн. слоев файн тюнинга прикрутить к базовой модели - результат будет минимальным.
А то что модель забывает - проблема в kv-cashe, любая топовая модель не будет делать лишние вычисления, проще поднять старое по смыслу из кеша. А хозяева модели не будут тратить лишние ресурсы на вычисления.
На практике, уменьшите количество голов kv-head и проблема забвения модели сократиться в N раз.
В будущем думаю все текущие проблемы отпадут с появлением квантовых вычислений, когда нет алгоритма, а есть миллиарды результатов на выходе из кубита.
на 8 H100 можно спокойно обучить свою модель на 5-8 млрд. параметров под свой датасет за короткое время. Тем более у Вас есть возможность собрать такой узкий датасет под Kotlin+обучить base train, например на ruwiki+ mathlab++++. Так у Вас будет не модель всезнайка с квантизацией на примере qwen, а узко специализированная под Вас. Докрутить роутеры + MoE. На инференсе получать телеметрики, в том числе поощрения, и автоматом собирать новый датасет под релиз новой модели.
Дали бы мне на недельку такие мощности, эх развернулся бы)))
уже начали вычислить и банить юзеров пожизненно.
а что это даст? Даже с подменой ты будешь ходить по API key, а цену антропик взвентил до небес. 250$ за 1млн.токенов.