А вы не знаете, ik_llama.cpp так же поддерживает xpu (intel), как и llama.cpp? При загрузке слоев вы указываете CUDA0, CUDA1, а для XPU тоже есть аналогичный выбор устройства в ik_llama.cpp?
Да вот как раз, чтобы скорость не падала и поднимают несколько экземпляров. Две модели и каждой выделить узел Numa + свою GPU норм, если достаточно RAM..
А насколько GPU Загружена была при 4х параллельных запросах?
Подскажите, а вы не встречали, можно ли с MoE моделькой провернуть следующее: Есть RAM для одного экземпляра модели, 2x GPU (с объемом VRAM одного GPU достаточном для загрузки слоёв активного эксперта). В RAM загрузить один экземпляр модели, а в VRAM одного GPU загрузить слои активного эксперта, а в VRAM второй GPU - ещё один экземпляр эксперта активного эксперта.. И отдельными процессами запускать инференс, параллельно через роутинг.
В плане, я видел как в RAM 2х экземпляра грузят модели, и двумя процессами отдельно инференсят используя роутинг. Например, есть 1024 GB RAM и 2 GPU, и параллельно запускают два отдельных Qwen3-235B-A22B + Qwen3-235B-A22B. Но, если RAM мало, то может есть хаки с тем, чтобы оставить один экзепляр всей модели в RAM. На ум приходит аналогия с совместным использованием библиотек процессами (одна либа в памяти, и разные процессы ее юзают).
За исправления — спасибо! В некоторых местах из-зи ошибок долгое время не приходило понимание материала. Бывало и так, что прочитав главу или последующую — возвращался и понимал где находится опечатка.
У Лафоре я ~300 страниц изучал 1.5 месяца. И то потому, что там была вводная часть)
А после появилась трудность с выделением времени и места для погружения и процесс замедлился.
❥Китайский Deepin, китайский сяоми эйр и набор плюшек из коробки в виде авто дня/ночи, масштабирования, интуитивных жестов, и многих других важных мелочей, делают жизнь приятней)
На большом (17") ноутбуке стоит ubuntu — небо и земля. Deepin замечательный дистрибутив. Рад что в декабре случайно напоролся на него.
Потрясающий интерфейс, отсутствие «отдельных» настроек. Предустановленный, входящий в дистрибутив софт — самое то для начала.
И, действительно, как подметили ранее — отсутствие ошибок и падений. То, что очень раздражает в ubuntu из коробки.
Вся эта простота сперва кажется непривычной, но за пару часов входишь во вкус и понимаешь, что именно так и выглядит «удобно».
Тот самый случай «заводского» Китая, спасибо людям, которые приняли участие в работе над Deepin.
Почему-то ни в Mac OS, ни в Windows не сумели объединить все эти удобства в один интерфейс.
Сказать, что все это позаимствовано у других? Да, так и есть. Так и должны были крупные производители софта поступить уже давно, но ведь не сделали удобно.
ps. в Mac Os не был с 2015го, поэтому могу заблуждаться.
Добрый день.
Пожалуйста, добавьте модельку 10b Openvino 🙏
Там если что в Дискорд можно добавиться (openarc). Вместе плачем о поддержке moe моделек на openvino )
Недавно как раз баг зарепортили при конвертации gpt-oss (nncf) и по идее его сейчас правят.
В дополнение к OVMS ещё можно рассмотреть проект OpenArc
https://github.com/SearchSavior/OpenArc
А вы не знаете, ik_llama.cpp так же поддерживает xpu (intel), как и llama.cpp? При загрузке слоев вы указываете CUDA0, CUDA1, а для XPU тоже есть аналогичный выбор устройства в ik_llama.cpp?
Да вот как раз, чтобы скорость не падала и поднимают несколько экземпляров.
Две модели и каждой выделить узел Numa + свою GPU норм, если достаточно RAM..
А насколько GPU Загружена была при 4х параллельных запросах?
Добрый день
Подскажите, а вы не встречали, можно ли с MoE моделькой провернуть следующее:
Есть RAM для одного экземпляра модели, 2x GPU (с объемом VRAM одного GPU достаточном для загрузки слоёв активного эксперта).
В RAM загрузить один экземпляр модели, а в VRAM одного GPU загрузить слои активного эксперта, а в VRAM второй GPU - ещё один экземпляр эксперта активного эксперта.. И отдельными процессами запускать инференс, параллельно через роутинг.
В плане, я видел как в RAM 2х экземпляра грузят модели, и двумя процессами отдельно инференсят используя роутинг. Например, есть 1024 GB RAM и 2 GPU, и параллельно запускают два отдельных Qwen3-235B-A22B + Qwen3-235B-A22B.
Но, если RAM мало, то может есть хаки с тем, чтобы оставить один экзепляр всей модели в RAM.
На ум приходит аналогия с совместным использованием библиотек процессами (одна либа в памяти, и разные процессы ее юзают).
Подскажите, пожалуйста, а какие " юридические документы" участвовали в дообучении?
А после появилась трудность с выделением времени и места для погружения и процесс замедлился.
А так… это на пол года, ну плюс/минус месяц)
На большом (17") ноутбуке стоит ubuntu — небо и земля. Deepin замечательный дистрибутив. Рад что в декабре случайно напоролся на него.
Потрясающий интерфейс, отсутствие «отдельных» настроек. Предустановленный, входящий в дистрибутив софт — самое то для начала.
И, действительно, как подметили ранее — отсутствие ошибок и падений. То, что очень раздражает в ubuntu из коробки.
Вся эта простота сперва кажется непривычной, но за пару часов входишь во вкус и понимаешь, что именно так и выглядит «удобно».
Тот самый случай «заводского» Китая, спасибо людям, которые приняли участие в работе над Deepin.
Почему-то ни в Mac OS, ни в Windows не сумели объединить все эти удобства в один интерфейс.
Сказать, что все это позаимствовано у других? Да, так и есть. Так и должны были крупные производители софта поступить уже давно, но ведь не сделали удобно.
ps. в Mac Os не был с 2015го, поэтому могу заблуждаться.
Условие 1: Python хорошо известен
Условия 2: ни R ни Python не известны
Буду благодарен, если еще и объясните почему лучше выбрать R вместо Python.