Запускаем Qwen3-VL-30B на 48GB VRAM

а в llama-cpp-python работает?
Я просто пытался запустить через скрипт питона с этой оберткой и постоянно получал ошибку:

llama_model_load: error loading model: error loading model architecture: unknown model architecture: 'qwen3vlmoe'

llama_model_load_from_file_impl: failed to load model

Exception ignored in: <function LlamaModel.__del__ at 0x0000029C1909D3A0>

И не могу понять, то ли сама обертка не поддерживает пока еще новые qwen3vl, то ли я что-то не так делаю

Qwen3-VL теперь работает в llama.cpp

а c llama-cpp-python работает? Я просто пытаюсь gguf веса, выкаченные с HF попробовать воспроизвести через llama-cpp-python и получаю постоянно ошибку

llama_model_load: error loading model: error loading model architecture: unknown model architecture: 'qwen3vlmoe'

llama_model_load_from_file_impl: failed to load model
Exception ignored in: <function LlamaModel.__del__ at 0x0000029C1909D3A0>
?

Как готовить Triton: рецепты вашей собственной Inference-платформы

Антон, здравствуйте!
У меня такой вопрос, а чем triton server лучше, чем тот же vllm, есть ли у вас такая информация?

Ну и в целом, как вы считаете, для системы чата (на подобии веб версии чата гпт, квена, дипсика и др.) что лучше использовать для общения с LLM - vllm, tgi, triton server и почему? В чате также подразумевается агентная структуруа, т.е. не только общение с LLM, но и работа с созданными агентами.

Автоматизация разведочного анализа данных (EDA) с помощью Python

На мой взгляд, лучше всего подойдут курсы от МФТИ. Можно найти лекции на ютубе. Если же говорить прям о курсах в классическом понимании (с решением задачек и т.д.), то на платформе stepic можно найти курс "Основы статистики", а также дополнительно можно пройти курс от Carpov Course по математике для анализа данных.

Автоматизация разведочного анализа данных (EDA) с помощью Python

Если дадите пояснение в виде предложения/вопроса, то постараюсь ответить.

Автоматизация разведочного анализа данных (EDA) с помощью Python

Полностью согласен с вами, что есть и другие решения. В статье я сразу отметил, что не претендую на звание первооткрывателя ни в области проводимых статистических тестов, ни в области универсальности подобного решения. Я не первый и наверняка не последний, кто под свои нужды написал нечто подобное. Свидетельством тому может послужить большое количество библиотек для autoML.

T-Lite и T-Pro – открытые русскоязычные опенсорс-модели на 7 и на 32 млрд параметров

Подскажите, а сколько примерно GPU вам понадобилось для файнтюна моделей?

Как дела у российского геймдева: 7 достойных игр последних лет

Atomic Hart и впрямь крутейшая игра, вышедшая за последнее время от РФ производителей. Не испытывал такого удовольствия от Российских игр со времен Сталкера. Особенно понравилась вариативность концовок

Transfer learning: подробный гайд для начинающих

Весьма подробная статья, спасибо! А в Альфа-банке подобное применяется, если не секрет?