Какие LLM потянет ваше железо?

[sintech]

Не проще ли сделать веб форму в которую вводится модель процессора и видеокарты и объемы памяти, чем устанавливать и запускать непонятный скрипт.
Кстати на HF уже можно ввести спеки своего оборудования, и он будет показывать какие модели запустятся а какие нет на вашем оборудовании.

[Seklikov]

Мысль понятна, спасибо! Можно ссылку на HF? Я в лоб не нашел пока ...

[needsomedata]

hugging face

[WhiteBehemoth]

в профиле у себя указываешь на чем запускаешь, потом в деталях модели смотришь на секцию совместимости. Зелёное - ок, красное - не ок )

(ps: это был ответ @Seklikov , промахнулся с кнопкой "ответить")

[TomskDiver]

Вот еще подобное: https://github.com/AlexsJones/llmfit
UPD. В репе есть сравнение https://github.com/Pavelevich/llm-checker?tab=readme-ov-file#comparison-with-other-tooling-eg-llmfit
Попробовал. И сразу в топку такой инструмент:
│ Coding (Coding):
│ qwen3-coder-next:latest (7B)
│ Score: 89/100 | Pulls: 0
│ Quantization: Q4_K_M
│ Command: ollama pull qwen3-coder-next:latest
Это что за qwen3-coder-next на 7B?

[titulusdesiderio]

Спасибо! Крутой инструмент. Только не обязательно его устанавливать. Можно просто:

npx llm-checker hw-detect

Хабр, работай давай. Код не отображался, пока я эту фразу после него не вставил

[Metotron0]

Вот это требуется, чтобы проделать заявленное? О_о

Запустил. Оно, конечно, работает, но всё моргает из-за перерисовки.

[Moog_Prodigy]

В LMStudio есть встроенный механизм проверки железа, когда заходите во внутренний "магазин" моделей, их можно ранжировать по степени "подходящести", какие-то нормально пойдут, какие-то не очень, а вот эта не запустится, потому что у вас даже озу столько нету, не говоря про врам. При этом скачивать не запрещает.

[Romatio]

Мне предложил Qwen coder, хоть сама llm приличных размеров, благодаря тому, что она moe, на 8 гиг видео шустро бегает и неплохо думает.