Мы стараемся использовать локальные модели в первую очередь для принятия решений, классификации, извлечения данных, а не для длинной генерации текста, потому что именно генерация сильнее всего бьет по скорости. Например, для анонимизации текста мы просим модель вернуть только массив сущностей (ФИО, телефоны, адреса) и уже скриптом вычищаем их из текста, вместо полного переписывания.
Как вариант. У меня LM studio сохранила модель в
/Users/user/.lmstudio/models/mlx-community/gpt-oss-20b-MXFP4-Q8
Содержимое из https://huggingface.co/mlx-community/gpt-oss-20b-MXFP4-Q8/tree/main
Мы стараемся использовать локальные модели в первую очередь для принятия решений, классификации, извлечения данных, а не для длинной генерации текста, потому что именно генерация сильнее всего бьет по скорости. Например, для анонимизации текста мы просим модель вернуть только массив сущностей (ФИО, телефоны, адреса) и уже скриптом вычищаем их из текста, вместо полного переписывания.
В общих настройках LM studio есть опция "Использовать прокси Hugging Face от LM Studio". Попробуйте отключить
На текущий момент сервер доступен только как облачное решение по ссылке. Обсудим с командой