Комментарии 13
Какие задачи можно решить с помощью локальной нейросети
расскажите, как у вас построена работа с учетом того, что локальные модели очень медленные
Не знаю, как там на маке, но ответ в течение секунды-двух от местной gpt-oss:20b вполне приемлем. Вот те, которые не MoE — таки тормоза...
UPD: запускается на Nvidia RTX 5000 Ada при помощи ollama.
Мы стараемся использовать локальные модели в первую очередь для принятия решений, классификации, извлечения данных, а не для длинной генерации текста, потому что именно генерация сильнее всего бьет по скорости. Например, для анонимизации текста мы просим модель вернуть только массив сущностей (ФИО, телефоны, адреса) и уже скриптом вычищаем их из текста, вместо полного переписывания.
«Золотую малину» этому автору
Застрял вот на этом пункте:
"Выбрать и загрузить модель GPT-OSS-20B в библиотеке"
При любой попытке поиска пишет: "There was an error fetching results from Hugging Face, please try again in a little bit"
Судя по всему — чуть-чуть блокируют амазона, куда ресолвится hf.co
Стандартные три буквы в помощь...
Но сайт huggingface.co при этом открывается.
В общих настройках LM studio есть опция "Использовать прокси Hugging Face от LM Studio". Попробуйте отключить
Не помогает. Может, модель можно вручную качнуть и положить в какую-то папку?
Как вариант. У меня LM studio сохранила модель в
/Users/user/.lmstudio/models/mlx-community/gpt-oss-20b-MXFP4-Q8
Содержимое из https://huggingface.co/mlx-community/gpt-oss-20b-MXFP4-Q8/tree/main
Приобрел базовый Mac mini с 16гб за 40К и это потрясающее устройство для работы и запуска небольших нейронок.
Также пробовал запускать GPT-OSS-20B через ollama, в одном чате может ответить на 1 запрос, после чего на следующих запросах падает. Модели с меньшим количеством параметров работают лучше.
Статья подменяет понятия. Сравнивать стоимость $200 vs $10000 в месяц некорректно, когда речь идёт о совершенно разных сценариях использования. OpenAI/Claude не для этого нужны компаниям — они берут эти сервисы для production-ready решений, где качество и надёжность критичны.
Любая компания, которая может обойтись GPT-OSS-20B (модель среднего качества с ограничениями), уже давно должна была просто оптимизировать свои запросы и промпты для Claude или GPT-4 mini — получить 10x лучший результат за те же деньги или меньше.
Локальные модели имеют смысл только для специальных случаев: отсутствие интернета, абсолютная приватность данных, очень специфичная fine-tuning. Для стандартных бизнес-задач это всегда компромисс в пользу качества. Статья читается как реклама Mac Mini от человека, который нашёл на неё способ.
Локальные нейросети для бизнеса: как сэкономить время и деньги с Mac Mini и GPT-OSS-20B