Какую MoE-модель выбрать для локального кодинга на GTX 1080 Ti: перплексия против реальной скорости

[Scank]

закопайте бабушку.
даже 16гб мало для локального ии на данный момент.

[SkalolazOther]

Согласен, для крупной компании с соответствующим бюджетом закупка нового оборудования является оправданным решением. Однако для индивидуальных пользователей, желающих ознакомиться с возможностями искусственного интеллекта без финансовых вложений, запуск подобных моделей представляет собой оптимальный вариант.

[Pand5461]

а) Модели Qwen3.8-35B-A3B не существует. Это, видимо, какой-то из множества файнтюнов, но тогда какой именно? б) Архитектура Pascal, на которой построена серия GTX 10 уже почти год как не поддерживается в свежих драйверах. Есть вполне реальный шанс, что в движках тоже в обозримом будущем её перестанут поддерживать. Поэтому “рабочая лошадка”, если уже есть такая карта - возможно. Но искать на барахолке, чтобы по дешёвке собрать ИИ-стенд, лучше что-то начиная с RTX 20.

[SkalolazOther]

Да, Вы правы, это модель полученная через "дистилляцию пограничных моделей Qwen3.8 в архитектуру Qwen3.6-35B-A3B Mixture-of-Experts " (как написано на ее странице). Скачать можно нажав на ссылку: https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill-GGUF/resolve/main/Qwen3.8-35B-A3B-Q4_K_M.gguf .

[nopecomments]

для интересу поставил lmstudio и поставил все доступные модели для моей RX580/8, да, я знаю что это мало для чего-то серьезного, но у меня масса задач очень простых - типа скриптов или мини утилит для преобразования данных и т.п. Я могу запихать всё и в бесплатный ChatGPT или Grok, но попробовать же хочется. Поставил я Gemma, Bonsai, Deepseek R1 и что-то еще. Скажу одно - это безумно долго, хотя на некоторых задачах показывало и 23 токена в секунду (в основном на тестах и написании документации), но в целом это 3-8 токенов. Можно конечно ставить на ночь, но что неприятно, вы легли спать а llm выводит вопрос, продолжить без которого она не может. То есть утром я получаю задачу которая даже не начиналась. Ну и по качеству кода в большинстве случаев скорее на 3+, после отправляю на проверку Grok'у и он исправляет. Так что как на ютубе есть вариант или RTX 3090 за 120 косарей или V100 за 70-100. Но мой выбор - подписка за $23 или бесплатный с ограничениями, на бесплатной за рабочий день реально написать небольшой проект.

[alex-venediktov]

на моих тестах плотная 27b гораздо (раза в два) лучше кодит чем MoE 35b-A3B... а в остальном (кроме кодинга) MoE конечно хороши

[SkalolazOther]

Тестирование проводилось исключительно для языка программирования Go, и представленные в статье результаты актуальны именно для него. Возможно, для ваших задач эта модель не является оптимальной, однако все данные объективны. Основная цель исследования заключалась в выборе наиболее эффективного решения для моих сценариев использования.