Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 25
По моему опыту, модели Jan также хорошо подходят для локалного использования.
а по системным требованиям для q4, например?
И кому нужен этот древний мусор сейчас, тем более что это не DeepSeek а дистилляция. Ставить надо последние модели: Qwen3.6-27B - лучшая сейчас для локального использования на одной карте с 24Gb VRAM, потом Gemma-4-31B похуже для кодинга, Qwen3.6-35B, Gemma-4-26B, Gemma-4-12B и все.
Выбираете что у вас потянет и ставите.
Qwen3.6-27B уровень в кодинге почти Sonnet4.5 / GPT5.2
Gemma-4-12B у думаю будет посильнее Haiky4.5
Qwen3.6-35B очень неплохой вариант для кодинга оказался. Через cpu-moe можно развернуть на хилой видеокарте (правда время первого токена совсем грустное конечно, я в итоге купил второй gpu). А если достаточно vram начинает летать - у меня сейчас 80 т/с, в то время как 27b не сильно лучше по кодингу, но на моем железе кое как 30 т/с и в более чем в два раза больше время первого токена (0.5 и более 1 с соответственно). Если железо позволяет, то 27b конечно сейчас самое лулучшее.
У deepseek вообще как-то все грустно с tool calls. То есть для чатиков разве что годится
У Qwen3.6-35B -A3B всего 3B активных параметров, он очень неплохая, но не настолько умная как Qwen3.6-27B где все параметры активные.
Как убедится? Простой тест попросить сгенерить 3d анимацию в виде HTML файла
Промпт для ваншот генерации, то есть генерится по промпту, генерилось в UI встроенном в llama.cpp server. Интерфейс там как в LMStudio, но чуть по проще.
Промпт
# Task: Create an Interactive 3D Aquarium Scene
You are an expert frontend and 3D graphics developer.
Your task is to generate a COMPLETE working web page that renders
an interactive 3D aquarium scene which the user can rotate and explore.
---
## Main Goal
Create a **3D scene of an aquarium with animated fish**.
The final result must:
- render in a browser
- be interactive
- allow camera rotation
- contain animated fish swimming inside the aquarium
---
## Technical Requirements
You may use ANY suitable technology, but prefer:
- Three.js (preferred)
- WebGL
- or another browser-native 3D solution
Do NOT use heavy frameworks unless necessary.
The result must be contained in **a single HTML file** with embedded JS and CSS.
---
## Scene Requirements
### Aquarium
- Transparent glass aquarium
- Rectangular or rounded tank
- Visible water volume
- Slight refraction or transparency effect
- Subtle lighting and reflections
### Fish
- Multiple fish (at least 5)
- Fish must:
- swim continuously
- change direction smoothly
- rotate naturally while moving
- stay inside aquarium bounds
- Movement must be procedural (not static animation)
### Environment
- Soft underwater lighting
- Slight blue tint
- Optional bubbles or particles
---
## Interaction
User must be able to:
- rotate camera (mouse drag)
- zoom in/out (scroll wheel)
- orbit around aquarium
Use orbit controls or equivalent.
---
## Animation
- Continuous animation loop
- Smooth FPS
- Fish movement must feel alive (randomized paths)
---
## Code Quality
- Clean readable code
- Comments explaining important parts
- No placeholders
- Fully runnable immediately after copy-paste
---
## Output Format
Return ONLY:
1. Complete HTML file
2. No explanations
3. No markdown commentary
4. No extra text
The result must work immediately when opened in a browser.
Это скриншоты, в реальности это анимация, рыбы плавают, пузырьки двигаются, трава шевелится.
Попробуйте сами сгенерить по промпту в Haiky или Sonnet или еще в чем.
Пробовал подобное, абсолютно с вами согласен, что на сложных задачах 27b может быть сильно адекватнее. Но по опыту решать задачи анализа и программирования на Си и c# и питоне уже получается сопоставимо. То есть до определенного уровня сложности moe модель получается эффективнее из-за значительного прироста скорости.
У меня сейчас, к сожалению, слишком хилое железо для 27b - 5060ti 16 gb и tesla t10 16gb (по сути 2080ti поджатая по потреблению). Вот минуту назад сделанный замер скорости: 1.37 с ttft и 30.4 т/с для 27b, 0.54 с ttft и 81 т/с для 35b. Так что приходится идти на компромисс и сидеть пока, до апгрейда, на 35b, запуская 27b только при острой необходимости.
30 т/с вполне хорошая скорость. Некоторым людям даже 10 т/с хватает для задач программирования.
10 т/с это боль. Как правило такие скорости сопровождаются и высоким ttft. В итоге обойти проект и найти уязвимости - можно два раза кофе попить и три раза покурить.
Не так давно все научились через cpu-moe запускать Qwen3.6-35b. И я вместе с ними. Добился 60 т/с, но ttft порядка 5 (иногда 10!!!) секунд - обход проекта все также боль. Добавил второй gpu - получил небольшой прирост до 81 т/с и НА ПОРЯДОК снизил ttft - 0.53 с. Вот реально стало комфортно пользоваться.
Еще один ну очень интересный момент. Оказывается 35b MOE модель для некоторых задач имеет преимущество (есть предположение, что дополнительно дообучена; я в целом сам удивился, когда узнал):
Terminal-Bench 2.0 Агентное программирование в терминале 41.6% и 51.5%
QwenWebBench Генерация фронтенд-кода (UI/UX) 1068 (Elo) 1397 (Elo)
У Openai есть открытые модели gpt-oss 20b и 120b.
Втрой раз пробую. Выдаёт: Error loading model.
🥲 Failed to load the model
Error loading model.
(Exit code: 18446744072635812000). Unknown error. Try a different model and/or config.
Судя по ошибке, проблема не в DeepSeek как таковом, а в том, что модель не смогла загрузиться в память. Чаще всего причина — нехватка ОЗУ или видеопамяти, поврежденный файл модели либо слишком агрессивные настройки.
Попробуйте:
Скачать другую версию модели (например, 7B или 8B вместо 14B/32B).\
Полностью удалить и заново скачать модель.
Перезапустить LM Studio.
Отключить GPU Offload в настройках модели и попробовать запустить на CPU.
Посмотреть вкладку Logs — там обычно есть более подробная причина ошибки.
Напишите характеристики ПК (ОЗУ, процессор, видеокарта) и какую именно модель DeepSeek пытаетесь запустить — тогда будет проще понять, в чем проблема.
Спасибо за совет, но я не сомневаюсь, что проблема в железе. Я собирал ПК лет пять назад из компонент хоть и хороших, но уже устаревших.
Тип ЦП DualCore AMD Athlon 200GE, 3200 MHz (32 x 100)
Системная плата ASRock A320M-HDV R3.0
память Kingston Fury KF3600C17D4/8GX 2х8 Гб
видеоадаптер NVIDIA GeForce GT 710
размер видеопамяти 2048 Мб
SSD KINGSTON SNVS250G
Но хочется личный DS. Обновить ПК уже вряд ли получится. Надо копить пенсию на новый.;-))
Спасибо!
Главное не сказали в этом очерке для новичков. - Это размер чего и каковы сист. требования? Размер скачиваемого пакета? Выше пишут что это ОЗУ, ещё ниже про VRAM... Сколько надо ОЗУ, VRAM, места, CPU?
Попробуйте MTP модели — multi token predictions, в 2-3 раза быстрее скорость генерации ответа. А для мака есть MTP+MLX = MTPLX :D ищите прям в названиях моделей такую строчку.
На сколько по ощущениям хуже локальный Deepseek от того, что в онлайне? Интересует работа с чатом.
Без GPU с 12GB VRAM - это только посмотреть. Что-то толковое от 7/8b моделей можно ожидать начиная с Q5_K_M. Очень хороши оказались gemma-4-12B-it-Q5_K_M и ibm-granite_granite-4.1-8b-Q6_K_L при контексте 32768. На RTX-3060/12GB они выдают около 30 t/s.
дополнение: и "дружат" c MCP Filesystem
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как установить DeepSeek на ПК, чтобы пользоваться им без интернета