Как я несколько часов гуглил, чтобы потом за 15 минут запустить локальный DeepSeek для Python и SQL

[Legantmar]

Для начала неплохо.
Для остальных, кто дочитает данный пост до конца и захочет посмотреть комментарии:
1) Для работы с локальными моделями обязательно наличие хорошей видеокарты и видеопамяти (я например использую RTX 3060 12 Гб)
2) Из оптимальных локальных моделей рекомендую посмотреть в сторону:
gemma-4-12
gemma-4-e4b
Qwen3.6-35B-A3B
все модели с расширением GGUF
3) Для удобства работы лучше устанавливать LM Studio и подключать MCP сервера работа с RAG, filesystem и поиском в интернете
Примечание: все бесплатные локальные модели значительно уступают самым дешевым платным, поэтому рано или поздно рекомендую подключать какого нить провайдера с несколькими LLM моделями через API и использовать аккуратно и с умом.
p.s. сейчас многие начали использовать Deepseek Harness (тут уже гуглить нужно)

[crawlingroof]

35b это какой из файлов заработал?
https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF/tree/main
у меня на 5060 Ti 16Gb нормально только Qwen3.5-9B-Q5_K_S.gguf шустро роботает, Qwen3.5-27B-Q5_K_M.gguf, вообще ни о чём. Я правда в llamafile запускал.

[Legantmar]

я выбрал Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ3_M (но не настаиваю)
про шустро работает - это наверно gemma-4-e4b (но смотря для каких задач)
у меня видеокарта слабее чем у вас.

[roman_cheb]

Спасибо! Именно такой и была задумка: не пытаться за одну статью объять весь локальный AI, а показать самый первый шаг человеку, который до этого вообще не запускал локальные модели. А дальше комментарии уже отлично дополняют, куда копать ))

[Zailox]

Ещё один юзер ollama, скачавший "deepseek-r1" (Qwen distill)

Можно было уже qwen3.5 4/9b MTP скачать и не париться. Ollama доверять нельзя.

[roman_cheb]

Да, тут есть важный момент: я в статье специально не пытался выяснять, какая модель сегодня самая актуальная. Полгода назад я просто взял DeepSeek R1 8B как первую модель, которую решил попробовать, и задача была скорее "запустить локальный AI на своем ноутбуке", чем собрать оптимальный локальный стек.

А вот про то, что именно лежит под конкретным тегом в Ollama и насколько этому стоит доверять, уже интересная тема для отдельного разбора.

[svcomplex]

"Ollama доверять нельзя" -- почему?

[alex-khv]

Достаточно просто скачать lm studio/bionic. Потом в самой программе скачать модель и пользоваться

[roman_cheb]

Да, LM Studio тоже можно использовать. Я в итоге пошел через Ollama, потому что мне хотелось разобраться именно с этим вариантом и заодно понять, что происходит под капотом хотя бы на базовом уровне. Но для человека, который просто хочет скачать модель и начать с ней общаться, GUI действительно также удобно.

[npoTuBoTaHk]

llama.cpp + pi harness + qwen 3.8 4km + 4060ti 16gb vram + 3060 12gb vram... + 256k context.

[roman_cheb]

Осталось найти деньги на хороший пк =)

[grebenyukov]

Просто попросите вашу локальную модель рассказать любое стихотворение Пушкина. Узнаете много нового, в т.ч., про самого Пушкина. Особенно в открытии неизведанного ранее творчества поэта мне понравился DeepSeek.

[roman_cheb]

Кажется, Пушкин оказался слишком сложным для DeepSeek )) .... Попросил привести стихотворение, а в ответ получил совершенно новое произведение, которого Пушкин явно не писал.