👋 Привет, Хабр!

Сегодня хочу поделиться своим опытом работы с локальными LLM (Large Language Models). Это что-то вроде GitHub Copilot, только без подписки, оффлайн и с контролем над своими данными.

Зачем вообще связываться с локальными LLM?

У многих часто одни и те же страхи будь это локальная или облачная модель:

  • «Это слишком сложно».

  • «Оно съест всю оперативку».

  • «А вдруг мой код утечёт в облако».

  • «Да оно будет писать чушь».

На деле, уже сегодня можно запустить модель в 7B параметров на обычном MacBook или ноутбуке с 16 GB RAM.

И получить вполне рабочего помощника для кода, тестов и рефакторинга.

Облачные vs локальные модели

☁️ Облачные (Copilot, ChatGPT)

💻 Локальные (Ollama, LM Studio)

Простота

работает сразу

надо один раз настроить

Конфиденциальность

код уходит в облако

всё остаётся у тебя

Стоимость

подписка (10–20$/мес)

бесплатно

Мощность

GPT-5, Claude 4, Gemini

Qwen, DeepSeek, Mistral

Оффлайн

❌

✅

Как читать названия моделей

Пример:

qwen2.5-coder:7b-instruct-q4_K_S

  • qwen2.5 — семейство моделей (Alibaba).

  • coder — обучена на коде.

  • 7b — размер (7 миллиардов параметров).

  • instruct — дообучена под инструкции.

  • q4_K_S — квантовка (сжатие до ~4 bit, влезает даже на слабый ноут).

Какие модели выбрать под ноутбук

  • 16 GB RAM, без дискретки → Gemma 3:4B, Mistral 7B (q4).

  • 16–32 GB RAM, GPU 6–8 GB → Qwen2.5-coder:7B, DeepSeek R1:8B.

  • 32–64 GB RAM, GPU ≥12 GB → Qwen2.5 14B, Mistral Medium.

  • MacBook Pro M3/M4 → можно запускать до 70B моделей.

Главное — брать quant-версии (Q4/Q5), они оптимизированы для домашних машин.

Установка Ollama

Самый простой способ запустить LLM локально:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5-coder:7b-instruct-q4_K_S
ollama run qwen2.5-coder:7b-instruct-q4_K_S

После этого модель доступна на http://localhost:11434 через API.

Подключение к IntelliJ IDEA через Continue

Теперь сделаем из модели «копилота». Плагин Continue поддерживает JetBrains IDE и Ollama.

  1. Установи плагин Continue в IntelliJ IDEA.

  2. Настрой плагин: укажи локальную модель из Ollama.

  3. Теперь можно:

    • получать inline-подсказки;

    • объяснять выделенный код;

    • рефакторить классы;

    • генерировать тесты.

Пример: рефакторинг с Continue

Исходный код (с ошибкой):

public int factorial(int n) {
    if (n == 0) return 0;
    else return n * factorial(n - 1);
}

Запрос:

Исправь ошибку в функции factorial

Результат:

public int factorial(int n) {
    if (n == 0 || n == 1) return 1;
    else return n * factorial(n - 1);
}

Всё, ошибка исправлена.

Клятва вайб-кодера

Я клянусь не бояться нейросетей, дружить с ними и писать код легко. Да пребудет со мной вайб, а мой ноутбук станет умнее! 🚀

Итоги

  • Локальные LLM можно запустить на обычном ноутбуке.

  • Ollama + Continue = твой личный локальный Copilot.

  • Никаких подписок и утечек кода.

  • Вайб-кодинг = минимум стресса, максимум кайфа от работы.

Расписывать длинные простыни тут не буду - ссылка на реп с подробностями ниже:  GitHub — vibe-coding