В какой-то момент я понял, что хочу иметь свой личный ChatGPT прямо на ноутбуке — локальный, безопасный, работающий без интернета и полностью под моим контролем.

У меня обычная рабочая машина:

  • Ubuntu 24.04.3 LTS (noble)

  • x86_64

  • AMD Radeon Vega (Cezanne)

А значит, классические CUDA-модели мне не подходят — NVIDIA нет, но я всё равно хотел нормальную LLM у себя локально.

Решение — Ollama, движок для запуска локальных LLM-моделей в один клик.
Расскажу, как я его установил, какие модели поставил и как дальше можно обучать её под свои задачи.

🛠 Установка Ollama на Ubuntu 24.04

Установка максимально простая:

1. Скачиваем и запускаем установщик

curl -fsSL https://ollama.com/install.sh | sh

Ollama автоматически поставит:

  • бинарный движок,

  • серверную часть,

  • менеджер моделей.

После установки сервис сам стартует:

systemctl status ollama

🧪 Проверка системы

Посмотрим базовую информацию:

lsb_release -a
Distributor ID: Ubuntu
Description:    Ubuntu 24.04.3 LTS
Release:        24.04
Codename:       noble

Процессор:

uname -m
x86_64

Видеокарта:

lspci | grep VGA
04:00.0 VGA compatible controller: AMD/ATI Cezanne [Radeon Vega]

❗ Это важно: Ollama умеет работать с AMD GPU только через ROCm, но Vega официально не поддержана.
Значит — модель будет работать на CPU, без ускорения GPU.

Не проблема — современные модели на 3B–7B спокойно работают на CPU, если память позволяет.

🧩 Какую модель я поставил

Я начал с небольшой, но умной модели:

ollama pull mistral:7b

Почему именно она:

  • 7B параметров — хорошо работает на CPU,

  • низкие требования к RAM,

  • отлично пишет код (Python/JS),

  • хорошо но не “перегружено” отвечает,

  • быстрые ответы даже без GPU.

Также попробовал:

🔹 Phi-3 Mini (3.8B)

ollama pull phi3

Идеальна для ноутбуков. Очень низкое потребление, быстрые ответы.

🔹 Llama 3.1 8B

ollama pull llama3.1

Чуть тяжелее, но значительно умнее. Для аналитики и разработки — отлич��ый выбор.

🚀 Как запускать модель

ollama run mistral

Пример диалога:

>>> Напиши пример FastAPI сервиса

Ollama запускает модель локально, изолированно, без отправки данных наружу.

🧠 Можно ли обучить модель под свои задачи?

Да! Ollama поддерживает дообучение (fine-tuning) и добавление собственного контекста (modelfile).

Есть 2 варианта:
1️⃣ Полноценное дообучение (сложный путь)
2️⃣ Обогащение модели своим знанием через Modelfile (быстрый путь)

📘 Вариант 1: Быстрое обучение через Modelfile

Ты создаёшь файл:

Modelfile

FROM mistral:7b
SYSTEM """
Ты — эксперт по Python, FastAPI, Django и тестированию.
Отвечай кратко, чётко и всегда приводи примеры кода.
"""

И запускаешь:

ollama create my-python-helper -f Modelfile

Теперь можно запускать:

ollama run my-python-helper

Это уже «твоя личная LLM», настроенная под твой стиль задач.

🧬 Вариант 2: Настоящий Fine-Tuning (дообучение)

Ollama официально поддерживает fine-tuning для:

  • Llama 3

  • Mistral

  • Phi-3

Процесс (упрощённо):

  1. Подготовить датасет в формате:

{"prompt": "Вопрос", "response": "Ответ"}
{"prompt": "Что такое asyncio?", "response": "..." }

2. Запустить fine-tuning:

ollama create mymodel -f Modelfile --train data.jsonl

3. Дождаться, пока обучится.

4. Запуск:

ollama run mymodel

Этот метод позволяет обучить модель:

  • документации своего проекта,

  • структуре кода,

  • стилю ответов,

  • собственным API,

  • внутренним правилам команды.

💻 Можно ли обучать на AMD Vega?

Да и нет.

  • Полное GPU-обучение на Vega невозможо → ROCm не поддерживает архитектуру Cezanne.

  • Но CPU-обучение работает.

  • Маленькие датасеты для дообучения — реально.

  • Небольшие модели (3B–4B) — обучатся нормально.

🔒 Почему локальная LLM — это круто

  • работает без интернета,

  • не отправляет код и данные третьим лицам,

  • не стоит ни копейки,

  • можно менять как угодно,

  • можно обучать под свои проекты,

  • приватная среда для всех экспериментов.

Я использую Ollama как локальный «рабочий ИИ», который знает мои проекты, умеет анализировать логи, писать тесты и разбирать архитектуру.

🧠 Итог

Я установил себе Ollama на Ubuntu 24.04 и протестировал несколько моделей. Несмотря на AMD GPU, всё работает стабильно на CPU, а небольшие модели дают отличную скорость.

Сейчас я:

  • запускаю модели локально,

  • использую их для разработки,

  • постепенно обучаю их под свои задачи,

  • экспериментирую с персональными AI-инструментами.

Если вы хотите свой ChatGPT на ноутбуке — попробуйте Ollama.
Это реальный шаг в сторону локального, приватного и кастомного ИИ.

🙌 Если статья была полезной

Буду рад лайку и комментарию — это помогает продвигать материалы и показывает, что стоит разобрать в следующих публикациях.