Полгода назад я рассказывал, как запустить локальную LLM и подключить её к IDE. Статья собрала много просмотров и комментариев. Судя по всему, возможность пользоваться ИИ без подписки и интернета интересна довольно широкому кругу лиц.

За это время появились новые модели и инструменты. Маленькие модели постепенно становятся способнее, а запускать их на своём компьютере всё проще. Поэтому решил обновить гайд.

В этот раз возьмём Mellum от JetBrains, запустим её через LM Studio Bionic, подключим к OpenCode, а потом перенесём этого же агента в OpenIDE. Получим локальную модель, которая может работать с файлами проекта прямо в IDE, рядом с Git и DB-клиентами и удобной навигаций по коду.

Статья также доступна в формате видео на YouTube, VK-видео и Rutube:

Зачем вообще нужна локальная модель?

Безусловно облачные агенты прекрасны, пока к ним есть доступ. Но блокировок становится больше, и заранее не угадаешь, в какой момент отвалится Claude, Codex или Cursor. А счета за подписки и токены тем временем растут.

Поэтому компании начинают разворачивать модели у себя. Например, Revolut перевёл около 2000 инженеров на GLM, запущенную на собственных серверах, а Claude Code и Codex оставил для отдельных задач. По словам компании, расходы на AI-кодинг упали примерно на 90%. Для бизнеса это предсказуемо: возможности агента не поменяются без предупреждения, сотрудники не останутся без доступа, а счёт не вырастет внезапно.

Обычному разработчику локальная модель даёт то же самое. Особенно если подписку не оплачивает работодатель. И она работает без интернета: в самолёте, в поезде или когда связь пропала по любой другой причине.

Конечно, пока что маленькие модели справляются с задачами хуже больших. Но думаю, со временем они дорастут до повседневных задач, которые сейчас по силам только моделям с триллионами параметров. Поэтому я время от времени проверяю, что изменилось в этом направлении.

Выбираем модель под своё железо

Для примера буду использовать Mellum2.1 12B A2.5B Thinking от JetBrains. У меня MacBook с M3 Pro.

У Mellum несколько поколений. Первая версия была ориентирована на автодополнение кода. Здесь нам нужна модель, которая умеет следовать инструкциям и работать с инструментами агента. В Mellum2.1 JetBrains отдельно улучшили работу с репозиториями: поиск нужного кода, редактирование файлов и проверку изменений.

В названии модели уже есть несколько полезных подсказок:

  • 12B означает примерно 12 миллиардов параметров

  • A2.5B указывает на MoE-архитектуру: при обработке каждого токена активна только часть модели, около 2,5 миллиарда параметров. Это помогает сократить вычисления, но хранить в памяти всё равно нужно веса всей модели.

  • Thinking означает, что перед финальным ответом модель генерирует рассуждения, на которые тоже уходит время.

Веса доступны под Apache 2.0. Для запуска возьмём официальную GGUF-сборку с квантизацией Q4_K_M. По карточке модели файл занимает около 8,1 ГБ.

Подробно про квантизацию рассказывать не буду, про неё есть отличная статья. Если коротко, квантизация хранит веса модели с меньшей точностью. Файл становится меньше, и модели нужно меньше памяти. Сборка на 4 бита подойдёт для старта. Если памяти хватает, попробуйте 6 или 8 бит и сравните ответы на своих задачах.

Размер файла не равен всей памяти, которая понадобится при запуске. Кроме весов, место занимают контекст, служебные данные, операционная система и остальные приложения. На Mac с Apple Silicon процессор и графика используют общую память. Поэтому открытая IDE и браузер тоже участвуют в борьбе за эти гигабайты.

Если у вас другой компьютер, посмотрите canirun.ai. Сервис помогает подобрать модели под железо и оценивает скорость. Это ориентир перед скачиванием, реальные результаты всё равно лучше проверить самому. Информация о сборках и требованиях есть и в карточках моделей на Hugging Face.

Принципиальной привязки к Mellum нет. Можно взять подходящую по размеру модель из семейств Qwen или Gemma. Если памяти больше, есть смысл посмотреть и на Muse Glimmer от Meta. Дальнейшая схема подключения остаётся той же. Для агентной работы проверяйте поддержку вызова инструментов: одного умения написать код в чате недостаточно.

Запускаем модель через LM Studio Bionic

Инструментов для локального запуска много: Ollama, llama.cpp, vLLM и другие. В прошлой статье я показывал LM Studio. В этот раз воспользуемся Bionic, новым отдельным приложением от той же команды.

Bionic умеет скачивать и запускать локальные модели, а ещё даёт им инструменты для работы с файлами и кодом. Конечно, для работы полноценной работы (не только вайбкодинга), этого харнеса вряд ли хватит. Но чуть позже разберем как можно использовать его для подключения в IDE.

Скачиваем приложение с официального сайта. Дальше открываем Settings → Local Models → Explore, ищем модель и выбираем сборку. В приложении есть фильтры форматов и подсказки по совместимости с устройством. Порядок скачивания описан и в документации.

Здесь обычно встречаются два варианта. GGUF используют llama.cpp и приложения на его основе, в том числе на Windows, Linux и macOS. MLX относится к стеку для Apple Silicon: такие сборки тоже поддерживаются инструментами LM Studio. Для нашего примера берём GGUF, на него есть прямая ссылка выше.

После скачивания или импорта модель должна появиться в Settings → Local Models → Library. Создаём проект и новую сессию, выбираем Mellum в списке локальных моделей и отправляем простой запрос. Например: «Объясни, что делает этот метод» с небольшим фрагментом кода.

Для текста, объяснения кода или работы с документами можно остаться здесь. Bionic умеет и агентный кодинг: при создании проекта включаем Allow coding и выбираем папку с репозиторием. Тогда он получает возможность читать и менять файлы, работать с Git и запускать команды. Подробнее про этот режим.

Но если вы уже пользуетесь другим агентом и хотите сохранить его настройки, можно подключить ту же модель к нему. Давайте сделаем это на примере OpenCode.

Подключаем Mellum к OpenCode

OpenCode поддерживает разные облачные провайдеры и локальные модели. В одном агенте можно менять модель под задачу, сохраняя привычный способ работы с проектом.

Сразу после запуска OpenCode модели, настроенные в Bionic должны отобразиться в списке доступных. Если этого не произошло, то можно вручную включить локальный сервер в Bionic: Settings → Local Model API → Local API server. Копируем адрес из настроек. По умолчанию OpenAI-совместимый API доступен по адресу:

http://127.0.0.1:1234/v1

Это локальный API Bionic, через который внешние инструменты отправляют запросы модели. У классической LM Studio аналогичный сервер включается во вкладке Developer.

Если OpenCode ещё не установлен, на macOS его можно поставить через Homebrew:

brew install anomalyco/tap/opencode

Для остальных систем есть другие способы установки. После установки открываем терминал в папке проекта и запускаем:

opencode

Теперь OpenCode может читать проект, предлагать изменения и запускать команды, а запросы к выбранной локальной модели обрабатываются на вашем компьютере. Начать можно с просьбы найти конкретный метод и объяснить его работу.

В общем, стек мы уже заметно прокачали. LM Studio Bionic — универсальный вариант: у него есть агентский режим и неплохой харнесс. OpenCode уже заточен под разработку. До полноценной среды он всё ещё не дотягивает: нет инструментов для работы с базой данных и удобного DB-клиента, просматривать файлы неудобно, а диффы местами отображаются неплохо, но не идеально. Тем не менее это уже вполне рабочий вариант.

Давайте закончим настройку наших локальных агентов и подключим получившуюся связку прямо в OpenIDE.

Переносим агента в OpenIDE

С большей частью задач агенты сейчас справляются отлично. Но работать с кодом руками всё ещё приходится. Реже, чем раньше, но приходится.

Поэтому дальше воспользуемся OpenIDE – мультиязычной IDE с интегрированной поддержкой AI-агентов (Claude, Codex, Cursor, Opencode, и т.д.). В ней есть инструменты для работы с кодом, отладкой, Git, базами данных и Docker.

После установки надо выбрать того агента, которым сейчас пользуетесь. Можно несколько. В нашем случае это OpenCode:

В этой схеме мы работаем с тем же агентом, которого настроили раньше. Правила проекта, MCP-серверы и другие инструменты OpenCode остаются доступны и в IDE. Собирать отдельного агента специально для IDE не нужно.

Так же можно подключать другие поддерживаемые агенты, в том числе Claude Code или Codex, и пользоваться доступом к моделям через них. Переключаться между ними в рамках одного чата, тегать именованных агентов и т.д., но сейчас нам достаточно одной локальной Mellum.

Насколько этим можно пользоваться?

На моём M3 Pro я бы оценил такую работу примерно на 5 из 10. Хотелось бы быстрее, особенно когда агенту нужно несколько раз обратиться к модели, чтобы прочитать файлы, внести изменение и проверить его. В целом, если у вас более мощное железо, то результат будет сильно лучше.

Для повседневной работы с большими задачами я пока переехать на локальные модели не смогу.

В следующей статье планирую разобрать бесплатные облачные варианты: что сейчас доступно, какие там лимиты и как подключить эти инструменты к IDE. За полгода в этой части тоже многое поменялось.

Если используете локальные модели для разработки, расскажите в комментариях, на каком железе, с каким агентом и для каких задач.