Когда мы говорим об использовании больших языковых моделей (LLM), большинство людей сразу вспоминают облачные сервисы. Но далеко не всегда удобно или возможно работать через интернет: где-то мешают ограничения по приватности, где-то скорость соединения, а иногда просто хочется больше контроля над процессом. Именно для таких задач и существует Ollama — инструмент, который позволяет запускать современные языковые модели локально, буквально в пару действий.
С его помощью можно без лишних сложностей скачать модель, настроить под свои нужды и работать с ней прямо на компьютере, не завися от внешних серверов. Ollama даёт простой интерфейс как через командную строку, так и через API, что делает его удобным как для разработчиков, так и для тех, кто только начинает знакомство с LLM.
Установка Ollama
И всё же как установить Ollama?!
Самый простой способ это перейти на официальный сайт Ollama и нажать кнопку download или сразу перейти на страницу скачивания, после чего мы выбираем свою операционную систему и устанавливаем программу.
После установки Ollama на экране появляется знакомое окно, очень похожее на интерфейс ChatGPT. Уже на этом этапе можно начинать работу: писать запросы, получать ответы и экспериментировать с возможностями модели. Но я всё же рекомендую сначала определиться, с какой именно моделью вы хотите работать. От этого зависит и скорость работы, и качество ответов, и то, насколько комфортно вам будет использовать систему на своём устройстве. Как раз подробнее о выборе модели я расскажу в следующей главе
Выбор модели
Выбор модели — пожалуй, самый важный шаг перед тем, как начать полноценно пользоваться Ollama. Здесь всё зависит от того, какие задачи вы хотите решать и какими ресурсами располагает ваш компьютер.
Возможности видеокарты
И в первую очередь при выборе модели стоит обратить внимание на своё железо, а именно на видеокарту. Главный параметр здесь — это VRAM (Video Random Access Memory). По сути, это та же оперативная память, только предназначенная для хранения данных, с которыми работает графический процессор. И здесь действует простое правило: чем больше, тем лучше.
Когда вы запускаете LLM, сама модель полностью загружается в видеопамять. То есть если вес модели — 7 ГБ, то она займёт ровно столько же VRAM. Никаких «сжатий на лету» или частичной загрузки здесь нет: модель целиком должна уместиться в память видеокарты. Поэтому владельцам карт с 4–6 ГБ VRAM стоит выбирать более компактные варианты, а вот обладатели 16–24 ГБ и выше могут запускать куда более тяжёлые и качественные модели.
Форматы моделей
Когда вы начнете выбирать модель, то сразу заметите разные приписки рядом с моделью, по типу 7B, q4 или fp16. На самом деле в них кроется вся суть: именно от этих параметров зависит, сможет ли модель запуститься на вашем компьютере и каким будет качество её ответов.
Начнём с буквы B. Когда пишут 7B, 13B или 70B, речь идёт о количестве параметров модели — миллиардов чисел, из которых она состоит. Чем больше параметров, тем теоретически «умнее» модель, тем лучше она понимает контекст и выдаёт развернутые ответы. Но вместе с этим растут и требования к железу: 70B в полном формате могут потянуть только самые мощные видеокарты.
Теперь о приставке q. Это сокращение от quantization — квантование. Квантованные модели (например, q4 или q8) занимают меньше видеопамяти и запускаются быстрее. Всё потому, что веса модели хранятся не в привычных 16 или 32 битах, а в более компактном виде — 4 или 8 бит. За это приходится платить небольшой потерей точности: иногда такие модели чуть хуже справляются с логикой или генерацией кода. Но в большинстве бытовых сценариев разница почти незаметна, а выигрыш в производительности огромный.
Отдельно стоит сказать про форматы FP32, FP16, BF16 и INT8. Здесь речь идёт о том, в каком виде модель хранит свои веса.
FP32 — это «золотой стандарт» точности, но и самый тяжёлый вариант.
FP16 и BF16 — упрощённые форматы с половинной точностью. Они значительно экономят память и ускоряют работу, при этом почти не теряя качества.
INT8 и другие целочисленные варианты — ещё более лёгкие и быстрые, но здесь компромисс между скоростью и точностью становится заметнее.
В итоге получается своего рода конструктор. С одной стороны — количество параметров (7B, 13B, 70B), с другой — формат хранения (fp16, fp32, int8) и квантование (q4, q8). Выбирая комбинацию этих параметров, мы балансируем между качеством ответов и тем, сколько ресурсов готов потратить наш компьютер.
Виды моделей
На самом деле видов моделей достаточно много, и каждая модель заточена под свои задачи. Если обобщить, то модели можно поделить на основные 2 группы: универсальные и специализированные модели.
Универсальные модели
Это самые общие нейросети. Они предназначены для работы с текстом: поддержка диалога, ответы на вопросы, написание статей, генерация идей. Примеры таких моделей — LLaMA, Mistral. Они хорошо подходят для большинства повседневных задач, где нужен текстовый интеллект.
Специализированные модели
Существуют модели, заточенные под конкретные сценарии, например:
CodeLlama — ориентирована на программирование и работу с кодом. Она лучше справляется с автодополнением, объяснением алгоритмов и исправлением ошибок.
Gemma — диалоговая модель, приближённая к стилю ChatGPT, отлично подходит для чат-ботов и интерактивного общения.
LLaVA — мультимодальная модель, которая умеет работать с изображениями, описывать картинки и комбинировать текст и визуальные данные.
Turbo, Embedding, Vision, Tools, Thinking
Ollama также использует специальные, так называемые метки, обозначающие особенности модели:
Turbo — оптимизированная версия модели, работающая быстрее и с меньшей задержкой. Идеальна, если важна скорость ответа.
Embedding — модели, создающие векторные представления текста. Используются для поиска, рекомендаций и анализа, а не для генерации текста.
Vision — мультимодальные модели, способные работать с изображениями: распознавать объекты, описывать сцены, комбинировать визуальные и текстовые данные.
Tools — модели, умеющие взаимодействовать с внешними инструментами: API, базы данных, скрипты. Подходят для автоматизации сложных задач.
Thinking — модели с акцентом на рассуждения и логику. Хорошо справляются с математикой, стратегическим планированием, сложными цепочками рассуждений.
Каждый вид модели отражает её сильные стороны и ограничивает слабые. Поэтому перед выбором важно определить, что вам нужно: генерация текста, код, анализ данных или работа с изображениями.
Личные советы
Когда речь заходит о выборе модели для Ollama, я всегда советую в первую очередь смотреть на VRAM вашей видеокарты. Именно от объёма видеопамяти зависит, какие модели вы сможете запускать комфортно, а какие — только в урезанном или квантованном виде.
Для слабых видеокарт с VRAM 4–6 ГБ рекомендую выбирать компактные квантованные модели. Неплохой вариант — 7B q4. Она занимает мало памяти, работает быстро и позволяет спокойно экспериментировать с текстом и диалогами без подвисаний.
Если у вас средние видеокарты с VRAM 8–12 ГБ, можно смело переходить на 7B q8 или 13B q4. Это уже более «умные» модели, которые дают более точные и развернутые ответы, при этом не требуют супермощного железа.
Для мощных видеокарт с VRAM 16–32 ГБ открывается полный простор. Здесь уже можно использовать 13B fp16, а при желании и более крупные модели вроде 30B q4/q8. Такие модели отлично подходят для сложных задач: генерации кода, анализа больших текстов или работы с мультимодальными данными.
Главное, что хочу подчеркнуть: не гонитесь за самым большим числом параметров, если VRAM ограничена. Лучше взять меньшую модель в подходящем формате (q4/q8), чем пытаться запустить 30B fp16 на карте с 8 ГБ — это просто не сработает.
Соблюдая это правило, вы сможете максимально эффективно использовать Ollama: модели будут работать плавно, а качество ответов останется достойным.
Настройка и конфигурация
Немало важным фактором при использовании Ollama является её правильная настройка
Первое, на что стоит обратить внимание — это место, куда скачиваются модели. Они весят немало: даже компактные варианты вроде 7B q4 занимают несколько гигабайт, а если вы захотите поэкспериментировать с 13B или 30B, свободное пространство будет улетать очень быстро. Поэтому если у вас есть второй диск, особенно большой HDD или SSD, лучше сразу настроить Ollama так, чтобы все модели сохранялись именно туда. Это не повлияет на скорость работы, зато ваш системный диск останется свободным.
Второй важный момент — длина контекста. Под этим термином скрывается количество токенов, которое модель способна учитывать за один запрос. Говоря проще, это размер памяти, в рамках которой модель понимает, о чём идёт разговор. Чем больше контекст — тем лучше она помнит предыдущие реплики, большие документы или длинный код. Но у этого есть обратная сторона: увеличение длины контекста требует больше ресурсов и замедляет генерацию.
По умолчанию у большинства моделей длина контекста ограничена (например, 2K или 4K токенов), но в Ollama можно запускать модели с расширенным контекстом — 8K, 16K и даже больше. Тут снова всё упирается в вашу видеокарту: чем больше контекст, тем больше VRAM потребуется.
Поэтому настройка Ollama сводится к двум простым правилам: храните модели на отдельном диске и выбирайте разумную длину контекста под свои задачи и ресурсы. Так вы получите максимум пользы от локального LLM, не перегружая компьютер лишними задачами.
Работа через CLI
С этого момента в статье начинается информация для более продвинутых пользователей.
Работать с Ollama можно не только через клиентское приложение с удобным интерфейсом, но и через командную строку. Такой способ особенно удобен для разработчиков и тех, кто привык управлять инструментами через терминал. К тому же, CLI позволяет быстро проверить работу модели без лишних окон и переключений.
Чтобы узнать список всех доступных команд, достаточно написать ollama в командую строку, и перед вами появится список всех доступных команд с описанием. И сейчас мы рассмотрим их.
Список команд:
ollama serve— запускает Ollama как сервис. Эта команда нужна, если вы хотите работать через API или использовать Ollama в связке с другими приложениями.ollama create <name>— создаёт новую модель на основе существующей. Например, можно добавить свои инструкции или дообучить под конкретную задачу.ollama show <model>— показывает подробную информацию о модели: её размер, параметры и настройки.ollama run <model>— запускает модель в интерактивном режиме. Самая популярная команда: после её вызова можно сразу общаться с LLM прямо в терминале.ollama stop <model>— останавливает запущенную модель, освобождая ресурсы.ollama pull <model>— скачивает модель из репозитория. Обычно это первый шаг перед запуском: без загрузки модель не запустится.ollama push <model>— отправляет модель в репозиторий. Полезно, если вы сделали свою сборку и хотите поделиться ей или использовать на другом устройстве.ollama list— показывает все модели, которые установлены на вашем компьютере.ollama ps— выводит список запущенных моделей. Удобно, чтобы посмотреть, что сейчас работает.ollama cp <source> <destination>— копирует модель из одного места в другое, например для резервного хранения или переноса.ollama rm <model>— удаляет модель, освобождая место на диске. Особенно актуально, учитывая, что модели могут весить десятки гигабайт.ollama help— выводит справку по всем командам. Хорошая подсказка, если вдруг забыли синтаксис или название.На практике чаще всего используются
run,pull,listиstop. Остальные команды полезны тогда, когда вы работаете с кастомными моделями, настраиваете сервер или управляете библиотекой нейросетей на своём диске.
Работа через API
Если командной строки вам мало и хочется встроить Ollama в свои проекты, то здесь на помощь приходит API. По сути, Ollama можно запустить как сервер и обращаться к нему через HTTP-запросы. Это открывает простор для интеграций: от чат-ботов и ассистентов до анализа текстов прямо внутри ваших приложений.
Запускается сервер очень просто — достаточно выполнить команду:
ollama serveПосле этого Ollama начинает слушать локальный порт (по умолчанию http://localhost:11434), и к нему можно отправлять запросы.
Например, чтобы сгенерировать текст с помощью модели Mistral, достаточно сделать POST-запрос к /api/generate:
POST http://localhost:11434/api/generate
{
"model": "mistral",
"prompt": "Напиши короткий рассказ о космосе"
}
В ответ Ollama вернёт текст, сгенерированный выбранной моделью. Самое крутое, что такой подход универсален: вы можете использовать любой язык программирования, будь то Python, JavaScript или C#, потому что общение идёт через обычный HTTP запрос.
Базовые возможности API позволяют:
запускать и останавливать модели;
генерировать текст;
управлять моделями (загрузка, удаление и т.п.).
Именно API делает Ollama по-настоящему гибким инструментом. Через него можно не только разговаривать с моделью в консоли, но и создавать полноценные приложения, подключать базы данных или даже строить собственные AI-сервисы.
Мы с вами прошли весь путь — от установки Ollama до работы через CLI и API. Разобрались, какие бывают модели, чем они отличаются по формату и объёму, на что стоит смотреть при выборе и как правильно настроить систему, чтобы она работала максимально эффективно
Подводя итоги, Ollama — это отличный инструмент для тех, кто хочет по-настоящему почувствовать, как работает LLM. Вы сами управляете выбором модели, её конфигурацией и способами интеграции. И главное — у вас есть свобода экспериментировать и строить свои проекты на базе локального искусственного интеллекта.
На этом мы завершаем наше знакомство, но не останавливаемся на достигнутом: мир LLM развивается невероятно быстро, появляются новые модели, форматы и подходы. Поэтому главное — продолжать учиться и пробовать.
Если вам интересны свежие новости из мира технологий и IT, а также практические советы, приглашаю вас в мой Telegram-канал. Там я делюсь актуальными новостями из мира IT и полезными материалами, которые помогут вам всегда оставаться в курсе всех новых событий