Comments 5
curl -fsSL https://ollama.com/install.sh | sh
Подобным образом не стоит ничего устанавливать, если только это не какая-нибудь тестовая временная виртуалка. Если у человека это войдёт в привычку, рано или поздно, он запорет себе всю систему, т.к. такой способ подразумевает установку хрен пойми чего, реально кота в мешке. Даже для Ollama не стоит делать исключение.
Вот вариант куда безопаснее и надежнее.
$ docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# Либо так, если хотим с GPU ускорением
$ docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# А теперь установим и запустим LLM-ку в контейнере
$ docker exec -it ollama bash
$ ollama pull qwen2.5-coder:7b-instruct-q4_K_S
$ ollama run qwen2.5-coder:7b-instruct-q4_K_S # эта команда, кстати, не обазательна, Ollama сама запустит модель по API-хе
в результате мы не запарываем себе всю систему, а запускаем сервис в изолированной Докер-песочнице.
Docker разумеется должен быть установлен, но у кого его сейчас нет, это стандарт. Podman тоже подойдёт на худой конец.
ЗЫ: На DockerHub страничке Ollama приведены ещё команды и советы. В идеале стоит через Docker Compose запускать, чтобы не набирать каждый раз команду.
что же там такое можно нарефакторить с моделью на 7 миллиардом параметров...
Эти модели, тем более квантированные, ничего осмысленного накодить не помогут. Минимум 72b и контекстом от 32k. Только вот таким моделям нужно 128+ RAM и могучую 4090/5090 для выгрузки части слоёв и контекста.
Что ж возможно какая то магия, но вполне могут :)
Довольно многое зависит от самой модели и начальной системной роли, а также описании задачи и конечно же человека с опытом работы с кодом.
Ну не знаю, насчёт 5090, но у меня 2 системы на 5060ti и Ryzen 5 ноутбучный с графикой выделенной из DDR5 на 16 Гб, и оба работают с gpt-oss-20gb и qwen-coder-30b. Конечно с разной производительностью (30т/с и 11т/с), но вполне корректно и по делу.
Autumn vibes. Как я с кодингом с помощью LLM знакомился