ZergsLaw Apr 4 at 06:00

Docker теперь конкурент Ollama?

Easy

2 min

13K

Opinion

Ребята зарелизили новую крупную фичу, и, как по мне, это самая крупная механика с момента выхода dev containers, так как это показывает, насколько всё-таки AI всё глубже интегрируется в разработку.

Docker Model Runner - фактически инструментарий для запуска моделей локально, и это буквально полный конкурент для Ollama, но, будем объективны, пока что ещё очень сырой.

Фактически у нас с вами появилась новая команда:

➜  ~ docker model --help
Usage:  docker model COMMAND

Docker Model Runner

Commands:
  inspect     Display detailed information on one model
  list        List the available models that can be run with the Docker Model Runner
  pull        Download a model
  rm          Remove a model downloaded from Docker Hub
  run         Run a model with the Docker Model Runner
  status      Check if the Docker Model Runner is running
  version     Show the Docker Model Runner version

Run 'docker model COMMAND --help' for more information on a command.

Сразу же решил потестить, для простоты эксперимента решил взять уже достаточно известную, но простую (и туповатую) модель smollm2.

➜  ~ docker model pull ai/smollm2

И в целом, здесь все как у всех, есть как и интерактивный чат, так и вызов через cli

➜  ~ docker model run ai/smollm2 "Hi, bro!"
➜  ~ Hello bro! Can I help you?

Но, конечно, все это было бы не так интересно, если бы не было API

curl http://model-runner.docker.internal/engines/llama.cpp/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ai/smollm2",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "save me from fucking up deadlines"
            }
        ]
    }'

Будем объективны, пока что функционал безумно сырой, однако, учитывая как ресурсы компании, так и безумное число обкатанных вариантов, думаю, что ребята уже в этом году вполне могут выйти в релиз

P.S. У меня, кстати, в Telegram-канале сейчас идет розыгрыш моего старого Intel NUC на 32 ГБ памяти, на котором я раньше запускал первые домашние модели через Ollama, так что буду рад подписке :-)

Hubs: