Как стать автором
Поиск
Написать публикацию
Обновить

Docker теперь конкурент Ollama?

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров13K

Ребята зарелизили новую крупную фичу, и, как по мне, это самая крупная механика с момента выхода dev containers, так как это показывает, насколько всё-таки AI всё глубже интегрируется в разработку.

Docker Model Runner - фактически инструментарий для запуска моделей локально, и это буквально полный конкурент для Ollama, но, будем объективны, пока что ещё очень сырой.

Фактически у нас с вами появилась новая команда:

➜  ~ docker model --help
Usage:  docker model COMMAND

Docker Model Runner

Commands:
  inspect     Display detailed information on one model
  list        List the available models that can be run with the Docker Model Runner
  pull        Download a model
  rm          Remove a model downloaded from Docker Hub
  run         Run a model with the Docker Model Runner
  status      Check if the Docker Model Runner is running
  version     Show the Docker Model Runner version

Run 'docker model COMMAND --help' for more information on a command.

Сразу же решил потестить, для простоты эксперимента решил взять уже достаточно известную, но простую (и туповатую) модель smollm2.

➜  ~ docker model pull ai/smollm2

И в целом, здесь все как у всех, есть как и интерактивный чат, так и вызов через cli

➜  ~ docker model run ai/smollm2 "Hi, bro!"
➜  ~ Hello bro! Can I help you?

Но, конечно, все это было бы не так интересно, если бы не было API

curl http://model-runner.docker.internal/engines/llama.cpp/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ai/smollm2",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "save me from fucking up deadlines"
            }
        ]
    }'

Будем объективны, пока что функционал безумно сырой, однако, учитывая как ресурсы компании, так и безумное число обкатанных вариантов, думаю, что ребята уже в этом году вполне могут выйти в релиз

P.S. У меня, кстати, в Telegram-канале сейчас идет розыгрыш моего старого Intel NUC на 32 ГБ памяти, на котором я раньше запускал первые домашние модели через Ollama, так что буду рад подписке :-)

Теги:
Хабы:
Всего голосов 14: ↑9 и ↓5+6
Комментарии7

Публикации

Ближайшие события