Docker теперь конкурент Ollama?

[B4D_US3R]

Это ведь шутка к 1 апреля, да?

[ZergsLaw]

Нет

[akod67]

Не похоже

[nochnoj]

https://podman-desktop.io/docs/ai-lab

[spiritedflow]

ramalama:

╰─➤  ramalama pull smollm2
...
╰─➤  ramalama run smollm2
🦭 > Hello bro! Can I help you?
Yes, I can help you with something. Do you have any specific questions about the English language or a particular area you'd like to explore?

Она также дает API, работает в контейнере и пробрасывает туда GPU.

Но, в отличие от докера, который сплошная дыра в безопасности, ramalama использует podman. А значит не требует рутового демона, работает из под пользователя, и прекрасно интегрируется в пользовательский systemd как тут описано: https://github.com/containers/ramalama/blob/main/docs/ramalama-serve.1.md#generate-quadlet-service-off-of-huggingface-granite-model

[krendelbok]

Так это для маков только. Вот когда на линь будет, тогда и конкурентом станет

[NeraDail]

на linux тоже есть, правда требует установки пакета docker-model-plugin