Pull to refresh

Comments 6

ramalama:

╰─➤  ramalama pull smollm2
...
╰─➤  ramalama run smollm2
🦭 > Hello bro! Can I help you?
Yes, I can help you with something. Do you have any specific questions about the English language or a particular area you'd like to explore?

Она также дает API, работает в контейнере и пробрасывает туда GPU.

Но, в отличие от докера, который сплошная дыра в безопасности, ramalama использует podman. А значит не требует рутового демона, работает из под пользователя, и прекрасно интегрируется в пользовательский systemd как тут описано: https://github.com/containers/ramalama/blob/main/docs/ramalama-serve.1.md#generate-quadlet-service-off-of-huggingface-granite-model

Так это для маков только. Вот когда на линь будет, тогда и конкурентом станет

Sign up to leave a comment.

Articles