Docker Model Runner: запускаем ИИ-модели локально

[MountainGoat]

Что даёт этот танец с вёдрами по сравнению с запуском без Докера, который делается так:

1. Скачал

2. Запустил

[idsulik]

Удобство. в одном месте ты можешь загрузить разные модели, запускать их. На мой взгляд это очень удобно, особенно для разработчиков, т.к. практически у всех установлен docker

[MountainGoat]

То есть ничего. Удобство и без Докера удобство. А вот выяснять, почему на этот раз CUDA в докере "не ловит" совершенно не весело.

Удобство

Серверное применение отложим в сторону, там Docker Desktop вряд ли будет участвовать.

[idsulik]

То есть ничего

для вас, видимо да. Но для меня, как минимум, это удобно)

[alexandr93]

Только та же ollama, comfyui хороши тем, что они дают API, через который их можно интегрировать с другими приложениями. Ту же ollama можно подключить к IDE(IntelliJ IDEA, VS Code) через плагин Continue, можно к плагину в Obsidian подключить и т. д.

[idsulik]

Тут тоже есть api совместимый с openai api.
Так-то у всего есть альтернативы со своими плюсами и минусами, для меня лично плюс docker model runner - это простота, работаешь с тем, с чем уже привык работать, все удобно и просто.

[alexandr93]

Прошу прощения, этот момент как-то упустил.