Комментарии 2
Объясните пожалуйста.
Тут у вас можно как сказать написать веб сервер и уже все действия проводить внутри тритон контейнера?
Добрый, немного не понял ваш вопрос
При помощи библиотеки можно запустить Triton Server и взаимодействовать с ним без потерь. Например вы можете написать свой веб сервис, который будет поднимать внутри себя Triton Server (клиенты его не увидят). Сервис будет принимать запросы от клиентов, переводить их в Triton тензоры и посылать их на исполнение в Triton Server. Далее получать от него ответы, переводить их в нужное клиенту представление и отсылать результат клиенту.
Тритон контейнер это лишь способ развертывания приложения (веб сервиса в вашем случае). И да, вы можете держать свое приложение внутри контейнера, открыть порты для клиентов и все действия проводить внутри этого контейнера.
Как просто добавить ИИ в приложения на Rust: универсальный опенсорсный инструмент