Пробовали AWS изначально. Вообще, всё приложение работает в DigitalOcean. Kubernetes кластера дев/прод + спейсы + второстепенные кластера. Но с GPU у них ничего не было на тот момент (да и сейчас также, по-моему). Развернули кластер в AWS, собрали на обычных T4, но упёрлись на проблемы с драйверами nvidia/cuda (возможно сейчас с этим всё проще и лучше). Быстро решить их не удалось.
Пошли на GKE - показался более удобным в плане логирования и базового мониторинга. Меньше заморочек с политиками/ролями. Плюс time-sharing GPUs из коробки (но тут ещё вопрос, насколько оно надо) Развернули всё достаточно быстро, настроили, дрова все подтянулись. Остались на нём.
Статья написана с целью рассказать как мы пришли к тому, чтобы использовать AI продукты у себя в проекте и какой "выхлоп" получили. Технически я постарался максимально просто рассказать как происходит интеграция в архитектуре нашего приложения и в чём особенности в целом. По поводу АПИ - реализовали взаимодействие только с апи OpenAI (+ гугл). Но и здесь стоит упомянуть, что мы не просто перенаправляем запросы. А старались, именно, придумать инструменты. Я в статье упоминал про "конструктор статей", "генератор FAQ" и т.п. Изначально, после анализа запросов от пользователей, был составлен большой список идей. После чего выделены 7-10, продуман UI. И уже в итоге, наложили на OpenAI с разными моделями (напомню, что модели работают не одинаково) с разными параметрами, которые подбирали с помощью тестирования и изменения первоначальных prompt-ов. Какие-то утилиты работают в несколько шагов.
Слишком много и толсто. Со всех сторон, конечно. Но в реальности всё гораздо проще.
Не грубить и не зарываться в своих умных советах, потому как иногда, именно это и рушит команду/взаимоотношения в команде.
За чек-лист плюс. Жаль что это возможно далеко не во всех реальных проектах.
Пробовали AWS изначально.
Вообще, всё приложение работает в DigitalOcean. Kubernetes кластера дев/прод + спейсы + второстепенные кластера.
Но с GPU у них ничего не было на тот момент (да и сейчас также, по-моему).
Развернули кластер в AWS, собрали на обычных T4, но упёрлись на проблемы с драйверами nvidia/cuda (возможно сейчас с этим всё проще и лучше). Быстро решить их не удалось.
Пошли на GKE - показался более удобным в плане логирования и базового мониторинга. Меньше заморочек с политиками/ролями.
Плюс time-sharing GPUs из коробки (но тут ещё вопрос, насколько оно надо)
Развернули всё достаточно быстро, настроили, дрова все подтянулись. Остались на нём.
Azure не пробовали.
Статья написана с целью рассказать как мы пришли к тому, чтобы использовать AI продукты у себя в проекте и какой "выхлоп" получили. Технически я постарался максимально просто рассказать как происходит интеграция в архитектуре нашего приложения и в чём особенности в целом.
По поводу АПИ - реализовали взаимодействие только с апи OpenAI (+ гугл). Но и здесь стоит упомянуть, что мы не просто перенаправляем запросы. А старались, именно, придумать инструменты. Я в статье упоминал про "конструктор статей", "генератор FAQ" и т.п.
Изначально, после анализа запросов от пользователей, был составлен большой список идей. После чего выделены 7-10, продуман UI. И уже в итоге, наложили на OpenAI с разными моделями (напомню, что модели работают не одинаково) с разными параметрами, которые подбирали с помощью тестирования и изменения первоначальных prompt-ов. Какие-то утилиты работают в несколько шагов.
Не грубить и не зарываться в своих умных советах, потому как иногда, именно это и рушит команду/взаимоотношения в команде.
За чек-лист плюс. Жаль что это возможно далеко не во всех реальных проектах.