Комментарии 7
У Вас в заголовке написано название, потом в тексте, после вводных слов картинка с такой надписью, и подпись под ней тоже содержит эти слова. Зачем?
это как позвать инфо-циган
Ожидал прочитать какую то маркетинг статью о том как траффик на сайт взлетел. По факту статья от разраба про подключение апих лол.
Статья написана с целью рассказать как мы пришли к тому, чтобы использовать AI продукты у себя в проекте и какой "выхлоп" получили. Технически я постарался максимально просто рассказать как происходит интеграция в архитектуре нашего приложения и в чём особенности в целом.
По поводу АПИ - реализовали взаимодействие только с апи OpenAI (+ гугл). Но и здесь стоит упомянуть, что мы не просто перенаправляем запросы. А старались, именно, придумать инструменты. Я в статье упоминал про "конструктор статей", "генератор FAQ" и т.п.
Изначально, после анализа запросов от пользователей, был составлен большой список идей. После чего выделены 7-10, продуман UI. И уже в итоге, наложили на OpenAI с разными моделями (напомню, что модели работают не одинаково) с разными параметрами, которые подбирали с помощью тестирования и изменения первоначальных prompt-ов. Какие-то утилиты работают в несколько шагов.
А почему использовали GKE для ГПУ а не AWS или что нибудь ещё?
Пробовали AWS изначально.
Вообще, всё приложение работает в DigitalOcean. Kubernetes кластера дев/прод + спейсы + второстепенные кластера.
Но с GPU у них ничего не было на тот момент (да и сейчас также, по-моему).
Развернули кластер в AWS, собрали на обычных T4, но упёрлись на проблемы с драйверами nvidia/cuda (возможно сейчас с этим всё проще и лучше). Быстро решить их не удалось.
Пошли на GKE - показался более удобным в плане логирования и базового мониторинга. Меньше заморочек с политиками/ролями.
Плюс time-sharing GPUs из коробки (но тут ещё вопрос, насколько оно надо)
Развернули всё достаточно быстро, настроили, дрова все подтянулись. Остались на нём.
Azure не пробовали.
Отличная идея - повысить посещаемость сайта, добавив на сайте несколько утилит на основе искусственного интеллекта.
Как с помощью AI-интеграций повысить популярность проекта