Agency: The Go Way to AI. Часть 1
Рост генеративного ИИ, API OpenAI и локальные LLM, влияют на то, как мы разрабатываем приложения. У разработчиков на Python и JavaScript есть много инструментов, особо популярен LangChain. Однако, у гошников вариантов меньше. LangChainGo, порт оригинального LangChain, пытается маппить питонячие концепции на го, получается не слишком идеоматично. К тому же, есть ощущение, что LangChain сам по себе переусложнен.
Из-за потребности в простом, но мощном инструменте для Go, мы разработали Agency. Эта простая гошная либа с маленьким ядром, которую мы постарались тщательно спроектировать.
Пример - Продолжение текста
Начнем с самого простого примера - продолжить текст. Для простоты мы разберем его по частям, а затем объединим в единый, целостный кусок.
Для начала создадим "провайдер":
provider := openai.New(
openai.Params{Key: "YOUR_OPENAI_API_KEY"},
)
Провайдер представляет собой набор операций, реализованных каким-либо внешним сервисом. В данном случае это OpenAI.
Обратите внимание, мы передаем структуру Params
. В случае с локальной LLM (должна иметь совместимый API с OpenAI) мы можем передать openai.Params{BaseURL: "YOUR_SERVICE_URL_HERE"}
.
Теперь, когда у нас есть провайдер, пора создать операцию:
operation := provider.
TextToText(openai.TextToTextParams{Model: "gpt-3.5-turbo"}).
SetPrompt("You are a helpful assistant that translates English to French")
Метод TextToText
, который мы тут вызываем, является конструктором операций - функцией, которая принимает некоторые параметры и возвращает операцию, значение типа agency.Operation
.
Этот конструктор операций имеет следующую сигнатуру:
func (p Provider) TextToText(params TextToTextParams) *agency.Operation
Эта структура TextToTextParams
специфична для каждого конкретного конструктора операций. Она зависит от того, какой внешний сервис использует провайдер и какую функциональность (модальность) он реализует. Почти любой конструктор позволяет указать Model
, но позже мы увидим и различия.
Приведу пример: провайдер Anthropic может иметь другие параметры, нежели OpenAI, а конструктор операций openai.SpeechToText
будет иметь параметры отличные от openai.TextToText
(из-за использования whisper вместо GPT).
Далее, видите строку SetPrompt("You are a helpful assistant that translates English to French")
? Так мы конфигурируем операции. В данном случае мы настраиваем используемый промпт.
Окей, похоже, пришло время поговорить о том, чем являются операции на самом деле. Давайте заглянем в исходный код:
// Operation is basic building block.
type Operation struct {
handler OperationHandler
config *OperationConfig
}
// OperationHandler is a function that implements the actual logic.
// It could be thought of as an interface that providers must implement.
type OperationHandler func(context.Context, Message, *OperationConfig) (Message, error)
// OperationConfig represents abstract operation configuration.
// It contains fields for all possible modalities but nothing specific to concrete model implementations.
type OperationConfig struct {
Prompt string
Messages []Message
}
На момент написания статьи библиотека имеет версию v0.1.0 и находится в активной разработке, поэтому детали реализации могут измениться, но основная идея должна остаться - операция состоит из обработчика и конфига.
Теперь давайте посмотрим, что делает метод SetPrompt("...")
:
func (p *Operation) SetPrompt(prompt string, args ...any) *Operation {
p.config.Prompt = fmt.Sprintf(prompt, args...)
return p
}
Вот и все. Он просто сетит промпт в конфиге и реализует шаблонизацию через fmt.Sprintf
.
Вы еще тут? Самое страшное позади!
На самом деле, наша операция готова к использованию! Но нам нужно что-то в качестве входных данных для нашей операции. Давайте-ка создадим сообщение:
input := agency.UserMessage("I love programming.")
Раз уж мы не боимся заглядывать в исходники, то вот вам реализация UserMessage
func UserMessage(content string, args ...any) Message {
s := fmt.Sprintf(content, args...)
return Message{Role: UserRole, Content: []byte(s)}
}
Это просто маленький хелпер для Message
. Message это абстрактное сообщение, представляющее любое возможное сообщение, с которым работают операции:
type Message struct {
Role Role
Content []byte
}
Мы уже видели это сообщение ранее, в определении операции:
func(context.Context, Message, *OperationConfig) (Message, error)
То есть операция - это функция, которая принимает сообщение в качестве входных данных и возвращает сообщение в качестве выходных данных.
Наконец, осталось выполнить нашу операцию.
output, err := operation.Execute(context.Background(), input)
if err != nil {
panic(err)
}
Соберем все вместе и получим вот такой код:
provider := openai.New(
openai.Params{Key: os.Getenv("OPENAI_API_KEY")},
)
operation := provider.
TextToText(openai.TextToTextParams{Model: "gpt-3.5-turbo"}).
SetPrompt("You are a helpful assistant that translates English to French")
input := agency.UserMessage("I love programming.")
output, err := operation.Execute(context.Background(), input)
if err != nil {
panic(err)
}
fmt.Println(string(output.Content))
Не забудьте вставить свой ключ API OpenAI. Вот мой результат:
J'adore la programmation.
Похоже, что это работает! Вы, конечно, можете переписать это более компактно, если хотите:
openai.New(openai.Params{Key: "YOUR_OPENAI_API_KEY"}).
TextToText(openai.TextToTextParams{Model: "gpt-3.5-turbo"}).
SetPrompt("You are a helpful assistant that translates English to French").
Execute(context.Background(), agency.UserMessage("I love programming."))
Вот и все! Большое спасибо за чтение. Если найдете какие-то ошибки, пожалуйста, оставьте комментарий. Ссылка на этот и многие другие рабочие примеры, а также ссылка на саму библиотеку будут ниже.
Мы хотим создать лучшую библиотеку в этой области области и нам нужна помощь. Фича-реквесты, баг-репорты и, конечно же, пул-реквесты приветствуются. Мы постараемся предоставить обратную связь как можно скорее.
В следующей серии мы рассмотрим такие темы, как:
Как создать чат в 40 строк кода
Как комбинировать операции в цепочки для последовательного выполнения
Как создавать свои операции
Как использовать интерсепторы для наблюдения за выполнением операций
Как использовать шаблонизацию запросов
Как использовать различные модальности (речь, изображения и т.д.)
Как реализовать RAG (используя векторные базы данных)
И многое, многое другое!
Ссылки: