Сбор логов при помощи Go
Автор: Александр Тряпкин, DevOps компании Hostkey
Здравствуйте, уважаемые читатели Habr! В этой статье я хочу поделиться своим опытом решения задачи сбора логов при помощи Go. Как начинающий DevOps, я выбрал для изучения и решения рабочих задач язык программирования Go. Для отправки syslog-логов доступна библиотeка syslog, но увы, она нам не подходит, поскольку данный пакет недоступен на Windows, а задача — сделать мультиплатформенный отправщик логов установки системы на удаленный syslog-сервер. Дополнительно есть потребность отправлять логи в кастомном формате, а именно — в json, для упрощения их последующей обработки. При этом важно, чтобы программа выполнялась одинаково на Linux и на Windows, не требовала установки, выполняла свою задачу и удалялась из системы, поэтому придется изобрести небольшой велосипед. Приступим.
В качестве принимающей стороны мы будем использовать syslog-ng. Рассмотрим параметры, которые нам интересны в части сбора логов — от специфики параметров зависит, как мы будем их отправлять.
Сначала указываем новый source для приема логов с удаленных серверов, и тут есть варианты — в зависимости от наших потребностей можно собирать логи по UDP, TCP, а также использовать TLS для шифрования и аутентификации. Наиболее интересным вариантом является TLS, но мы рассмотрим и другие методы — от простого к более сложному.
1) UDP. Для сбора логов по UDP потребуется следующие параметры в конфигурации syslog-ng:
source s_network {
network( ip("0.0.0.0") #IP, на котором принимать логи, 0.0.0.0 - на всех
transport("udp") ); };Порт по умолчанию — 514/UDP, документация предупреждает о необходимости увеличить UDP-буфер при высокой интенсивности отправки логов, иначе возможны потери сообщений. В случае потери пакетов логи также будут потеряны,так что это не оптимальный вариант.
2) TCP. Вариант лишен вышеуказанных проблем и, согласно документации, применяется по умолчанию. Примерный конфиг следующий:
source s_network {
network( ip("0.0.0.0") ); };3) TLS. Для использования этого протокола необходимо настроить сервер, в официальной документации есть достаточно подробная пошаговая инструкция. Пример:
source s_remote_tls {
network ( ip ("0.0.0.0") port(6514)
transport("tls")
tls( key-file("/etc/syslog-ng/cert.d/serverkey.pem") cert-file("/etc/syslog-ng/cert.d/servercert.pem")
ca-dir("/etc/syslog-ng/ca.d")
peer-verify(yes)) ); };При таком варианте настройки мы будем принимать логи только от клиентов, прошедших аутентификацию. Иначе говоря, клиент использует действующий сертификат и логи приходят с IP-адреса или доменного имени, под который сертификат выпущен. Если нет задачи аутентифицировать пользователей, то можно указать peer-verify (no) и получить только шифрование.
Рассмотрев различные варианты, мы решили создать небольшую программу, которая будет отправлять наши логи.
Для начала разберемся, как отправить syslog сообщение серверу так, чтобы он его принял и обработал. Из документации мы видим, что принимаемые сообщения должны соответствовать протоколу RFC3164 или RFC5424. Но поскольку это не окончательный вариант, попробуем отправить лог, используя RFC3164, который выглядит следующим образом:
<30>Dec 25 21:55:36 19202.example.ru systemd[1]: Starting Cleanup of Temporary Directories...Теперь разберемся, что значит каждая из частей сообщения:
<30> — заголовок, содержащий информацию о severity и facility. Закодированную информацию можно расшифровать с помощью таблицы, в данном случае там содержится facility — system и severity — info.
Dec 25 21:55:36 — timestamp.
19202.example.ru — hostname.
Systemd[1]: — тег сообщения, указывающий, какой программой было отправлено сообщение.
Starting Cleanup of Temporary Directories… — само сообщение.
Попробуем отправить сообщение в таком формате в наш тестовый сервер syslog-ng, настроенный на прием логов по UDP. Для этого мы используем библиотеку net:
logsrv, err := net.ResolveUDPAddr("udp4", "141.105.70.24:514")
if err != nil {
log.Fatal(err)
}
logwriter, err := net.DialUDP("udp4", nil, logsrv)
if err != nil {
log.Fatal(err)
}
defer logwriter.Close()
_, err = logwriter.Write([]byte("<30>Dec 25 21:55:36 test-host go-logger: Hello Habr!"))
_, err = logwriter.Write([]byte("<30>Dec 25 21:55:36 test-host go-logger: This is test go-logger!"))
if err != nil {
log.Fatal(err)
}Выполнив код, мы видим, что сервер получил наши сообщения и обработал. Сообщения записаны в указанный файл:
[root@19181 ~]# cat /var/log/test
Dec 25 21:55:36 test-host go-logger: Hello Habr!
Dec 25 21:55:36 test-host go-logger: This is test go-logger!Теперь отправим логи по TCP. Перенастраиваем сервер на получение логов по TCP и пробуем:
tcpAddr, err := net.ResolveTCPAddr("tcp", "141.105.70.24:514")
if err != nil {
log.Fatal(err)
}
logwriter, err := net.DialTCP("tcp", nil, tcpAddr)
if err != nil {
log.Fatal(err)
}
defer logwriter.Close()
_, err = logwriter.Write([]byte("<30>Dec 25 21:55:36 test-host go-logger: Hello Habr!"))
_, err = logwriter.Write([]byte("<30>Dec 25 21:55:36 test-host go-logger: This is test go-logger!"))
if err != nil {
log.Fatal(err)
}
Dec 25 21:55:36 test-host go-logger: Hello Habr!<30>Dec 25 21:55:36 test-host go-logger: This is test go-logger! Но что мы видим: что-то пошло не так, два сообщения соединены в одно, и второе сообщение не распарсилось. Когда мы отправляли логи по UDP, данная проблема не возникала, поскольку каждое сообщение уходит в своем пакете и обрабатывается отдельно. Решение на самом деле простое — я упустил, что каждое сообщение должно заканчиваться переносом строки \n. Правим и пробуем:
_, err = logwriter.Write([]byte("<30>Dec 25 21:55:36 test-host go-logger: Hello Habr!\n"))
_, err = logwriter.Write([]byte("<30>Dec 25 21:55:36 test-host go-logger: This is test go-logger!\n"))[root@19181 ~]# cat /var/log/test
Dec 25 21:55:36 test-host go-logger: Hello Habr!
Dec 25 21:55:36 test-host go-logger: This is test go-logger!Теперь все ок!
Мы разобрались как отправить сообщение, пришло время применить это знание. Следует учитывать, что, если мы хотим отправить сообщения в формате json (в дальнейшем это сильно облегчит задачу по обработке логов), нам необходимо отключить парсинг в syslog-ng. Для этого достаточно добавить flags (no-parse) в source. Далее будем пробовать отправить логи по протоколу TLS и в json-формате уже в виде полноценной программы:
package main
import (
"bufio"
"crypto/tls"
"crypto/x509"
"encoding/json"
"fmt"
"io/ioutil"
"log"
"os"
"time"
"github.com/pborman/getopt/v2"
)
// Задаем структуру нашего сообщения, тут мы не ограничены протоколом syslog, отправляем только то, что нам необходимо или, наоборот, добавляем
type message struct {
Time string `json:"timestamp"`
Hostname string `json:"host"`
Programm string `json:"programm"`
Body string `json:"message"`
}
func main() {
// Нужные параметры мы будем передавать в нашу программу посредством ключей, в этом нам поможет библиотека getopt
optSyslogSrv := getopt.StringLong("dest", 'd', "", "Remote syslog server with port ip:port, required")
optReadFromFile := getopt.StringLong("file", 'f', "", "Read log from file")
optProg := getopt.StringLong("prog", 'p', "go-logger", "Programm tag, optional, default - go-logger")
optHost := getopt.StringLong("host", 'H', "", "Host override")
optHelp := getopt.BoolLong("help", 'h', "Display usage")
optVerb := getopt.BoolLong("verbose", 'v', "Display outgoing msgs")
optCa := getopt.StringLong("ca", 'c', "cacert.pem", "CA")
optCert := getopt.StringLong("cert", 'C', "clientcert.pem", "Cert")
optKey := getopt.StringLong("key", 'K', "", "clientkey.pem", "Key")
getopt.Parse()
// Если программа запущена с ключем -h --help или не задан необходимый параметр, выводим подсказку по использованию
if *optHelp || len(*optSyslogSrv) == 0 {
getopt.Usage()
os.Exit(0)
}
var hostname string
var scanner *bufio.Scanner
if len(*optHost) != 0 { // Если hostname указан ключем, берем информацию оттуда
hostname = *optHost
} else { // Иначе получаем из системы
hostname, _ = os.Hostname()
}
// Логи наша программа может брать либо из stdin будучи запущеной в pipeline “anyscript.sh | go-logger -d 127.0.0.1:514”, либо из файла. Если указан параметр, то берем из файла
if len(*optReadFromFile) != 0 {
file, err := os.Open(*optReadFromFile) //Открываем файл
if err != nil {
log.Fatal(err)
}
defer file.Close() //Запланируем закрытие файла по окончании
scanner = bufio.NewScanner(file) //Читаем файл
} else {
scanner = bufio.NewScanner(os.Stdin) //Читаем stdin
}
msg := message{Hostname: hostname, Programm: *optProg} //Вносим данные в структуру
//TLS-часть отправки наших логов
caCert, _ := ioutil.ReadFile(*optCa) //Подгружаем CA сервера из файла
caCertPool := x509.NewCertPool()
caCertPool.AppendCertsFromPEM(caCert)
cert, err := tls.LoadX509KeyPair(*optCert, *optKey) //Подгружаем сертификат и закрытый ключ клиента из файлов
if err != nil {
log.Fatal(err)
}
tlsConf := &tls.Config{ //Создаем конфигурацию TLS
RootCAs: caCertPool,
Certificates: []tls.Certificate{cert},
}
logwriter, err := tls.Dial("tcp", *optSyslogSrv, tlsConf) // Устанавливаем TLS-соединение
if err != nil {
log.Fatal(err)
}
defer logwriter.Close() //Запланируем закрытие соединения по окончании
for scanner.Scan() { //Обрабатываем каждое полученное сканером сообщение
sendMsg := message{
Time: time.Now().Format("2006-01-02T15:04:05.00-07:00"), //Время в нужном нам формате
Body: scanner.Text(), //Сообщение
Hostname: msg.Hostname,
Programm: msg.Programm,
}
data, err := json.Marshal(sendMsg) //Маршалим наш json
if err != nil {
log.Fatal(err)
}
if *optVerb { //Если задан параметр -v, то печатаем отправляемое сообщение
fmt.Println(string(data))
}
_, err = logwriter.Write(append(data, "\n"...)) //Отправляем сообщение добавив перенос строки
if err != nil {
log.Fatal(err)
}
}
}
Пробуем выполнить, передав в программу все те же две строки, и сервер получает наши логи:
{"timestamp":"2022-12-26T00:19:23.54+03:00","host":"test-go-logger","programm":"go-logger","message":"Hello habr!"}
{"timestamp":"2022-12-26T00:19:23.54+03:00","host":"test-go-logger","programm":"go-logger","message":"Lets test!"}Эта программа — одна из первых, написанных мною на Go. В процессе ее создания я разобрался, как работает протокол syslog, и освоил азы нового для меня языка программирования. Программа позволила унифицировать отправку логов на разных операционных системах, независимо от семейства, в тех местах, где нет возможности пользоваться syslog-ng. В настоящее время мы адаптируем созданную программу для дальнейшего применения в инфраструктуре нашей компании.