dasafyev 9 янв 2023 в 12:58

Сбор логов при помощи Go

7 мин

4.2K

Кейс

Автор: Александр Тряпкин, DevOps компании Hostkey

Здравствуйте, уважаемые читатели Habr! В этой статье я хочу поделиться своим опытом решения задачи сбора логов при помощи Go. Как начинающий DevOps, я выбрал для изучения и решения рабочих задач язык программирования Go. Для отправки syslog-логов доступна библиотeка syslog, но увы, она нам не подходит, поскольку данный пакет недоступен на Windows, а задача — сделать мультиплатформенный отправщик логов установки системы на удаленный syslog-сервер. Дополнительно есть потребность отправлять логи в кастомном формате, а именно — в json, для упрощения их последующей обработки. При этом важно, чтобы программа выполнялась одинаково на Linux и на Windows, не требовала установки, выполняла свою задачу и удалялась из системы, поэтому придется изобрести небольшой велосипед. Приступим.

В качестве принимающей стороны мы будем использовать syslog-ng. Рассмотрим параметры, которые нам интересны в части сбора логов — от специфики параметров зависит, как мы будем их отправлять.

Сначала указываем новый source для приема логов с удаленных серверов, и тут есть варианты — в зависимости от наших потребностей можно собирать логи по UDP, TCP, а также использовать TLS для шифрования и аутентификации. Наиболее интересным вариантом является TLS, но мы рассмотрим и другие методы — от простого к более сложному.

1) UDP. Для сбора логов по UDP потребуется следующие параметры в конфигурации syslog-ng:

source s_network {
  			 network( ip("0.0.0.0") #IP, на котором принимать логи, 0.0.0.0 - на всех
        				    transport("udp")  );       };

Порт по умолчанию — 514/UDP, документация предупреждает о необходимости увеличить UDP-буфер при высокой интенсивности отправки логов, иначе возможны потери сообщений. В случае потери пакетов логи также будут потеряны,так что это не оптимальный вариант.

2) TCP. Вариант лишен вышеуказанных проблем и, согласно документации, применяется по умолчанию. Примерный конфиг следующий:

source s_network {
    network( ip("0.0.0.0") ); };

3) TLS. Для использования этого протокола необходимо настроить сервер, в официальной документации есть достаточно подробная пошаговая инструкция. Пример:

source s_remote_tls { 
network ( ip ("0.0.0.0") port(6514) 
transport("tls") 
tls( key-file("/etc/syslog-ng/cert.d/serverkey.pem") cert-file("/etc/syslog-ng/cert.d/servercert.pem")
ca-dir("/etc/syslog-ng/ca.d")
peer-verify(yes)) ); };

При таком варианте настройки мы будем принимать логи только от клиентов, прошедших аутентификацию. Иначе говоря, клиент использует действующий сертификат и логи приходят с IP-адреса или доменного имени, под который сертификат выпущен. Если нет задачи аутентифицировать пользователей, то можно указать peer-verify (no) и получить только шифрование.

Рассмотрев различные варианты, мы решили создать небольшую программу, которая будет отправлять наши логи.

Для начала разберемся, как отправить syslog сообщение серверу так, чтобы он его принял и обработал. Из документации мы видим, что принимаемые сообщения должны соответствовать протоколу RFC3164 или RFC5424. Но поскольку это не окончательный вариант, попробуем отправить лог, используя RFC3164, который выглядит следующим образом:

<30>Dec 25 21:55:36 19202.example.ru systemd[1]: Starting Cleanup of Temporary Directories...

Теперь разберемся, что значит каждая из частей сообщения:

<30> — заголовок, содержащий информацию о severity и facility. Закодированную информацию можно расшифровать с помощью таблицы, в данном случае там содержится facility — system и severity — info.
Dec 25 21:55:36 — timestamp.
19202.example.ru — hostname.
Systemd[1]: — тег сообщения, указывающий, какой программой было отправлено сообщение.
Starting Cleanup of Temporary Directories… — само сообщение.

Попробуем отправить сообщение в таком формате в наш тестовый сервер syslog-ng, настроенный на прием логов по UDP. Для этого мы используем библиотеку net:

   logsrv, err := net.ResolveUDPAddr("udp4", "141.105.70.24:514")
   if err != nil {
       log.Fatal(err)
   }
   logwriter, err := net.DialUDP("udp4", nil, logsrv)
   if err != nil {
       log.Fatal(err)
   }
   defer logwriter.Close()
   _, err = logwriter.Write([]byte("<30>Dec 25 21:55:36 test-host go-logger: Hello Habr!"))
   _, err = logwriter.Write([]byte("<30>Dec 25 21:55:36 test-host go-logger: This is test go-logger!"))
   if err != nil {
       log.Fatal(err)
   }

Выполнив код, мы видим, что сервер получил наши сообщения и обработал. Сообщения записаны в указанный файл:

[root@19181 ~]# cat /var/log/test 
Dec 25 21:55:36 test-host go-logger: Hello Habr! 
Dec 25 21:55:36 test-host go-logger: This is test go-logger!

Теперь отправим логи по TCP. Перенастраиваем сервер на получение логов по TCP и пробуем:

   tcpAddr, err := net.ResolveTCPAddr("tcp", "141.105.70.24:514")
   if err != nil {
       log.Fatal(err)
   }
   logwriter, err := net.DialTCP("tcp", nil, tcpAddr)
   if err != nil {
       log.Fatal(err)
   }
   defer logwriter.Close()
   _, err = logwriter.Write([]byte("<30>Dec 25 21:55:36 test-host go-logger: Hello Habr!"))
   _, err = logwriter.Write([]byte("<30>Dec 25 21:55:36 test-host go-logger: This is test go-logger!"))
   if err != nil {
       log.Fatal(err)
   }

Dec 25 21:55:36 test-host go-logger: Hello Habr!<30>Dec 25 21:55:36 test-host go-logger: This is test go-logger!

Но что мы видим: что-то пошло не так, два сообщения соединены в одно, и второе сообщение не распарсилось. Когда мы отправляли логи по UDP, данная проблема не возникала, поскольку каждое сообщение уходит в своем пакете и обрабатывается отдельно. Решение на самом деле простое — я упустил, что каждое сообщение должно заканчиваться переносом строки \n. Правим и пробуем:

   _, err = logwriter.Write([]byte("<30>Dec 25 21:55:36 test-host go-logger: Hello Habr!\n"))
   _, err = logwriter.Write([]byte("<30>Dec 25 21:55:36 test-host go-logger: This is test go-logger!\n"))

[root@19181 ~]# cat /var/log/test 
Dec 25 21:55:36 test-host go-logger: Hello Habr! 
Dec 25 21:55:36 test-host go-logger: This is test go-logger!

Теперь все ок!

Мы разобрались как отправить сообщение, пришло время применить это знание. Следует учитывать, что, если мы хотим отправить сообщения в формате json (в дальнейшем это сильно облегчит задачу по обработке логов), нам необходимо отключить парсинг в syslog-ng. Для этого достаточно добавить flags (no-parse) в source. Далее будем пробовать отправить логи по протоколу TLS и в json-формате уже в виде полноценной программы:

package main
 
import (
   "bufio"
   "crypto/tls"
   "crypto/x509"
   "encoding/json"
   "fmt"
   "io/ioutil"
   "log"
   "os"
   "time"
 
   "github.com/pborman/getopt/v2"
)
 
// Задаем структуру нашего сообщения, тут мы не ограничены  протоколом syslog, отправляем только то, что нам необходимо или, наоборот, добавляем
type message struct {
   Time     string `json:"timestamp"`
   Hostname string `json:"host"`
   Programm string `json:"programm"`
   Body     string `json:"message"`
}
 
func main() { 
   // Нужные параметры мы будем передавать в нашу программу посредством ключей, в этом нам поможет библиотека getopt
   optSyslogSrv := getopt.StringLong("dest", 'd', "", "Remote syslog server with port ip:port, required")
   optReadFromFile := getopt.StringLong("file", 'f', "", "Read log from file")
   optProg := getopt.StringLong("prog", 'p', "go-logger", "Programm tag, optional,  default - go-logger")
   optHost := getopt.StringLong("host", 'H', "", "Host override")
   optHelp := getopt.BoolLong("help", 'h', "Display usage")
   optVerb := getopt.BoolLong("verbose", 'v', "Display outgoing msgs")
   optCa := getopt.StringLong("ca", 'c', "cacert.pem", "CA")
   optCert := getopt.StringLong("cert", 'C', "clientcert.pem", "Cert")
   optKey := getopt.StringLong("key", 'K', "", "clientkey.pem", "Key")
 
   getopt.Parse()
   // Если программа запущена с ключем -h --help или не задан необходимый параметр, выводим подсказку по использованию
   if *optHelp || len(*optSyslogSrv) == 0 {
       getopt.Usage()
       os.Exit(0)
   }
 
   var hostname string
   var scanner *bufio.Scanner
 
   if len(*optHost) != 0 { // Если hostname указан ключем, берем информацию оттуда
       hostname = *optHost
   } else { // Иначе получаем из системы
       hostname, _ = os.Hostname()
   }
   // Логи наша программа может брать либо из stdin будучи запущеной в pipeline “anyscript.sh | go-logger -d 127.0.0.1:514”, либо из файла. Если указан параметр, то берем из файла
   if len(*optReadFromFile) != 0 {
       file, err := os.Open(*optReadFromFile) //Открываем файл
       if err != nil {
           log.Fatal(err)
       }
       defer file.Close() //Запланируем закрытие файла по окончании
       scanner = bufio.NewScanner(file) //Читаем файл 
   } else {
       scanner = bufio.NewScanner(os.Stdin) //Читаем stdin
   }
 
   msg := message{Hostname: hostname, Programm: *optProg} //Вносим данные в структуру
   //TLS-часть отправки наших логов
   caCert, _ := ioutil.ReadFile(*optCa) //Подгружаем CA сервера из файла
   caCertPool := x509.NewCertPool()
   caCertPool.AppendCertsFromPEM(caCert)
 
   cert, err := tls.LoadX509KeyPair(*optCert, *optKey) //Подгружаем сертификат и закрытый ключ клиента из файлов
   if err != nil {
       log.Fatal(err)
   }
   tlsConf := &tls.Config{ //Создаем конфигурацию TLS
       RootCAs:      caCertPool,
       Certificates: []tls.Certificate{cert},
   }
 
   logwriter, err := tls.Dial("tcp", *optSyslogSrv, tlsConf) // Устанавливаем TLS-соединение
   if err != nil {
       log.Fatal(err)
   }
   defer logwriter.Close() //Запланируем закрытие соединения по окончании
 
   for scanner.Scan() { //Обрабатываем каждое полученное сканером сообщение
       sendMsg := message{
           Time:     time.Now().Format("2006-01-02T15:04:05.00-07:00"), //Время в нужном нам формате
           Body:     scanner.Text(),                                    //Сообщение
           Hostname: msg.Hostname,
           Programm: msg.Programm,
       }
       data, err := json.Marshal(sendMsg) //Маршалим наш json
       if err != nil {
           log.Fatal(err)
       }
       if *optVerb { //Если задан параметр -v, то печатаем отправляемое сообщение
           fmt.Println(string(data))
       }
       _, err = logwriter.Write(append(data, "\n"...)) //Отправляем сообщение добавив перенос строки
       if err != nil {
           log.Fatal(err)
       }
   }
}

Пробуем выполнить, передав в программу все те же две строки, и сервер получает наши логи:

{"timestamp":"2022-12-26T00:19:23.54+03:00","host":"test-go-logger","programm":"go-logger","message":"Hello habr!"}
{"timestamp":"2022-12-26T00:19:23.54+03:00","host":"test-go-logger","programm":"go-logger","message":"Lets test!"}

Эта программа — одна из первых, написанных мною на Go. В процессе ее создания я разобрался, как работает протокол syslog, и освоил азы нового для меня языка программирования. Программа позволила унифицировать отправку логов на разных операционных системах, независимо от семейства, в тех местах, где нет возможности пользоваться syslog-ng. В настоящее время мы адаптируем созданную программу для дальнейшего применения в инфраструктуре нашей компании.

Теги:

Хабы:

Блог компании HOSTKEY

Сбор логов при помощи Go

Публикации

Информация

Истории