Pull to refresh

Нагрузочный тест c помощью Go

Programming *Go *
Добрый день, Хабрахабр.
Вы, вероятно, знакомы с JMeter. Если в кратце — очень удобный инструмент для проведения нагрузочного тестирования, имеет огромный функционал и много-много полезных фишек. Но статья не о нем.

С чего началось

В нашем проекте есть довольно нагруженный узел, JMeter помогал долгое время. Проффилирование и оптимизации дали свой профит, но все уперлось в маленькую проблему. JMeter не мог создать очень большой трафик, а если более точно, то после 10 секунд нужного нам режима, происходил OutOfMemory и тестирование прекращалось, в некоторых случаях проблемы не было, но скорость отправки запросов заметно уменьшалась, при этом загрузка CPU — 400%, решалось перезапуском программы. Пользоваться было крайне не удобно.
Итак, мы имеем проблему, и ее нужно решить, первое, что пришло в голову — сделать свой мини-тест, отвечающий минимальным требованиям. Давно было интересно попробовать Go на вкус. Так родилось приложение go-meter. При написании возникало очень много вопросов, ответов на которые либо не было, либо они не объясняли проблему, поэтому я решил поделиться опытом и примером рабочего кода, если Вам интересно, прошу подкат.

Предисловие

Думаю писать о том, что это за язык не имеет смысла, вы всегда можете посмотреть тур по языку, который раскрывает основные элементы. Как устанавливать и настраивать окружение тоже не стоит, в документации все написано на вполне понятном языке.
Почему выбрал именно Go? Тут есть несколько критериев, очень важных для меня: он быстро работает, кроссплатформенный, есть потоки, которыми просто управлять, необычный. Конечно, Вы скажите, что написать это можно и на любом другом языке. Я с Вами согласен, но задачей было не только написать, но и узнать что-то новое.

Приступим

Не долго думая было решено хранить профиль теста в JSON формате, после запуска приложения читается профиль и запускается тестирование. Во время тестирования в консоль выводится сводная таблица(время ответа, количество запросов в секунду и процентное отношение ошибок, предупреждений и удачных запросов). С JSON все просто, для этого нужно сделать структуры для каждого элемента, открыть и прочитать файл:
func (this *Settings) Load(fileName string) error {
	file, e := ioutil.ReadFile(fileName); if e != nil {
		return e
	}
	e = json.Unmarshal(file, this); if e != nil {
		return e
	}
	return nil
}


Пойдем дальше. После запуска нам нужно запустить N-потоков, и после отработки каждого из них агрегировать данные, далее выводить красиво в консоль. Для этого в этом интересном языке есть Channels. Своего рода «трубы» между разными потоками. Не нужно никаких синхронизаций, блокировок, все сделано за нас. Идея такая: поток отправляет запрос, определяет результат и об этом сообщает в основной поток, который в свою очередь ждет пока все потоки не отработают и выводить все полученные данные. Потоки у нас будут общаться по средствам передачи структуры:
type Status struct {
	IsError bool
	IsWarning bool
	IsSuccess bool
	Duration *time.Duration
	Size int64
	IsFinished bool
	Error *error
	FinishedAt *time.Time
	StartedAt *time.Time
}

Каждый поток у нас будет выполнять M-раз HTTP запрос к указанному ресурсу. Если у нас POST запрос, то еще отправляя определенные данные, которые хочет пользователь:
func StartThread(setts *settings.Settings, source *Source, c chan *Status){
	iteration := setts.Threads.Iteration
	//Формируем объект key, value для заголовков запроса
	header := map[string]string{}
	for _, s := range setts.Request.Headers {
		keyValue := regexp.MustCompile("=").Split(s, -1)
		header[keyValue[0]] = keyValue[1]
	}

	sourceLen := len(*source)

	//необходимый URL
	url := setts.Remote.Protocol + "://" + setts.Remote.Host + ":" + strconv.Itoa(setts.Remote.Port) + setts.Request.Uri
	if iteration < 0 {
		iteration = sourceLen
	}
	index := -1
	for ;iteration > 0; iteration-- {
		status := &Status{false, false, false, nil, 0, false, nil, nil, nil}
		index++
		if index >= sourceLen {
			if setts.Request.Source.RestartOnEOF {
				index = 0
			} else {
				index--
			}
		}
		//Получаем данные для отправки запроса
		var s *bytes.Buffer
		if strings.ToLower(setts.Request.Method) != "get" {
			s = bytes.NewBuffer((*source)[index])
		}
		//Создаем HTTP запрос
		req, err := http.NewRequest(setts.Request.Method, url, s); if err != nil {
			status.Error = &err
			status.IsError = true
			c <- status
			break
		}
		//Выставляем заголовки
		for k,v := range header {
			req.Header.Set(k,v)
		}
		//Засекаем время
		startTime := time.Now()
		//Отправляем запрос
		res, err := http.DefaultClient.Do(req); if err != nil {
			status.Error = &err
			status.IsError = true
			c <- status
			break
		}
		endTime := time.Now()
		//Записываем служебную информацию
		status.FinishedAt = &endTime
		status.StartedAt = &startTime
		diff := endTime.Sub(startTime)
		//Проверяем статус ответа и причисляем в одной из 3 групп (Error, Warning, Success)
		checkStatus(setts.Levels, res, diff, status)
		//Закрываем соединение
		ioutil.ReadAll(res.Body)
		res.Body.Close()
		//Оповещаем главный поток
		c <- status
		//Если установлена в настройках задержка, выполняем ее
		if setts.Threads.Delay > 0 {
			sleep := time.Duration(setts.Threads.Delay)
			time.Sleep(time.Millisecond * sleep)
		}
	}
	//Оповещаем главный поток о завершении работы
	status := &Status{false, false, false, nil, 0, true, nil, nil, nil}
	c <- status
}


Осталось только запустить наши потоки при старте программы и слушать от них данные
c := make(chan *Status, iteration * setts.Threads.Count)
for i := 0; i < setts.Threads.Count; i++{
	go StartThread(&setts, source, c)
}
for i := iteration * setts.Threads.Count; i>0 ; i-- {
	counter(<-c)
}
fmt.Println("Completed")


Вместо заключения

Это самые интересные моменты, на мой взгляд. Все исходики доступны на GitHub, там можно посмотреть весь цикл работы с примером использования. По факту, с данной задачей этот чудо язык справился с лихвой, при генерации трафика объемом в 3 раза больше чем было в случае с JMeter загрузка процессора редко превышает 15%.
Если будет интересно, расскажу о процессе написание HTTP Restfull Web сервиса с хранилищем в MongoDB и Redis.

Спасибо за внимание!
Tags:
Hubs:
Total votes 34: ↑31 and ↓3 +28
Views 13K
Comments Comments 30