"Делали вызов эндпоинта просто или полный путь пользователя через рекордер? "
BlazeMeter - позволяет записывать путь клиента с web-сайта. Когда мы разобрали CJM на атомы, получили карту путей пользователя, увидели какие страницы посещаются. Записали эти пути. Совет, не брезгуйте кнопкой "Steps", лучше потратить одну минуту на описание шага там, чем потом разбирать спагетти из запросов и страниц.
Далее начали делать тесты универсальными.
Создали тестовых пользователей на которых будем обкатывать. (В Jmeter их можно передать как эксель файлом, так и забить в настройку пользователей).
Использовали тулы и параметры самого Jmeter. Посмотрите какие есть доступные тулы. Система сама может в JSON находить данные и передавать их в переменную в следующий запрос. Это позволяет делать запросы от каждого пользователя уникальными. Либо подготовить такие данные пользователя и все передать в эксель файле, разметив там переменные.
Каждый сценарий надо обернуть в определенный тред юзерс
"Столкнулись ли с ограничениями Jmeter на память, если да то как распараллеливали? "
Столкнулся.
Офисный ПК не подходит под проведение нагрузки, отладка на 1-5 потоков окей, но на полноценный запуск, категорически нет. По возможности обзаведитесь виртуальной машиной, без GUI и управляйте запуском через консоль. Гайды есть, у Jmeter обширная документация.
Если вы столкнулись с ошибкой " out of memory", это говорит что выделяемой памяти под jmeter не хватает. Это правится в bat- файле через который вы запускаете Jmeter. Посмотрите сколько у вас прописано памяти JVM memory в разделе Heap. Строка "-Xms1g - Xmx1g -XX:MaxMetaspaceSize=256m" Поменять параметры: "-xms1g - Xmx6g -XX:MaxMetaspaceSize=256m" В этом файле таких мест 2, внесите изменения, сохраните файл и запускайте Jmeter.
Доброго дня! Нет, это было сделано разово, что бы пережить запуск акции. Так делать точно не стоит, мы понимали риски связанные с таким экспериментом, поэтому мы очень тщательно подошли к выбору времени проведения и потратили много времени на анализ, Shift-Left так сказать.
Если у вас есть время на сборку стенда подобного PROD среде, то лучше сделать такой изолированный стенд. Тогда вы сможете увидеть всю картину в целом, как поды поднимаются, как отключается какова вся картина при высокой нагрузке. Но времени не было. Сейчас у меня есть доступ к нужным метрикам и команда следит за нагрузкой.
Да, верно, я писал для новичков. Увы часто вижу изумление в глазах владельцев продукта, когда спрашиваю подобные вещи. Цель данной статьи побудить не только лидов обращаться к данным метрикам, но и простым тестерам. Все же мы за качественный продукт. Спасибо, спасибо за такой комментарий.
Да, именно это и сделали, после обнаружения проблемы. Почему не сделали это раньше? Это был временный функционал, написанный более 6 лет назад, под запуск одной акции. В результате функционал не был описан, как следствие у нас не было проверок на этот кейс. Этот функционал обнаружился при возникновении проблемы.
Ну собственно так тема и родилась)))).
Значит следующая часть, тоже будет полезна.
"Делали вызов эндпоинта просто или полный путь пользователя через рекордер? "
BlazeMeter - позволяет записывать путь клиента с web-сайта. Когда мы разобрали CJM на атомы, получили карту путей пользователя, увидели какие страницы посещаются. Записали эти пути. Совет, не брезгуйте кнопкой "Steps", лучше потратить одну минуту на описание шага там, чем потом разбирать спагетти из запросов и страниц.
Далее начали делать тесты универсальными.
Создали тестовых пользователей на которых будем обкатывать. (В Jmeter их можно передать как эксель файлом, так и забить в настройку пользователей).
Использовали тулы и параметры самого Jmeter. Посмотрите какие есть доступные тулы. Система сама может в JSON находить данные и передавать их в переменную в следующий запрос. Это позволяет делать запросы от каждого пользователя уникальными. Либо подготовить такие данные пользователя и все передать в эксель файле, разметив там переменные.
Каждый сценарий надо обернуть в определенный тред юзерс
"Столкнулись ли с ограничениями Jmeter на память, если да то как распараллеливали? "
Столкнулся.
Офисный ПК не подходит под проведение нагрузки, отладка на 1-5 потоков окей, но на полноценный запуск, категорически нет. По возможности обзаведитесь виртуальной машиной, без GUI и управляйте запуском через консоль. Гайды есть, у Jmeter обширная документация.
Если вы столкнулись с ошибкой " out of memory", это говорит что выделяемой памяти под jmeter не хватает. Это правится в bat- файле через который вы запускаете Jmeter. Посмотрите сколько у вас прописано памяти JVM memory в разделе Heap.
Строка "-Xms1g - Xmx1g -XX:MaxMetaspaceSize=256m"
Поменять параметры: "-xms1g - Xmx6g -XX:MaxMetaspaceSize=256m"
В этом файле таких мест 2, внесите изменения, сохраните файл и запускайте Jmeter.
Доброго дня! Нет, это было сделано разово, что бы пережить запуск акции. Так делать точно не стоит, мы понимали риски связанные с таким экспериментом, поэтому мы очень тщательно подошли к выбору времени проведения и потратили много времени на анализ, Shift-Left так сказать.
Если у вас есть время на сборку стенда подобного PROD среде, то лучше сделать такой изолированный стенд. Тогда вы сможете увидеть всю картину в целом, как поды поднимаются, как отключается какова вся картина при высокой нагрузке. Но времени не было. Сейчас у меня есть доступ к нужным метрикам и команда следит за нагрузкой.
Я, Андреевич. Полностью совпали ?
Да, верно, я писал для новичков. Увы часто вижу изумление в глазах владельцев продукта, когда спрашиваю подобные вещи.
Цель данной статьи побудить не только лидов обращаться к данным метрикам, но и простым тестерам. Все же мы за качественный продукт.
Спасибо, спасибо за такой комментарий.
Привет, столкнулся с такой темой. Я тогда сходил к бизнес заказчикам, захотели больше автоматизации, нагрузочное, безопастность.
Если бизнес молчит, можно пообщаться с командой про 0 багов на проде, покрытие тесткейсов, покрытие автоматизации, клиентские сценарии.
Ну и поресерчить бизнесовые метрики на которые может влиять команда.
Добрый день, Да! У нас в компании зарплатные вилки привязаны к грейду специалиста.
Привет, для оценки компетенций мы используем инструмент Vectorly. Скриншоты были сделаны из данной программы.
Да, именно это и сделали, после обнаружения проблемы.
Почему не сделали это раньше? Это был временный функционал, написанный более 6 лет назад, под запуск одной акции. В результате функционал не был описан, как следствие у нас не было проверок на этот кейс. Этот функционал обнаружился при возникновении проблемы.