Отличный вопрос ! Конечно дальше есть развитие, это не финал вашей карьеры в индустрии. Над тест-менеджером, также есть управленцы это Head of QA (Директор по обеспечению тестирования). как правило они либо стоят на одном уровне с CTO либо напрямую под ним, зависит от структуры компании.
Куда растут технические эксперты ? Тут я бы больше сказал, что у них судьба не посредственно связана с разработкой, скорее всего такие люди уходят в управление разработкой некого направления. Из практики видел, как люди уходили и потом возглавляли нагрузочное тестирование целой компании, либо разработку некого проекта. Но это скорее возможно в биг-тех компаниях.
В остальном мое мнение такое, при построение карьеры вы поднимаетесь на ступень выше в иерархии, а это Head of qa, далее CTO.
В общем как такого-го потолка нет, смотрите свои компетенции, компетенции слева и справа, делайте выводы, принимаем решение, стройте карьеру.
"Делали вызов эндпоинта просто или полный путь пользователя через рекордер? "
BlazeMeter - позволяет записывать путь клиента с web-сайта. Когда мы разобрали CJM на атомы, получили карту путей пользователя, увидели какие страницы посещаются. Записали эти пути. Совет, не брезгуйте кнопкой "Steps", лучше потратить одну минуту на описание шага там, чем потом разбирать спагетти из запросов и страниц.
Далее начали делать тесты универсальными.
Создали тестовых пользователей на которых будем обкатывать. (В Jmeter их можно передать как эксель файлом, так и забить в настройку пользователей).
Использовали тулы и параметры самого Jmeter. Посмотрите какие есть доступные тулы. Система сама может в JSON находить данные и передавать их в переменную в следующий запрос. Это позволяет делать запросы от каждого пользователя уникальными. Либо подготовить такие данные пользователя и все передать в эксель файле, разметив там переменные.
Каждый сценарий надо обернуть в определенный тред юзерс
"Столкнулись ли с ограничениями Jmeter на память, если да то как распараллеливали? "
Столкнулся.
Офисный ПК не подходит под проведение нагрузки, отладка на 1-5 потоков окей, но на полноценный запуск, категорически нет. По возможности обзаведитесь виртуальной машиной, без GUI и управляйте запуском через консоль. Гайды есть, у Jmeter обширная документация.
Если вы столкнулись с ошибкой " out of memory", это говорит что выделяемой памяти под jmeter не хватает. Это правится в bat- файле через который вы запускаете Jmeter. Посмотрите сколько у вас прописано памяти JVM memory в разделе Heap. Строка "-Xms1g - Xmx1g -XX:MaxMetaspaceSize=256m" Поменять параметры: "-xms1g - Xmx6g -XX:MaxMetaspaceSize=256m" В этом файле таких мест 2, внесите изменения, сохраните файл и запускайте Jmeter.
Доброго дня! Нет, это было сделано разово, что бы пережить запуск акции. Так делать точно не стоит, мы понимали риски связанные с таким экспериментом, поэтому мы очень тщательно подошли к выбору времени проведения и потратили много времени на анализ, Shift-Left так сказать.
Если у вас есть время на сборку стенда подобного PROD среде, то лучше сделать такой изолированный стенд. Тогда вы сможете увидеть всю картину в целом, как поды поднимаются, как отключается какова вся картина при высокой нагрузке. Но времени не было. Сейчас у меня есть доступ к нужным метрикам и команда следит за нагрузкой.
Да, верно, я писал для новичков. Увы часто вижу изумление в глазах владельцев продукта, когда спрашиваю подобные вещи. Цель данной статьи побудить не только лидов обращаться к данным метрикам, но и простым тестерам. Все же мы за качественный продукт. Спасибо, спасибо за такой комментарий.
Да, именно это и сделали, после обнаружения проблемы. Почему не сделали это раньше? Это был временный функционал, написанный более 6 лет назад, под запуск одной акции. В результате функционал не был описан, как следствие у нас не было проверок на этот кейс. Этот функционал обнаружился при возникновении проблемы.
Отличный вопрос !
Конечно дальше есть развитие, это не финал вашей карьеры в индустрии.
Над тест-менеджером, также есть управленцы это Head of QA (Директор по обеспечению тестирования). как правило они либо стоят на одном уровне с CTO либо напрямую под ним, зависит от структуры компании.
Куда растут технические эксперты ? Тут я бы больше сказал, что у них судьба не посредственно связана с разработкой, скорее всего такие люди уходят в управление разработкой некого направления. Из практики видел, как люди уходили и потом возглавляли нагрузочное тестирование целой компании, либо разработку некого проекта. Но это скорее возможно в биг-тех компаниях.
В остальном мое мнение такое, при построение карьеры вы поднимаетесь на ступень выше в иерархии, а это Head of qa, далее CTO.
В общем как такого-го потолка нет, смотрите свои компетенции, компетенции слева и справа, делайте выводы, принимаем решение, стройте карьеру.
Ну собственно так тема и родилась)))).
Значит следующая часть, тоже будет полезна.
"Делали вызов эндпоинта просто или полный путь пользователя через рекордер? "
BlazeMeter - позволяет записывать путь клиента с web-сайта. Когда мы разобрали CJM на атомы, получили карту путей пользователя, увидели какие страницы посещаются. Записали эти пути. Совет, не брезгуйте кнопкой "Steps", лучше потратить одну минуту на описание шага там, чем потом разбирать спагетти из запросов и страниц.
Далее начали делать тесты универсальными.
Создали тестовых пользователей на которых будем обкатывать. (В Jmeter их можно передать как эксель файлом, так и забить в настройку пользователей).
Использовали тулы и параметры самого Jmeter. Посмотрите какие есть доступные тулы. Система сама может в JSON находить данные и передавать их в переменную в следующий запрос. Это позволяет делать запросы от каждого пользователя уникальными. Либо подготовить такие данные пользователя и все передать в эксель файле, разметив там переменные.
Каждый сценарий надо обернуть в определенный тред юзерс
"Столкнулись ли с ограничениями Jmeter на память, если да то как распараллеливали? "
Столкнулся.
Офисный ПК не подходит под проведение нагрузки, отладка на 1-5 потоков окей, но на полноценный запуск, категорически нет. По возможности обзаведитесь виртуальной машиной, без GUI и управляйте запуском через консоль. Гайды есть, у Jmeter обширная документация.
Если вы столкнулись с ошибкой " out of memory", это говорит что выделяемой памяти под jmeter не хватает. Это правится в bat- файле через который вы запускаете Jmeter. Посмотрите сколько у вас прописано памяти JVM memory в разделе Heap.
Строка "-Xms1g - Xmx1g -XX:MaxMetaspaceSize=256m"
Поменять параметры: "-xms1g - Xmx6g -XX:MaxMetaspaceSize=256m"
В этом файле таких мест 2, внесите изменения, сохраните файл и запускайте Jmeter.
Доброго дня! Нет, это было сделано разово, что бы пережить запуск акции. Так делать точно не стоит, мы понимали риски связанные с таким экспериментом, поэтому мы очень тщательно подошли к выбору времени проведения и потратили много времени на анализ, Shift-Left так сказать.
Если у вас есть время на сборку стенда подобного PROD среде, то лучше сделать такой изолированный стенд. Тогда вы сможете увидеть всю картину в целом, как поды поднимаются, как отключается какова вся картина при высокой нагрузке. Но времени не было. Сейчас у меня есть доступ к нужным метрикам и команда следит за нагрузкой.
Я, Андреевич. Полностью совпали ?
Да, верно, я писал для новичков. Увы часто вижу изумление в глазах владельцев продукта, когда спрашиваю подобные вещи.
Цель данной статьи побудить не только лидов обращаться к данным метрикам, но и простым тестерам. Все же мы за качественный продукт.
Спасибо, спасибо за такой комментарий.
Привет, столкнулся с такой темой. Я тогда сходил к бизнес заказчикам, захотели больше автоматизации, нагрузочное, безопастность.
Если бизнес молчит, можно пообщаться с командой про 0 багов на проде, покрытие тесткейсов, покрытие автоматизации, клиентские сценарии.
Ну и поресерчить бизнесовые метрики на которые может влиять команда.
Добрый день, Да! У нас в компании зарплатные вилки привязаны к грейду специалиста.
Привет, для оценки компетенций мы используем инструмент Vectorly. Скриншоты были сделаны из данной программы.
Да, именно это и сделали, после обнаружения проблемы.
Почему не сделали это раньше? Это был временный функционал, написанный более 6 лет назад, под запуск одной акции. В результате функционал не был описан, как следствие у нас не было проверок на этот кейс. Этот функционал обнаружился при возникновении проблемы.