pgbench для получения результирующих значений tps использует среднее арифметическое - это серьезная проблема , потенциально способная сильно исказить результат.
Математики говорят, что среднее арифметическое не является робастным. Это значит, что оно не устойчиво к выбросам. Хватит одного-единственного экстремально большого значения, чтобы полностью испортить результат.
Описательная статистика перформанс-распределений https://habr.com/p/722342/
А производительность СУБД есть случайная функция.
Вывод - не стоит использовать результаты pgbench для анализа влияния каких либо изменений и сравнения производительности СУБД.
Как инструмент создания нагрузки - да, как инструмент анализа результатов - нет.
Насколько СУБД подвержено случайным факторам, например облачной среды, показано:
Нагрузочное тестирование СУБД в облачной среде — часть 1 https://habr.com/p/837216/
Нагрузочное тестирование СУБД в облачной среде — часть 2. Итоги и результат https://habr.com/p/837462/
Пользователь
Студия Fundr из Манилы выпустила браузерную игру Cancel Your Subscription, в которой надо выполнить всего одну задачу — отменить подписку на сервис. Задача звучит просто, но довести её до конца сложно: сервис маскирует кнопки отмены, предлагает скидки и просит аргументировать решение. Финальный этап игры — переписка с менеджером по удержанию клиентов.
