Возможно не так понят посыл проекта, это не замена и не альтернатива профилировщику. В дальнейшем хотелось бы создать набор классов-тестов где будет происходить сравнение аналогичных по конечному результату функций/алгоритмов, как они себя ведут при разных значениях параметров, с возможностью легко развернуть и проверить на своей стороне результат.
Да, если будем сравнивать профайлер с данным способом различия могут быть, но ведь в нашем случае производим замеры 2х функций при одинаковых условиях, тоесть время выполнения функций может иметь какую-то погрешность, но относительно друг друга они должны иметь сопоставимые результаты.
Согласен, что любым профилировщиком можно получить много информации и он очень удобен для отладки. Даже для получения усредненных данных в текущем проекте можно добавить замеры с помощью профилировщика, но на сколько здесь будет это обоснованно? Ведь для замеров времени и памяти достаточно одного PHP а для голой установки не будет требования в наличии профилировщика.
Про идею подбора количества итераций понял.
Про замеры, в данном случае машинные погрешности исключаются не за счет объема выборки (вы скорее всего имели это ввиду) а какраз за счет количества итераций. На графике можно проследить, что даже с таким объемом выборки время выполнения одной функции превышает, а с увеличением объема разница становится существеннее. Но соглашусь, что при бОльшем объеме это было бы еще заметнее.
Возможно я не знаю всех тонкостей xDebug, но помоему он не предоставляет возможности проведения множества испытаний с разным набором данных и формирования результирующего сравнительного представления. Тоесть если такое и возможно, то необходимо создание обработчика для xDebug. Всех ближе к тому, что хотелось бы получить Xhprof, но опять же требуются доработки. Я считаю, что реализация на PHP имеет место на существование, поскольку обладает такими плюсами как возможность расширения и легкость установки.
Про замеры, в данном случае машинные погрешности исключаются не за счет объема выборки (вы скорее всего имели это ввиду) а какраз за счет количества итераций. На графике можно проследить, что даже с таким объемом выборки время выполнения одной функции превышает, а с увеличением объема разница становится существеннее. Но соглашусь, что при бОльшем объеме это было бы еще заметнее.