Супермедленный и супербыстрый бенчмарк

У вас в голове неправильный масштаб времени происходящего. Смотрите: если метод выполняется один раз и не имеет блокировок (будь то mutex или i/o, или другой синхронный системный вызов), он либо выполняется не больше миллисекунды (даже в интерпретируемом режиме), либо вызывает другие методы в цикле, либо содержит большой цикл, который не вызывает других методов. В первом случае даже бигбоссу плевать. Во втором уже через несколько итераций цикла все вызываемые методы будут JIT-компилированы и код уже разгонится до весьма приличной скорости (а потом дооптимизируется до максимальной). В третьем (который очень редкий в реальной жизни) спасает механизм OSR. В любом случае меньше чем за секунду даже гигантский объём кода будет весь приведён в боевое состояние, поэтому бигбоссу плевать на JIT. Тормоза в Java кроются совсем в других местах (как раз i/o, избыточная синхронизация, сборка мусора, если программа чрезмерно гадит, и т. д.)

Вообще-то «запустили профилировщик» — это тоже не так просто. В зависимости от ситуации профилировщик легко может выдать мусор вместо реальных данных. Программа под профилировщиком ведёт себя не так как программа в продакшне.

Обычно «поправили» — и есть смена языка.

Мой опыт говорит, что большинство проблем с производительностью на Java решается оптимизацией Java-кода, а не впиливанием C+JNI. Очень редко впиливать C+JNI оправданно. У вас другой опыт? Можете рассказать пару историй успеха, когда вам пришось впилить C+JNI?

$ time java A
0 : 86501.16352799999 ms

real    1m26.593s
user    1m28.326s
sys     0m1.291s

$ time ./a.out

real    4m29.753s
user    4m29.496s
sys     0m0.010s

int main() {

    int* arr;
    int sum = 0;
    for (int i = 0; i < 10000; i++) {
		arr = new int[1024 * 1024];
        for(int j = 0; j < 1024 * 1024; j++) {
			arr[j] = j * j;
			sum += arr[j];
		}
		delete [] arr;
    }
	return sum;

}

public class ThousandGB2 {
public static void main(String... args) {
        int sum = 0;
        for (int i = 0; i < 10000; i++) {
			int[] arr = new int[1024 * 1024];
            for (int j = 0; j < 1024 * 1024; j++) {
                arr[j] = j * j;
				sum += arr[j];
            }
        }
    }
}

$ g++ -o ThousandGB2 ThousandGB2.cpp -O3 && time ThousandGB2

real    0m21.006s
user    0m0.000s
sys     0m0.046s

$ javac ThousandGB2.java && time java -Xmx300m ThousandGB2

real    0m15.303s
user    0m0.000s
sys     0m0.047s

int main() {

    int* arr;
    int sum = 0;
    for (int i = 0; i < 10000; i++) {
		arr = new int[1024 * 1024];
        for(int j = 0; j < 1024 * 100; j++) {
			arr[j] = j * j;
			sum += arr[j];
		}
		delete [] arr;
    }
	return sum;

}

public class ThousandGB2 {
public static void main(String... args) {
        int sum = 0;
        for (int i = 0; i < 10000; i++) {
			int[] arr = new int[1024 * 1024];
            for (int j = 0; j < 1024 * 100; j++) {
                arr[j] = j * j;
				sum += arr[j];
            }
        }
    }
}

$ g++ -o ThousandGB2 ThousandGB2.cpp -O3 && time ThousandGB2

real    0m2.120s
user    0m0.015s
sys     0m0.015s

$ javac ThousandGB2.java && time java -Xmx300m ThousandGB2

real    0m5.848s
user    0m0.000s
sys     0m0.031s