Сравнение времени выполнения алгоритма на CPU и GPU

void thread_task(size_t number, size_t max_degree, size_t tid, size_t* result)
{
   // tid - индекс потока
   size_t val = 1;
   for (size_t deg = 1; deg < max_degree; ++deg) {
      val *= tid;
      if (val == number)
         result[tid] = deg;
   }
}

thread *T = new thread[size];
Running_thread_counter = 0;
for (int i = 0; i < size; i++) {
   T[i] = thread(Upload_to_CPU, Number, Stepn, Stop, INPUT, max, i);
   T[i].detach();
}
while (Running_thread_counter < size - 1);//дождаться завершения выполнения всех потоков
// <= только не (size-1), а size

// <= А где у нас удаление ресурсов в виде delete[] T???

Running_thread_counter

atomic<int> Running_thread_counter

for (int i = 0; i < size; i++) {
   T[i] = thread(Upload_to_CPU, Number, Stepn, Stop, INPUT, max, i);
}
for (int i = 0; i < size; i++) {
   T[i].join();   // <= ждем фактического завершения работы потока
}

__constant__ unsigned long long number, max_degree;
__shared__ unsigned long long buffer[1024];

__global__ void kernel(int* result)
{
   unsigned long long tid = threadId.x;
   unsigned long long val = 1;

   for (unsigned long long deg = 1; deg < max_deg; ++deg) {
      val *= tid;
      if (val == number) {
         buffer[tid] = deg;
         break;
      }
   }
   result[tid] = buffer[tid];
}

int main()
{
   ...
   // CUDA оперирует понятием варпа (cuda core в спецификации видеокарт, 32 потока), 
   // поэтому их число лучше делать кратным 32
   kernel<<<1, 1024>>>();  
   ...
}

1. Энтони Уильямс. «Параллельное программирование на C++ в действии», «C++. Практика многопоточного программирования».
2. Сандерс Джейсон. Технология CUDA в примерах. Введение в программирование графических процессоров

Используйте GPU по назначению, например для FFT2 и будет вам прирост производительности

Попытался воспроизвести сравнение на своей машине, но ни порядок величин, ни харатер зависимости не совпали ни для CPU ни для GPU.

cat run.sh 
#!/bin/bash
dataset=("1679616\n500" "18143994\n2500" "82301184\n6500" "136048896\n8500" "123119982\n9500" "377913600\n14500")
echo "test GPU"
nvcc --version
nvcc test.cu
for data in ${dataset[*]}
do
    printf $data > input.txt
    cat input.txt
    echo ""
    time ./a.out
done

echo "test CPU"
g++ --version
g++ -O3 test.cpp -pthread
for data in ${dataset[*]}
do
    printf $data > input.txt
    cat input.txt
    echo ""
    time ./a.out
done

./run.sh 
test GPU
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2019 NVIDIA Corporation
Built on Wed_Oct_23_19:24:38_PDT_2019
Cuda compilation tools, release 10.2, V10.2.89
1679616
500
6^8=1679616
36^4=1679616

real    0m0.141s
user    0m0.037s
sys 0m0.093s
18143994
2500
no value

real    0m0.349s
user    0m0.206s
sys 0m0.138s
82301184
6500
no value

real    0m1.525s
user    0m1.122s
sys 0m0.401s
136048896
8500
108^4=136048896

real    0m2.557s
user    0m1.910s
sys 0m0.645s
123119982
9500
no value

real    0m3.227s
user    0m2.500s
sys 0m0.719s
377913600
14500
no value

real    0m7.147s
user    0m5.497s
sys 0m1.648s
test CPU
g++ (Ubuntu 7.5.0-3ubuntu1~18.04) 7.5.0
Copyright (C) 2017 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

1679616
500
6^8=1679616
36^4=1679616

real    0m0.053s
user    0m0.251s
sys 0m0.028s
18143994
2500
no value

real    0m0.806s
user    0m5.932s
sys 0m0.051s
82301184
6500
no value

real    0m5.214s
user    0m40.169s
sys 0m0.056s
136048896
8500
108^4=136048896

real    0m8.926s
user    1m8.601s
sys 0m0.052s
123119982
9500
no value

real    0m11.008s
user    1m25.921s
sys 0m0.136s
377913600
14500
no value

real    0m25.551s
user    3m20.153s
sys 0m0.160s

Результат (почему-то не сработал табличный markdown)

| Data            |     CPU |    GPU |
| --------------- | ------- | ------ |
| 1679616x500     |  0.053s | 0.141s |
| 18143994x2500   |  0.806s | 0.349s |
| 82301184x6500   |  5.214s | 1.525s |
| 136048896x8500  |  8.926s | 2.557s |
| 123119982x9500  | 11.008s | 3.227s |
| 377913600x14500 | 25.551s | 7.147s |

Сложно сказать, почему 1060 оказался в 10 раз быстрее 2060 и Intel в 4 раза быстрее AMD (но может быть конечно честные 8 ядер в 4 раза быстрее чем 4ядра*2потока).