Comments 2
Картинки я брал не оттуда, но, я думаю, они очень популярны в объяснении работы оптимизации с гауссовскими процессами.
В рассказе я не углублялся во все baseline-ы, но они включали и упомянутый Вами hyperopt пакет. Baseline-ами были: random search, nevergrad, opentuner, hyperopt, skopt, turbo и pysot. Мы сравнивались на 108 экспериментах из bayesmark со всеми из них. Их средними оценками в том же порядке были: 91.658, 92.765, 93.693, 95.881, 96.670, 97.765, 98.200, а наш алгоритм набирал 98.960.
То есть на тех экспериментах разница между hyperopt и random search (95.881-91.658) была приблизительно того же порядка, что и разница между нашим алгоритмом и hyperopt (98.960-95.881).
На наборе задач из финала наш алгоритм набрал 92.509, а baseline-ы, как поделились организаторы, набирали в районе 88.
В рассказе я не углублялся во все baseline-ы, но они включали и упомянутый Вами hyperopt пакет. Baseline-ами были: random search, nevergrad, opentuner, hyperopt, skopt, turbo и pysot. Мы сравнивались на 108 экспериментах из bayesmark со всеми из них. Их средними оценками в том же порядке были: 91.658, 92.765, 93.693, 95.881, 96.670, 97.765, 98.200, а наш алгоритм набирал 98.960.
То есть на тех экспериментах разница между hyperopt и random search (95.881-91.658) была приблизительно того же порядка, что и разница между нашим алгоритмом и hyperopt (98.960-95.881).
На наборе задач из финала наш алгоритм набрал 92.509, а baseline-ы, как поделились организаторы, набирали в районе 88.
Sign up to leave a comment.
Black-Box Optimization Challenge, или как подбирать гиперпараметры для моделей