Пора забывать GridSearch — встречайте ProgressiveGridSearch. Фракталы в ML, постепенно увеличиваем разрешение

[Artgor]

Статью лайкнул, но хотелось бы видеть сравнение подхода с более современными, чем дефолтный GridSearch - bayesian optimization, например, или с библиотеками типа optuna.

[nstrek]

Это следующий шаг. Это я сделаю, спасибо. Тут главное как узлы упорядочиваются. Алгоритм не зависит от значений функции, а то, сравнения с чем вы хотите, зависит от значений функции. Я уже работаю над тем чтобы разумно отбирать узла-кандидаты по значениям функции

[sunnybear]

Это важно, ибо Optuna уже является индустриальным стандартом. Имеет смысл делать решение, которое, как минимум, не хуже текущего.

[nstrek]

Спасибо. Все будет)

[Dynasaur]

del

[ogurtsov]

Пора забывать GridSearch
Нет, пора вспоминать (или узнавать), что не гридсёрчем единым: https://habr.com/ru/company/skillfactory/blog/528240/

[nstrek]

В статье идет речь о оптимизации порядка вычислений. Это метод поиска минимума функции на сетке не зависящий от значений функции. Те методы, о которых вы пишите зависят от функции и ровно в этом и заключается их преимущество перед GridSearch'ем . Когда я добавлю в свой метод обратную связь по наблюдениям (значениям) функции это само собой даст еще большее преимущество, может не догонит методы первого порядка, а может обгонит - пока не проверил.

[Ananiev_Genrih]

И с tune race ANOVA неплохо было бы сравнить по скорости (не знаю есть ли в python)

[Zhekuson]

Оригинально, неплохо. Но хочу увидеть сравнение с optuna

[i-netay]

Хорошее годное улучшение. Однако в задачах метрических оптимизаций среди фрактальных кривых чаще дают большее преимущество непрерывные кривые, так что Z-кривая может быть не лучшим выбором. Хотя, конечно, куда лучше покоординатного обхода. Попробуйте непрерывные: кривая Гильберта (посложнее и потяжелее), H-кривая (попроще, поэффективнее: https://github.com/Kryptonite-RU/Hcurve). Это может улучшить результаты.

[nstrek]

Спасибо!