Как работает CMA-ES для оптимизации гиперпараметров в Optuna

[ZinCin]

Спасибо, как никогда вовремя

[n_gusak]

Отличная статья! Наконец-то нашла понятное и наглядное объяснение, как именно работает CMA-ES в Optuna. Авторы очень хорошо разложили алгоритм по шагам с отличными визуализациями. Теперь гораздо лучше понимаю, почему CMA-ES часто оказывается эффективнее TPE или Random Search в сложных пространствах. Большое спасибо!

[Songele]

Спасибо за статью, информация хорошо структурирована, было полезно ознакомиться

[Son-c_hez]

Неплохо

[RiLordWi]

Полезно, но хотелось бы, чтобы рассматривались и недостатки описываемых методов

[wiwastazz]

хорошее замечание, основной недостаток это в первую очередь сложность вычисления собственных значений матрицы ковариации особенно при большом числе гиперпараметров. Плюс TPE лучше справляется с категориальными переменными в отличие от cmaes и он быстрее справляется на меньшем числе попыток