Подбор гиперпараметров ML-модели с помощью HYPEROPT

[@MaksimIvanov]

Добрый день. Спасибо за статью.

Байесовская оптимизация. Здесь значения гиперпараметров в текущей итерации выбираются с учётом результатов на предыдущем шаге. Основная идея алгоритма заключается в следующем – на каждой итерации подбора находится компромисс между исследованием регионов с самыми удачными из найденных комбинаций гиперпараметров и исследованием регионов с большой неопределённостью (где могут находиться ещё более удачные комбинации).

А генетические алгоритмы оптимизации: разве не этим же и, практически, так же занимаются? Там только по другому всё называется — конкретная комбинация значений параметров поиска: хромосома, «самые удачные из найденных комбинаций» — это хромосомы с лучшим значением функции приспособленности, они отбираются в следующую популяцию.

[@YuraLia]

Про баесовскую оптимизацию более конкретно habr.com/ru/post/494242

[@NewTechAudit]

Спасибо за интерес к статье! У байесовских алгоритмов формирование новой популяции основано на оценке всей старой популяции (построение модели распределения), а не отдельных её представителей, как у генетических. Подробнее в работе www.researchgate.net/publication/220742974_A_comparison_study_between_genetic_algorithms_and_bayesian_optimize_algorithms_by_novel_indices

[@MaksimIvanov]

Спасибо, интересная статья. Чем то напомнило процесс работы гаусовых микстур-моделей кластеризации.
Погуглил, почитал примеры фромскратч-кодирования BOA, например.
YuraLia спасибо за ссылку на хабр-статью, добавила, да, к понимаю, наглядно.

Можно ещё уточню: я правильно понимаю что в BOA — таки делается какое то, именно — волюнтаристкое (ну. в смысле — не строго формально обоснованное), допущение о том как именно устроена функция правдоподобия.

[@NewTechAudit]

Да, примерно так. Строится суррогатная функция и находятся параметры, которые дают на ней лучший результат. После чего найденные параметры тестируются на основной

[@Akkarine]

Спасибо за статью. Сейчас выбираю фреймворк для оптимизации гиперпараметров. Подскажите, имели ли вы опыт с Optuna? Если да, можете сравнить с hyperopt?