Comments 6
Добрый день. Спасибо за статью.
А генетические алгоритмы оптимизации: разве не этим же и, практически, так же занимаются? Там только по другому всё называется — конкретная комбинация значений параметров поиска: хромосома, «самые удачные из найденных комбинаций» — это хромосомы с лучшим значением функции приспособленности, они отбираются в следующую популяцию.
Байесовская оптимизация. Здесь значения гиперпараметров в текущей итерации выбираются с учётом результатов на предыдущем шаге. Основная идея алгоритма заключается в следующем – на каждой итерации подбора находится компромисс между исследованием регионов с самыми удачными из найденных комбинаций гиперпараметров и исследованием регионов с большой неопределённостью (где могут находиться ещё более удачные комбинации).
А генетические алгоритмы оптимизации: разве не этим же и, практически, так же занимаются? Там только по другому всё называется — конкретная комбинация значений параметров поиска: хромосома, «самые удачные из найденных комбинаций» — это хромосомы с лучшим значением функции приспособленности, они отбираются в следующую популяцию.
Про баесовскую оптимизацию более конкретно habr.com/ru/post/494242
Спасибо за интерес к статье! У байесовских алгоритмов формирование новой популяции основано на оценке всей старой популяции (построение модели распределения), а не отдельных её представителей, как у генетических. Подробнее в работе www.researchgate.net/publication/220742974_A_comparison_study_between_genetic_algorithms_and_bayesian_optimize_algorithms_by_novel_indices
Спасибо, интересная статья. Чем то напомнило процесс работы гаусовых микстур-моделей кластеризации.
Погуглил, почитал примеры фромскратч-кодирования BOA, например.
YuraLia спасибо за ссылку на хабр-статью, добавила, да, к понимаю, наглядно.
Можно ещё уточню: я правильно понимаю что в BOA — таки делается какое то, именно — волюнтаристкое (ну. в смысле — не строго формально обоснованное), допущение о том как именно устроена функция правдоподобия.
Погуглил, почитал примеры фромскратч-кодирования BOA, например.
YuraLia спасибо за ссылку на хабр-статью, добавила, да, к понимаю, наглядно.
Можно ещё уточню: я правильно понимаю что в BOA — таки делается какое то, именно — волюнтаристкое (ну. в смысле — не строго формально обоснованное), допущение о том как именно устроена функция правдоподобия.
Спасибо за статью. Сейчас выбираю фреймворк для оптимизации гиперпараметров. Подскажите, имели ли вы опыт с Optuna? Если да, можете сравнить с hyperopt?
Sign up to leave a comment.
Подбор гиперпараметров ML-модели с помощью HYPEROPT