Как стать автором
Обновить

Helena.4.0 – новый алгоритм для подбора гиперпараметров

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров9.2K
Всего голосов 17: ↑14 и ↓3+11
Комментарии16

Комментарии 16

Надо еще сравнить с поиском по новизне. Это самая эффективная фитнесс-функция для ГА.

Интересная статья, но вот с этим нужно что-то делать:

Шла ГиперАлёнка 4.0 по гипершоссе 2.0 и сосала гиперсушку.

Hidden text

Что до этой мысли, из Ваших предыдущих постов

Мы живем в прекрасное для каждого дата-сайентиста время. Наконец-то на модели машинного обучения возник спрос со стороны бизнес-сообщества. Причем для всё большего числа компаний такие модели становятся важной, а иногда и ключевой частью бизнеса.

то лет 15 назад вместо слово "дата-сайентист" в этих предложениях стояло загадочное слово "SEO-шник". Газеты тогда пестрели статьями о том, что "серебряная пуля" для бизнеса найдена, а модные молодые люди, образа студентов-недоучек старших курсов институтов, вели чёс по бизнесам, предлагая чудесное решение всех проблем. Прошло каких-то 7 лет, и массовый "SEO-шник" куда-то пропал, зато на горизонте замаячил не менее загадочный "DevOps", без которого всем бизнесам - "уж точно капут". Прошло 7 лет... и вот, оказывается не сеошник, и не девопс, а "дата-сайентист" - тот супермен, которого бизнес ждал столетия.

Тут я с Вами принципиально не согласен. Data Science дает бизнесу гораздо больше, чем даже компьютеризация.

Когда в бизнесе появились компьютеры, то принципиально поменялось не многое. В большинстве сфер бизнеса просто существующие бизнес-процессы из бумажных перевели в электронные, НЕ МЕНЯЯ ИХ сути. Печатали документы на машинках – стали печатать на компьютерах, делали баланс в балансовой книге – стали делать в компьютере, вели делопроизводство в журнале, начали в электронном журнале и т.п. Т.е. бизнес-процессы стали быстрее и удобнее, но в большинстве случаев по сути не изменились.

А вот появление интернета, например, полностью изменило бизнес. Появилась возможность делать то, что раньше было в принципе невозможно. Например, массовая доставка ЛЮБЫХ товаров на дом покупателю или удаленная работа. Еще в 1980-ых такое было просто невозможно. Или работа на удаленке. Еще в 2000 – немыслимо, сегодня – обыденность.

Применение ML-моделей дает возможность принимать решения на таком уровне точности и с учетом такого количества факторов, которые значительно превосходят возможности человека. С использованием ML мы можем начать выстраивать работу с каждым клиентом на ИНДИВИДУАЛЬНОЙ основе, сколько бы клиентов у нас ни было. Раньше так работать могли только мелкие лавочники, у которых было несколько десятков клиентов и каждого они знали лично. А теперь так могут работать корпорации с десятками и сотнями миллионов клиентов.

Более того, применение ML-моделей дает возможность ВООБЩЕ уйти от субъективных человеческих решений. До сих пор бизнес строился по принципу «Я – начальник, мое мнение самое важное». Скоро этот принцип уйдет в прошлое. Только выдвижение гипотез – тестирование – внедрение оправдавших себя гипотез. Решения на основе фактов, а не основе статуса лица, принимающего решения. Это та вещь, которая реально изменит мир, в котором мы живем.

Поэтому использование в бизнесе ML-моделей – это настоящая революция, а не маркетинговая уловка, чтобы продать что-то непонятное в красивой упаковке.

и только разработчики с прокаченными хардскиллами все эти годы тянули лямку решений бизнес-задач, набивая свои счета деньгами.

Пожалуйста, добавьте ссылку на код.

Код я выложу чуть позже. Ожидаю ревью от рецензентов.

Добрый день. Интересно. А где-то репозиторий с кодом есть? Потестировать...

Код я выложу чуть позже. Ожидаю ревью от рецензентов.

Непонятно как меняется g

g никак не меняется. Вы изначально задаете его как параметр трансформационной функции для данного гиперпараметра. Для каждого гиперпараметра можно установить свое g. Если Вы считаете, что максимуму функции будут соответствовать значения данного гиперпараметра, близкие к левому краю интервала, рекомендуется устанавливать g больше 1. В противном случае - меньше 1. Самое простое - поставить g=1 и не беспокоиться. Обычно алгоритм легко найдет максимум сам.

Очень спорное решение. Лучше заложить в алгоритм автопотбор g (тем более ты говоришь о больших размерностях).

возможно стоит поэкспериментировать и одновременно немного сдвигать границу и менять g. Вместо сдвигания границы на 0,25 сдвигать её на 0,12 и одновременно менять g для компенсации того, что границу мы мало сдвинули.

Исправьте подбора гиперпараметров на подбора значений гиперпараметров, или гиперпараметрических значений. Например, число эпох - это ГП. Процедура подбора подразумевает отбор оптимальных значений числа эпох, например в заданном диапазоне.

Повторяю, гиперпараметр, как и любой параметр - это метка, а во время оптимизации/подбора вы определяете наилучшее его значение.

А если не секрет, то когда можно ожидать код на гитхабе?

Здравствуйте, стоит ли ждать открытие кода для простых смертных?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий