Задача всегда проста, если знаешь ответ или к вопросу отбора признаков

На Хабре уже было много хороших статей на эту тему - например, вот эта. Попробуем рассказать о чем-то новом.

Поверхностный обзор нового пакета FSinR

Задачи из разряда "найдите что-нибудь, что на это влияет", конечно, поставлены некорректно. В идеале, перед построением любой модели реального явления, должна существовать адекватная теоретическая модель, в полном соответствии с которой и создаются разные хитрые математические штуки. Однако, наш мир далеко не идеален, это раз, а, во-вторых, задача отбора признаков вполне применима при разведочном анализе данных, когда мы только подступаемся к анализу нового для нас явления

Пару слов о методологии

База данных для работы - данные по округам США (за 2017 год).

Алгоритм работы

Пакет "FSinR" содержит несколько алгоритмов отбора признаков, в частности:

• aco_search (алгоритм муравьиной колонии)

• ga_search (генетический алгоритм)

• hc_search (hill climbing algorithm, поиск восхождением к вершине)

• LV_search (Las Vegas algorithm, относится к семейству алгоритмов стохастического локального поиска)

• sbs_search (sequential backward selection), sfbs_search (sequential backward floating selection) - алгоритмы обратного поиска

• sffs_search (sequential forward floating selection), sfs_search (sequential forward selection) - алгоритмы прямого поиска

• sa_search (simulation annealing, вероятностный метод поиска глобального оптимума)

• ts_search (tabu search, мета-алгоритм локального поиска с ограничениями)

• woa_search (whale optimization algorithm, алгоритм пузырьковой сети (имитирует охоту китов)

• selectDifference (модификация алгоритма прямого поиска; выбирает функцию, прирост оценочного показателя на следующем шаге для которой меньше определенного значения)

• selectKBest (модификация алгоритма прямого поиска с k переменными)

• selectPercentile (модификация алгоритма прямого поиска, которая выбирает в модель определенный процент переменных)

• selectSlope (модификация алгоритма прямого поиска, обратный selectDifference - выбирается функция, убывание показателя качества которой превысит определенный порог)

• selectThreshold, selectThresholdRange - алгоритмы, отбирающие функции, оценочное значение которых больше определенного предела

Задача: сравнить точность (и затраты времени на их выполнение) данных алгоритмов (цель для алгоритмов - построить модель с максимумом коэффициента детерминации) при прогнозировании средней величины дохода в округе (переменная Income)

Таким образом, сначала вся выборка разделяется на тренировочную и тестовую (80/20), алгоритм подбирает переменные по тренировочной выборке, после чего ее точность проверяется на тестовой с помощью следующих показателей: коэффициент детерминации, средняя абсолютная ошибка (MAE), средняя ошибка аппроксимации, доля объектов тестовой выборки, для которых ошибка аппроксимации меньше 5 и 15 %. Процедура повторяется 10 раз.

Результаты

Результаты эксперимента обобщены в таблице (взяты медианные значения), код можно найти в ноутбуке на kaggle https://www.kaggle.com/artemcheremuhin/experiment-feature-selection-in-r

*Время работы измерялось на kaggle

**Количество переменных задавалось от 1 до 10

Заключение

Принцип работы пакета достаточно простой - необходимо задать критерий оценки (evaluator), метод отбора признаков (method) и зависимую переменную (V1). Пакет работает и с задачами регрессии, и с задачами кластеризации

method <- simulatedAnnealing() 
evaluator <- determinationCoefficient()
model_1<-method(Base_tr, 'V1', evaluator)
model_1$bestFeatures # Получаем таблицу, отражающую факт выбора переменных в итоговую модель

Конкретно для данного датасета получилось, что лучшим является метод selectDifference - при близком к наибольшему показателю детерминации время его работы значительно ниже, чем у аналогов. Недостатком большинства использованных методов является то, что наибольший показатель коэффициента детерминации достигается простым включением всех переменных в модель, а использование более продвинутых метрик (например, скорректированного коэффициента детерминации) пока пакетом не предусмотрено

• При расчетах на ПК при отборе признаков для регрессии удается использовать другие оценщики, а на kaggle - нет, время расчетов улетает в бесконечность

• Оригинальная версия пакета поддерживает одновременное использование нескольких функций оценки - это в перспективе очень интересно и нуждается в дальнейшем тестировании