Метод главных компонент (Principal Component Analysis или же PCA) — алгоритм обучения без учителя, используемый для понижения размерности и выявления наиболее информативных признаков в данных. Его суть заключается в предположении о линейности отношений данных и их проекции на подпространство ортогональных векторов, в которых дисперсия будет максимальной.
Такие вектора называются главными компонентами и они определяют направления наибольшей изменчивости (информативности) данных. Альтернативно суть PCA можно определить как линейное проецирование, минимизирующее среднеквадратичное расстояние между исходными точками и их проекциями.
Ноутбук с данным алгоритмом можно загрузить на Kaggle (eng) и GitHub (rus).
Принцип работы PCA
Изначально матрица признаков обязательно центрируется, чтобы первая главная компонента могла соответствовать направлению максимальной вариации данных, а не просто их среднему значению. Обычно нахождение главных компонент сводится к двум основным методам:
Вычисление собственных векторов и собственных значений ковариационной матрицы данных. Поскольку ковариационная матрица отражает степень линейной связи между различными переменными, то собственные вектора этой матрицы будут задавать направления, вдоль которых дисперсия данных максимальна, а собственные значения — величину этой дисперсии. Собственное значение, соответствующее собственному вектору, характеризует вклад этого вектора в объяснение дисперсии данных и чем больше собственное значение, тем значимее главная компонента. Обычно отбираются только те главные компоненты, которые объясняют заданный уровень дисперсии, например, 95%.
Вычисление сингулярного разложения матрицы данных. Сингулярное разложение — это способ представления любой матрицы в виде произведения трёх других матриц: левой сингулярной матрицы U, диагональной матрицы сингулярных значений S и правой сингулярной матрицы V, где сингулярные значения — это квадратные корни собственных значений ковариационной матрицы данных (именно для этого в данном случае выполняется предварительное центрирование данных), правая сингулярная матрица V будет соответствовать собственным векторам ковариационной матрицы данных, а левая U будет являться проекцией исходных данных на главные компоненты, определённые матрицей V. Таким образом, сингулярное разложение также позволяет выделить главные компоненты, но без необходимости в вычислении ковариационной матрицы. Помимо того, что такое решение более эффективно, оно считается более численно стабильным, поскольку не требует вычисления ковариационной матрицы напрямую, которая может быть плохо обусловлена в случае сильной корреляции признаков. Именно данный подход используется в реализации scikit-learn, но с некоторыми особенностями, рассмотренными ниже.
PCA на основе SVD строится следующим образом:
1) сначала происходит центрирование данных, а также определяется число компонент как минимум между числом образцов и признаков в случае, если число компонент не было задано;
2) далее SVD применяется к центрированной матрице данных;
3) к матрице U применяется метод svd_flip_vector, который находит максимальные по модулю элементы в каждом столбце матрицы U, извлекает их знаки и умножает матрицу U на эти знаки, чтобы гарантировать детерминированный вывод;
4) объяснённая дисперсия для каждой главной компоненты вычисляется как возведённые в квадрат соответствующие сингулярные значения, разделённые на n_samples - 1, а преобразованные данные вычисляются с учётом числа главных компонент по правилу
.
Дополнительные возможности PCA
Коэффициент объяснённой дисперсии каждой главной компоненты, доступный через переменную explained_variance_ratio_, указывает долю дисперсии датасета, лежащей вдоль оси каждой главной компоненты.
Восстановление данных с помощью метода inverse_transform() заключается в применении обратной трансформации проекции PCA вида 
, где 
— матрица из первых d главных компонент. Из этого следует, что данные будут восстановлены с потерями, пропорциональными количеству отброшенной дисперсии исходных данных, а средний квадрат расстояния между исходными и восстановленными данными представляет собой ошибку восстановления (reconstruction error).
Инкрементный PCA, реализованный в виде класса IncrementalPCA, позволяет работать эффективнее с большими наборами данных за счёт их разбиения на мини-пакеты и поштучном хранении в памяти во время обучения.
Рандомизированный PCA, устанавливаемый с помощью параметра svd_solver='randomized', использует стохастический алгоритм для быстрого вычисления приближённых d главных компонент и основан на предположении, что случайная проекция данных на низкоразмерное подпространство может хорошо сохранять их структуру и свойства, однако такой подход может быть менее точным.
Ядерный PCA, реализованный с помощью класса KernelPCA, позволяет выполнять сложные нелинейные проекции с использованием ядерных функций. Как и в случае с SVM, его суть в данном случае заключается в том, что линейная граница решений в многомерном пространстве признаков будет соответствовать сложной нелинейной границе в исходном пространстве.
Альтернативы PCA
Не смотря на то, что метод главных компонент является одним из самых популярных алгоритмов понижения размерности, существуют альтернативы, которые могут быть более предпочтительными в ряде ситуаций, а также в зависимости от типа данных:
LLE (Locally Linear Embedding) — алгоритм создания линейных комбинаций каждой точки из её соседей с последующим восстановлением этих комбинаций в пространстве более низкой размерности, что позволяет сохранить нелинейную геометрию данных и быть полезным для некоторых задач, где глобальные свойства менее важны. С другой стороны, такой подход имеет высокую вычислительную сложность и может быть чувствителен к шуму.
t-SNE (t-Distributed Stochastic Neighbor Embedding) — алгоритм, который преобразует сходства между данными в вероятности и в дальнейшем пытается минимизировать расхождение между распределениями вероятностей в пространстве высокой и низкой размерности. t-SNE эффективен при визуализации данных высокой размерности, однако может искажать глобальную структуру данных, поскольку не учитывает линейные зависимости, а лишь их близость в исходном пространстве.
UMAP (Uniform Manifold Approximation and Projection) — ещё один алгоритм, подходящий для визуализации данных, который основан на идеи, что данные лежат на некотором однородном многообразии, которое можно аппроксимировать с помощью графа соседей. Такой подход учитывает глобальную структуру данных и позволяет лучше адаптироваться к различным типам данных, а также лучше справляться с шумом и выбросами, чем t-SNE.
Autoencoders — тип нейронных сетей, основанный на обучении кодировщика преобразовывать входные данные в низкоразмерное представление, с последующим обучением декодера восстанавливать исходные данные из этого представления. Autoencoders могут также использоваться для сжатия данных, удаления шума и многих других целей.
Импорт необходимых библиотек
import numpy as np
from sklearn.decomposition import PCA
from sklearn.datasets import load_irisРеализация на Python с нуля
class SVDPCA:
def __init__(self, n_components=None):
self.n_components = n_components
@staticmethod
def svd_flip_vector(U):
max_abs_cols_U = np.argmax(np.abs(U), axis=0)
# extract the signs of the max absolute values
signs_U = np.sign(U[max_abs_cols_U, range(U.shape[1])])
return U * signs_U
def fit_transform(self, X):
n_samples, n_features = X.shape
X_centered = X - X.mean(axis=0)
if self.n_components is None:
self.n_components = min(n_samples, n_features)
U, S, Vt = np.linalg.svd(X_centered)
# flip the eigenvector sign to enforce deterministic output
U_flipped = self.svd_flip_vector(U)
self.explained_variance = (S[:self.n_components] ** 2) / (n_samples - 1)
self.explained_variance_ratio = self.explained_variance / np.sum(self.explained_variance)
# X_new = X * V = U * S * Vt * V = U * S
X_transformed = U_flipped[:, : self.n_components] * S[: self.n_components]
return X_transformedЗагрузка датасета
X, y = load_iris(return_X_y=True, as_frame=True)
print(X)
sepal length (cm) sepal width (cm) petal length (cm) petal width (cm)
0 5.1 3.5 1.4 0.2
1 4.9 3.0 1.4 0.2
2 4.7 3.2 1.3 0.2
3 4.6 3.1 1.5 0.2
4 5.0 3.6 1.4 0.2
.. ... ... ... ...
145 6.7 3.0 5.2 2.3
146 6.3 2.5 5.0 1.9
147 6.5 3.0 5.2 2.0
148 6.2 3.4 5.4 2.3
149 5.9 3.0 5.1 1.8
[150 rows x 4 columns]Обучение моделей и оценка полученных результатов
Ручная реализация показала идентичные результаты scikit-learn. Как можно заметить, первые 2 главные компоненты объясняют практически 98% дисперсии в данных, что позволяет сократить количество признаков вдвое без особой потери информации. Если бы количество признаков было не 4, а несколько тысяч или миллионов, то это бы позволило существенно сократить время обучения моделей без значительной потери точности (а иногда и с увеличением точности за счёт уменьшения мультиколлинеарности между признаками), что делает PCA и его альтернативы прекрасным дополнением к другим алгоритмам.
PCA
pca = SVDPCA()
X_transformed = pca.fit_transform(X)
print('transformed data', X_transformed[:10], '', sep='\n')
print('explained_variance', pca.explained_variance)
print('explained_variance_ratio', pca.explained_variance_ratio)
transformed data
[[-2.68412563e+00 3.19397247e-01 -2.79148276e-02 -2.26243707e-03]
[-2.71414169e+00 -1.77001225e-01 -2.10464272e-01 -9.90265503e-02]
[-2.88899057e+00 -1.44949426e-01 1.79002563e-02 -1.99683897e-02]
[-2.74534286e+00 -3.18298979e-01 3.15593736e-02 7.55758166e-02]
[-2.72871654e+00 3.26754513e-01 9.00792406e-02 6.12585926e-02]
[-2.28085963e+00 7.41330449e-01 1.68677658e-01 2.42008576e-02]
[-2.82053775e+00 -8.94613845e-02 2.57892158e-01 4.81431065e-02]
[-2.62614497e+00 1.63384960e-01 -2.18793179e-02 4.52978706e-02]
[-2.88638273e+00 -5.78311754e-01 2.07595703e-02 2.67447358e-02]
[-2.67275580e+00 -1.13774246e-01 -1.97632725e-01 5.62954013e-02]]
explained_variance [4.22824171 0.24267075 0.0782095 0.02383509]
explained_variance_ratio [0.92461872 0.05306648 0.01710261 0.00521218]PCA (scikit-learn)
sk_pca = PCA()
sk_X_transformed = sk_pca.fit_transform(X)
print('sk transformed data', sk_X_transformed[:10], '', sep='\n')
print('sk explained_variance', sk_pca.explained_variance_)
print('sk explained_variance_ratio_', sk_pca.explained_variance_ratio_)
sk transformed data
[[-2.68412563e+00 3.19397247e-01 -2.79148276e-02 -2.26243707e-03]
[-2.71414169e+00 -1.77001225e-01 -2.10464272e-01 -9.90265503e-02]
[-2.88899057e+00 -1.44949426e-01 1.79002563e-02 -1.99683897e-02]
[-2.74534286e+00 -3.18298979e-01 3.15593736e-02 7.55758166e-02]
[-2.72871654e+00 3.26754513e-01 9.00792406e-02 6.12585926e-02]
[-2.28085963e+00 7.41330449e-01 1.68677658e-01 2.42008576e-02]
[-2.82053775e+00 -8.94613845e-02 2.57892158e-01 4.81431065e-02]
[-2.62614497e+00 1.63384960e-01 -2.18793179e-02 4.52978706e-02]
[-2.88638273e+00 -5.78311754e-01 2.07595703e-02 2.67447358e-02]
[-2.67275580e+00 -1.13774246e-01 -1.97632725e-01 5.62954013e-02]]
sk explained_variance [4.22824171 0.24267075 0.0782095 0.02383509]
sk explained_variance_ratio_ [0.92461872 0.05306648 0.01710261 0.00521218]Преимущества и недостатки
Преимущества:
понижение размерности с сохранением большого количества информации, что также позволяет визуализировать данные высокой размерности в двумерном или трёхмерном пространстве;
не только позволяет значительно ускорить обучение, но и уменьшить переобучение моделей в ряде случаев;
может использоваться для сжатия данных.
Недостатки:
неизбежная потеря части информации в данных;
поиск только линейной зависимости в данных (в обычном PCA);
отсутствие смыслового значения главных компонент из-за трудности их связывания с реальными признакам.
Дополнительные источники
Статьи:
«A Tutorial on Principal Component Analysis», Jonathon Shlens;
«Locally Linear Embedding and its Variants: Tutorial and Survey», Benyamin Ghojogh, Ali Ghodsi, Fakhri Karray, Mark Crowley;
«Theoretical Foundations of t-SNE for Visualizing High-Dimensional Clustered Data», T. Tony Cai, Rong Ma;
«UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction», Leland McInnes, John Healy, James Melville;
«Deep Autoencoders for Dimensionality Reduction of High-Content Screening Data», Lee Zamparo, Zhaolei Zhang.
Документация:
Видео:
