Как работает метод главных компонент (PCA) на простом примере

Я отчасти согласен с профессором — было желание написать все в общем виде для n-измерений, а потом сказать «в нашем случае n=2, так что очевидно, что...» и просто вставить результат :)

Как работает метод главных компонент (PCA) на простом примере

Самый интересный пример — действительно распознавание схожих изображений (к примеру, лиц). Есть даже так называемое понятие «собственные лица» (eigenfaces) по аналогии с собственными векторами (Wikipedia).
Большинство статей, посвященных PCA так или иначе приводят пример графической реализации (вот здесь про платья, и тут еще совсем простой пример)

Как работает метод главных компонент (PCA) на простом примере

На сколько мне известно, действительно, при большом количестве фич описанный выше метод (реализация через ковариационную матрицу) будет работать неэффективно — учитывая размеры полученной ков. матрицы.
PCA, основанный на SVD должен работать лучше, но все равно для больших размерностей есть лучшие алгоритмы, типа Random SVD или Random Projection

Как работает метод главных компонент (PCA) на простом примере

Я представил наиболее простой (как для понимания, так и по структуре) метод, но, действительно, современные алгоритмы PCA реализованы через сингулярное разложение, а не ковариационные матрицы.
Мне, наверное, стоило посвятить отдельный раздел обзору реализации алгоритма через SVD. Как будет время, постараюсь дополнить.