Метод главных компонент. Идеология. Вычисление главных компонент. Основные числовые характеристики главных компонент

Метод главных компонент — один из основных способов уменьшить размерность данных, потеряв наименьшее количество информации. Пусть дан исходный набор векторов X линейного пространства L_k. Применение метода главных компонент позволяет перейти к базису пространства L_m (m≤k), такому что: первая компонента (первый вектор базиса) соответствует направлению, вдоль которого дисперсия векторов исходного набора максимальна. Направление второй компоненты (второго вектора базиса) выбрано таким образом, чтобы дисперсия исходных векторов вдоль него была максимальной при условии ортогональности первому вектору базиса. Аналогично определяются остальные векторы базиса. В результате, направления векторов базиса выбраны так, чтобы максимизировать дисперсию исходного набора вдоль первых компонент, называемых главными компонентами (или главными осями). Получается, что основная изменчивость векторов исходного набора векторов представлена несколькими первыми компонентами, и появляется возможность, отбросив оставшиеся (менее существенные) компоненты, перейти к пространству меньшей размерности.