【機器學習】PCA (Principle Components Analysis)

中文名為 主成分分析，是降維界中的經典。

主成分，顧名思義，要在降維的過程中，抽出最能夠代表每個向量的成分，PCA 的做法是將降維後的變異數 (Variance) 變到最大。

PCA 過程中會用到 Lagrange multiplier，目的是為了要在降維後的向量 ||V||=1 的狀況下，最大化 Covariance Matrix。最後會變成解一個 Eigenvalue & Eigenvector 的問題，而Eigenvector 所對應的 Eigenvalue 之值越大，表示此投影方向的變異數越大。