PCA, LDA, CCA, dan PLS

26

Bagaimana PCA, LDA, CCA, dan PLS terkait? Mereka semua tampak "spektral" dan aljabar linier dan sangat dipahami (katakanlah 50+ tahun teori dibangun di sekitar mereka). Mereka digunakan untuk hal-hal yang sangat berbeda (PCA untuk pengurangan dimensi, LDA untuk klasifikasi, PLS untuk regresi) tetapi masih mereka merasa sangat erat terkait.

pca discriminant-analysis partial-least-squares canonical-correlation carlosdc
sumber
3
Selain referensi yang bagus dalam jawaban di bawah ini, Anda juga dapat membaca Borga et al., 1997, A Unified Approach to PCA, PLS, MLR dan CCA .
Amoeba berkata Reinstate Monica

Jawaban:

25

Tijl De Bie menulis sebuah bab yang menarik " Masalah Eigen dalam Pengenalan Pola " yang berbicara tentang hal-hal ini secara tepat dari perspektif primal / ganda. Tiga tabel di bagian akhir merangkum dengan sangat baik dari perspektif optimasi:

Tabel 1

Meja 2

Tabel 3

tdc
sumber