Matriks kovarians terbalik vs matriks kovarians dalam PCA

10

Dalam PCA, apakah ada bedanya jika kita memilih komponen utama dari matriks kovarians terbalik ATAU jika kita menjatuhkan vektor eigen dari matriks kovarians yang sesuai dengan nilai eigen besar?

Ini terkait dengan diskusi di dalam posting ini .

machine-learning pca computational-statistics Mustafa Arif
sumber

Jawaban:

12

Amati bahwa untuk positif pasti kovarians matriks presisi adalah .Σ=UDU′Σ−1=UD−1U′

Jadi vektor eigen tetap sama, tetapi nilai eigen presisi adalah kebalikan dari nilai eigen kovarians. Itu berarti nilai eigen terbesar dari kovarian akan menjadi nilai eigen terkecil dari presisi. Karena Anda memiliki kebalikannya, kepastian positif menjamin semua nilai eigen lebih besar dari nol.

Oleh karena itu jika Anda mempertahankan vektor eigen yang berkaitan dengan eigen terkecil dari presisi berkorespondensi ini untuk PCA biasa. Karena kita telah mengambil resiprokal ( ), hanya akar kuadrat dari nilai eigen presisi yang harus digunakan untuk menyelesaikan pemutihan data yang diubah.kD−1

dugaan
sumber
+1 tetapi saya pikir kalimat "Jadi ya, itu membuat perbedaan" mungkin membingungkan bagi OP; Q tidak terlalu jelas tapi saya pikir mereka bertanya apakah ada perbedaan antara memilih nilai eigen terbesar dari matriks inv cov dan memilih nilai eigen terkecil (= menjatuhkan nilai terbesar) dari matriks cov. Untuk pertanyaan ini jawabannya adalah setara. Jadi mungkin jika Anda hanya memotong kalimat ini, jawabannya akan lebih jelas.
amoeba
Terima kasih, saya mengerti maksud Anda dan telah diedit.
dugaan
Sebenarnya kalimat terakhir itu baik, saya akan menyimpannya!
amoeba
@conjectures Terima kasih, itulah penjelasan yang sempurna.
Mustafa Arif
0

Selain itu, matriks kovarians terbalik adalah proporsional dengan korelasi parsial antara vektor:

Corr(Xi, Xj | (Xothers )

Korelasi antara Xi dan Xj ketika semua yang lain diperbaiki, sangat berguna untuk deret waktu.

quantCode
sumber
1
Ini benar, tetapi apa hubungannya dengan PCA?
amoeba