Apa sebenarnya yang disebut "komponen utama" dalam PCA?

18

Misalkan adalah vektor yang memaksimalkan varians dari proyeksi data dengan desain matrix X .kamuX

Sekarang, saya telah melihat materi yang merujuk sebagai komponen utama (pertama) dari data, yang juga merupakan vektor eigen dengan nilai eigen terbesar.kamu

Namun, saya juga telah melihat bahwa komponen utama dari data tersebut .Xkamu

Jelas, dan dan X u adalah hal yang berbeda. Adakah yang bisa membantu saya di sini dan memberi tahu saya apa perbedaan antara kedua definisi komponen utama ini?kamuXkamu

mynameisJEFF
sumber
Vektor eigen adalah arah sumbu (nilai-nilai u adalah arah cosinus relatif sumbu asli). Xu adalah data itu sendiri, nilai-nilai komponen utama, koordinat ke sumbu yang disebutkan sebelumnya).
ttnphns

Jawaban:

25

Anda benar-benar benar dalam mengamati bahwa meskipun (salah satu vektor eigen dari matriks kovarians, misalnya yang pertama) dan X u (proyeksi data ke subruang 1-dimensi yang direntang oleh u ) adalah dua hal yang berbeda, baik dari mereka sering disebut "komponen utama", kadang-kadang bahkan dalam teks yang sama.kamuXkamukamu

Dalam kebanyakan kasus, jelas dari konteks apa sebenarnya yang dimaksud. Dalam beberapa kasus yang jarang terjadi, namun, memang bisa cukup membingungkan, misalnya ketika beberapa teknik terkait (seperti jarang PCA atau CCA) yang dibahas, di mana arah yang berbeda tidak harus ortogonal. Dalam hal ini pernyataan seperti "komponen bersifat ortogonal" memiliki arti yang sangat berbeda tergantung pada apakah itu mengacu pada sumbu atau proyeksi.kamusaya

Saya akan menganjurkan memanggil a "sumbu utama" atau "arah kepala", dan X u "komponen utama".kamuXkamu

Saya juga melihat disebut "vektor komponen utama".kamu

Saya harus menyebutkan bahwa konvensi alternatif adalah memanggil "komponen utama" dan X u "skor komponen utama".kamuXkamu

Ringkasan dari dua konvensi:

Konvensi 1Konvensi 2kamu{sumbu utamaarah utamavektor komponen utamakomponen utamaXkamukomponen utamaskor komponen utama

Catatan: Hanya vektor eigen dari matriks kovarians yang sesuai dengan nilai eigen non-nol yang dapat disebut arah / komponen utama. Jika matriks kovarians peringkat rendah, ia akan memiliki satu atau lebih nilai eigen nol; vektor eigen yang sesuai (dan proyeksi yang sesuai adalah nol konstan) tidak boleh disebut arah / komponen utama. Lihat beberapa diskusi dalam jawaban saya di sini.

amuba kata Reinstate Monica
sumber
1
Konvensi 2 harus dilarang. Ini memiliki kapasitas untuk membuat tidak ada ujung kebingungan untuk pemula karena mengonfigurasi vektor basis dan komponen vektor data sehubungan dengan dasar.
Dugaan
bagaimana dengan definisi Memuat? Apakah memuat nilai individual vektor eigen u?
makis
@sera Lihat stats.stackexchange.com/questions/143905 dan stats.stackexchange.com/questions/125684
amoeba mengatakan Reinstate Monica
@amoeba terima kasih! satu pertanyaan terakhir. Dalam SVD, untuk X = USVh (Vh: V ditransposisikan) jika vektor eigen adalah kolom U, maka dapatkah saya memanggil Vh sebagai pemuatan?
makis
@sera No. Lihat stats.stackexchange.com/questions/134282
amoeba mengatakan Reinstate Monica