PCA tentang korelasi atau kovarian: apakah PCA tentang korelasi pernah masuk akal? [Tutup]

Dalam analisis komponen utama (PCA), orang dapat memilih matriks kovarian atau matriks korelasi untuk menemukan komponen (dari vektor eigen masing-masing). Ini memberikan hasil yang berbeda (beban dan skor PC), karena vektor eigen antara kedua matriks tidak sama. Pemahaman saya adalah bahwa ini disebabkan oleh fakta bahwa vektor data mentah dan standarisasi Z tidak dapat dihubungkan melalui transformasi ortogonal. Secara matematis, matriks yang sama (yaitu terkait dengan transformasi ortogonal) memiliki nilai eigen yang sama, tetapi tidak harus vektor eigen yang sama.$X$$Z$

Ini menimbulkan beberapa kesulitan dalam pikiran saya:

1. Apakah PCA benar-benar masuk akal, jika Anda bisa mendapatkan dua jawaban berbeda untuk set data awal yang sama, keduanya mencoba mencapai hal yang sama (= mencari arah varians maksimum)?

2. Ketika menggunakan pendekatan matriks korelasi, setiap variabel sedang distandarisasi (diskalakan) oleh standar deviasi masing-masing, sebelum menghitung PC. Bagaimana, kemudian, apakah masih masuk akal untuk menemukan arah varians maksimum jika data telah diskalakan / dikompresi secara berbeda sebelumnya? Saya tahu bahwa PCA berbasis korelasi sangat nyaman (variabel standar tidak berdimensi, sehingga kombinasi liniernya dapat ditambahkan; keuntungan lain juga didasarkan pada pragmatisme), tetapi apakah itu benar?

Tampak bagi saya bahwa PCA berbasis kovarian adalah satu-satunya yang benar-benar benar (bahkan ketika varians variabel sangat berbeda), dan bahwa setiap kali versi ini tidak dapat digunakan, PCA berbasis korelasi tidak boleh digunakan juga.

Saya tahu bahwa ada utas ini: PCA tentang korelasi atau kovarian? - tetapi tampaknya hanya berfokus pada menemukan solusi pragmatis, yang mungkin atau mungkin juga tidak menjadi solusi yang aljabar.

Saya harap tanggapan ini untuk dua pertanyaan Anda akan menenangkan kekhawatiran Anda:

1. Matriks korelasi adalah matriks kovarians dari data yang terstandarisasi (yaitu tidak hanya terpusat tetapi juga ditata ulang); yaitu, matriks kovarians (seolah-olah) dari dataset lain yang berbeda. Jadi itu wajar dan seharusnya tidak mengganggu Anda bahwa hasilnya berbeda.
2. Ya, masuk akal untuk menemukan arah varians maksimal dengan data terstandarisasi - mereka adalah arah - demikianlah - "berkorelasi," bukan "kovariat"; yaitu, setelah efek varians yang tidak sama - dari variabel asli - pada bentuk awan data multivariat dihapus.

Teks dan gambar berikutnya ditambahkan oleh @whuber (Saya berterima kasih padanya. Juga, lihat komentar saya di bawah)

Berikut adalah contoh dua dimensi yang menunjukkan mengapa masih masuk akal untuk menemukan sumbu utama dari data standar (ditunjukkan di sebelah kanan). Perhatikan bahwa di plot sebelah kanan awan masih memiliki "bentuk" meskipun varians di sepanjang sumbu koordinat sekarang persis sama (hingga 1,0). Demikian pula, dalam dimensi yang lebih tinggi, awan titik terstandarisasi akan memiliki bentuk non-bola meskipun varians sepanjang semua sumbu sama persis (hingga 1,0). Sumbu utama (dengan nilai eigen yang sesuai) menggambarkan bentuk itu. Cara lain untuk memahami hal ini adalah dengan mencatat bahwa semua penskalaan dan pemindahan yang terjadi ketika standardisasi variabel hanya terjadi dalam arah sumbu koordinat dan bukan pada arah utama itu sendiri.

Apa yang terjadi di sini secara geometris sangat intuitif dan jelas sehingga akan sulit untuk menggambarkan ini sebagai "operasi kotak hitam": sebaliknya, standardisasi dan PCA adalah beberapa hal paling mendasar dan rutin yang kami lakukan dengan data secara berurutan. untuk memahaminya.

Dilanjutkan oleh @ttnphns

Kapan seseorang akan lebih suka melakukan PCA (atau analisis faktor atau jenis analisis serupa lainnya) pada korelasi (yaitu pada variabel standar-z) daripada melakukannya pada kovarian (yaitu pada variabel terpusat)?

1. Ketika variabel unit pengukuran yang berbeda. Jelas.
2. Ketika seseorang ingin analisis mencerminkan asosiasi linier yang adil dan hanya . Pearson r bukan hanya kovarians antara variabel yang tidak disembunyikan (varians = 1); tiba-tiba ukuran kekuatan hubungan linier, sedangkan koefisien kovarians yang biasa diterima baik untuk hubungan linier dan monotonik.
3. Ketika seseorang ingin asosiasi untuk mencerminkan penyimpangan co relatif (dari rata-rata) daripada penyimpangan co mentah. Korelasi didasarkan pada distribusi, penyebarannya, sedangkan kovarians didasarkan pada skala pengukuran asli. Jika saya menganalisis faktor-faktor profil psikopatologis pasien seperti yang dinilai oleh psikiater pada beberapa kuesioner klinis yang terdiri dari item tipe-Likert, saya lebih suka kovarian. Karena para profesional tidak diharapkan mengubah skala peringkat secara intrapsikis. Jika, di sisi lain, saya menganalisis posisi pasien sendiri dengan kuesioner yang sama, saya mungkin akan memilih korelasi. Karena penilaian awam diharapkan relatif "orang lain", "mayoritas" "penyimpangan yang diizinkan" pembesar yang "menyusut" atau "membentang" skala peringkat untuk satu.

Berbicara dari sudut pandang praktis - mungkin tidak populer di sini - jika Anda memiliki data yang diukur pada skala yang berbeda, maka pergilah dengan korelasi ('penskalaan UV' jika Anda seorang ahli kimia), tetapi jika variabelnya berada pada skala yang sama dan ukurannya penting (mis. dengan data spektroskopi), maka kovarian (hanya memusatkan data) lebih masuk akal. PCA adalah metode yang bergantung pada skala dan juga transformasi log dapat membantu dengan data yang sangat miring.

Menurut pendapat saya yang sederhana berdasarkan 20 tahun aplikasi praktis dari chemometrics Anda harus bereksperimen sedikit dan melihat apa yang terbaik untuk tipe data Anda. Pada akhirnya Anda harus bisa mereproduksi hasil Anda dan mencoba membuktikan prediksi kesimpulan Anda. Bagaimana Anda sampai di sana sering merupakan kasus coba-coba tetapi yang penting adalah bahwa apa yang Anda lakukan didokumentasikan dan direproduksi.

$x_i$$s^2$$(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$$x_1+x_2$$s_1\not =s_2$derajat. Tampaknya tidak ada gunanya memaksimalkan varians dari kombinasi linear mereka. Dalam hal itu, PCA memberikan solusi untuk serangkaian data yang berbeda, di mana setiap variabel diskalakan secara berbeda. Jika Anda kemudian menghapus standar setelah itu (saat menggunakan corr_PCA) maka itu mungkin OK dan perlu; tetapi jika Anda hanya mengambil solusi corr_PCA mentah apa adanya dan berhenti di sana, Anda akan mendapatkan solusi matematis, tetapi tidak ada yang terkait dengan data fisik. Sebagai unstandardization sesudahnya kemudian tampaknya wajib sebagai minimum (yaitu, 'unstretching' sumbu oleh standar deviasi terbalik), cov_PCA bisa digunakan untuk memulai. Jika Anda masih membaca sekarang, saya terkesan! Untuk sekarang, saya selesai dengan mengutip dari buku Jolliffe, hal. 42, yang merupakan bagian yang menjadi perhatian saya:'Tidak boleh dilupakan, bagaimanapun, bahwa PC matriks korelasi, ketika dinyatakan kembali dalam hal variabel asli, masih fungsi linear x yang memaksimalkan varians sehubungan dengan variabel standar dan tidak berkenaan dengan variabel asli.' Jika Anda pikir saya salah menafsirkan ini atau implikasinya, kutipan ini mungkin menjadi titik fokus yang baik untuk diskusi lebih lanjut.