Apa alasan intuitif di balik melakukan rotasi dalam Analisis Faktor / PCA & bagaimana memilih rotasi yang tepat?

Pertanyaan saya

1. Apa alasan intuitif di balik melakukan rotasi faktor dalam analisis faktor (atau komponen dalam PCA)?

   Pemahaman saya adalah, jika variabel dimuat hampir sama di komponen atas (atau faktor) maka jelas sulit untuk membedakan komponen. Jadi dalam hal ini kita bisa menggunakan rotasi untuk mendapatkan diferensiasi komponen yang lebih baik. Apakah ini benar?

2. Apa konsekuensi dari melakukan rotasi? Hal-hal apa yang mempengaruhi hal ini?

3. Bagaimana cara memilih rotasi yang sesuai? Ada rotasi ortogonal & rotasi miring. Bagaimana memilih di antara ini dan apa implikasi dari pilihan ini?

Tolong jelaskan secara intuitif dengan persamaan matematika paling sedikit. Beberapa jawaban yang tersebar adalah matematika yang berat tetapi saya mencari lebih untuk alasan intuitif dan aturan praktis.

1. Alasan rotasi . Rotasi dilakukan demi interpretasi faktor yang diekstraksi dalam analisis faktor (atau komponen dalam PCA, jika Anda berani menggunakan PCA sebagai teknik analisis faktor). Anda benar ketika Anda menggambarkan pemahaman Anda. Rotasi dilakukan untuk mendapatkan beberapa struktur dari matriks pembebanan, yang dapat disebut struktur sederhana . Itu adalah ketika berbagai faktor cenderung memuat variabel yang berbeda$^1$. [Saya percaya akan lebih tepat untuk mengatakan bahwa "sebuah faktor memuat variabel" daripada "variabel memuat faktor", karena itu adalah faktor yang "dalam" atau "di belakang" variabel untuk membuat mereka berkorelasi, tetapi Anda dapat mengatakan sesuka Anda.] Dalam arti tertentu, struktur sederhana tipikal adalah tempat "kelompok" variabel berkorelasi muncul. Anda kemudian menginterpretasikan faktor sebagai makna yang terletak pada persimpangan makna variabel yang dimuat cukup oleh faktor; dengan demikian, untuk menerima makna yang berbeda, faktor harus memuat variabel secara berbeda. Aturan praktisnya adalah bahwa suatu faktor harus memuat dengan baik setidaknya 3 variabel.

2. Konsekuensi . Rotasi tidak mengubah posisi variabel relatif terhadap satu sama lain dalam ruang faktor, yaitu korelasi antar variabel dipertahankan. Apa yang diubah adalah koordinat titik akhir vektor variabel ke sumbu faktor - pemuatan (harap cari situs ini untuk "memuat plot" dan "biplot", untuk informasi lebih lanjut) . Setelah rotasi ortogonal dari matriks pemuatan, varians faktor dapat berubah, tetapi faktor tetap tidak berkorelasi dan komunitas variabel tetap dipertahankan.$^2$

   Dalam suatu rotasi miring faktor dibiarkan kehilangan ketidakcocokan mereka jika itu akan menghasilkan "struktur sederhana" yang lebih jelas. Namun, interpretasi dari faktor-faktor yang berkorelasi adalah seni yang lebih sulit karena Anda harus mendapatkan makna dari satu faktor sehingga tidak mencemari makna faktor lain yang berkorelasi dengannya. Itu menyiratkan bahwa Anda harus menafsirkan faktor, katakanlah, secara paralel, dan bukan satu per satu. Daun rotasi miring Anda dengan dua matriks dari beban bukan satu: pola matriks dan struktur matriks . ( , di mana adalah matriks korelasi antara faktor-faktor; , di mana$\bf P$$\bf S$$\bf S=PC$$\bf C$$\bf C=Q'Q$$\bf Q$adalah matriks rotasi miring: , di mana adalah matriks pemuatan sebelum setiap rotasi.) Matriks pola adalah matriks bobot penyesalan dengan faktor-faktor mana yang memprediksi variabel, sedangkan matriks struktur adalah korelasinya (atau covariances) antara faktor dan variabel. Sebagian besar waktu kita menafsirkan faktor dengan pemuatan pola karena koefisien ini mewakili investasi individu unik dari faktor dalam suatu variabel. Rotasi miring mempertahankan communalities variabel, tetapi communalities tidak lagi sama dengan jumlah baris dari kotak dalam atau di . Selain itu, karena faktor-faktor berkorelasi, varians mereka sebagian menumpangkan .$\bf S=AQ$$\bf A$P S 3$\bf P$$\bf S$$^3$

   Rotasi ortogonal dan miring, tentu saja, mempengaruhi skor faktor / komponen yang mungkin ingin Anda hitung (silakan cari "skor faktor" di situs ini). Rotasi, pada dasarnya, memberi Anda faktor - faktor lain selain faktor-faktor yang Anda miliki setelah ekstraksi . Mereka mewarisi kekuatan prediksi mereka (untuk variabel dan korelasinya) tetapi mereka akan mendapatkan makna substansial yang berbeda dari Anda. Setelah rotasi, Anda mungkin tidak mengatakan "faktor ini lebih penting daripada yang" karena mereka diputar satu sama lain (jujur, dalam FA, tidak seperti PCA, Anda mungkin sulit mengatakannya bahkan setelah ekstraksi karena faktor dimodelkan sebagai sudah "penting").$^4$

3. Pilihan . Ada banyak bentuk rotasi ortogonal dan miring. Mengapa? Pertama, karena konsep "struktur sederhana" tidak univocal dan dapat dirumuskan agak berbeda. Sebagai contoh, varimax - metode ortogonal paling populer - mencoba untuk memaksimalkan varians di antara nilai kuadrat dari beban masing-masing faktor; quartimax metode kadang-kadang digunakan ortogonal meminimalkan jumlah faktor yang diperlukan untuk menjelaskan variabel, dan sering menghasilkan apa yang disebut "faktor umum". Kedua, rotasi yang berbeda mengarah pada tujuan sisi yang berbeda selain dari struktur sederhana. Saya tidak akan membahas detail topik rumit ini, tetapi Anda mungkin ingin membacanya sendiri.

   Haruskah orang lebih suka rotasi ortogonal atau miring? Nah, faktor ortogonal lebih mudah diinterpretasikan dan keseluruhan model faktor secara statistik lebih sederhana (tentu saja, prediktor ortogonal). Tetapi di sana Anda memaksakan ortogonalitas pada sifat laten yang ingin Anda temukan; Anda yakin mereka tidak akan berkorelasi di bidang yang Anda pelajari? Bagaimana jika tidak? Metode rotasi miring$^5$(walaupun masing-masing memiliki kecenderungan mereka sendiri) memungkinkan, tetapi tidak memaksa, faktor untuk berkorelasi, dan dengan demikian kurang membatasi. Jika rotasi miring menunjukkan bahwa faktor-faktor hanya berkorelasi lemah, Anda mungkin yakin bahwa "dalam kenyataannya" memang demikian, dan kemudian Anda dapat beralih ke rotasi ortogonal dengan hati nurani yang baik. Jika faktor, di sisi lain, sangat berkorelasi, itu terlihat tidak wajar (untuk sifat laten yang berbeda secara konseptual, terutama jika Anda mengembangkan inventaris dalam psikologi atau semacamnya, - ingat bahwa faktor itu sendiri merupakan sifat univariat, bukan kumpulan fenomena), dan Anda mungkin ingin mengekstraksi lebih sedikit faktor, atau sebagai alternatif untuk menggunakan hasil miring sebagai sumber batch untuk mengekstrak apa yang disebut faktor urutan kedua.

$^1$ Thurstone mengedepankan lima kondisi ideal struktur sederhana. Tiga yang paling penting adalah: (1) setiap variabel harus memiliki setidaknya satu pemuatan mendekati nol; (2) masing-masing faktor harus memiliki mendekati nol beban untuk setidaknya m variabel ( m adalah sejumlah faktor); (3) untuk setiap pasangan faktor, setidaknya ada variabel m dengan pembebanan mendekati nol untuk salah satunya, dan cukup jauh dari nol untuk yang lainnya. Akibatnya, untuk setiap pasangan faktor plot pemuatan mereka idealnya akan terlihat seperti:

Ini hanya untuk penjelajahan FA, sementara jika Anda melakukan dan mengulang FA untuk mengembangkan kuesioner, Anda akhirnya ingin menjatuhkan semua poin kecuali yang biru, asalkan Anda hanya memiliki dua faktor. Jika ada lebih dari dua faktor, Anda ingin titik merah menjadi biru untuk beberapa plot pemuatan faktor lain.

$^2$

$^3$ Varians faktor (atau komponen) adalah jumlah dari pemuatan struktur kuadratnya , karena merupakan kovariansi / korelasi antara variabel dan faktor (skala unit). Setelah rotasi miring, faktor-faktor bisa berkorelasi, dan varians mereka bersinggungan. Akibatnya, jumlah varians mereka, SS di , melebihi komunalitas keseluruhan menjelaskan, SS di . Jika Anda ingin memperhitungkan setelah faktor saya hanya bagian "bersih" unik , kalikan varians dengan dari ketergantungan faktor pada faktor-faktor lain, kuantitas yang dikenal sebagai anti-gambar . Ini adalah kebalikan dari elemen diagonal ke-i dari$\bf S$$\bf S$$\bf A$$1-R_i^2$ C - 1$\bf C^{-1}$. Jumlah bagian "bersih" dari varian akan lebih kecil daripada keseluruhan komunitas yang dijelaskan.

$^4$ Anda tidak boleh mengatakan "faktor / komponen pertama berubah dalam rotasi dengan cara ini atau itu" karena faktor / komponen pertama dalam matriks pemuatan yang diputar adalah faktor / komponen yang berbeda dari faktor pertama dalam pemuatan matriks yang tidak diputar. Nomor urut yang sama ("1") menyesatkan.

$^5$ Dua metode miring yang paling penting adalah promax dan oblimin . Promax adalah peningkatan miring varimax: struktur berbasis varimax kemudian dilepaskan untuk memenuhi "struktur sederhana" ke tingkat yang lebih besar. Ini sering digunakan dalam FA konfirmasi. Oblimin sangat fleksibel karena gamma parameternya yang, ketika diatur ke 0, membuat oblimin metode quartimin menghasilkan solusi yang paling miring. Sebuah gamma dari 1 menghasilkan solusi miring setidaknya, covarimin, yang merupakan alternatif lain metode oblique berbasis varimax untuk promax. Semua metode miring bisa versi langsung (= primer) dan tidak langsung (= sekunder) - lihat literatur. Semua rotasi, baik ortogonal dan miring, dapat dilakukan dengan normalisasi Kaiser(biasanya) atau tanpa itu. Normalisasi membuat semua variabel sama pentingnya pada rotasi.

Beberapa utas untuk bacaan lebih lanjut:

Bisakah ada alasan untuk tidak memutar faktor sama sekali?

Matriks mana yang ditafsirkan setelah rotasi miring - pola atau struktur?

Apa arti teknik rotasi faktor (varimax, dll.)?

Apakah PCA dengan komponen yang diputar masih PCA atau merupakan analisis faktor?