Apa yang memaksimalkan faktor

Dalam analisis komponen utama, komponen utama adalah arah orthogonal dengan varians maksimum. Dengan kata lain, komponen utama pertama dipilih untuk menjadi arah varians maksimum, komponen utama kedua dipilih untuk menjadi arah ortogonal ke yang pertama dengan varian maksimum, dan seterusnya.$k$$k$

Apakah ada interpretasi yang serupa untuk Analisis Faktor? Sebagai contoh, saya berpikir bahwa faktor pertama adalah faktor yang paling menjelaskan komponen off-diagonal dari matriks korelasi asli (dalam arti, katakanlah, kuadrat kesalahan antara matriks korelasi asli dan matriks korelasi yang ditentukan oleh faktor). Apakah ini benar (atau adakah yang serupa yang bisa kita katakan)?$k$

PCA terutama merupakan teknik reduksi data di mana tujuannya adalah untuk mendapatkan proyeksi data ke ruang dimensi yang lebih rendah. Dua tujuan yang setara adalah untuk memaksimalkan perbedaan secara iteratif atau untuk meminimalkan kesalahan rekonstruksi. Ini sebenarnya dikerjakan dalam beberapa perincian dalam jawaban untuk pertanyaan sebelumnya ini .

Sebaliknya, analisis faktor terutama merupakan model generatif dari -data dimensi vektor X yang mengatakan bahwa X = A S + ϵ di mana S adalah vektor dimensi q faktor laten, A adalah p × k dengan k < p dan ϵ adalah vektor kesalahan tidak berkorelasi. The A matriks adalah matriks faktor loadings . Ini menghasilkan parametrization khusus dari matriks kovarians sebagai Σ = A A T + $p$$X$

$$X = AS + \epsilon$$ $S$$q$$A$$p \times k$$k < p$$\epsilon$$A$ $$\Sigma = AA^T + D$$ Masalah dengan model ini adalah bahwa model ini terlalu ter-parametrik. Model yang sama diperoleh jika diganti dengan A R untuk setiap k × k matriks ortogonal R , yang berarti bahwa faktor sendiri tidak unik. Berbagai saran ada untuk menyelesaikan masalah ini, tetapi tidak ada solusi tunggal yang memberi Anda faktor dengan jenis penafsiran yang Anda minta. Salah satu pilihan populer adalah rotasi varimax . Namun, kriteria yang digunakan hanya menentukan rotasi. Ruang kolom yang direntang oleh A tidak berubah, dan karena ini adalah bagian dari parametrization, ditentukan oleh metode apa pun yang digunakan untuk memperkirakan $A$$AR$$k \times k$$R$$A$$\Sigma$ - Dengan kemungkinan maksimum dalam model Gaussian, katakanlah.

Oleh karena itu, untuk menjawab pertanyaan, faktor yang dipilih tidak diberikan secara otomatis dari menggunakan model analisis faktor, sehingga tidak ada interpretasi tunggal dari faktor pertama. Anda harus menentukan metode yang digunakan untuk memperkirakan (ruang kolom) A dan metode yang digunakan untuk memilih rotasi. Jika D = σ 2 I (semua kesalahan memiliki varians yang sama) solusi MLE untuk ruang kolom A adalah ruang yang direntang oleh vektor komponen utama q terkemuka , yang dapat ditemukan oleh dekomposisi nilai singular. Tentu saja dimungkinkan untuk memilih untuk tidak memutar dan melaporkan vektor komponen utama ini sebagai faktor. $k$$A$$D = \sigma^2 I$$A$$q$

$k$$k$$k$

@RAEGTIN, saya yakin Anda berpikir benar. Setelah ekstraksi dan rotasi sebelumnya, masing-masing faktor berturut-turut bertanggung jawab atas semakin berkurangnya kovarisasi / korelasi, seperti halnya masing-masing komponen berturut-turut menyumbang lebih sedikit dan lebih sedikit perbedaan: dalam kedua kasus, kolom dari matriks pemuatan A mengikuti urutan jatuhnya jumlah elemen kuadrat (memuat) di dalamnya. Memuat adalah korelasi dengan faktor dan variabel; oleh karena itu orang dapat mengatakan bahwa faktor 1 menjelaskan bagian terbesar dari "keseluruhan" kuadrat r dalam matriks R , faktor 2 adalah yang kedua di sini, dll. Perbedaan antara FA dan PCA, meskipun, dalam memprediksi korelasi dengan pemuatan adalah sebagai berikut: FA "dikalibrasi" untuk mengembalikan Rcukup halus hanya dengan faktor m diekstraksi (faktor m <variabel p), sementara PCA kasar dalam mengembalikannya dengan komponen m, - perlu semua komponen p untuk mengembalikan R tanpa kesalahan.

PS Hanya untuk menambahkan. Dalam FA, nilai pemuatan "terdiri" dari komunalitas bersih (bagian dari varians yang bertanggung jawab untuk berkorelasi) sementara dalam PCA pemuatan adalah campuran dari komunalitas dan keunikan variabel dan karenanya mengambil variabilitas.