Saya baru mengenal Analisis Komponen Independen (ICA) dan hanya memiliki pemahaman dasar tentang metode ini. Tampak bagi saya bahwa ICA mirip dengan Analisis Faktor (FA) dengan satu pengecualian: ICA mengasumsikan bahwa variabel acak yang diamati adalah kombinasi linear dari komponen / faktor independen yang non-gaussian sedangkan model FA klasik mengasumsikan bahwa variabel acak yang diamati adalah kombinasi linear dari komponen / faktor gaussian yang berkorelasi.
Apakah hal di atas akurat?
multivariate-analysis
factor-analysis
ica
stats_student
sumber
sumber
Jawaban:
FA, PCA, dan ICA, semuanya 'terkait', di mana ketiganya mencari vektor basis yang diproyeksikan terhadap data, sehingga Anda memaksimalkan masukkan-kriteria-sini. Pikirkan vektor basis hanya sebagai enkapsulasi kombinasi linear.
Jadi apa kriteria itu?
Kriteria Orde Kedua:
Di PCA, Anda menemukan vektor basis yang 'paling menjelaskan' varian data Anda. Vektor dasar pertama (yaitu peringkat tertinggi) akan menjadi yang paling sesuai dengan semua varian dari data Anda. Yang kedua juga memiliki kriteria ini, tetapi harus ortogonal dengan yang pertama, dan seterusnya dan seterusnya. (Ternyata vektor basis tersebut untuk PCA tidak lain adalah vektor eigen dari matriks kovarian data Anda).
Dalam FA, ada perbedaan antara itu dan PCA, karena FA adalah generatif, sedangkan PCA tidak. Saya telah melihat FA digambarkan sebagai 'PCA dengan noise', di mana 'noise' disebut 'faktor spesifik'. Semua sama, kesimpulan keseluruhan adalah bahwa PCA dan FA didasarkan pada statistik orde kedua, (kovarians), dan tidak ada yang di atas.
Kriteria Pesanan Tinggi:
Di ICA, Anda kembali menemukan vektor basis, tetapi kali ini, Anda ingin vektor basis yang memberikan hasil, sehingga vektor yang dihasilkan ini adalah salah satu komponen independen dari data asli. Anda dapat melakukan ini dengan memaksimalkan nilai absolut kurtosis yang dinormalisasi - statistik urutan ke-4. Artinya, Anda memproyeksikan data Anda pada beberapa vektor dasar, dan mengukur kurtosis hasilnya. Anda mengubah sedikit vektor basis Anda (biasanya melalui pendakian gradien), dan kemudian mengukur kurtosis lagi, dll. Akhirnya Anda akan terjadi pada vektor basis yang memberi Anda hasil yang memiliki kurtosis tertinggi, dan ini adalah kemandirian Anda. komponen.
Diagram atas di atas dapat membantu Anda memvisualisasikannya. Anda dapat melihat dengan jelas bagaimana vektor ICA sesuai dengan sumbu data, (tidak tergantung satu sama lain), sedangkan vektor PCA mencoba menemukan arah di mana varians dimaksimalkan. (Agak seperti resultan).
Jika pada diagram atas, vektor PCA terlihat seperti mereka hampir bersesuaian dengan vektor ICA, itu hanya kebetulan. Berikut ini adalah contoh lain pada data yang berbeda dan pencampuran matriks di mana mereka sangat berbeda. ;-)
sumber
Tidak terlalu. Analisis faktor beroperasi dengan momen kedua, dan benar-benar berharap bahwa data tersebut Gaussian sehingga kemungkinan rasio dan hal-hal seperti itu tidak terpengaruh oleh non-normalitas. ICA, di sisi lain, dimotivasi oleh gagasan bahwa ketika Anda menambahkan sesuatu, Anda mendapatkan sesuatu yang normal, karena CLT, dan sangat berharap bahwa data tersebut tidak normal, sehingga komponen yang tidak normal dapat diekstraksi dari mereka. Untuk mengeksploitasi non-normalitas, ICA mencoba memaksimalkan momen keempat dari kombinasi linear dari input:
Jika ada, ICA harus dibandingkan dengan PCA, yang memaksimalkan momen kedua (varian) dari kombinasi input standar.
sumber