Apa perbedaan antara PCA biasa dan PCA probabilistik?

15

Saya tahu PCA biasa tidak mengikuti model probabilistik untuk data yang diamati. Jadi apa perbedaan mendasar antara PCA dan PPCA ? Dalam PPCA, variabel model laten berisi misalnya variabel yang diamati , laten (variabel tidak teramati x ) dan matriks W yang tidak harus ortonormal seperti pada PCA biasa. Satu lagi perbedaan yang bisa saya pikirkan PCA biasa hanya menyediakan komponen utama, di mana PPCA menyediakan distribusi probabilistik data.yxW

Bisakah seseorang menyenangkan melalui lebih banyak cahaya pada perbedaan antara PCA dan PPCA?

pca Vendetta
sumber
2
Lihat di sini .
Ami Tavory
1
+1. Lihat jawaban saya di sini stats.stackexchange.com/questions/208731 dan juga di sini stats.stackexchange.com/questions/203087 . Sudahkah Anda membaca slide yang Anda tautkan? Mereka sepertinya menjelaskan semuanya dengan rinci. Bisakah Anda mengikuti penjelasan itu atau terlalu rumit?
Amuba mengatakan Reinstate Monica
@amoeba, saya mengikuti slide saya mendapatkan beberapa perbedaan namun itu tidak memberi saya intuisi yang jelas bahwa apa yang dapat dilakukan PPCA yang tidak dapat dilakukan PCA? Apa yang terjadi secara teknis dengan memperkenalkan variabel laten? Estimasi kovarians seperti dalam PPCA dapat dilakukan dalam PCA biasa juga? Jika Anda dapat menambahkan jawaban, itu akan sangat membantu
Vendetta
@amoeba, Kedua pertanyaan itu dijawab dengan cukup baik. Terutama pertanyaan pada subruang utama dalam PCA probabilistik. Ini memberi saya lebih banyak intuisi dalam memahami estimasi komponen utama dari W.
Vendetta
OK, saya akan mencoba memposting jawaban, tetapi saya cukup sibuk akhir-akhir ini. Saya akan mencoba mencari waktu minggu ini, tetapi mungkin menunda sampai minggu depan. (+1 by the way)
amoeba mengatakan Reinstate Monica

Jawaban:

9

Tujuan PPCA bukan untuk memberikan hasil yang lebih baik daripada PCA, tetapi untuk memungkinkan serangkaian luas ekstensi dan analisis di masa depan. Makalah ini menyatakan beberapa keuntungan dengan jelas dalam pendahuluan, yaitu / misalnya:

"definisi ukuran kemungkinan memungkinkan perbandingan dengan teknik probabilistik lainnya, sambil memfasilitasi pengujian statistik dan memungkinkan penerapan model Bayesian".

Model Bayesian khususnya menikmati kebangkitan besar akhir-akhir ini, misalnya VAE, "Bayes variational auto-encoding", https://arxiv.org/abs/1312.6114 . Perpanjangan PCA agar dapat digunakan dalam kerangka kerja variasional dan sejenisnya memiliki potensi bagi peneliti lain untuk mengatakan 'Oh, hei, bagaimana jika saya lakukan ...?'

Hugh Perkins
sumber