PCA probabilistik
PCA probabilistik adalah model variabel laten Gaussian dari bentuk berikut. Pengamatanx ∈RD terdiri dari D variabel, variabel laten z ∈RM. diasumsikan terdiri dari M.< Dvariabel; variabel laten sebelumnya adalah Gaussian unit-kovarian nol rata-rata:
z ∼ N( 0 , saya ) ,
dan distribusi kondisional dari variabel yang diamati mengingat variabel laten adalah
Ternyata solusi kemungkinan maksimum untuk model ini diberikan oleh komponen PCA pertama dari data: kolom
x | z ∼ N( W z + μ ,σ2Saya ).
M.WML sebanding dengan vektor eigen teratas dari matriks kovarians (sumbu utama). Lihat Tipping & Bishop untuk detailnya.
Mengapa menggunakan Gaussian sebelumnya?
Untuk setiap prior lain (atau setidaknya untuk kebanyakan prior lainnya) solusi kemungkinan maksimum tidak akan sesuai dengan solusi PCA standar, sehingga tidak ada alasan untuk menyebut model variabel laten ini "PCA probabilistik". Gaussian sebelumnya adalah yang menimbulkan PCA.N( 0 , saya )
Sebagian besar prior lainnya akan membuat masalah jauh lebih rumit atau bahkan tidak bisa diselesaikan secara analitis. Memiliki distribusi bersyarat Gaussian prior dan Gaussian mengarah ke distribusi marginal Gaussian , dan mudah untuk melihat bahwa matriks kovariansnya akan diberikan oleh . Distribusi non-Gaussian jauh lebih sulit untuk dikerjakan.p ( x )W⊤W +σ2saya
Memiliki Gaussian marginal distribution juga menarik karena tugas PCA standar adalah memodelkan matriks kovarians (yaitu momen kedua); PCA tidak tertarik pada momen distribusi data yang lebih tinggi. Distribusi Gaussian sepenuhnya dijelaskan oleh dua momen pertama: rata-rata dan kovarians. Kami tidak ingin menggunakan distribusi yang lebih rumit / fleksibel, karena PCA tidak berurusan dengan aspek-aspek data ini.p ( x )
Gaussian sebelum memiliki satuan kovarians matriks karena idenya adalah untuk memiliki variabel laten berkorelasi yang menimbulkan covariances diamati hanya melalui beban .W