Saya membaca di suatu tempat bahwa metode Variational Bayes adalah generalisasi dari algoritma EM. Memang, bagian berulang dari algoritma sangat mirip. Untuk menguji apakah algoritma EM adalah versi khusus dari Variational Bayes, saya mencoba yang berikut:
adalah data, adalah kumpulan variabel laten dan adalah parameternya. Dalam Variational Bayes yang kita buat dapat membuat perkiraan sedemikian rupa sehingga . Di mana adalah distribusi yang lebih sederhana dan dapat ditelusuri.Θ P ( X , Θ | Y ) ≈ Q X ( X ) Q Θ ( Θ ) Q
Karena algoritma EM menemukan perkiraan titik MAP, saya pikir Variational Bayes dapat menyatu dengan EM jika saya menggunakan Fungsi Delta sehingga: . adalah taksiran pertama untuk parameter seperti yang biasanya dilakukan dalam EM.Θ 1
Ketika diberikan, yang meminimalkan KL Divergence ditemukan dengan rumus Rumus di atas disederhanakan menjadi , langkah ini ternyata setara dengan langkah Ekspektasi dari algoritma EM!Q 1 X ( X ) Q 1 X ( X ) = exp ( E delta Θ 1 [ ln P ( X , Y , Θ ) ] Q 1 X (X)=P(X|Θ1,Y)
Tapi saya tidak bisa mendapatkan langkah Maksimalisasi sebagai kelanjutan dari ini. Pada langkah berikutnya kita perlu menghitung dan menurut aturan iterasi Variational Bayes ini adalah:
Apakah algoritma VB dan EM benar-benar terhubung dengan cara ini? Bagaimana kita dapat memperoleh EM sebagai kasus khusus di Variational Bayes, apakah pendekatan saya benar?
sumber
Jawaban:
Pendekatan Anda benar. EM setara dengan VB di bawah batasan bahwa perkiraan posterior untuk dibatasi menjadi massa titik. (Ini disebutkan tanpa bukti pada halaman 337 dari Analisis Data Bayesian .) Biarkan menjadi lokasi yang tidak diketahui dari massa titik ini: VB akan meminimalkan perbedaan-KL berikut: Minimum over memberikan E-step EM, dan minimum over memberikan M-step EM.Θ Θ∗
Tentu saja, jika Anda benar-benar mengevaluasi perbedaan KL, itu akan menjadi tidak terbatas. Tapi itu bukan masalah jika Anda menganggap fungsi delta sebagai batas.
sumber