Misalkan kita memiliki seperangkat poin . Setiap titik dihasilkan menggunakan distribusi
Untuk mendapatkan posterior untuk kita menulis
Menurut kertas Minka pada Expectation Dakwah kita perlu perhitungan untuk mendapatkan posterior p (x | \ mathbf {y}) dan, jadi, masalah menjadi sulit dipecahkan untuk sampel besar ukuran N . Namun, saya tidak tahu mengapa kita perlu perhitungan seperti ini dalam kasus ini, karena untuk y_i tunggaly = { y 1 , y 2 , ... , y N }
Dengan menggunakan rumus ini kita memperoleh posterior dengan perkalian sederhana p ( y i | x )
Saya membuat eksperimen numerik untuk membandingkan apakah saya benar-benar mendapatkan posterior yang sama jika saya menghitung setiap istilah secara terpisah dan jika saya menggunakan produk kepadatan untuk setiap . Posisinya sama. Lihat di
mana saya salah? Adakah yang bisa menjelaskan kepada saya mengapa kita perlu operasi untuk menghitung posterior untuk diberikan dan sampel ?y i 2 N x y
Jawaban:
Anda benar bahwa makalah itu mengatakan hal yang salah. Anda tentu dapat mengevaluasi distribusi posterior di lokasi yang diketahui menggunakan operasi . Masalahnya adalah ketika Anda ingin menghitung momen posterior. Untuk menghitung rata-rata posterior tepat, Anda membutuhkan operasiIni adalah masalah yang coba dipecahkan oleh kertas.xx O(n)O(n) xx 2N2N
sumber
Anda melewatkan titik bahwa distribusi adalah campuran dari Gaussians: setiap sampel didistribusikan menurut dengan probabilitas dan sebagai (distribusi kekacauan untuk , independen ) dengan probabilitas .yiyi p(yi|x)p(yi|x) 1−w1−w pc(y)pc(y) yy xx ww
Biarkan menjadi variabel indikator yang menunjukkan bahwa sampel diambil dari distribusi kekacauan; jadi, jika ini menunjukkan bahwa sampel diambil dari . Jelas, jika sampel diambil dari distribusi kekacauan itu nilainya tidak relevan untuk estimasi .cici ii 00 p(y|x)p(y|x) xx
Kehadiran status gabungan yang mungkin untuk variabel indikator inilah yang menyebabkan masalah.2N2N
sumber