Inferensi Variasi, divergensi KL membutuhkan true

12

Untuk saya (sangat sederhana) memahami inferensi variasional, orang mencoba untuk memperkirakan p distribusi yang tidak diketahui dengan menemukan q distribusi yang mengoptimalkan berikut ini:pq

KL(p||q)=xp(x)logp(x)q(x)

Setiap kali saya menginvestasikan waktu untuk memahami inferensi variasional, saya terus memukul formula ini dan tidak bisa membantu tetapi merasa seperti saya kehilangan intinya. Sepertinya saya perlu tahu untuk menghitung K L ( p | | q ) . Tetapi intinya adalah saya tidak tahu distribusi ini hal .pKL(p||q)p

Inilah titik tepat yang telah menggangguku setiap kali aku mencoba membaca sesuatu yang variasional. Apa yang saya lewatkan?

EDIT :

Saya akan menambahkan beberapa komentar tambahan di sini sebagai hasil dari jawaban @ wij, saya akan berusaha lebih tepat.

Dalam kasus-kasus yang saya minati, tampaknya masuk akal untuk mempertimbangkan bahwa yang berikut ini berlaku;

p(θ|D)=p(D|θ)p(θ)p(D)p(D|θ)p(θ)

pp(D|θ)p(θ)qKL(p(θ|D)||q)p(D|θ)p(θ)

KL

Vincent Warmerdam
sumber

Jawaban:

7

p

Y={yi}i=1np(x|Y)p(y|x)p(x)xRd

p(x|Y)=p(x)p(Y)p(Y|x)=p(x)p(Y)i=1np(yi|x).

p(x|Y)p(Y)p(y|x)p(x|Y)

qargminqKL(p||q)pqqQ={i=1dqi(xi)each qi is a one-dimensional Gaussian}q

qiexp(Ejiqjlogp(x,Y)),

di manaFormula yang tepat tidak terlalu menjadi masalah. Intinya adalah perkiraan dapat ditemukan dengan mengandalkan pengetahuan dari benar , dan asumsi pada formulir yang harus diambil perkiraan .p(x,Y)=p(x)i=1np(yi|x).qpq

Memperbarui

Berikut ini adalah untuk menjawab bagian yang diperbarui dalam pertanyaan. Saya baru menyadari bahwa saya telah memikirkan tentang . Saya akan selalu menggunakan untuk jumlah sebenarnya, dan untuk perkiraan. Dalam inferensi variasional atau variasional Bayes, diberikan olehKL(q||p(x|Y))pqq

q=argminqQKL(q||p(x|Y)).

Dengan batasan yang ditetapkan seperti di atas, solusinya adalah yang diberikan sebelumnya. Sekarang jika Anda berpikir tentangQ

q=argminqQKL(p(x|Y)||q),

untuk didefinisikan sebagai bagian dari keluarga eksponensial, maka kesimpulan ini disebut propagasi harapan (EP). Solusi untuk dalam kasus ini adalah yang sedemikian sehingga momennya cocok dengan .Qqp(x|Y)

Either way, Anda benar mengatakan bahwa pada dasarnya Anda mencoba memperkirakan distribusi posterior sebenarnya dalam arti KL dengan distribusi dibatasi untuk mengambil beberapa bentuk.q

wij
sumber
Saya tidak bisa berdebat dengan ini. Saya pikir sebagian besar penjelasan termasuk saya sendiri tentang ini.
Peadar Coyle