Mengapa campuran konjugat penting?

Saya punya pertanyaan tentang campuran prior konjugat. Saya belajar dan mengatakan campuran beberapa konjugasi beberapa kali ketika saya belajar bayesian. Saya bertanya-tanya mengapa teorema ini sangat penting, bagaimana kita akan menerapkannya ketika kita melakukan analisis Bayesian.

Untuk lebih spesifik, satu teorema dari Diaconis dan Ylivisaker 1985 mengilustrasikan teorema sebagai berikut:

Diberikan model sampel dari keluarga eksponensial, setiap distribusi sebelumnya dapat didekati dengan campuran terbatas dari distribusi konjugat sebelumnya.$p(y|\theta)$

Lebih khusus, mengingat sebelumnya , kita dapat menurunkan posterior:$p(\theta)=\int p(\theta|\omega)p(\omega)d\omega$

$p(\theta|Y)\propto\int p(Y|\theta)p(\theta|\omega)p(\omega)d\omega\propto\int \frac{p(Y|\theta)p(\theta|\omega)}{p(Y|\omega)}p(Y|\omega)p(\omega)d\omega\propto \int p(\theta|Y, \omega)p(Y|\omega)p(\omega)d\omega$

Karena itu,

$p(\theta|Y)=\frac{\int p(\theta|Y, \omega)p(Y|\omega)p(\omega)d\omega}{\int p(Y|\omega)p(\omega)d\omega}$

Menghitung posisi dengan prior / arbitrer langsung mungkin merupakan tugas yang sulit.

Di sisi lain, menghitung posterior dengan campuran dari konjugat relatif relatif sederhana, karena campuran prior yang diberikan menjadi campuran yang sama dari posterior yang sesuai.

[Ada juga banyak kasus di mana beberapa yang diberikan sebelumnya mungkin cukup baik didekati oleh campuran terbatas dari konjugat prior - ini membuat pendekatan yang sangat mudah diterapkan dan praktis dalam banyak situasi, yang mengarah ke perkiraan posisi yang mungkin dibuat cukup dekat ke yang tepat.]

Untuk memperluas jawaban @ Glen_b hanya sedikit, salah satu implikasinya adalah bahwa kita bisa mendapatkan perkiraan bentuk tertutup ke posterior ketika non-konjugat sebelumnya digunakan dengan terlebih dahulu mendekati non-konjugat sebelumnya dengan campuran dari konjugat prior dan kemudian langsung menyelesaikan untuk posterior aproksimasi.

Namun, secara umum metode ini tampaknya cukup sulit untuk digunakan. Meskipun benar bahwa Anda dapat membuat campuran sebelum ditutup secara sewenang-wenang ke non-konjugat sebelumnya, umumnya akan ada beberapa kesalahan dalam setiap pendekatan terbatas. Kesalahan kecil sebelumnya bisa dengan mudah menyebar ke kesalahan besar di posterior. Sebagai contoh, jika prior didekati dengan baik kecuali pada ekor yang ekstrem, tetapi data memberikan bukti kuat bahwa nilai-nilai parameter berada di ekor ekstrem, kesalahan pada ekor ekstrem sebelumnya akan menyebabkan kesalahan di daerah probabilitas tinggi dari belakang.