Penduga MCMC yang kuat tentang kemungkinan marginal?

9

Saya mencoba menghitung kemungkinan marginal untuk model statistik dengan metode Monte Carlo:

f(x)=∫f(x∣θ)π(θ)dθ

Kemungkinan berperilaku baik - halus, log-cekung - tetapi berdimensi tinggi. Saya sudah mencoba sampel penting, tetapi hasilnya tidak bagus dan sangat bergantung pada proposal yang saya gunakan. Saya sempat mempertimbangkan melakukan Hamiltonian Monte Carlo untuk menghitung sampel posterior dengan asumsi seragam sebelum lebih dan mengambil mean harmonik, sampai aku melihat ini . Setelah dipelajari, rata-rata harmonik dapat memiliki varian yang tak terbatas. Apakah ada penaksir MCMC alternatif yang hampir sama sederhana, tetapi memiliki varian yang berperilaku baik?θ

monte-carlo likelihood marginal David Pfau
sumber
Anda juga dapat mempertimbangkan pengambilan sampel dasar monte carlo dari sebelumnya. f(x)=Eπ(θ)(f(x|θ))
probabilityislogic
1
Itu salah satu solusi yang mungkin. Dalam hal ini, ingatlah bahwa prior yang tidak patut tidak lagi diizinkan, dan prior dengan dukungan yang sangat menyebar mungkin akan membuat perkiraan Monte Carlo menjadi sulit.
Zen
1
Buku lengkap tentang masalah ini adalah Chen, Shao dan Ibrahim (2001) . Anda juga dapat mencari kata kunci seperti sampling bersarang, sampel jembatan, sampel defensif, filter partikel, Savage-Dickey.
Xi'an

Jawaban:

8

Bagaimana dengan sampling kepentingan anil ? Ini memiliki varians yang jauh lebih rendah daripada sampling kepentingan reguler. Saya telah melihatnya disebut "standar emas", dan tidak jauh lebih sulit untuk diterapkan daripada sampel kepentingan "normal". Ini lebih lambat dalam arti bahwa Anda harus membuat banyak gerakan MCMC untuk setiap sampel, tetapi masing-masing sampel cenderung sangat berkualitas tinggi sehingga Anda tidak perlu banyak dari mereka sebelum perkiraan Anda tenang.

Alternatif utama lainnya adalah pengambilan sampel dengan urutan kepentingan. Perasaan saya adalah bahwa itu juga cukup mudah untuk diterapkan, tetapi membutuhkan beberapa keakraban dengan Monte Carlo berurutan (penyaringan partikel AKA), yang saya kekurangan.

Semoga berhasil!

Diedit untuk menambahkan : Sepertinya posting blog Radford Neal yang Anda tautkan juga merekomendasikan Annealed Importance Sampling. Beri tahu kami jika itu bekerja dengan baik untuk Anda.

David J. Harris
sumber
2

Ini mungkin membantu untuk menjelaskan perhitungan distribusi marjinal. Juga, saya akan merekomendasikan untuk menggunakan metode melalui posisi daya yang diperkenalkan oleh Friel dan Pettitt . Pendekatan ini tampaknya cukup menjanjikan, meskipun memiliki beberapa keterbatasan. Atau Anda bisa mengoleskan perkiraan distribusi posterior dengan distribusi normal: jika histogram dari MCMC terlihat simetris dan seperti normal, daripada ini bisa jadi perkiraan yang cukup baik.

Tomas
sumber