Saya sedang menyelidiki suatu metode untuk pengecekan otomatis metode rantai Monte Carlo Markov, dan saya ingin beberapa contoh kesalahan yang dapat terjadi ketika membangun atau mengimplementasikan algoritma tersebut. Poin bonus jika metode yang salah digunakan dalam makalah yang diterbitkan.
Saya terutama tertarik pada kasus-kasus di mana kesalahan berarti bahwa rantai memiliki distribusi invarian yang salah, meskipun jenis kesalahan lainnya (misalnya rantai tidak ergodik) juga akan menarik.
Contoh kesalahan seperti itu akan gagal menghasilkan nilai ketika Metropolis-Hastings menolak langkah yang diusulkan.
Jawaban:
1. Marginal Likelihood dan Harmonic mean estimator
The kemungkinan marginal didefinisikan sebagai konstanta normalisasi distribusi posterior
Pentingnya kuantitas ini berasal dari peran yang dimainkannya dalam perbandingan model melalui faktor Bayes .
Beberapa metode telah diusulkan untuk mendekati jumlah ini. Raftery et al. (2007) mengusulkan estimator Harmonic mean , yang dengan cepat menjadi populer karena kesederhanaannya. Idenya terdiri dari menggunakan relasi
Oleh karena itu, jika kita memiliki sampel dari posterior, mengatakan , jumlah ini dapat didekati dengan(θ1,...,θN)
Perkiraan ini terkait dengan konsep Importance Sampling .
Berdasarkan hukum angka besar, seperti yang dibahas di blog Neal , kami memiliki penaksir ini konsisten . Masalahnya adalah bahwa diperlukan untuk perkiraan yang baik bisa sangat besar. Lihat blog Neal atau blog Robert 1 , 2 , 3 , 4 untuk beberapa contoh.N
Alternatif
Ada banyak alternatif untuk mendekati . Chopin dan Robert (2008) menyajikan beberapa metode berbasis pengambilan sampel Importance.p(x)
2. Tidak menjalankan MCMC sampler Anda cukup lama (khususnya di hadapan multimodality)
Mendoza dan Gutierrez-Peña (1999) menyimpulkan referensi sebelum / posterior untuk rasio dua rata-rata normal dan menyajikan contoh kesimpulan yang diperoleh dengan model ini menggunakan set data nyata. Menggunakan metode MCMC, mereka mendapatkan sampel berukuran posterior dari rasio sarana φ yang ditunjukkan di bawah ini2000 φ
3. Beberapa masalah lain seperti menilai konvergensi, pilihan nilai awal, perilaku rantai yang buruk dapat ditemukan dalam diskusi ini oleh Gelman, Carlin dan Neal.
4. Pengambilan Sampel Penting
sumber
Darren Wilkinson di blognya memberikan contoh terperinci tentang kesalahan umum dalam perjalanan acak Metropolis-Hastings. Saya sarankan untuk membacanya secara penuh, tetapi ini adalah versi dr; tl;
Jika distribusi target positif (seperti distribusi Gamma, dll. ) Dalam satu dimensi, tergoda untuk langsung menolak proposal yang memiliki nilai negatif pada dimensi tersebut. Kesalahannya adalah membuang proposal seperti tidak pernah terjadi dan mengevaluasi rasio penerimaan Metropolis-Hastings (MH) dari yang lain saja. Ini adalah kesalahan karena sama dengan menggunakan kepadatan proposal yang tidak simetris.
Penulis menyarankan untuk menerapkan satu dari dua perbaikan.
Hitung "negatif" sebagai penerimaan gagal (dan kehilangan sedikit efisiensi).
Gunakan rasio MH yang benar dalam kasus itu, yaitu
sumber
Kasus yang sangat jelas (terkait dengan perkiraan kemungkinan marjinal yang disebutkan dalam jawaban pertama) di mana konvergensi sejati adalah contoh dari masalah penggantian label dalam model campuran ditambah dengan penggunaan penaksir Chib (1995) . Seperti yang ditunjukkan oleh Radford Neal (1999), jika rantai MCMC tidak bertemu dengan benar, dalam arti bahwa itu mengeksplorasi beberapa mode distribusi target, perkiraan Monte Carlo dari Chib gagal mencapai nilai numerik yang tepat.
sumber