Apa perbedaan antara Metropolis Hastings, Gibbs, Pentingnya, dan sampel Penolakan?

Saya telah mencoba mempelajari metode MCMC dan telah menemukan Metropolis Hastings, Gibbs, Importance, dan Rejection sampling. Sementara beberapa perbedaan ini jelas, yaitu, bagaimana Gibbs adalah kasus khusus dari Metropolis Hastings ketika kita memiliki persyaratan penuh, yang lain kurang jelas, seperti ketika kita ingin menggunakan MH dalam sampler Gibbs, dll. Adakah yang punya cara sederhana untuk melihat sebagian besar perbedaan antara masing-masing? Terima kasih!

mcmc monte-carlo gibbs metropolis-hastings importance-sampling pengguna1398057
sumber

Iain Murray dengan baik membahas hal ini dalam ceramahnya , setidaknya berkaitan dengan MCMC.

gwr

Saya setuju dengan Xi'an bahwa ini adalah pertanyaan yang sangat luas; Anda secara efektif meminta banyak informasi tentang empat hal yang berbeda, diskusi tentang salah satu di antaranya (atau perbedaan di antaranya) akan memberikan jawaban yang agak panjang. Kita mungkin bisa mendapatkan suatu tempat ke arah memfokuskan pertanyaan dengan mencatat bahwa sementara keempat adalah metode Monte Carlo, Pengambilan sampel penting dan Penolakan sampel bukan MCMC (itu tidak berarti mereka tidak dapat digunakan dalam MCMC).

Glen_b -Reinstate Monica

Jawaban:

Seperti yang dijelaskan dalam buku kami dengan George Casella, metode statistik Monte Carlo , metode ini digunakan untuk sampel produk dari distribusi yang diberikan, dengan kepadatan katakanlah, baik untuk mendapatkan ide tentang distribusi ini, atau untuk memecahkan masalah integrasi atau optimasi terkait dengan . Misalnya, untuk menemukan nilai $f$ $f$ atau mode distribusi ketika atau kuantil dari distribusi ini.

\int_{X} h (x) f (x) d x h (X) \subset R

$\int_{\mathcal{X}} h(x) f(x)\text{d}x\qquad h(\mathcal{X})\subset \mathbb{R}$

h (X)

$h(X)$

X \sim f (x)

$X\sim f(x)$

Untuk membandingkan rantai Monte Carlo dan Markov metode Monte Carlo yang Anda sebutkan pada kriteria yang relevan membutuhkan satu untuk mengatur latar belakang masalah dan tujuan percobaan simulasi, karena pro dan kontra masing-masing akan bervariasi dari kasus ke kasus.

Berikut adalah beberapa pernyataan umum yang pasti tidak mencakup kompleksitas masalah :

$f$ $u_1,u_2,\ldots$ $x$ $f$ $f$ $f$ $x$ $X$ $f$
$(x_t)_t$ $f$ $f$ $f$ $f (x) \propto \int_{Z} \tilde{f} (x, z) d z$ $f(x)\propto\int_{\mathcal{Z}} \tilde{f}(x,z)\text{d}z$ $(x_t)_t$ $(x_t)_t$ $x_t$ $t$ $f$ $f$ $t$
$g(x)$ $f (x) / g (x) .$ $f(x)/g(x)\,.$ $g$ $f$ $g$ $g$ $f$

I = \int_{X} h (x) f (x) d x,

$\mathcal{I}=\int_{\mathcal{X}} h(x) f(x)\text{d}x\,,$

\hat{I} = \int_{X} h (x) f (x) d x

$\hat{\mathcal{I}}=\int_{\mathcal{X}} h(x) f(x)\text{d}x$

f

$f$

Xi'an
sumber

f

$f$

Saya hanya ingin tahu apa h(x)artinya secara konkret h(x)f(x)dx, dalam skenario analisis Bayesian. Kami berusaha mendapatkan posterior, mengingat data sebelumnya dan data. Namun, tampaknya dengan semua metode pengambilan sampel ini, kami sebenarnya mencoba memperkirakan f(x). Jadi dapatkah dikatakan bahwa f(x)itu sudah merupakan posterior yang kita cari, dan h(x)apakah hanya fungsi sewenang-wenang yang mungkin juga kita kumpulkan bersama dengan posterior f(x)? Atau apakah saya tidak memahaminya dengan benar. Terima kasih.

xji

\int_{X} h (x) f (x) d x

$\int_{\mathcal{X}} h(x) f(x)\text{d}x$

f

$f$

h

$h$