Apa hubungan antara rantai Markov dan rantai Markov monte carlo

Saya mencoba memahami rantai Markov menggunakan SAS. Saya mengerti bahwa proses Markov adalah satu di mana keadaan di masa depan hanya bergantung pada keadaan saat ini dan bukan pada keadaan masa lalu dan ada matriks transisi yang menangkap probabilitas transisi dari satu keadaan ke keadaan lain.

Tapi kemudian saya menemukan istilah ini: Markov Chain Monte Carlo. Yang ingin saya ketahui adalah apakah Rantai Markov Monte Carlo terkait dengan proses Markov yang saya jelaskan di atas?

Ya, ada hubungan di antara kedua istilah itu karena gambar dari MCMC membentuk rantai Markov. Dari Gelman, Bayesian Data Analysis (edisi ke-3), hlm. 265:

Simulasi rantai Markov (juga disebut rantai Markov Monte Carlo atau MCMC) adalah metode umum berdasarkan nilai menggambar dari distribusi yang sesuai dan kemudian mengoreksi gambar-gambar tersebut untuk mendekati perkiraan distribusi posterior target, p ( θ | y ) . Pengambilan sampel dilakukan secara berurutan, dengan distribusi penarikan sampel tergantung pada nilai terakhir yang diambil; karenanya, undian membentuk rantai Markov.$\theta$$p(\theta|y)$

Koneksi antara kedua konsep adalah bahwa rantai Markov Monte Carlo (alias MCMC) metode mengandalkan teori rantai Markov untuk menghasilkan simulasi dan perkiraan Monte Carlo dari distribusi target yang kompleks .$\pi$

Dalam prakteknya, metode simulasi ini menghasilkan urutan yang merupakan rantai Markov, yaitu, sedemikian sehingga distribusi X i diberikan seluruh masa lalu { X i - 1 , ... , X 1 } hanya tergantung pada X i - 1 . Dengan kata lain, X i = f ( X i - 1 , ϵ i ) di mana adalah fungsi yang ditentukan oleh algoritma dan distribusi target$X_1,\ldots,X_N$$X_i$$\{X_{i-1},\ldots,X_1\}$$X_{i-1}$

Contoh termudah dari algoritma MCMC adalah slice sampler : pada iterasi i dari algoritma ini, lakukan

1. $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. $X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$$\epsilon^2_i$)

Misalnya, jika target distribusi normal $\mathrm{N}(0,1)$ [yang Anda jelas tidak memerlukan MCMC dalam praktiknya, ini adalah contoh mainan!] di atas diterjemahkan sebagai

1. mensimulasikan $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. mensimulasikan $X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$yaitu $X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$ dengan $\epsilon_i^2\sim\mathrm{U}(0,1)$

atau dalam R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

Berikut ini adalah representasi dari output, yang menunjukkan pas untuk $\mathrm{N}(0,1)$ target dan evolusi rantai Markov $(X_i)$.

Dan ini adalah zoom pada evolusi rantai Markov $(X_i,\epsilon^1_i\pi(X_i))$ lebih dari 100 iterasi terakhir, diperoleh oleh

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

yang mengikuti gerakan vertikal dan horizontal rantai Markov di bawah kurva kerapatan target.