Anda mencoba untuk menunjukkan saldo terperinci untuk rantai Markov yang diperoleh dengan mempertimbangkan satu transisi dari rantai Markov menjadi 'sapuan Gibbs' di mana Anda mencicipi setiap komponen secara bergiliran dari distribusi kondisionalnya. Untuk rantai ini, saldo terperinci tidak terpenuhi. Intinya adalah bahwa setiap pengambilan sampel dari komponen tertentu dari distribusi kondisionalnya adalah transisi yang memenuhi keseimbangan terinci. Akan lebih akurat untuk mengatakan bahwa pengambilan sampel Gibbs adalah kasus khusus dari Metropolis-Hastings yang sedikit digeneralisasi, tempat Anda berganti-ganti di antara beberapa proposal yang berbeda. Lebih detail ikuti.
Sapuan tidak memenuhi keseimbangan terperinci
Saya membuat contoh tandingan. Pertimbangkan dua variabel Bernoulli ( ), dengan probabilitas seperti yang ditunjukkan pada tabel berikut:
X1,X2
Asumsikan penyapu Gibbs dipesan sehinggaX1menjadi sampel pertama. Pindah dari kondisi(0,0)ke kondisi(1,1)dalam satu gerakan adalah tidak mungkin, karena itu akan membutuhkan perpindahan dari(0,0)ke(1,0). Namun, pindah dari(1,1)ke(0,0)memiliki probabilitas positif, yaitu1
X1=0X1=1X2=0130X2=11313
X1(0,0)(1,1)(0,0)(1,0)(1,1)(0,0) . Oleh karena itu kami menyimpulkan bahwa saldo terperinci tidak terpenuhi.
14
Namun, rantai ini masih memiliki distribusi stasioner yang benar. Keseimbangan terperinci adalah kondisi yang cukup, tetapi tidak perlu, untuk konvergen ke target distribusi.
Gerakan komponen-bijaksana memenuhi keseimbangan rinci
(x1,x2)(y1,y2)x2≠y2x2=y2
π(x1,x2)Prob((x1,x2)→(y1,x2))=π(x1,x2)p(y1∣X2=x2)=π(x1,x2)π(y1,x2)∑zπ(z,x2)=π(y1,x2)π(x1,x2)∑zπ(z,x2)=π(y1,x2)p(x1∣X2=x2)=π(y1,x2)Prob((y1,x2)→(x1,x2)).
Bagaimana gerakan komponen-bijaksana adalah gerakan Metropolis-Hastings?
1(x1,x2)(y1,y2)
π(y1,x2)π(x1,x2).
Prob((y1,x2)→(x1,x2))Prob((x1,x2)→(y1,x2))=π(x1,x2)∑zπ(z,x2)π(y1,x2)∑zπ(z,x2)=π(x1,x2)π(y1,x2).
So, the ratio of target probabilities and the ratio of proposal probabilities are reciprocals, and thus the acceptance probability will be
1. In this sense, each of the moves in the Gibbs sampler are special cases of Metropolis-Hastings moves. However, the overall algorithm viewed in this light is a slight generalization of the typically presented Metropolis-Hastings algorithm in that you have alternate between different proposal distributions (one for each component of the target variable).