Saya baru saja melakukan beberapa bacaan pada Gibbs sampling dan algoritma Metropolis Hastings dan punya beberapa pertanyaan.
Seperti yang saya pahami, dalam kasus pengambilan sampel Gibbs, jika kita memiliki masalah multivariat yang besar, kita sampel dari distribusi bersyarat yaitu sampel satu variabel sambil menjaga semua yang lain tetap sedangkan di MH, kita sampel dari distribusi gabungan penuh.
Satu hal yang dikatakan dokumen itu adalah bahwa sampel yang diusulkan selalu diterima di Gibbs Sampling yaitu tingkat penerimaan proposal selalu 1. Bagi saya ini sepertinya keuntungan besar karena untuk masalah multivariat yang besar sepertinya tingkat penolakan untuk algoritma MH menjadi cukup besar. . Jika memang demikian masalahnya, apa alasan di balik tidak menggunakan Gibbs Sampler sepanjang waktu untuk menghasilkan distribusi posterior?
Jawaban:
alasan utama di balik penggunaan algoritma Metropolis terletak pada kenyataan bahwa Anda dapat menggunakannya bahkan ketika posterior yang dihasilkan tidak diketahui. Untuk pengambilan sampel Gibbs, Anda harus mengetahui distribusi posterior tempat Anda menggambar variasinya.
sumber
Pengambilan sampel Gibbs memecah kutukan dimensionalitas dalam pengambilan sampel karena Anda telah memecah ruang parameter (mungkin berdimensi tinggi) menjadi beberapa langkah dimensi rendah. Metropolis-Hastings mengurangi beberapa masalah dimensionaltiy menghasilkan teknik sampel penolakan, tetapi Anda masih mengambil sampel dari distribusi multi-variate penuh (dan memutuskan untuk menerima / menolak sampel) yang menyebabkan algoritma menderita dari kutukan dimensi.
Pikirkan dengan cara yang disederhanakan ini: jauh lebih mudah untuk mengusulkan pembaruan untuk satu variabel pada satu waktu (Gibbs) daripada semua variabel secara bersamaan (Metropolis Hastings).
Dengan demikian, dimensi ruang parameter masih akan mempengaruhi konvergensi di Gibbs dan Metropolis Hastings karena ada lebih banyak parameter yang berpotensi tidak konvergen.
Gibbs juga bagus karena setiap langkah dari loop Gibbs mungkin dalam bentuk tertutup. Ini sering terjadi dalam model hierarkis di mana setiap parameter dikondisikan hanya pada beberapa parameter lainnya. Seringkali cukup sederhana untuk mengkonstruksi model Anda sehingga setiap langkah Gibbs dalam bentuk tertutup (ketika setiap langkah konjugat itu kadang-kadang disebut "semi-konjugat"). Ini bagus karena Anda mengambil sampel dari distribusi yang dikenal yang seringkali sangat cepat.
sumber