Mengapa parameterisasi yang berlebihan mempercepat Gibbs MCMC?

12

Dalam buku Gelman & Hill (2007) (Analisis Data Menggunakan Regresi dan Multilevel / Model Hirarki), para penulis mengklaim bahwa memasukkan parameter rata-rata redundan dapat membantu mempercepat MCMC.

Contoh yang diberikan adalah model "simulator penerbangan" yang tidak bersarang (Persamaan 13.9):

yiN(μ+γj[i]+δk[i],σy2)γjN(0,σγ2)δkN(0,σδ2)

Mereka merekomendasikan reparameterisasi, menambahkan parameter rata-rata dan sebagai berikut:μ δμγμδ

γjN(μγ,σγ2)δkN(μδ,σδ2)

Satu-satunya pembenaran yang ditawarkan adalah bahwa (hal. 420):

Dimungkinkan untuk simulasi terjebak dalam konfigurasi di mana seluruh vektor (atau ) jauh dari nol (walaupun mereka diberikan distribusi dengan rata-rata 0). Pada akhirnya, simulasi akan menyatu ke distribusi yang benar, tetapi kami tidak ingin harus menunggu.δγδ

Bagaimana parameter rata-rata redundan membantu mengatasi masalah ini?

Sepertinya saya bahwa model non-bersarang lambat terutama karena dan berkorelasi negatif. (Memang, jika satu naik, yang lain harus turun, mengingat bahwa jumlah mereka "ditetapkan" oleh data). Apakah parameter rata-rata yang berlebihan membantu mengurangi korelasi antara dan , atau sesuatu yang lain sama sekali?δ γ δγδγδ

Heisenberg
sumber
γδγμδμ
Saya ingin wawasan intuitif tentang konsep pemusatan hierarkis secara umum (karena kasus khusus dalam pertanyaan secara langsung merupakan aplikasi pemusatan hierarkis). Poin kunci yang ingin saya ketahui adalah: mengapa pemusatan hierarki berfungsi jika varians pada level grup adalah bagian yang cukup besar dari total varians ? Makalah oleh Gelfand et al. membuktikan ini secara matematis (yaitu memperoleh korelasi dan menemukan perilaku pembatasnya), tetapi tanpa penjelasan intuitif.
Heisenberg

Jawaban:

4

μγjδk

γjδkμ

Lihat untuk deskripsi yang sangat jelas, bagian 25.1 'Apa itu pemusatan hierarki?' dalam buku (tersedia gratis) 'estimasi MCMC dalam MLwiN' oleh William J. Browne dan lainnya. http://www.bristol.ac.uk/cmm/software/mlwin/download/manuals.html

Sextus Empiricus
sumber
Bagian 25.1 dari 'estimasi MCMC MlwiN' memang menggambarkan teknik "hierarkis centering" ini, tetapi tidak masuk ke rincian lebih jauh daripada mengklaim bahwa itu berfungsi. Menggali rujukannya, saya menemukan bahwa bukti sebenarnya dari teknik ini disajikan dalam artikel Parameter efisien untuk model campuran linier normal , oleh Gelfand et al, Biometrika vol 82 edisi 3.
Heisenberg
Artikel di atas pada gilirannya memanfaatkan properti distribusi normal tanpa menjelaskan. Saya menemukan bukti properti-properti itu dalam analisis Conjugate Bayesian tentang distribusi Gaussian oleh Kevin Murphy.
Heisenberg
Sayangnya, saya masih belum melihat penjelasan intuitif tentang mengapa teknik ini berhasil.
Heisenberg
Sudah terlambat tapi saya pikir makalah ini mungkin apa yang Anda cari
baruuum