Distribusi proposal - Metropolis Hastings MCMC

8

Dalam rantai Metropolis-Hastings Markov Monte Carlo, distribusi proposal dapat berupa apa saja termasuk Gaussian (menurut Wikipedia).

T: Apa motivasi untuk menggunakan selain Gaussian? Gaussian bekerja, mudah untuk mengevaluasi, cepat dan semua orang memahaminya. Mengapa saya mempertimbangkan hal lain?

T: Karena distribusi proposal dapat berupa apa saja, dapatkah saya menggunakan distribusi yang seragam?

sampling mcmc monte-carlo metropolis-hastings Halo Dunia
sumber

Jawaban:

10

A1: Memang distribusi Gaussian mungkin adalah distribusi proposal yang paling banyak digunakan terutama karena kemudahan penggunaan. Namun, orang mungkin ingin menggunakan distribusi proposal lain karena alasan berikut

  1. Ekor Berat : Distribusi Gaussian memiliki ekor ringan. Ini berarti bahwa mungkin hanya akan menyarankan nilai antara . Tetapi distribusi memiliki ekor yang lebih berat, dan dengan demikian dapat mengusulkan nilai yang lebih jauh. Ini memastikan bahwa rantai Markov yang dihasilkan mengeksplorasi ruang keadaan lebih bebas, dan mungkin mengurangi autokorelasi. Plot di bawah ini menunjukkan dibandingkan dengan . Anda melihat bagaimana kemungkinan akan mengusulkan nilai lebih jauh dari 0.N(xt-1,σ2)(xt-1-3σ,xt-1+3σ)tN(0,1)t1t

masukkan deskripsi gambar di sini

  1. Ruang Terbatas : Distribusi Gaussian didefinisikan pada semua real. Jika distribusi Anda mengambil sampel dari katakanlah hanya didefinisikan pada positif atau pada , maka Gaussian kemungkinan akan mengusulkan nilai yang kepadatan targetnya adalah 0. Nilai-nilai tersebut kemudian segera ditolak, dan rantai Markov tidak bergerak dari tempatnya saat ini. Ini pada dasarnya membuang hasil seri dari rantai Markov. Sebaliknya, jika Anda berada di sisi positifnya, Anda bisa menggunakan distribusi Gamma dan pada Anda bisa menggunakan Beta.(0,1)(0,1)
  2. Multiple Mode : Ketika distribusi target adalah multi-modal, proposal Gaussian kemungkinan akan menyebabkan rantai Markov terjebak di dekat satu mode. Ini sebagian karena ekor cahaya Gaussian. Jadi, sebagai gantinya, orang menggunakan proposal berbasis gradien, atau campuran dari Gauss sebagai proposal.

Anda dapat menemukan lebih banyak diskusi di sini dan di sini .

A2: Ya Anda dapat menggunakan distribusi Uniform selama dukungan untuk distribusi seragam dibatasi (karena jika dukungan tidak terikat, distribusi Uniform tidak tepat karena diintegrasikan ke ). Jadi Uniform on .∞(xt-1-c,xt-1+c)

Greenparker
sumber
1
Bisakah Anda mengklarifikasi arti "ruang dibatasi" di A2 (perhatikan bahwa ruang di mana parameter target terletak tidak perlu dibatasi selama rantai dapat bergerak ke mana-mana, mungkin memerlukan beberapa langkah). Juga, apakah ada kesalahan ketik yang dimiliki satu titik akhirxt-1 sementara yang lain memiliki xt+1?
Juho Kokkala
@JuhoKokkala Memperbaiki kesalahan ketik, terima kasih telah menunjukkannya. Distribusi seragam harus didefinisikan pada ruang terbatas jika tidak diintegrasikan ke 1 (dan terintegrasi ke∞).
Greenparker
3
@Greenparker: Anda perlu mengklarifikasi lebih lanjut apa yang Anda maksud dengan "ruang". Dukungan distribusi target mungkin tidak terikat, sementara dukungan proposal seragam dibatasi tetapi proposal seragam yang sesuai masih dapat menghasilkan rantai Markov yang tidak dapat direduksi di seluruh ruang.
Xi'an
1. sigma adalah parameter pilihan sehingga argumen ini tidak valid. 2. Jika Anda membahas MH jalan acak (seperti 1. menunjukkan) ini hanya akan menjadi masalah di perbatasan.
Hunaphu
@Hunaphu σmengubah varian proposal, tetapi bukan struktur ekornya. Dan bisakah Anda memperluas apa yang Anda maksud dengan "ini hanya akan menjadi masalah di perbatasan"?
Greenparker