Hamiltonian Monte Carlo vs. Sequential Monte Carlo

Saya mencoba untuk merasakan manfaat dan kelemahan relatif, serta domain aplikasi yang berbeda dari dua skema MCMC ini.

Kapan Anda akan menggunakan yang mana dan mengapa?
Kapan yang satu gagal tapi yang lain tidak (mis. Di mana HMC berlaku tetapi SMC tidak, dan sebaliknya)
Bisakah satu, sangat naif diberikan, menempatkan ukuran utilitas pada satu metode dibandingkan dengan yang lain (yaitu satu, umumnya, lebih baik )?

Saat ini saya sedang membaca makalah Betancourt tentang HMC .

mcmc random-walk particle-filter probabilistic-programming hmc Astrid
sumber

SMC bukan teknik MCMC, yaitu tidak ada rantai Markov yang dibangun saat menggunakan SMC.

jaradniemi

Kadang Anda menggunakan mcmc di dalam smc. Dan terkadang Anda menggunakan smc di dalam mcmc. Pada saat saya menulis ini, saya tidak mengetahui adanya makalah yang menggabungkan penggunaan hmc dan smc.

Taylor

Saya sendiri ingin lebih memahami hubungan antara SMC (alias, filtering partikel) dan HMC. Terima kasih untuk pertanyaannya! Saya mencatat makalah ini, yang pada pandangan pertama merupakan semacam perpaduan dari dua pendekatan: arxiv.org/pdf/1504.05715v2.pdf

David C. Norris

Jawaban:

Hamiltonian Monte Carlo berkinerja baik dengan distribusi target kontinu dengan bentuk "aneh". Dibutuhkan distribusi target untuk dapat dibedakan karena pada dasarnya menggunakan kemiringan distribusi target untuk mengetahui ke mana harus pergi. Contoh sempurna adalah fungsi berbentuk pisang.

Berikut adalah standar Metropolis Hastings dalam fungsi Pisang: Tingkat penerimaan 66% dan cakupan sangat buruk.

Inilah HMC: penerimaan 99% dengan cakupan yang baik.

P (θ | y_{1}), P (θ | y_{1}, y_{2}), . . ., P (θ | y_{1}, y_{2}, . . ., y_{N})

$P(\theta|y_1) \;,\; P(\theta|y_1,y_2)\;,\;... \;,\; P(\theta|y_1,y_2,...,y_N)$

Misalnya, urutan ini adalah target yang sangat baik untuk SMC:

Sifat paralel dari SMC membuatnya sangat cocok untuk komputasi terdistribusi / paralel.

Ringkasan:

HMC: bagus untuk target aneh yang memanjang. Tidak berfungsi dengan fungsi non kontinu.
SMC: baik untuk kasus multimodal dan tidak kontinu. Mungkin menyatu lebih lambat atau menggunakan lebih banyak daya komputasi untuk bentuk aneh dimensi tinggi.

Sumber: Sebagian besar gambar berasal dari makalah yang saya tulis menggabungkan 2 Metode (Hamiltonian Sequential Monte Carlo). Kombinasi ini dapat mensimulasikan hampir semua distribusi yang dapat kita gunakan, bahkan pada dimensi yang sangat tinggi.

RemiDav
sumber

Bagus dan jelas; +1. Tidak tahu mengapa ini tidak memiliki lebih banyak upvotes!

arboviral

Inilah makalah untuk mereka yang tertarik: remidaviet.com/files/HSMC-paper.pdf

stackoverflax