Algoritma Metropolis-Hastings digunakan dalam praktik

20

Saya membaca Blog Christian Robert hari ini dan cukup menyukai algoritma Metropolis-Hastings yang baru ia diskusikan. Tampaknya sederhana dan mudah diimplementasikan.

Setiap kali saya membuat kode MCMC, saya cenderung tetap dengan algoritma MH yang sangat dasar, seperti gerakan independen atau jalan acak pada skala log.

Algoritma MH apa yang digunakan orang secara rutin? Khususnya:

  • Mengapa Anda menggunakannya?
  • Dalam beberapa hal Anda harus berpikir bahwa mereka optimal - setelah semua Anda menggunakannya secara rutin! Jadi, bagaimana Anda menilai optimalitas: kemudahan pengkodean, konvergensi, ...

Saya sangat tertarik dengan apa yang digunakan dalam praktik, yaitu ketika Anda membuat kode skema Anda sendiri.

mcmc metropolis-hastings csgillespie
sumber
Mungkin, CW? Pertanyaannya seperti jajak pendapat tentang apa yang digunakan orang. Bagaimana Anda mendefinisikan jawaban 'terbaik'? Saya akui bahwa saya agak bingung kapan harus menerapkan CW. Jadi, silakan abaikan komentar ini jika Anda merasa sebaliknya.
1
Saya tidak keberatan meninggalkan ini sebagai non-CW, terutama jika Colin dapat menguraikannya kembali sedikit untuk memungkinkan satu jawaban terbaik. Yang mengatakan, saya tidak bisa membayangkan bagaimana melakukan itu ...
Shane
Saya sudah mencoba mengubah pertanyaan agar lebih sedikit CW - tidak yakin apakah saya telah berhasil :( @Shane @Srikant jika Anda masih berpikir bahwa itu harus menjadi CW, jangan ragu untuk mengubahnya.
csgillespie
Kedengarannya ini akan menjadi kertas survei yang bagus!
Sean

Jawaban:

2

Hybrid Monte Carlo adalah algoritma standar yang digunakan untuk jaringan saraf. Sampling Gibbs untuk klasifikasi proses Gaussian (saat tidak menggunakan pendekatan deterministik sebagai gantinya).

Dikran Marsupial
sumber
2

Sampling MH digunakan ketika sulit untuk sampel dari distribusi target (misalnya, ketika sebelumnya tidak terkonjugasi dengan kemungkinan). Jadi, Anda menggunakan distribusi proposal untuk menghasilkan sampel dan menerima / menolaknya berdasarkan probabilitas penerimaan. The Gibbs sampel algoritma adalah contoh khusus dari MH mana proposal selalu diterima. Pengambilan sampel Gibbs adalah salah satu algoritma yang paling umum digunakan karena kesederhanaannya tetapi mungkin tidak selalu memungkinkan untuk diterapkan, dalam hal ini seseorang menggunakan MH berdasarkan proposal yang diterima / ditolak.

ebony1
sumber
1

Dalam fisika, fisika statistik khususnya, algoritma tipe-Metropolis digunakan secara luas. Ada varian yang sangat banyak dari ini, dan yang baru sedang dikembangkan secara aktif. Ini topik yang terlalu luas untuk memberikan perluasan apa pun di sini, jadi jika Anda tertarik, Anda bisa mulai misalnya dari catatan kuliah ini atau dari halaman web perpustakaan ALPS (http://alps.comp-phys.org/mediawiki).

ev-br
sumber
Saya menyadari bahwa ada banyak varian dari algoritma ini. Apa yang saya tertarik adalah yang mana orang secara rutin menggunakannya.
csgillespie
1

Saya menggunakan slice sampler - awalnya diusulkan oleh Neal (2003), yang saya tune melalui optimasi heuristik.

M. Tibbits
sumber