Pemahaman saya tentang algoritma adalah sebagai berikut:
No U-Turn Sampler (NUTS) adalah Metode Monte Carlo Hamilton. Ini berarti bahwa itu bukan metode Rantai Markov dan dengan demikian, algoritma ini menghindari bagian berjalan acak, yang sering dianggap tidak efisien dan lambat untuk bertemu.
Alih-alih melakukan jalan acak, NUTS melakukan lompatan panjang x. Setiap lompatan berlipat ganda saat algoritme terus berjalan. Ini terjadi sampai lintasan mencapai titik di mana ia ingin kembali ke titik awal.
Pertanyaan saya: Apa yang istimewa dari belok? Bagaimana menggandakan lintasan tidak melewati titik yang dioptimalkan? Apakah uraian saya di atas benar?
bayesian
monte-carlo
markov-process
pengguna3007270
sumber
sumber
Jawaban:
Bit tidak putar balik adalah bagaimana proposal dihasilkan. HMC menghasilkan sistem fisik hipotetis: bayangkan sebuah bola dengan energi kinetik tertentu berguling-guling di lanskap dengan lembah dan bukit (analoginya terurai dengan lebih dari 2 dimensi) yang ditentukan oleh posterior yang ingin Anda sampel. Setiap kali Anda ingin mengambil sampel MCMC baru, Anda secara acak memilih energi kinetik dan memulai bola bergulir dari tempat Anda berada. Anda mensimulasikan dalam langkah waktu yang terpisah, dan untuk memastikan Anda menjelajahi ruang parameter dengan benar, Anda mensimulasikan langkah dalam satu arah dan dua kali lebih banyak di arah lain, berbalik lagi dll. Pada titik tertentu Anda ingin menghentikan ini dan cara yang baik melakukan itu adalah ketika Anda telah melakukan putar balik (yaitu tampaknya telah terjadi di semua tempat).
Pada titik ini, langkah selanjutnya yang diusulkan dari Rantai Markov Anda akan diambil (dengan batasan tertentu) dari titik yang telah Anda kunjungi. Yaitu bahwa seluruh simulasi sistem fisik hipotetis adalah "hanya" untuk mendapatkan proposal yang kemudian diterima (sampel MCMC berikutnya adalah titik yang diusulkan) atau ditolak (sampel MCMC berikutnya adalah titik awal).
Hal yang cerdas tentang itu adalah bahwa proposal dibuat berdasarkan bentuk posterior dan dapat berada di ujung distribusi. Sebaliknya, Metropolis-Hastings membuat proposal dalam bola (kemungkinan miring), sampling Gibbs hanya bergerak di sepanjang satu (atau setidaknya sangat sedikit) dimensi pada satu waktu.
sumber
Anda salah bahwa HMC bukan metode Rantai Markov. Per Wikipedia :
Untuk lebih jelasnya, bacalah makalah arXiv karya Betancourt , yang menyebutkan kriteria pengakhiran NUTS:
Lampiran A.3 berbicara tentang sesuatu seperti lintasan yang Anda sebutkan:
dan memperluas ini di A.4, di mana ia berbicara tentang implementasi yang dinamis (bagian A.3 berbicara tentang implementasi statis):
Saya pikir kuncinya adalah tidak melompat dua kali lipat, menghitung lompatan berikutnya menggunakan teknik yang menggandakan panjang lompatan yang diusulkan sampai kriteria terpenuhi. Setidaknya begitulah cara saya memahami makalah sejauh ini.
sumber