MCMC dalam pengaturan yang sering

8

Saya telah mencoba untuk merasakan masalah yang berbeda dalam pengaturan sering di mana MCMC digunakan. Saya tahu bahwa MCMC (atau Monte Carlo) digunakan dalam pemasangan GLMM dan mungkin juga algoritma Monte Carlo EM. Apakah ada masalah yang lebih sering terjadi di mana MCMC digunakan?

mcmc monte-carlo expectation-maximization metropolis-hastings frequentist Greenparker
sumber
Ketika model Bayesian juga dapat ditafsirkan sebagai model yang sering (misalnya, semua prior datar), mode posterior adalah MLE. Jadi, Anda dapat menggunakan MCMC untuk melakukan MLE, meskipun itu mungkin bukan cara yang sangat baik untuk melakukannya.
Kodiologist
@Kodiologist Sure. Meskipun, kemungkinan kami tertarik pada rata-rata posterior (jika bekerja di bawah fungsi kuadrat kerugian), jadi kami bahkan tidak akan mencoba untuk menemukan MLE. Tapi saya mengerti maksud Anda.
Greenparker
1
@Kodiologist tetapi mengapa sering melakukan itu? Pertama, ini akan menyebabkan beberapa masalah konseptual (dengan asumsi parameter adalah rv, bagaimana menafsirkan HDI, dll.). Kedua, jika frequentist akan menggunakannya hanya alih-alih algoritma optimasi untuk menemukan estimasi titik, mengapa dia melakukannya karena ini adalah cara yang sangat tidak efisien jika Anda hanya setelah estimasi titik ...
Tim
1
Saya menemukan ini secara tidak sengaja, tetapi menganggap ini topik yang berguna. Jika saya tidak salah, metode monte carlo umumnya berkaitan dengan pengambilan sampel dari target distribusi yang dapat, atau mungkin tidak, seseorang dapat sampel langsung dari. Pergeseran antara Bayesian & Frequentist adalah interpretasi data sebagai RVs atau paramter adalah RVs (sebagaimana dinyatakan oleh @Tim). Jadi menurut saya metode MC bukanlah "bayesian" atau "frequentist". Ini lebih merupakan filosofi yang diterapkan pada penggunaannya yang menciptakan perbedaan. Apakah ini penilaian yang benar?
Jon
2
@ Greenparker, jadi dalam MC klasik, Anda mungkin memiliki situasi E[h(x)]=∫h(x)f(x)dx≈1n∑nxsaya dimana xsaya∼f dan fadalah beberapa distribusi instrumental. Jika saya mengikuti logika Anda, pengambilan sampel (langsung) darifbukan bayesian atau frequentist, tetapi penggunaan mean empiris kemudian akan menjadikan ini estimator frequentist. Apakah interpretasi logika Anda ini benar?
Jon

Jawaban:

5

Seperti yang ditunjukkan dalam banyak komentar, Rantai Markov Monte Carlo adalah kasus khusus dari metode Monte Carlo, yang dirancang untuk memperkirakan jumlah yang terkait dengan distribusi melalui simulasi angka pseudo-acak. Karena itu, tidak ada hubungannya dengan paradigma statistik tertentu dan contoh paling awal dari metode ini, seperti dalam Metropolis et al. (1953), tidak berhubungan dengan statistik, Bayesian atau frequentist. Jika ada metode-metode ini secara alami "frequentist" (kategori yang kurang jelas) dalam arti mereka mengandalkan stabilisasi frekuensi atau rata-rata terhadap ekspektasi ketika jumlah simulasi meningkat, alias Hukum Angka Besar.

Oleh karena itu dimungkinkan dalam masalah kompleks non-Bayesian untuk menggunakan metode MCMC untuk menggantikan integral yang tidak bisa dilaksanakan. Periksa misalnya

  1. optimalisasi kemungkinan tanpa ekspresi bentuk tertutup, seperti dalam variabel laten dan model efek acak. Algoritma EM mungkin gagal bekerja karena langkah "E" yang sulit, dalam hal ini harapan perlu diganti dengan pendekatan Monte Carlo atau Markov Chain Monte Carlo . Dengan kemungkinan evaluasi kesalahan. Atau mungkin gagal untuk bekerja karena langkah "M" yang sulit diterapkan, dalam hal maksimalisasi kadang-kadang dapat digantikan oleh prosedur maksimalisasi Markovian seperti dalam anil simulasi . Atau menggunakan langkah Gibbs .
  2. metode inferensi disimulasikan dalam ekonometrika, sebagai metode simulasi momen , inferensi tidak langsung , kemungkinan empiris .
  3. perkiraan kemungkinan dengan konstanta normalisasi yang tidak dapat dipecahkan seperti Ising, Potts, dan model bidang acak Markov lainnya, menggunakan algoritma pertukaran misalnya .
  4. uji good-of-fit frequentist , yang mungkin memerlukan perhitungan probabilitas cakupan,hal_nilai , kekuatan, untuk statistik yang cukup atau tidak cukup tanpa kepadatan bentuk tertutup, atau tergantung pada statistik tambahan. Ambil contoh pengujian untuk independensi dalam tabel kontingensi (besar) (atau turunkan penduga kemungkinan maksimum ).
  5. lagi dalam ekonometrik, penduga tipe Laplace , "yang mencakup rata-rata dan kuantil distribusi kuasi-posterior yang didefinisikan sebagai transformasi fungsi kriteria statistik umum yang tidak mungkin, seperti yang ada di GMM, nonlinear IV, kemungkinan empiris, dan metode jarak minimum" (Chernozhukov dan Hong, 2003), mengandalkan algoritma MCMC.
Xi'an
sumber