MCMC; Bisakah kita yakin bahwa kita memiliki sampel "murni" dan "cukup besar" dari posterior? Bagaimana cara kerjanya jika kita tidak?

Mengacu pada utas ini: Bagaimana Anda menjelaskan Markov Chain Monte Carlo (MCMC) kepada orang awam? .

Saya dapat melihat bahwa itu adalah kombinasi dari Rantai Markov dan Monte Carlo: rantai Markov dibuat dengan posterior sebagai distribusi pembatas yang tidak berubah dan kemudian pengundian Monte Carlo (tergantung) dibuat dari distribusi pembatas (= posterior kami).

Katakanlah (saya tahu bahwa saya menyederhanakan di sini) bahwa setelah langkah kita berada pada distribusi membatasi (*).$L$$\Pi$

Rantai Markov menjadi urutan variabel acak, saya mendapatkan urutan , di mana adalah variabel acak dan adalah pembatasnya ' 'variabel acak' 'dari mana kami ingin sampel. $X_1, X_2, \dots , X_L, \Pi, \Pi, \Pi, \dots \Pi$$X_i$$\Pi$

MCMC dimulai dari nilai awal, yaitu adalah variabel acak dengan semua massa pada satu nilai . Jika saya menggunakan huruf kapital untuk variabel acak dan huruf kecil untuk realisasi variabel acak, maka MCMC memberi saya urutan . Jadi panjang rantai MCMC adalah L + n.$X_1$$x_1$$x_1,x_2,x_3, \dots x_L, \pi_1, \pi_2, \pi_3, ....\pi_n$

[[* Catatan: huruf kapital adalah variabel acak (yaitu sejumlah besar hasil) dan kecil adalah hasil, yaitu satu nilai tertentu. *]]$x$

Jelas, hanya milik '' posterior '' saya dan untuk mendekati posterior '' well '' nilai harus '' cukup besar ''.$\pi_i$$n$

Jika saya meringkas ini maka saya memiliki rantai MCMC dengan panjang , hanya relevan untuk perkiraan posterior saya, dan harus cukup besar.$x_1,x_2,x_3, \dots x_L, \pi_1, \pi_2, \pi_3, ....\pi_n$$N=L+n$$\pi_1,\pi_2,\dots, \pi_n$$n$

Jika saya menyertakan beberapa (yaitu realisasi sebelum distribusi invarian tercapai) dalam perhitungan perkiraan posterior, maka itu akan menjadi '' berisik ''.$x_i$

Saya tahu panjang rantai MCMC , tetapi tanpa sepengetahuan , yaitu langkah di mana saya yakin untuk mengambil sampel dari distribusi yang membatasi, saya tidak bisa memastikan bahwa saya tidak memasukkan noise, saya juga tidak bisa pastikan tentang , ukuran sampel saya dari distribusi terbatas, khususnya, saya tidak bisa memastikan apakah itu '' cukup besar ''. $N=L+n$$L$$n=N-L$

Jadi, sejauh yang saya mengerti, nilai ini sangat penting untuk kualitas perkiraan posterior (pengecualian kebisingan dan sampel besar dari itu)$L$ .

Apakah ada cara untuk menemukan perkiraan yang masuk akal untuk ketika saya menerapkan MCMC?$L$

(*) Saya pikir, secara umum, akan tergantung pada nilai awal .$L$$x_1$

TL DR; Anda tidak dapat memperkirakan$L$$L = \infty$$N$

---

Pada dasarnya, pertanyaan Anda bermuara pada "bagaimana kita dapat memperkirakan waktu burn-in?". Burn-in adalah tindakan membuang sampel awal karena rantai Markov belum bertemu. Ada banyak diagnostik MCMC yang membantu Anda memperkirakan waktu "burn-in", Anda dapat melihat ulasannya di sini .

$L$$L$$L$

Sekarang, saya beralih ke detail yang lebih teknis dari pertanyaan Anda.

$L$$L$$L$$\infty$$L$

$L$$L$

$L$$N$$X_1, X_2, X_3, \dots, X_N$$L$$L$$\infty$$\theta$

$$\bar{\theta}_N = \dfrac{1}{N} \sum_{i=1}^{N}X_i.$$

$N$$L$

$N$$\theta$

$(\bar{\theta}_N - \theta)$$N \to \infty$

$$\sqrt{N}(\bar{\theta}_N - \theta) \overset{d}{\to} N_p(0, \Sigma),$$

$\theta \in \mathbb{R}^p$$\Sigma$

$\Sigma/N$