Kapan saya harus khawatir tentang paradoks Jeffreys-Lindley dalam pilihan model Bayesian?

Saya sedang mempertimbangkan ruang besar (tetapi terbatas) model kompleksitas yang berbeda yang saya jelajahi menggunakan RJMCMC . Sebelumnya pada vektor parameter untuk setiap model cukup informatif.

Dalam kasus apa (jika ada) yang harus saya khawatirkan dengan paradoks Jeffreys-Lindley yang mendukung model yang lebih sederhana ketika salah satu model yang lebih kompleks akan lebih cocok?
Adakah contoh sederhana yang menyoroti masalah paradoks dalam pilihan model Bayesian?

Saya telah membaca beberapa artikel, yaitu blog Xi'an dan blog Andrew Gelman , tetapi saya masih belum mengerti masalahnya.

bayesian model-selection mcmc prior improper-prior Jeff
sumber

Saya pikir ada terlalu banyak pertanyaan dan terlalu berbeda untuk dijawab secara efektif di sini.

jaradniemi

Terima kasih atas umpan baliknya, @jaradniemi, saya telah menghapus pertanyaan "Haruskah prosedur RJMCMC, yang secara efektif mengembalikan probabilitas model posterior, lebih menyukai model yang sama dengan DIC?"

Jeff

Maaf karena tidak jelas di blog saya !

Catatan: Saya memberikan latar belakang tentang pilihan model Bayesian dan paradoks Jeffrey-Lindley dalam jawaban lain tentang Cross yang divalidasi.

Paradoks Jeffreys-Lindley terkait dengan pilihan model Bayesian dalam kemungkinan marginal menjadi tidak berarti ketika adalah ukuran -finit (yaitu, ukuran dengan massa tak terbatas) daripada ukuran probabilitas. Alasan untuk kesulitan ini adalah bahwa massa tak hingga membuat dan tidak dapat dibedakan untuk konstanta positif . Secara khusus, faktor Bayes tidak dapat digunakan dan tidak boleh digunakan ketika satu model diberkahi dengan "flat" sebelumnya.

m (x) = \int π (θ) f (x | θ) d θ

$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$

π

$\pi$

σ

$\sigma$

π

$\pi$

c π

$\mathfrak{c}\pi$

c

$\mathfrak{c}$

x \sim N (0, 1)

$x\sim\mathcal{N}(0,1)$

x \sim N (θ, 1)

$x\sim\mathcal{N}(\theta,1)$

B_{12} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{\int_{- \infty}^{+ \infty} \exp {- n ({\bar{x}}_{n} - θ)^{2} / 2} π (θ) d θ}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$

π

$\pi$

N (0, τ^{2})

$\mathcal{N}(0,\tau^2)$

θ

$\theta$

τ

$\tau$

{\bar{x}}_{n}

$\bar{x}_n$

n

$n$

τ

$\tau$

n

$n$

π (θ) = c

$\pi(\theta)=\mathfrak{c}$

c

$\mathfrak{c}$

B_{12}

$\mathfrak{B}_{12}$

B_{12} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{c \int_{- \infty}^{+ \infty} \exp {- n ({\bar{x}}_{n} - θ)^{2} / 2} d θ} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{c \sqrt{2 π / n}}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$

c

$\mathfrak{c}$

Sekarang, jika prior Anda informatif (dan karenanya tepat), tidak ada alasan untuk paradoks Jeffreys-Lindley terjadi. Dengan jumlah pengamatan yang cukup, faktor Bayes akan secara konsisten memilih model yang menghasilkan data. (Atau lebih tepatnya model dalam koleksi model dipertimbangkan untuk pilihan model yang paling dekat dengan model "benar" yang menghasilkan data.)

Xi'an
sumber

Terima kasih banyak atas jawaban Anda yang sangat terperinci, Xi'an! Blog Anda sangat jelas (saya telah belajar banyak dari itu) Saya hanya sedikit lambat dalam memahami masalah khusus ini!

Jeff

Sebenarnya, blog saya beroperasi dengan asumsi yang sangat bervariasi pada latar belakang dan prasyarat, jadi itu jelas pada waktu dan bagi banyak pembaca!

Xi'an

Kapan saya harus khawatir tentang paradoks Jeffreys-Lindley dalam pilihan model Bayesian?

Jawaban: