Kapan normalitas asimptotik posterior Bayesian (Bernstein-von Mises) gagal?

Pertimbangkan fungsi kepadatan posterior yang diberikan (seperti biasa) oleh

$$\pi(\theta) \prod_{i=1}^n f(x_i;\theta),$$ dengan kepadatan sebelumnya $\pi$ dan distribusi $f(\cdot;\theta)$ dari $n$ pengamatan $x_1, \dots, x_n$, tergantung pada nilai parameter $\theta$.

Dalam kondisi tertentu, distribusi posterior normal asimptotik (hasil yang dikenal sebagai teorema Bernstein-von Mises, lihat egvd Vaart, Statistik Asimptotik , Bagian 10.2, untuk argumen yang keras, atau Young & Smith, Essentials of Statistics Inference , Bagian 9.12 , untuk diskusi informal.)

Adakah contoh (semoga elementer) di mana posterior Bayesian tidak asimtotik normal? Secara khusus ada contoh di mana

1. $\pi$ dan $f$ terus dibedakan sehubungan dengan $\theta$?
2. $\pi(\theta) > 0$ untuk semua $\theta$?

Salah satu contoh yang saya catat dalam literatur adalah dimana $X_1, \dots, X_n$ adalah variabel acak Cauchy independen dengan parameter lokasi $\theta$. Dalam hal ini, dengan probabilitas positif terdapat beberapa maksima lokal dari fungsi kemungkinan (Lihat Young & Smith, Contoh 8.3). Mungkin ini dapat menimbulkan masalah dalam teorema B-vM meskipun saya tidak yakin.

Pembaruan: Persyaratan yang memadai untuk BvM adalah (sebagaimana dinyatakan dalam vd Vaart, Bagian 10.2):

• data diperoleh dari distribusi dengan parameter tetap $\theta_0$

• Percobaan `dapat dibedakan dalam kuadrat berarti 'di $\theta_0$ dengan matriks informasi Fisher non-singular $I(\theta_0)$

• prior benar-benar kontinu di suatu wilayah sekitar $\theta_0$

• model ini kontinu dan dapat diidentifikasi

• ada tes yang memisahkan $H_0 : \theta = \theta_0$ dari $H_1 : \|\theta -\theta_0\| \geq \varepsilon$untuk beberapa$\varepsilon > 0$

1.Apakah contoh Cauchy bertentangan dengan Teorema Bernstein von-Mises?

Teorema Bernstein von-Mises tidak berlaku ketika distribusi bersama tidak memiliki momen kedua yang dapat dibedakan. Dan tentu saja bersama variabel acak Cauchy dan bahkan tidak memiliki momen kedua yang terbatas. Kondisi ini memerlukan asumsi energi terbatas pada manifold Riemann yang ditentukan oleh metrik Rao-Fisher yang tidak dipenuhi oleh Cauchys.

2.Apakah ada contoh (semoga elementer) di mana posterior Bayesian tidak asimptotik normal? Secara khusus, adakah contoh di mana terus dapat dibedakan sehubungan dengan ? untuk semua ?$\pi,f$$\theta$$\pi(\theta)>0$$\theta$

Iya. Memang, kita dapat memilih yang tidak tepat (noninformatif) sebelum membuat posterior juga tidak tepat. Misalnya adalah contoh sepele. Posterior yang tidak tepat tidak mungkin normal. Misalnya, [Rubio & Steel] (14) memberikan contoh di mana Jeffereys sebelum mengarah ke posterior yang tidak tepat yang tidak mungkin normal tidak peduli seberapa besar ukuran sampel.$\pi\propto C_0$$f\propto C_1$

Referensi

[Rubio & Steel] Rubio, Francisco J., dan Mark FJ Steel. "Inferensi dalam model skala lokasi dua potong dengan prior Jeffreys." Analisis Bayesian 9.1 (2014): 1-22.