Apa itu "informasi sebelumnya"? Bisakah kita punya satu yang benar-benar tanpa informasi?

Terinspirasi oleh komentar dari pertanyaan ini :

Apa yang kita anggap "tidak informatif" pada prior - dan informasi apa yang masih terkandung dalam prior yang sebelumnya dianggap tidak informatif?

Saya biasanya melihat sebelumnya dalam analisis di mana itu baik analisis tipe-sering mencoba untuk meminjam beberapa bagian yang bagus dari analisis Bayesian (baik itu beberapa interpretasi lebih mudah sampai ke 'itu hal yang panas untuk dilakukan'), prior yang ditentukan adalah seragam distribusi di seluruh batas-batas efek ukuran, berpusat pada 0. Tetapi bahkan yang menegaskan suatu bentuk untuk sebelum - itu hanya kebetulan datar.

Apakah ada informasi yang lebih baik sebelum digunakan?

[Peringatan: sebagai anggota pembawa kartu dari Objective Bayes Section dari ISBA , pandangan saya tidak mewakili semua ahli statistik Bayesian !, justru sebaliknya ...]

Singkatnya, tidak ada yang namanya pendahuluan dengan "benar-benar tidak ada informasi".

Memang, "tidak informatif" sebelumnya sayangnya keliru. Setiap distribusi sebelumnya berisi beberapa spesifikasi yang mirip dengan sejumlah informasi. Bahkan (atau terutama) seragam sebelumnya. Memang, prior seragam hanya rata untuk satu parameterisasi masalah yang diberikan. Jika seseorang berubah ke parameterisasi lain (bahkan yang dibatasi), perubahan variabel Jacobian masuk ke dalam gambar dan kepadatan dan yang sebelumnya datar tidak lagi.

Seperti yang ditunjukkan oleh Elvis, entropi maksimum adalah satu pendekatan yang disarankan untuk memilih apa yang disebut "tidak informatif". Namun itu membutuhkan (a) informasi yang cukup tentang beberapa momen dari distribusi sebelumnya untuk menentukan batasan yang mengarah ke MaxEnt sebelum dan (b) pilihan awal dari ukuran referensi [dalam pengaturan berkelanjutan], sebuah pilihan yang membawa perdebatan kembali ke tahap awalnya! (Selain itu, parametrisasi kendala (yaitu, pilihanπ ( ⋅ ) ∫ Θ h ( θ $h(\theta)$$\pi(\cdot)$π ∗ ( θ ) ∝ exp { λ T h ( θ ) } d μ ( θ )

$$\int_{\Theta} h(\theta)\,\text{d}\pi(\theta) = \mathfrak{h}_0$$ $$\pi^*(\theta)\propto \exp\{ \lambda^\text{T}h(\theta) \}$$ $\text{d}\mu(\theta)$$h$) memengaruhi bentuk MaxEnt yang dihasilkan sebelumnya.)

José Bernardo telah menghasilkan teori asli tentang referensi prior di mana ia memilih prior untuk memaksimalkan informasi yang dibawa oleh data dengan memaksimalkan jarak Kullback antara prior dan posterior. Dalam kasus yang paling sederhana tanpa parameter gangguan, solusinya adalah milik Jeffreys sebelumnya. Dalam masalah yang lebih kompleks, (a) pilihan parameter minat (atau bahkan peringkat urutan kepentingan mereka) harus dibuat; (B) perhitungan dari sebelumnya adalah cukup terlibat dan membutuhkan urutan set kompak tertanam untuk menghindari masalah ketidaktepatan. (Lihat misalnya The Bayesian Choice untuk perinciannya.)

Dalam twist yang menarik, beberapa peneliti di luar perspektif Bayesian telah mengembangkan prosedur yang disebut distribusi kepercayaan yang merupakan distribusi probabilitas pada ruang parameter, dibangun oleh inversi dari prosedur berbasis frekuensi tanpa struktur sebelumnya yang eksplisit atau bahkan ukuran yang mendominasi pada ruang parameter ini. Mereka berpendapat bahwa tidak adanya prior yang terdefinisi dengan baik ini merupakan nilai tambah, meskipun hasilnya pasti tergantung pada pilihan prosedur inisialisasi berbasis frekuensi

Singkatnya, tidak ada pilihan "terbaik" (atau bahkan "lebih baik") untuk "the" "uninformative" sebelumnya. Dan saya menganggap inilah yang seharusnya terjadi karena sifat alami analisis Bayes menyiratkan bahwa pilihan distribusi sebelumnya penting. Dan tidak ada perbandingan perbandingan: yang satu tidak mungkin lebih baik dari yang lain. (Setidaknya sebelum mengamati data: setelah diamati, perbandingan prior menjadi pilihan model.) Kesimpulan José Bernardo, Jim Berger, Dongchu Sun, dan banyak orang Bayesian "obyektif" yang lain adalah bahwa ada kira-kira setara referensi priori yang dapat digunakan ketika tidak yakin tentang informasi sebelumnya seseorang atau mencari tolok ukur Bayesian, beberapa prior yang sebagian didukung oleh argumen teori informasi,

Properti yang menarik dari prior noninformative formal adalah "frequent-matching property": itu berarti bahwa interval kredibilitas posterior 95% juga (setidaknya, kira-kira) interval kepercayaan 95% dalam pengertian frequentist. Properti ini berlaku untuk referensi Bernardo sebelumnya walaupun dana dari prior noninformative ini tidak berorientasi pada pencapaian properti pencocokan frequentist yang baik, Jika Anda menggunakan informasi non -formatif "naif" ("flat") sebelumnya seperti distribusi seragam atau Gaussian distribusi dengan varian yang sangat besar maka tidak ada jaminan bahwa properti pencocokan frequentist berlaku. Mungkin referensi Bernardo sebelumnya tidak dapat dianggap sebagai pilihan "terbaik" dari noninformatif sebelumnya tetapi dapat dianggap sebagai yang paling sukses.

$(-\infty,\infty)$$(0,\infty)$$p$$\text{d}p/\sqrt{p(1-p)}$$\pi$$(0,1)$

$p$$\text{d}p/p(1-p)$

---

Pertama, terjemahannya bagus!

Untuk E. LHOSTE: "Le calcul des probabilités appliqué à l'artillerie", Revue d'artillerie, tome 91, mai à août 1923

Untuk A. RENYI: "Tentang teori probabilitas aksiomatik baru" Acta Mathematica, Académie des Sciences hongroises, tome VI, fasc.3-4, 1955

Saya dapat menambahkan: M. DUMAS: "Lois de probabilité a priori de Lhoste", Ilmu dan teknik de l'armement, 56, 4ème fascicule, 1982, hlm 687-715

Saya setuju dengan jawaban yang bagus dari Xi'an , menunjukkan bahwa tidak ada satu pun sebelumnya yang "tidak informatif" dalam arti tidak membawa informasi. Untuk memperluas topik ini, saya ingin menunjukkan bahwa salah satu alternatif adalah melakukan analisis Bayesian dalam kerangka probabilitas yang tidak tepat (lihat esp. Walley 1991 , Walley 2000 ). Dalam kerangka kerja ini, kepercayaan sebelumnya diwakili oleh seperangkat distribusi probabilitas$n \rightarrow \infty$

Kerangka kerja analitis ini telah diotomatiskan oleh Walley sebagai bentuk khusus dari analisis probabilistik, tetapi pada dasarnya setara dengan analisis Bayesian yang kuat menggunakan seperangkat prior, menghasilkan seperangkat posisi yang sesuai. Dalam banyak model adalah mungkin untuk menetapkan serangkaian prior "uninformative" yang memungkinkan beberapa momen (misalnya, mean sebelumnya) bervariasi pada seluruh rentang nilai yang mungkin, dan meskipun demikian ini menghasilkan hasil posterior yang berharga, di mana momen posterior dibatasi lebih erat. Bentuk analisis ini bisa dibilang memiliki klaim yang lebih baik untuk disebut "tidak informatif", paling tidak berkenaan dengan momen-momen yang dapat bervariasi pada seluruh rentang yang diizinkan.

---

$X_1,...,X_n | \theta \sim \text{IID Bern}(\theta)$$\theta$$\mu$$\kappa > 1$

$$\begin{equation} \begin{aligned} \pi_0(\theta | \mu, \kappa) = \text{Beta}(\theta | \mu, \kappa) = \text{Beta} \Big( \theta \Big| \alpha = \mu (\kappa - 1), \beta = (1-\mu) (\kappa - 1) \Big). \end{aligned} \end{equation}$$

$\mathbb{E}(\theta) = \mu$$\mathbb{V}(\theta) = \mu(1-\mu) / \kappa$

$$\mathscr{P}_0 \equiv \Big\{ \text{Beta}(\mu, \kappa) \Big| 0 \leqslant \mu \leqslant 1 \Big\}. \quad \quad \quad \quad \quad$$

$s = \sum_{i=1}^n x_i$

$$\mathscr{P}_\mathbf{x} = \Big\{ \text{Beta}\Big( \tfrac{s + \mu(\kappa-1)}{n + \kappa -1}, n+\kappa \Big) \Big| 0 \leqslant \mu \leqslant 1 \Big\}.$$

Kisaran nilai yang mungkin untuk harapan posterior adalah:

$$\frac{s}{n + \kappa-1} \leqslant \mathbb{E}(\theta | \mathbb{x}) \leqslant \frac{s + \kappa-1}{n + \kappa-1}.$$

$n \rightarrow \infty$$\theta$