Contoh untuk prior, yang tidak seperti Jeffreys, mengarah ke posterior yang tidak invarian

17

Saya mengepos ulang "jawaban" untuk pertanyaan yang saya berikan sekitar dua minggu yang lalu di sini: Mengapa Jeffrey dulu bermanfaat? Itu benar-benar sebuah pertanyaan (dan saya juga tidak punya hak untuk mengirim komentar pada saat itu), jadi saya harap tidak apa-apa untuk melakukan ini:

Dalam tautan di atas dibahas bahwa fitur menarik dari Jeffreys sebelumnya adalah bahwa, ketika melakukan reparameterisasi model, distribusi posterior yang dihasilkan memberikan probabilitas posterior yang mematuhi batasan yang dikenakan oleh transformasi. Katakanlah, seperti yang dibahas di sana, ketika bergerak dari keberhasilan probabilitas θ dalam contoh Beta-Bernoulli untuk peluang ψ=θ/(1θ) , harus menjadi kasus bahwa sebuah memenuhi posterior P(1/3θ2/3X=x)=P(1/2ψ2X=x) .

Saya ingin membuat contoh numerik invariansi Jeffrey sebelum mengubah θ menjadi odds ψ , dan, yang lebih menarik, tidak adanya prior dari prior lainnya (katakanlah, Haldane, seragam, atau yang sewenang-wenang).

Sekarang, jika posterior untuk probabilitas keberhasilan adalah Beta (untuk Beta sebelumnya, tidak hanya Jeffrey), posterior peluang mengikuti distribusi Beta dari jenis kedua (lihat Wikipedia) dengan parameter yang sama . Kemudian, seperti yang disorot dalam contoh numerik di bawah ini, tidak terlalu mengejutkan (bagi saya, setidaknya) bahwa ada invarian untuk pilihan Beta sebelumnya (bermain-main dengan alpha0_Udan beta0_U), tidak hanya Jeffreys, lih. output dari program.

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

Ini membawa saya ke pertanyaan-pertanyaan berikut:

  1. Apakah saya melakukan kesalahan?
  2. Jika tidak, apakah ada akibat seperti tidak ada kekurangan dalam keluarga konjugat, atau sesuatu seperti itu? (Pemeriksaan cepat membuat saya curiga bahwa saya dapat misalnya juga tidak menghasilkan kurangnya invarian dalam kasus normal-normal.)
  3. Apakah Anda tahu contoh (diutamakan sederhana) di mana kami benar -benar kekurangan invarian?
Christoph Hanck
sumber
1
Anda tidak memerlukan kode R (yang saya tidak bisa jalankan dengan R versi 3.0.2) untuk memverifikasi invarian karena ini adalah properti dari kemungkinan. Yang dimaksud dengan invarian sebelumnya adalah konstruksi aturan untuk memilih sebelum yang tidak tergantung pada pilihan parametrisation dari model pengambilan sampel.
Xi'an
1
Maaf atas ketidaknyamanan ini. Ini berjalan dengan R 3.1.2 di komputer saya. Jika saya dapat menindaklanjuti, apakah komentar Anda menyiratkan bahwa saya salah memahami komentar Zen tentang jawaban yang diterima, butir 1., dari Stephane Laurent pada Mengapa Jeffrey bermanfaat? ?
Christoph Hanck

Jawaban:

19

Perhitungan Anda tampaknya memverifikasi bahwa, ketika kami memiliki distribusi tertentu sebelumnya dua prosedur berikutp(θ)

  1. Hitung p posterior θ D ( θ D )pθD(θD)
  2. Ubah posterior tersebut menjadi parametrization lain untuk mendapatkan pψD(ψD)

dan

  1. pθ(θ)pψ(ψ)
  2. pψ(ψ)pψD(ψD)

ψψθ

Namun, ini bukan poin dari invarian yang dimaksud. Alih-alih, pertanyaannya adalah apakah, ketika kita memiliki Metode khusus untuk Memutuskan Sebelumnya, dua prosedur berikut:

  1. Gunakan Metode Untuk Memutuskan Sebelum memutuskan pθ(θ)
  2. pψ(ψ)

dan

  1. pψ(ψ)

ψ

θ[0,1]ψ[0,)

θψψ

Juho Kokkala
sumber
1

Sepertinya Anda memverifikasi kemungkinan yang disebabkan oleh data tidak terpengaruh oleh parametrization, yang tidak ada hubungannya dengan yang sebelumnya.

Jika cara Anda memilih prior adalah dengan, misalnya, "memilih seragam sebelumnya", lalu apa yang seragam di bawah satu parametrization (katakanlah Beta, yaitu Beta (1,1)) tidak seragam di bawah yang lain, katakanlah, BetaPrime (1,1) ) (yang condong) - itu BetaPrime (1, -1) seragam jika hal seperti itu ada.

The Jeffrey sebelumnya adalah satu-satunya "cara untuk memilih prior" yang tidak berubah dalam reparametrization. Jadi itu kurang asumtif daripada cara lain dalam memilih prior.

Neil G
sumber
Saya tidak berpikir Jeffreys prior adalah satu - satunya invarian sebelumnya. Ketika mereka berbeda, ukuran Haar kiri dan kanan keduanya invarian.
Xi'an
@Neil G, saya tidak yakin saya bisa mengikuti alasan Anda bahwa saya hanya melihat kemungkinan. Ketika memasukkan (misalnya) alpha1_Jke dalam pbetadan pgb2parameter ini ditentukan oleh parameter sebelumnya ( alpha1_J) dan data ( k), juga untuk semua parameter lainnya.
Christoph Hanck
1
(+1) Anda akan berharap bahwa pemilihan prior subjektif akan menjadi parametrization-invariant juga.
Scortchi
1
@ Zen: ya memang, saya terlalu terburu-buru: Tindakan Haar adalah contoh yang salah. Tetap saja, aku bertanya-tanya mengapa Jeffreys 'adalah satu - satunya yang sebelumnya ...
Xi'an
2
@ Xi'an: jika ingatan saya tidak mengecewakan saya, ada Teorema dalam buku Cencov ( amazon.com/... ) yang, dalam beberapa hal (?), Membuktikan bahwa Jeffreys sebelumnya adalah satu-satunya pria di kota dengan invarian yang diperlukan. Buktinya tidak bisa saya akses. Ini menggunakan bahasa Teori Kategori, functors, morfisme dan semua itu. en.wikipedia.org/wiki/Category_theory
Zen