Pada model Normal dan Binomial, Apakah selalu varians posterior kurang dari varian sebelumnya?

Atau kondisi apa yang menjamin hal itu? Secara umum (dan bukan hanya model normal dan binomial) saya kira alasan utama yang mematahkan klaim ini adalah bahwa ada ketidakkonsistenan antara model pengambilan sampel dan model sebelumnya, tetapi apa lagi? Saya mulai dengan topik ini, jadi saya sangat menghargai contoh-contoh mudah

Karena varian posterior dan sebelumnya pada memuaskan (dengan menunjukkan sampel) dengan asumsi semua kuantitas ada, Anda dapat mengharapkan varians posterior menjadi lebih kecil rata-rata (dalam ). Hal ini khususnya terjadi ketika varians posterior adalah konstan di . Tetapi, seperti yang ditunjukkan oleh jawaban lain, mungkin ada realisasi varian posterior yang lebih besar, karena hasilnya hanya sesuai harapan.X var ( θ ) = E [ var ( θ | X ) ] + var ( E [ θ | X ] ) X $\theta$$X$

$$\text{var}(\theta) = \mathbb{E}[\text{var}(\theta|X)]+\text{var}(\mathbb{E}[\theta|X])$$ $X$$X$

Mengutip dari Andrew Gelman,

Kami menganggap ini dalam bab 2 dalam Analisis Data Bayesian , saya pikir dalam beberapa masalah pekerjaan rumah. Jawaban singkatnya adalah, dengan harapan, varian posterior berkurang ketika Anda mendapatkan lebih banyak informasi, tetapi, tergantung pada modelnya, dalam kasus-kasus tertentu varians dapat meningkat. Untuk beberapa model seperti normal dan binomial, varian posterior hanya dapat berkurang. Tetapi pertimbangkan model t dengan derajat kebebasan yang rendah (yang dapat diartikan sebagai campuran normals dengan mean yang sama dan varian yang berbeda). jika Anda mengamati nilai ekstrem, itu bukti bahwa variansnya tinggi, dan memang varian posterior Anda bisa naik.

Ini akan menjadi lebih banyak pertanyaan untuk @ Xi'an daripada jawaban.

Saya akan menjawab bahwa varian posterior dengan jumlah percobaan, jumlah keberhasilan dan koefisien beta sebelumnya, melebihi varian sebelumnya juga dimungkinkan dalam model binomial berdasarkan contoh di bawah ini, di mana kemungkinan dan sebelumnya sangat kontras sehingga posterior "terlalu jauh di antara". Tampaknya itu bertentangan dengan kutipan oleh Gelman.nkα0,β0V(θ)=α 0 β

$$V(\theta|y)=\frac{\alpha_{1}\beta_1}{(\alpha_{1}+\beta_1)^2(\alpha_{1}+\beta_1+1)}=\frac{(\alpha _{0}+k)(n-k+\beta_{0})}{(\alpha_{0}+n+\beta_0)^2(\alpha_{0}+n+\beta_0+1)},$$ $n$$k$$\alpha_{0},\beta_0$ $$V(\theta)=\frac{\alpha_{0}\beta_0}{(\alpha_{0}+\beta_0)^2(\alpha_{0}+\beta_0+1)}$$

n <- 10         
k <- 1
alpha0 <- 100
beta0 <- 20

theta <- seq(0.01,0.99,by=0.005)
likelihood <- theta^k*(1-theta)^(n-k) 
prior <- function(theta,alpha0,beta0) return(dbeta(theta,alpha0,beta0))
posterior <- dbeta(theta,alpha0+k,beta0+n-k)

plot(theta,likelihood,type="l",ylab="density",col="lightblue",lwd=2)

likelihood_scaled <- dbeta(theta,k+1,n-k+1)
plot(theta,likelihood_scaled,type="l",ylim=c(0,max(c(likelihood_scaled,posterior,prior(theta,alpha0,beta0)))),ylab="density",col="lightblue",lwd=2)
lines(theta,prior(theta,alpha0,beta0),lty=2,col="gold",lwd=2)
lines(theta,posterior,lty=3,col="darkgreen",lwd=2)
legend("top",c("Likelihood","Prior","Posterior"),lty=c(1,2,3),lwd=2,col=c("lightblue","gold","darkgreen"))

 > (postvariance <- (alpha0+k)*(n-k+beta0)/((alpha0+n+beta0)^2*(alpha0+n+beta0+1)))
[1] 0.001323005
> (priorvariance <- (alpha0*beta0)/((alpha0+beta0)^2*(alpha0+beta0+1)))
[1] 0.001147842

Oleh karena itu, contoh ini menunjukkan varian posterior yang lebih besar dalam model binomial.

Tentu saja, ini bukan varian posterior yang diharapkan. Apakah di situlah letak perbedaannya?

Angka yang sesuai adalah