Akankah interval kepercayaan untuk varian lebih sempit jika kita tahu mean a-priori?

Katakanlah kita tahu rata-rata distribusi yang diberikan. Apakah ini mempengaruhi estimasi interval varians dari variabel acak (yang jika tidak dihitung menggunakan varians sampel)? Seperti, bisakah kita mendapatkan interval yang lebih kecil untuk tingkat kepercayaan yang sama?

Saya tidak sepenuhnya yakin jawaban saya benar, tetapi saya berpendapat tidak ada hubungan umum. Inilah poin saya:

Mari kita pelajari kasus di mana interval kepercayaan varians dipahami dengan baik, yaitu. mengambil sampel dari distribusi normal (seperti yang Anda tunjukkan dalam tag pertanyaan, tetapi sebenarnya bukan pertanyaan itu sendiri). Lihat diskusi di sini dan di sini .

Interval kepercayaan untuk mengikuti dari pivot , di mana . (Ini hanyalah cara lain untuk menulis ungkapan yang mungkin lebih familiar , di mana )$\sigma^2$$T=n\hat{\sigma}^2/\sigma^2\sim\chi^2_{n-1}$$\hat{\sigma}^2=1/n\sum_i(X_i-\bar{X})^2$$T=(n-1)s^2/\sigma^2\sim\chi^2_{n-1}$$s^2=1/(n-1)\sum_i(X_i-\bar{X})^2$

Dengan demikian, kita memiliki Oleh karena itu, interval kepercayaan adalah . Kita dapat memilih dan sebagai kuantil dan .

$$\begin{align*} 1-\alpha&=\Pr\{c_l^{n-1}<T<c_u^{n-1}\}\\ &=\Pr\left\{\frac{c_l^{n-1}}{n\hat{\sigma}^2}<\frac{1}{\sigma^2}<\frac{c_u^{n-1}}{n\hat{\sigma}^2}\right\}\\ &=\Pr\left\{\frac{n\hat{\sigma}^2}{c_u^{n-1}}<\sigma^2<\frac{n\hat{\sigma}^2}{c_l^{n-1}}\right\} \end{align*}$$ $(n\hat{\sigma}^2/c_u^{n-1},n\hat{\sigma}^2/c_l^{n-1})$$c_l^{n-1}$$c_u^{n-1}$$c_u^{n-1}=\chi^2_{n-1,1-\alpha/2}$$c_l^{n-1}=\chi^2_{n-1,\alpha/2}$

(Perhatikan secara sepintas bahwa untuk estimasi varians mana pun yang, karena condong, kuantil akan menghasilkan ci dengan probabilitas cakupan yang tepat, tetapi tidak optimal, yaitu bukan yang sesingkat mungkin. Untuk kepercayaan diri Interval menjadi sesingkat mungkin, kami memerlukan kerapatan yang identik di ujung bawah dan atas ci, mengingat beberapa kondisi tambahan seperti unimodality. Saya tidak tahu apakah menggunakan ci optimal itu akan mengubah hal-hal dalam jawaban ini.)$\chi^2$

Seperti yang dijelaskan dalam tautan, , di mana menggunakan yang dikenal berarti. Karenanya, kami mendapatkan interval kepercayaan yang valid lagi Di sini, dan akan menjadi kuantil dari .$T'=ns_0^2/\sigma^2\sim\chi^2_n$$s_0^2=\frac{1}{n}\sum_i(X_i-\mu)^2$

$$\begin{align*} 1-\alpha&=\Pr\{c_l^{n}<T'<c_u^{n}\}\\ &=\Pr\left\{\frac{ns_0^2}{c_u^{n}}<\sigma^2<\frac{ns_0^2}{c_l^{n}}\right\} \end{align*}$$ $c_l^{n}$$c_u^{n}$$\chi^2_n$

Lebar interval kepercayaan adalah dan Lebar relatif adalah Kita tahu itu sebagai mean sampel meminimalkan jumlah penyimpangan kuadrat. Di luar itu, saya melihat beberapa hasil umum mengenai lebar interval, karena saya tidak menyadari hasil yang jelas bagaimana perbedaan dan produk dari atas dan bawah quantiles berperilaku seperti yang kita meningkatkan derajat kebebasan per satu (tapi lihat gambar di bawah).

$$w_T=\frac{n\hat{\sigma}^2(c_u^{n-1}-c_l^{n-1})}{c_l^{n-1}c_u^{n-1}}$$ $$w_{T'}=\frac{ns_0^2(c_u^{n}-c_l^{n})}{c_l^{n}c_u^{n}}$$ $$\frac{w_T}{w_{T'}}=\frac{\hat{\sigma}^2}{s_0^2}\frac{c_u^{n-1}-c_l^{n-1}}{c_u^{n}-c_l^{n}}\frac{c_l^{n}c_u^{n}}{c_l^{n-1}c_u^{n-1}}$$ $\hat{\sigma}^2/s_0^2\leq1$$\chi^2$

Misalnya, membiarkan

$$r_n:=\frac{c_u^{n-1}-c_l^{n-1}}{c_u^{n}-c_l^{n}}\frac{c_l^{n}c_u^{n}}{c_l^{n-1}c_u^{n-1}},$$ kita miliki

$$r_{10}\approx1.226$$ untuk dan , yang berarti bahwa ci berdasarkan akan lebih pendek jika $\alpha=0.05$$n=10$$\hat{\sigma}^2$ $$\hat{\sigma}^2\leq\frac{s_0^2}{1.226}$$

Dengan menggunakan kode di bawah ini, saya menjalankan studi simulasi kecil yang menunjukkan bahwa interval berdasarkan akan memenangkan sebagian besar waktu. (Lihat tautan yang diposting dalam jawaban Aksakal untuk rasionalisasi sampel besar dari hasil ini.)$s_0^2$

Peluangnya tampaknya stabil dalam , tetapi saya tidak mengetahui penjelasan sampel hingga analitis:$n$

    rm(list=ls())

IntervalLengthsSigma2 <- function(n,alpha=0.05,reps=100000,mu=1) {
  cl_a <- qchisq(alpha/2,df = n-1)
  cu_a <- qchisq(1-alpha/2,df = n-1)
  cl_b <- qchisq(alpha/2,df = n)
  cu_b <- qchisq(1-alpha/2,df = n)

  winners02 <- rep(NA,reps)

  for (i in 1:reps) {
    x <- rnorm(n,mean=mu)
    xbar <- mean(x)
    s2 <- 1/n*sum((x-xbar)^2)
    s02 <- 1/n*sum((x-mu)^2)

    ci_a <- c(n*s2/cu_a,n*s2/cl_a)
    ci_b <- c(n*s02/cu_b,n*s02/cl_b)

    winners02[i] <- ifelse(ci_a[2]-ci_a[1]>ci_b[2]-ci_b[1],1,0)  
  }
  mean(winners02)
}

nvalues <- matrix(seq(5,200,by=10)) 
plot(nvalues,apply(nvalues,1,IntervalLengthsSigma2),pch=19,col="lightblue",type="b")

Gambar berikut memplot terhadap , mengungkapkan (seperti yang akan disarankan oleh intuisi) bahwa rasio cenderung 1. Seperti, apalagi, untuk besar, perbedaan antara lebar kedua cis akan lenyap sebagai . (Lihat lagi tautan yang diposting dalam jawaban Aksakal untuk rasionalisasi sampel besar dari hasil ini.)$r_n$$n$$\bar{X}\to_p\mu$$n$$n\to\infty$

Biarkan saya yang pertama mengatur masalahnya. Kita tahu artinya populasi. Ini adalah poin yang sangat penting untuk dibuat di awal, karena tanpanya, kita tidak akan memiliki jawaban yang berarti.

Saya akan menjelaskan alasannya. Katakanlah kita memiliki sampel dan tidak tahu mean populasi. Kami memiliki penaksir varian yang biasa:

$$\sigma=\frac{1}{n-1}sum_i(x_i-\bar x)^2$$

Sekarang, kami diberitahu bahwa rata-rata populasi adalah . Naluri pertama kami adalah menghubungkannya ke penaksir varians:$\mu$

$$\sigma'=\frac{1}{n}sum_i(x_i-\mu)^2$$

Perhatikan, bahwa ini adalah penaksir yang berbeda sekarang! Ini memiliki penyebut yang berbeda dll. Ia memiliki varian yang berbeda itu sendiri.

Namun, apakah benar untuk membandingkan dan ? Tidak, BUKAN.$Var[\sigma]$$Var[\sigma']$

Kita harus membandingkan dan . Dengan kata lain kita harus membandingkan varian dari dua penaksir ini dengan syarat pengetahuan rata-rata populasi! Kalau tidak, kita akan jatuh ke dalam paradoks @ Scortchi.$Var[\sigma|E[x_i]=\mu]$$Var[\sigma'|E[x_i]=\mu]$

Ketika Anda mendapatkan informasi baru, yaitu , Anda harus memasukkannya dalam perkiraan ! Ini memecahkan paradoks @ Scortchi dalam komentarnya secara langsung. Persamaan yang saya lihat sejauh ini dalam jawaban tidak termasuk pengetahuan ke dalam CI atau varians dari estimator varians . Dalam contoh @ Scortchi mengetahui bahwa akan menyebabkan revisi CI of .$E[x_i]=\mu$$Var[\sigma]$$\mu$$\sigma$$\bar x>>\mu$$\sigma$

Oleh karena itu, jawaban saya di sini mengikuti pengaturan yang saya jelaskan dijelaskan.

Ya, interval kepercayaan diri akan lebih sempit.

Secara filosofis, mengetahui rata-rata populasi adalah informasi tambahan, sehingga ketidakpastian harus lebih kecil dalam kasus ini.

Contoh: jika distribusi Anda adalah Poisson, maka varians adalah rata-rata sama. Oleh karena itu, mengetahui berarti Anda mengetahui varians juga, dan interval kepercayaan menyusut ke suatu titik. Tidak ada interval.

UPDATE: Lihatlah makalah ini : "Memperkirakan Varians Populasi dengan Mean Mean" oleh Zhang, 1996. Dia membandingkan estimasi standar varians vs yang menggunakan pengetahuan tentang mean populasi . Dia sampai pada kesimpulan yang sama: varians dari estimasi yang terakhir lebih kecil dari yang sebelumnya, yaitu interval kepercayaan estimasi varians akan lebih sempit. Dia juga menunjukkan bahwa keuntungan menghilang ketika ukuran sampel cenderung tak terbatas.$\frac{1}{n-1}\sum_i(x_i-\bar x)^2$$\frac{1}{n}\sum_i(x_i-\mu)^2$

Saya pikir makalah ini adalah jawaban pasti untuk pertanyaan Anda.

Memperpanjang sedikit jawaban @Cristoph Hanck , & mengadaptasi kodenya ...

Misalkan Mr A tidak mengetahui rata-rata yang sebenarnya, atau statistik, & Mr B tidak mengetahui keduanya. Mungkin tampak aneh, bahkan tidak adil, bahwa Mr A dapat memperoleh interval kepercayaan yang lebih pendek untuk varians menggunakan pivot daripada Mr B menggunakan pivot . Tetapi dalam jangka panjang Mr B menang dalam agak rasa yang kuat: interval kepercayaan dirinya yang stokastik sempit-untuk lebar setiap Anda peduli untuk menentukan, proporsi Mr B CI sempit daripada lebih besar dari proporsi Mr A.$T$$T'$$w$$w$

Mengumpulkan bersama-sama bagian dari kasus di mana Mr A's CI keluar lebih sempit menunjukkan bahwa dalam ini dia mendapat cakupan yang lebih rendah (sekitar 91%); tetapi ia membayar untuk itu dengan cakupan yang lebih tinggi (sekitar 96%) dalam subset kasus di mana intervalnya keluar lebih luas, mendapatkan cakupan yang benar (95%) secara keseluruhan. Tentu saja Tuan A tidak tahu kapan CI-nya berada di bagian mana. Dan Tuan C yang licik yang mengetahui nilai sebenarnya & mengambil atau menurutnya menghasilkan CI tersempit pada akhirnya akan terungkap ketika intervalnya gagal mempertahankan cakupan yang seharusnya 95%.$T$$T'$

IntervalLengthsSigma2 <- function(n,alpha=0.05,reps=100000,mu=1) {
  cl_a <- qchisq(alpha/2,df = n-1)
  cu_a <- qchisq(1-alpha/2,df = n-1)
  cl_b <- qchisq(alpha/2,df = n)
  cu_b <- qchisq(1-alpha/2,df = n)

  winners02 <- rep(NA,reps)
  width.a <- rep(NA,reps)
  width.b <- rep(NA,reps)
  sigma2.in.a <- rep(NA,reps)
  sigma2.in.b <- rep(NA,reps)

  for (i in 1:reps) {
    x <- rnorm(n,mean=mu)
    xbar <- mean(x)
    s2 <- 1/n*sum((x-xbar)^2)
    s02 <- 1/n*sum((x-mu)^2)

    ci_a <- c(n*s2/cu_a,n*s2/cl_a)
    ci_b <- c(n*s02/cu_b,n*s02/cl_b)

    winners02[i] <- ifelse(ci_a[2]-ci_a[1]>ci_b[2]-ci_b[1],1,0) 
    ci_a[2]-ci_a[1] -> width.a[i]
    ci_b[2]-ci_b[1] -> width.b[i]
    ifelse(ci_a[1]< 1 & ci_a[2] > 1, 1, 0) -> sigma2.in.a[i]
    ifelse(ci_b[1]< 1 & ci_b[2] > 1, 1, 0) -> sigma2.in.b[i]
  }

 list(n=n, width.a=width.a,width.b=width.b, sigma2.in.a=sigma2.in.a, sigma2.in.b=sigma2.in.b, winner=winners02)
}

# simulate for sample size of 6
IntervalLengthsSigma2(n=6) -> sim

# plot empirical CDFs of CI widths for mean known & mean unknown
plot(ecdf(sim$width.a), xlab="CI width", ylab="empirical CDF", sub=paste("n=",sim$n), main="")
lines(ecdf(sim$width.b), col="red")
legend("bottomright", lty=1, col=c("black", "red"), legend=c("mean unknown (Mr A)", "mean known (Mr B)"))

# coverage with mean unknown:
mean(sim$sigma2.in.a)
# coverage with mean unknown when CI is narrower than with mean known:
mean(sim$sigma2.in.a[sim$winner==0])
# coverage with mean unknown when CI is wider than with mean known:
mean(sim$sigma2.in.a[sim$winner==1])

# coverage with mean known:
mean(sim$sigma2.in.b)
# coverage with mean known when CI is wider than with mean unknown:
mean(sim$sigma2.in.b[sim$winner==0])
# coverage with mean known when CI is narrower than with mean unknown;
mean(sim$sigma2.in.b[sim$winner==1])

Saya tidak bisa berkomentar tetapi pernyataan Aksakal yang menyapu "mengetahui rata-rata populasi adalah informasi tambahan, sehingga ketidakpastian harus lebih kecil dalam kasus ini" tidak jelas.

Dalam kasus terdistribusi normal, penaksir kemungkinan maksimum varians ketika tidak diketahui:$\mu$

$$\frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$$

memiliki varian yang lebih rendah daripada

$$\frac{1}{n} \sum_{i=1}^{n} (X_i - \mu)^2$$

untuk setiap nilai$\mu, \sigma$