Mengapa standar deviasi sampel merupakan penaksir bias ?

57

Menurut artikel Wikipedia tentang estimasi bias dari standar deviasi sampel SD

s=1n1i=1n(xix¯)2

adalah penaksir yang bias dari SD populasi. Ini menyatakan bahwa .E(s2)E(s2)

NB. Variabel acak independen dan setiapxiN(μ,σ2)

Pertanyaan saya ada dua:

  • Apa bukti dari bias itu?
  • Bagaimana seseorang menghitung ekspektasi deviasi standar sampel

Pengetahuan saya tentang matematika / statistik hanya menengah.

Dav Weps
sumber
4
Anda akan menemukan kedua pertanyaan dijawab dalam artikel Wikipedia tentang distribusi Chi .
whuber

Jawaban:

57

@ NRH menjawab pertanyaan ini memberikan bukti yang bagus dan sederhana tentang bias dari standar deviasi sampel. Di sini saya akan secara eksplisit menghitung ekspektasi deviasi standar sampel (pertanyaan kedua poster asli) dari sampel yang terdistribusi normal, pada titik mana biasnya jelas.

Varians sampel yang tidak bias dari serangkaian poin adalahx1,...,xn

s2=1n1i=1n(xix¯)2

Jika didistribusikan secara normal, itu adalah fakta bahwaxi

(n1)s2σ2χn12

di mana adalah varian sebenarnya. The distribusi memiliki kepadatan probabilitasσ2χk2

p(x)=(1/2)k/2Γ(k/2)xk/21ex/2

menggunakan ini kita dapat memperoleh nilai yang diharapkan dari ;s

E(s)=σ2n1E(s2(n1)σ2)=σ2n10x(1/2)(n1)/2Γ((n1)/2)x((n1)/2)1ex/2 dx

yang mengikuti dari definisi nilai yang diharapkan dan fakta bahwa adalah akar kuadrat dari variabel terdistribusi . Kuncinya sekarang adalah mengatur ulang istilah sehingga integrand menjadi kepadatan :s2(n1)σ2χ2χ2

E(s)=σ2n10(1/2)(n1)/2Γ(n12)x(n/2)1ex/2 dx=σ2n1Γ(n/2)Γ(n12)0(1/2)(n1)/2Γ(n/2)x(n/2)1ex/2 dx=σ2n1Γ(n/2)Γ(n12)(1/2)(n1)/2(1/2)n/20(1/2)n/2Γ(n/2)x(n/2)1ex/2 dxχn2 density

sekarang kita tahu integrand baris terakhir sama dengan 1, karena itu adalah kepadatan . Konstanta penyederhanaan sedikit memberi χn2

E(s)=σ2n1Γ(n/2)Γ(n12)

Oleh karena itu bias adalahs

σE(s)=σ(12n1Γ(n/2)Γ(n12))σ4n
as .n

Tidak sulit untuk melihat bahwa bias ini bukan 0 untuk setiap terbatas , sehingga membuktikan standar deviasi sampel bias. Di bawah biasnya adalah plot sebagai fungsi dari untuk berwarna merah bersama dengan berwarna biru:nnσ=11/4n

masukkan deskripsi gambar di sini

Makro
sumber
(+1) Jawaban yang bagus. Saya harap Anda tidak keberatan, saya mengutak-atik beberapa hal yang sangat kecil dan menambahkan hasil asimptotik mengenai bias. Saya kira Anda bisa menempatkan superimpose kurva ke plot Anda, tetapi mungkin tidak perlu. Tepuk tangan. :)(4n)1
kardinal
Anda benar-benar bersusah payah untuk melakukan Makro ini. Ketika saya pertama kali melihat posting sekitar satu menit yang lalu saya berpikir untuk menunjukkan bias menggunakan aturan Jensen tetapi seseorang sudah melakukannya.
Michael Chernick
2
tentu saja ini adalah cara round-a-bout untuk menunjukkan bahwa deviasi standar bias - saya terutama menjawab pertanyaan kedua poster asli: "Bagaimana seseorang menghitung ekspektasi deviasi standar?".
Makro
2
Hal lain yang mungkin layak disebutkan adalah bahwa perhitungan ini memungkinkan seseorang untuk membacakan segera apa yang estimator UMVU dari deviasi standar dalam kasus Gaussian: Satu hanya mengalikan dengan timbal balik dari faktor skala yang muncul dalam bukti. Ini digeneralisasikan ke penaksir UMVU dari cukup mudah. sσk
kardinal
2
Maaf, Makro. Pendekatan integral dasar yang sama yang Anda gunakan akan bekerja, Anda hanya akan berakhir dengan faktor penskalaan , dengan argumen gamma yang Anda dapatkan sebagai fungsi . Itulah yang saya maksudkan, tetapi hasilnya agak terlalu singkat. :)skk
kardinal
43

Anda tidak perlu normal. Yang Anda butuhkan adalah adalah penaksir tidak bias dari varian . Kemudian gunakan bahwa fungsi akar kuadrat benar - benar cekung sedemikian rupa sehingga (dengan bentuk ketimpangan Jensen yang kuat ) kecuali distribusi merosot di .

s2=1n1i=1n(xix¯)2
σ2
E(s2)<E(s2)=σ
s2σ2
NRH
sumber
19

Melengkapi jawaban NRH, jika seseorang mengajarkan ini kepada sekelompok siswa yang belum mempelajari ketidaksetaraan Jensen, satu cara untuk pergi adalah dengan mendefinisikan standar deviasi sampel. anggaplah bahwa adalah non degenerasi (oleh karena itu, ), dan perhatikan persamaan

Sn=i=1n(XiX¯n)2n1,
SnVar[Sn]0
0<Var[Sn]=E[Sn2]E2[Sn]E2[Sn]<E[Sn2]E[Sn]<E[Sn2]=σ.
Zen
sumber