Mengapa kutipan ini mengatakan bahwa estimasi bias dari standar deviasi biasanya tidak relevan?

Saya membaca perhitungan estimasi yang tidak bias dari standar deviasi dan sumber yang saya baca menyatakan

(...) kecuali dalam beberapa situasi penting, tugas tersebut memiliki sedikit relevansi dengan aplikasi statistik karena kebutuhannya dihindari oleh prosedur standar, seperti penggunaan uji signifikansi dan interval kepercayaan, atau dengan menggunakan analisis Bayesian.

Saya bertanya-tanya apakah ada yang bisa menjelaskan alasan di balik pernyataan ini, misalnya tidakkah interval kepercayaan menggunakan standar deviasi sebagai bagian dari perhitungan? Oleh karena itu, bukankah interval kepercayaan akan dipengaruhi oleh standar deviasi yang bias?

EDIT:

Terima kasih atas jawabannya sejauh ini, tapi saya tidak yakin saya mengikuti beberapa alasan untuk mereka jadi saya akan menambahkan contoh yang sangat sederhana. Intinya adalah bahwa jika sumbernya benar, maka ada sesuatu yang salah dari kesimpulan saya ke contoh dan saya ingin seseorang menunjukkan bagaimana bagaimana nilai-p tidak tergantung pada standar deviasi.

Misalkan seorang peneliti ingin menguji apakah skor rata-rata siswa kelas lima pada tes di kotanya berbeda dari rata-rata nasional 76 dengan tingkat signifikansi 0,05. Peneliti secara acak mengambil sampel dari 20 siswa. Rata-rata sampel adalah 80,85 dengan standar deviasi sampel 8,87. Ini berarti: t = (80.85-76) / (8.87 / sqrt (20)) = 2.44. T-tabel kemudian digunakan untuk menghitung bahwa nilai probabilitas dua sisi pada 2,44 dengan 19 df adalah 0,025. Ini di bawah tingkat signifikansi kami 0,05 sehingga kami menolak hipotesis nol.

Jadi dalam contoh ini, bukankah nilai-p (dan mungkin kesimpulan Anda) akan berubah tergantung pada bagaimana Anda memperkirakan standar deviasi sampel Anda?

bayesian statistical-significance mathematical-statistics standard-deviation standard-error BYS2
sumber

Ini memang aneh, karena alasan yang Anda berikan. Mungkin Anda bisa memberi kami paragraf sebelumnya juga kalau-kalau ada sesuatu yang hilang? Satu hal yang membuat bias bukan masalah besar adalah bahwa hal itu menjadi sangat tidak penting karena ukuran sampel semakin besar, dan mungkin tidak material dibandingkan dengan semua masalah lain misalnya model mis-spesifikasi yang biasanya kita miliki - tetapi ini bukan alasan diberikan dalam sumber Anda.

Peter Ellis

@PeterEllis, ini sebenarnya dari halaman wikipedia pada "estimasi bias dari standar deviasi" ( en.wikipedia.org/wiki/Unprice_estimation_of_standard_deviation ).

BYS2

Jawaban:

Saya setuju dengan Glen_b dalam hal ini. Mungkin saya bisa menambahkan beberapa kata untuk membuat poin lebih jelas. Jika data berasal dari distribusi normal (situasi saat ini) dengan varian yang tidak diketahui, statistik t adalah jumlah penting yang digunakan untuk menghasilkan interval kepercayaan dan melakukan pengujian hipotesis. Satu-satunya hal yang penting untuk kesimpulan itu adalah distribusi di bawah hipotesis nol (untuk menentukan nilai kritis) dan di bawah alternatif (untuk menentukan kekuatan dan sampel). Mereka adalah distribusi t pusat dan noncentral, masing-masing. Sekarang mempertimbangkan sejenak masalah satu sampel, uji t bahkan memiliki sifat optimal sebagai tes untuk rata-rata distribusi normal. Sekarang varians sampel adalah penaksir yang tidak bias dari varians populasi tetapi akar kuadratnya adalah penaksir BIASED dari standar deviasi populasi. Tidak Tidak penting bahwa penaksir BIASED ini masuk dalam penyebut kuantitas penting. Sekarang ia memainkan peran dalam hal ini adalah penduga yang konsisten. Itulah yang memungkinkan distribusi t untuk mendekati standar normal ketika ukuran sampel mencapai tak terbatas. Tapi menjadi bias untuk semua yang diperbaiki tidak memengaruhi sifat uji yang bagus. $n$

Menurut pendapat saya, ketidakberpihakan terlalu ditekankan dalam kelas statistik pengantar. Keakuratan dan konsistensi penduga adalah sifat nyata yang pantas ditekankan.

Untuk masalah lain di mana metode parametrik atau nonparametrik diterapkan, perkiraan standar deviasi bahkan tidak masuk ke dalam rumus.

Michael R. Chernick
sumber

Itu memang tergantung pada estimasi tetapi hanya ada satu estimasi yang berlaku untuk t dengan 19 derajat kebebasan dan estimasi itu adalah akar kuadrat dari estimasi varians sampel yang biasa. Jika Anda menggunakan perkiraan standar deviasi yang berbeda, Anda memiliki distribusi referensi yang berbeda untuk statistik uji dalam hipotesis nol. Ini bukan t.

Michael R. Chernick

@ BYS2: Perhatikan bahwa dalam hal interval yang dibangun dalam contoh yang Anda berikan, tidak ada yang berubah dengan mengalikan standar deviasi sampel dengan faktor skala (misalnya, untuk membuatnya tidak bias). The distribusi dari statistik uji akan mengubah (sedikit) dalam hal ini, tetapi CI dibangun akan berakhir menjadi persis sama! Sekarang, jika Anda melakukan beberapa "koreksi" yang bergantung pada data itu sendiri, itu akan menghasilkan sesuatu yang berbeda (secara umum). Lihat komentar saya di bawah jawaban Glen.

kardinal

@ BYS2: Dalam kasus model normal menggunakan

-statistic, ada korespondensi yang bagus antara CIs dan

-value. Jadi, nilai-

tidak akan berubah jika Anda "mengubah skala" standar deviasi sampel oleh konstanta yang diketahui. Misalnya: Biarkan

t

$t$

p

$p$

p

$p$

untuk tetap

. Kemudian,

{\tilde{T}}_{b} = (\bar{X} - μ) / (b \cdot \hat{σ}) = T / b

$\tilde T_b = (\bar X - \mu)/(b\cdot \hat \sigma) = T / b$

b > 0

$b > 0$

dan nilai kritis

, yaitu ada korespondensi satu-ke-satu di antara mereka. Apakah itu masuk akal?

P ({\tilde{T}}_{b} > u) = P (T > b u)

$\mathbb P(\tilde T_b > u) = \mathbb P(T > b u)$

{\tilde{t}}_{b, α} = b t_{α}

$\tilde t_{b,\alpha} = b t_\alpha$

kardinal

Tidak apa yang ditunjukkan oleh Cardinal dengan benar adalah bahwa adalah mungkin untuk mengalikan statistik t dengan konstanta untuk dasarnya menggunakan estimasi berbeda dari standar deviasi. Statistik uji tidak lagi memiliki distribusi t. Ini adalah distribusi yang sedikit berbeda karena konstanta. Mean berubah oleh faktor b dan begitu juga deviasi standar. Saat Anda menghitung nilai kritis untuk statistik pengujian, nilai itu akan berubah dengan tepat seperti yang ditunjukkannya di atas.

Michael R. Chernick

@ BYS2 Ya itu benar.

Michael R. Chernick

Pertimbangkan interval yang dihitung berdasarkan kuantitas penting, seperti statistik-t. Nilai rata-rata estimator untuk standar deviasi tidak benar-benar masuk ke dalamnya - intervalnya didasarkan pada distribusi statistik. Jadi pernyataan itu benar sejauh itu.

Glen_b -Reinstate Monica
sumber

Ya tetapi tidakkah distribusi statistik bergantung pada standar deviasi yang tidak diketahui dalam banyak kasus sehingga Anda perlu menggunakan estimator?

BYS2

(+1) Glen. Ke @ BYS2: Ada beberapa poin penting di sini. Pertama, jika kita memiliki jumlah yang sangat penting, itu memberikan cara yang sangat nyaman untuk membangun set kepercayaan, tetapi mereka tidak sering ada. Inti dari jumlah penting adalah bahwa distribusi tergantung murni pada kuantitas yang diketahui . Kedua, kuantitas penting terkait erat dengan model yang mendasarinya. Jika data menyimpang dari model yang diasumsikan, maka distribusi statistik uji mungkin juga dan karakterisasi sebagai jumlah penting mungkin tidak cukup relevan. :)

kardinal

Interpretasi selalu merupakan spekulasi bagian, tetapi saya pikir makna tersirat adalah bahwa sering kali Anda bisa mendapatkan hasil yang Anda inginkan tanpa memperkirakan standar deviasi secara eksplisit. Dengan kata lain, saya pikir penulis mengacu pada situasi di mana Anda akan menggunakan tidak ada perkiraan standar deviasi, daripada perkiraan bias.

Misalnya, jika Anda dapat membuat estimasi seluruh distribusi statistik, Anda dapat menghitung interval kepercayaan tanpa menggunakan standar deviasi. Bahkan, untuk banyak distribusi (tidak normal) standar deviasi itu sendiri (dan rata-rata) tidak cukup untuk menghitung estimasi interval kepercayaan. Dalam kasus lain, seperti tes masuk , Anda tidak perlu perkiraan untuk standar deviasi.

(Tentu saja, tidak sepele untuk membangun estimasi yang tidak bias dari distribusi penuh, dan dalam statistik Bayesian sebenarnya cukup umum untuk memperkenalkan bias secara eksplisit melalui yang sebelumnya.)

MLS
sumber

Mungkin menarik untuk memperluas sedikit lebih penuh pada apa yang Anda maksud dengan paragraf terakhir. Sebagai contoh, jika saya dapat mengambil sampel dari distribusi statistik yang ada, maka cdf empiris menyediakan cara yang sangat mudah dan sederhana untuk menghasilkan estimasi fungsi distribusi yang tidak bias dari titik pandang. :)

kardinal

@ cardinal Benar, tetapi ini mengasumsikan bahwa Anda dapat mengambil sampel dari distribusi statistik. Ini tidak selalu memungkinkan. Misalnya, perhatikan statistiknya

max_{i} X_{i}

$\max_i X_i$

max_{i} X_{i}

$\max_i X_i$

X_{i}

$X_i$

X_{i}

$X_i$

i

$i$

max_{i} X_{i}

$\max_i X_i$

Ini benar dan dekat dengan poin yang saya coba utarakan. Kalimat pertama dari paragraf terakhir mengacu pada membangun estimasi objektif dari fungsional statistik nonlinear dari, misalnya, sampel acak tunggal. Ini sangat berbeda dari membangun estimasi yang tidak bias dari distribusi penuh dari sampel acak dari fungsi itu sendiri. :-)

kardinal