mengapa ketidakberpihakan tidak menyiratkan konsistensi

9

Saya membaca pembelajaran yang mendalam oleh Ian Goodfellow et al. Ini memperkenalkan bias sebagai

BsayaSebuahs(θ)=E(θ^)-θ
dimana θ^ dan θ masing-masing adalah taksiran parameter dan parameter nyata yang mendasarinya.

Konsistensi, di sisi lain, ditentukan oleh

lsayammθ^m=θ
artinya untuk apa saja ϵ>0, P(|θ^m-θ|>ϵ)0 sebagai m

Kemudian dikatakan konsistensi menyiratkan ketidakberpihakan tetapi tidak sebaliknya:

Konsistensi memastikan bahwa bias yang disebabkan oleh estimator berkurang ketika jumlah contoh data bertambah. Namun, kebalikannya tidak benar — ketidakberpihakan asimptotik tidak menyiratkan konsistensi. Sebagai contoh, pertimbangkan memperkirakan parameter rata-rata μ dari distribusi normal N (x; μ, σ2), dengan dataset yang terdiri dari sampel m:x(1),...,x(m). Kita bisa menggunakan sampel pertamax(1)dataset sebagai penaksir tidak bias: . Dalam hal ini, sehingga estimatornya tidak bias, tidak peduli berapa banyak titik data yang terlihat. Ini, tentu saja, menyiratkan bahwa estimasi tersebut asimtotik tidak bias. Namun, ini bukan penaksir yang konsisten karena ini bukan kasus yang \ hatθ_m → θ sebagai m → ∞θ^=x(1)E(θ^m)=θθ^mθm

Saya tidak yakin apakah saya telah memahami paragraf di atas dan konsep-konsep ketidakberpihakan dan konsistensi dengan benar, saya harap seseorang dapat membantu saya memeriksanya. Terima kasih sebelumnya.

Sejauh yang saya mengerti, konsistensi menyiratkan baik ketidakberpihakan dan varians rendah dan oleh karena itu, ketidakberpihakan saja tidak cukup untuk menyiratkan konsistensi.

Mungkin
sumber
Jika bias = 0 dan varians-> 0, maka konsisten. Dan jika bias-> 0 dan varians-> 0, itu konsisten; ini adalah "tidak bias asimptotik". Keduanya mengikuti dari fakta bahwa error kuadrat yang diharapkan = bias ^ 2 + varians.
user54038
Itu tidak mengatakan bahwa konsistensi menyiratkan ketidakberpihakan, karena itu akan salah. Sebagai contoh, estimator adalah estimator yang konsisten untuk mean sampel, tetapi tidak bias. Apa yang dikatakan cuplikan di atas adalah bahwa konsistensi mengurangi jumlah bias yang disebabkan oleh penaksir bias !. Dalam kasus sampel rata-rata, perbedaan antara dan menjadi diabaikan ketika meningkat1N-1sayaxsayaNN-1N
Yannis Vassiliadis
Apakah Anda yakin itu tidak bias? Saya percaya itu tidak bias: 1 / n kali jumlah akan bias.
eSurfsnake
@ Eurfsnake itu untuk varians sampel. Untuk sampel yang berarti yang saya sebutkan di atas, keduanya tidak bias dan konsisten, sedangkan hanya konsisten. 1Nixi1N1ixsaya
Yannis Vassiliadis
OK - saya pikir Anda bertanya tentang varians.
eSurfsnake

Jawaban:

10

Dalam paragraf itu penulis memberikan contoh ekstrem untuk menunjukkan bagaimana bersikap tidak memihak tidak berarti bahwa variabel acak berkumpul pada apa pun.

Penulis mengambil sampel acak dan ingin memperkirakan . Memperhatikan bahwa , kami dapat menghasilkan penaksir yang tidak bias dari dengan hanya mengabaikan semua data kami kecuali poin pertama . Tapi itu jelas ide yang buruk, jadi ketidakberpihakan saja bukanlah kriteria yang baik untuk mengevaluasi penduga. Entah bagaimana, saat kami mendapatkan lebih banyak data, kami ingin penaksir kami bervariasi lebih sedikit dan lebih sedikit dari , dan itulah yang dikatakan konsistensi: untuk jarak berapa pun , probabilitas bahwa lebih dari jauh dariX1,...,XnN(μ,σ2)μE(X1)=μμX1μεθ^nεθmenuju ke sebagai . Dan ini dapat terjadi bahkan jika untuk setiap terbatas . Contohnya adalah estimator varians dalam sampel normal. Ini bias tetapi konsisten.0nn θ^σ^n2=1nsaya=1n(ysaya-y¯n)2

Secara intuitif, statistik tidak bias jika persis sama dengan jumlah target ketika dirata-rata atas semua sampel yang mungkin. Tetapi kita tahu bahwa rata-rata banyak hal tidak harus mendekati rata-rata; ini hanya versi yang lebih bagus tentang bagaimana rata-rata dan adalah , meskipun atau tidak mendekati (tergantung pada bagaimana Anda mengukur "tutup").011/2011/2

Berikut contoh lain (walaupun ini hampir sama dengan contoh yang sama). Biarkan dan biarkan . Estimator kami dari akan menjadi . Perhatikan bahwa jadi kami memang memiliki penaksir yang tidak bias. Tetapi jadi penaksir ini pasti tidak konvergen pada sesuatu yang dekat dengan , dan untuk setiap kita sebenarnya masih memiliki .X1Bern(θ)X2=X3==X1θθ^(X)=X¯nEX¯n=halX¯n=X1{0,1}θ(0,1)nX¯nBern(θ)

jld
sumber
Kebalikannya juga salah. Estimator dapat memiliki bias dan varians yang keduanya menuju ke 0 saat n mendekati tak terhingga membuatnya konsisten. Tetapi untuk setiap n akan bias karena akan memiliki bias non-nol, Misalnya estimasi varians dengan n dalam penyebutnya adalah bias dan konsisten sedangkan jika Anda membaginya dengan n-1 akan bias dan tidak konsisten.
Michael R. Chernick
3

Sejauh yang saya mengerti, konsistensi menyiratkan baik ketidakberpihakan dan varians rendah dan oleh karena itu, ketidakberpihakan saja tidak cukup untuk menyiratkan konsistensi.

Baik. Atau menggunakan istilah "akurasi" yang sedikit lebih awam untuk bias rendah, dan "presisi" untuk varians rendah, konsistensi mengharuskan kita menjadi akurat dan tepat. Menjadi akurat bukan berarti kita mencapai sasaran. Ini seperti lelucon lama tentang dua ahli statistik yang pergi berburu. Satu merindukan rusa sepuluh kaki ke kiri. Yang lain meleset sepuluh kaki ke kanan. Mereka kemudian saling memberi selamat atas dasar bahwa, rata-rata, mereka menabrak rusa. Meskipun bias mereka nol, untuk benar-benar menabrak rusa, mereka juga perlu varian rendah.

Akumulasi
sumber