Saya membaca pembelajaran yang mendalam oleh Ian Goodfellow et al. Ini memperkenalkan bias sebagai
Konsistensi, di sisi lain, ditentukan oleh
Kemudian dikatakan konsistensi menyiratkan ketidakberpihakan tetapi tidak sebaliknya:
Konsistensi memastikan bahwa bias yang disebabkan oleh estimator berkurang ketika jumlah contoh data bertambah. Namun, kebalikannya tidak benar — ketidakberpihakan asimptotik tidak menyiratkan konsistensi. Sebagai contoh, pertimbangkan memperkirakan parameter rata-rata μ dari distribusi normal N (x; μ, σ2), dengan dataset yang terdiri dari sampel m:. Kita bisa menggunakan sampel pertamadataset sebagai penaksir tidak bias: . Dalam hal ini, sehingga estimatornya tidak bias, tidak peduli berapa banyak titik data yang terlihat. Ini, tentu saja, menyiratkan bahwa estimasi tersebut asimtotik tidak bias. Namun, ini bukan penaksir yang konsisten karena ini bukan kasus yang \ hatθ_m → θ sebagai m → ∞
Saya tidak yakin apakah saya telah memahami paragraf di atas dan konsep-konsep ketidakberpihakan dan konsistensi dengan benar, saya harap seseorang dapat membantu saya memeriksanya. Terima kasih sebelumnya.
Sejauh yang saya mengerti, konsistensi menyiratkan baik ketidakberpihakan dan varians rendah dan oleh karena itu, ketidakberpihakan saja tidak cukup untuk menyiratkan konsistensi.
Jawaban:
Dalam paragraf itu penulis memberikan contoh ekstrem untuk menunjukkan bagaimana bersikap tidak memihak tidak berarti bahwa variabel acak berkumpul pada apa pun.
Penulis mengambil sampel acak dan ingin memperkirakan . Memperhatikan bahwa , kami dapat menghasilkan penaksir yang tidak bias dari dengan hanya mengabaikan semua data kami kecuali poin pertama . Tapi itu jelas ide yang buruk, jadi ketidakberpihakan saja bukanlah kriteria yang baik untuk mengevaluasi penduga. Entah bagaimana, saat kami mendapatkan lebih banyak data, kami ingin penaksir kami bervariasi lebih sedikit dan lebih sedikit dari , dan itulah yang dikatakan konsistensi: untuk jarak berapa pun , probabilitas bahwa lebih dari jauh dariX1, ... ,Xn∼ N( μ ,σ2) μ E(X1) = μ μ X1 μ ε θ^n ε θ menuju ke sebagai . Dan ini dapat terjadi bahkan jika untuk setiap terbatas . Contohnya adalah estimator varians dalam sampel normal. Ini bias tetapi konsisten.0 n → ∞ n θ^ σ^2n=1n∑ni = 1(ysaya-y¯n)2
Secara intuitif, statistik tidak bias jika persis sama dengan jumlah target ketika dirata-rata atas semua sampel yang mungkin. Tetapi kita tahu bahwa rata-rata banyak hal tidak harus mendekati rata-rata; ini hanya versi yang lebih bagus tentang bagaimana rata-rata dan adalah , meskipun atau tidak mendekati (tergantung pada bagaimana Anda mengukur "tutup").0 1 1 / 2 0 1 1 / 2
Berikut contoh lain (walaupun ini hampir sama dengan contoh yang sama). Biarkan dan biarkan . Estimator kami dari akan menjadi . Perhatikan bahwa jadi kami memang memiliki penaksir yang tidak bias. Tetapi jadi penaksir ini pasti tidak konvergen pada sesuatu yang dekat dengan , dan untuk setiap kita sebenarnya masih memiliki .X1∼ Bern ( θ ) X2=X3= ⋯ =X1 θ θ^( X) =X¯n EX¯n= p X¯n=X1∈ { 0 , 1 } θ ∈ ( 0 , 1 ) n X¯n∼ Bern ( θ )
sumber
Baik. Atau menggunakan istilah "akurasi" yang sedikit lebih awam untuk bias rendah, dan "presisi" untuk varians rendah, konsistensi mengharuskan kita menjadi akurat dan tepat. Menjadi akurat bukan berarti kita mencapai sasaran. Ini seperti lelucon lama tentang dua ahli statistik yang pergi berburu. Satu merindukan rusa sepuluh kaki ke kiri. Yang lain meleset sepuluh kaki ke kanan. Mereka kemudian saling memberi selamat atas dasar bahwa, rata-rata, mereka menabrak rusa. Meskipun bias mereka nol, untuk benar-benar menabrak rusa, mereka juga perlu varian rendah.
sumber