Apakah penaksir yang tidak konsisten lebih disukai?

Konsistensi jelas merupakan penaksir properti yang alami dan penting, tetapi adakah situasi di mana mungkin lebih baik menggunakan penaksir yang tidak konsisten daripada yang konsisten?

Lebih khusus lagi, adakah contoh estimator yang tidak konsisten yang mengungguli estimator konsisten yang masuk akal untuk semua terbatas $n$ (sehubungan dengan beberapa fungsi kerugian cocok)?

estimation consistency MånsT
sumber

Ada tradeoff yang menarik dalam kinerja antara konsistensi pemilihan model dan konsistensi parameter dalam masalah estimasi menggunakan laso dan varian (banyak!). Ini terperinci, misalnya, dalam teks terbaru Bühlmann dan van der Geer.

kardinal

Bukankah argumen dalam jawaban saya, yang sekarang dihapus, masih berlaku? Yaitu: dalam sampel kecil lebih baik untuk memiliki penduga yang tidak bias dengan varians rendah. Atau dapatkah seseorang menunjukkan bahwa estimator yang konsisten selalu memiliki varians yang lebih rendah daripada estimator yang tidak bias lainnya?

Bob Jansen

Mungkin, @Bootvis! Apakah Anda memiliki contoh estimator yang tidak konsisten dengan MSE rendah?

MånsT

@ Bootoot: Jika Anda kebetulan melihat komentar ekstensif pada jawaban atas pertanyaan terakhir yang menanyakan tentang konsistensi vs. ketidakberpihakan, Anda akan melihat bahwa penaksir yang konsisten dapat memiliki perilaku liar sewenang-wenang baik dari varians dan bias (bahkan, secara bersamaan!) . Itu harus menghapus semua keraguan tentang komentar Anda.

kardinal

Saya pikir saya punya dari salah satu dari dua buku tetapi ternyata saya juga salah tentang itu! Contohnya tidak dapat ditemukan. @ cardinal: Kedengarannya menarik, akan memeriksanya

Bob Jansen

Jawaban ini menjelaskan masalah yang realistis di mana penduga konsisten alami didominasi (mengungguli semua nilai parameter yang mungkin untuk semua ukuran sampel) oleh penduga tidak konsisten. Dimotivasi oleh gagasan bahwa konsistensi paling cocok untuk kerugian kuadratik, jadi menggunakan kerugian yang sangat berbeda dari itu (seperti kerugian asimetris) harus membuat konsistensi hampir tidak berguna dalam mengevaluasi kinerja estimator.

Misalkan klien Anda ingin memperkirakan rata-rata variabel (diasumsikan memiliki distribusi simetris) dari sampel iid $(x_1, \ldots, x_n)$ , tetapi mereka menolak baik (a) meremehkannya atau (b) terlalu melebih-lebihkan saya t.

Untuk melihat bagaimana ini bisa berjalan, mari kita mengadopsi fungsi kerugian sederhana, memahami bahwa dalam praktiknya kerugian mungkin berbeda dari yang satu ini secara kuantitatif (tetapi tidak secara kualitatif). Pilih satuan pengukuran sehingga adalah estimasi berlebihan terbesar yang dapat ditoleransi dan atur kehilangan estimasi ketika mean sebenarnya adalah untuk sama dengan setiap kali dan sama dengan $1$ $t$ $\mu$ $0$ $\mu \le t\le \mu+1$ $1$ jika tidak.

Perhitungannya khususnya sederhana untuk keluarga distribusi normal dengan mean dan varians , untuk kemudian sampel rata-rata $\mu$ $\sigma^2 \gt 0$ memilikidistribusiNormal. Sampel rata-rata adalah penaksir konsisten, seperti yang diketahui (dan jelas). Menulisuntuk CDF normal baku, hilangnya diharapkan dari mean sampel sama dengan $\bar{x}=\frac{1}{n}\sum_i x_i$ $(\mu, \sigma^2/n)$ $\mu$ $\Phi$ :berasal dari kesempatan 50% bahwa mean sampel akan meremehkan berarti benar dan $1/2 + \Phi(-\sqrt{n}/\sigma)$ $1/2$ berasal dari kemungkinan melebih-lebihkan mean yang sebenarnya lebih dari. $\Phi(-\sqrt{n}/\sigma)$ $1$

Losses

Kehilangan yang diharapkan dari sama dengan area biru di bawah standar PDF normal ini. Area merah memberikan perkiraan kehilangan penduga alternatif, di bawah ini. Mereka berbeda dengan mengganti area biru pekat antara $\bar{x}$ danoleh area merah solid yang lebih kecil antara $-\sqrt{n}/(2\sigma)$ $0$ dan $\sqrt{n}/(2\sigma)$ . Perbedaan itu tumbuh denganmeningkatnya. $\sqrt{n}/\sigma$ $n$

$\bar{x}+1/2$ $2\Phi(-\sqrt{n}/(2\sigma))$ $1/2$ $0$ $n$ $n$ $\mu+1/2 \ne \mu$

Loss functions

$\bar{x}$ $\bar{x}+1/2$ $n$

whuber
sumber

L_{2}

$L_2$

L_{2}

$L_2$

@ Macro Pemikiran ini agak tidak langsung dan tidak dimaksudkan untuk menjadi keras tapi saya percaya itu alami: kerugian kuadratik menyiratkan meminimalkan varians yang (melalui Chebyshev) mengarah pada konvergensi dalam probabilitas. Karenanya, heuristik untuk menemukan sampel tandingan harus fokus pada kerugian yang jauh dari kuadrat sehingga manipulasi semacam itu tidak berhasil.

Whuber

Saya tidak mengerti dasar dari komentar Anda, @Michael: lihat gambar terakhir. Kerugian yang diperkirakan untuk estimator konsisten berkurang menjadi

1 / 2

$1/2$ sedangkan estimator yang tidak konsisten berkurang (secara eksponensial) menjadi

0

$0$ : dengan demikian secara eksponensial lebih baik daripada yang konsisten seperti

n

$n$ tumbuh besar.

Whuber

@ Michael OKE, terima kasih sudah menjelaskannya. Dalam konteks ini, dengan kerugian non-kuadrat, "keuntungan" tidak dinyatakan sebagai bias. Orang mungkin mengkritik fungsi kerugian ini, tetapi saya tidak ingin langsung menolaknya: ia memodelkan situasi di mana, misalnya, data pengukuran dari barang yang diproduksi dengan toleransi tertentu dan itu akan menjadi bencana (seperti pada kegagalan Shuttle o-ring) atau kebangkrutan bisnis) karena alasan sebenarnya berada di luar toleransi itu.

whuber

(+1) Jawaban bagus, @whuber! Saya terutama suka itu tidak terasa terlalu patologis - saya bisa memikirkan banyak situasi di mana jenis kerugian ini akan berlaku.

MånsT

Apakah penaksir yang tidak konsisten lebih disukai?

Jawaban: