OLS BIRU. Tetapi bagaimana jika saya tidak peduli tentang ketidakberpihakan dan linearitas?

13

Teorema Gauss-Markov memberi tahu kita bahwa penaksir OLS adalah penaksir tidak bias linier terbaik untuk model regresi linier.

Tapi seandainya saya tidak peduli tentang linearitas dan ketidakberpihakan. Lalu apakah ada beberapa penaksir (kemungkinan nonlinier / bias) lainnya untuk model regresi linier yang merupakan yang paling efisien berdasarkan asumsi Gauss-Markov atau beberapa asumsi umum lainnya?

Tentu saja ada satu hasil standar: OLS sendiri adalah penaksir terbaik yang tidak bias jika selain asumsi Gauss-Markov kami juga mengasumsikan bahwa kesalahan didistribusikan secara normal. Untuk beberapa distribusi kesalahan tertentu saya dapat menghitung estimator maksimum-likelihood yang sesuai.

Tapi saya bertanya-tanya apakah ada beberapa estimator yang lebih baik daripada OLS dalam beberapa keadaan yang relatif umum?

Jyotirmoy Bhattacharya
sumber

Jawaban:

17

Perkiraan tidak berdasar adalah tipikal dalam kursus statistik pengantar karena mereka adalah: 1) klasik, 2) mudah dianalisis secara matematis. Batas bawah Cramer-Rao adalah salah satu alat utama untuk 2). Jauh dari perkiraan yang tidak bias, ada kemungkinan peningkatan. Trade-variance trade off adalah konsep penting dalam statistik untuk memahami bagaimana estimasi bias menjadi lebih baik daripada estimasi bias.

Sayangnya, penaksir yang bias biasanya lebih sulit untuk dianalisis. Dalam regresi, sebagian besar penelitian dalam 40 tahun terakhir adalah tentang estimasi bias. Ini dimulai dengan regresi ridge (Hoerl dan Kennard, 1970). Lihat Frank dan Friedman (1996) dan Burr and Fry (2005) untuk beberapa ulasan dan wawasan.

Tradeoff bias-varians menjadi lebih penting dalam dimensi tinggi, di mana jumlah variabelnya besar. Charles Stein mengejutkan semua orang ketika ia membuktikan bahwa dalam masalah Normal berarti rata-rata sampel tidak lagi dapat diterima jika (lihat Stein, 1956). Penaksir James-Stein (James dan Stein 1961) adalah contoh pertama dari penaksir yang mendominasi mean sampel. Namun, itu juga tidak bisa diterima.p3

Bagian penting dari masalah bias-varians adalah menentukan bagaimana bias harus ditukar. Tidak ada penaksir tunggal "terbaik" . Sparsity telah menjadi bagian penting dari penelitian dalam dekade terakhir. Lihat Hesterberg et al. (2008) untuk tinjauan parsial.

Y

vqv
sumber
1
@ chl diperbantukan. Ikhtisar hebat.
mpiktas
1
Salah satu penaksir masuk favorit saya: satu titik yang dipilih secara acak dari ruang parameter yang bukan merupakan nilai yang tidak mungkin :)
probabilityislogic
8

Saya tidak tahu apakah Anda setuju dengan Bayes Estimate? Jika ya, maka tergantung pada fungsi Kerugian Anda dapat memperoleh Estimasi Bayes yang berbeda. Teorema oleh Blackwell menyatakan bahwa Estimasi Bayes tidak pernah bias. Argumen teoretik keputusan menyatakan bahwa setiap aturan yang dapat diterima ((yaitu atau setiap aturan lain yang dibandingkan, ada nilai parameter yang risiko aturan saat ini (secara ketat) kurang dari risiko aturan yang menjadi aturannya. dibandingkan)) adalah aturan (umum) Bayes.

Estimator James-Stein adalah kelas lain dari estimator (yang dapat diturunkan dengan metode Bayes tanpa gejala) yang lebih baik daripada OLS dalam banyak kasus.

OLS dapat diterima dalam banyak situasi dan Pengukur James-Stein adalah contohnya. (Juga disebut paradoks Stein).

suncoolsu
sumber
Terima kasih untuk petunjuknya. Anda harus mengunjungi perpustakaan untuk memahami semuanya.
Jyotirmoy Bhattacharya
1
@suncoolsu, itu bukan definisi umum dari penerimaan. Yang Anda berikan adalah (jauh) lebih kuat. Estimator yang dapat diterima adalah yang tidak didominasi secara seragam, yaitu, untuk setiap aturan lain yang dibandingkan, ada nilai parameter yang risiko aturan saat ini (ketat) kurang dari risiko aturan yang menentangnya. itu dibandingkan. Sebaliknya, estimator yang tidak dapat diterima adalah estimator yang (lemah) didominasi oleh beberapa estimator lain untuk setiap nilai parameter dan didominasi secara ketat untuk setidaknya satu nilai oleh estimator yang sama.
kardinal
@ cardinal Yup. Kamu benar. Saya akan memperbaikinya.
suncoolsu
@kardinal. Menggunakan matematika jauh lebih mudah daripada menyederhanakannya dalam bahasa Inggris. Tapi itu hanya aku. Terima kasih atas koreksi @cardinal
suncoolsu
1
@suncoolsu tidak memihak asimptotik sangat berbeda dari rasa biasa "tidak memihak". Setiap perkiraan yang masuk akal harus tidak memihak asimtotik. Satu lagi catatan: bukankah seharusnya pernyataan tentang estimator yang dapat diterima menjadi sebaliknya? yaitu setiap estimator yang dapat diterima adalah generalisasi Bayes.
vqv
4

Ada kertas ulasan bagus oleh Kay dan Eldar tentang estimasi bias untuk tujuan menemukan estimator dengan kesalahan kuadrat rata-rata minimum.

Robby McKilliam
sumber