Teorema Gauss-Markov memberi tahu kita bahwa penaksir OLS adalah penaksir tidak bias linier terbaik untuk model regresi linier.
Tapi seandainya saya tidak peduli tentang linearitas dan ketidakberpihakan. Lalu apakah ada beberapa penaksir (kemungkinan nonlinier / bias) lainnya untuk model regresi linier yang merupakan yang paling efisien berdasarkan asumsi Gauss-Markov atau beberapa asumsi umum lainnya?
Tentu saja ada satu hasil standar: OLS sendiri adalah penaksir terbaik yang tidak bias jika selain asumsi Gauss-Markov kami juga mengasumsikan bahwa kesalahan didistribusikan secara normal. Untuk beberapa distribusi kesalahan tertentu saya dapat menghitung estimator maksimum-likelihood yang sesuai.
Tapi saya bertanya-tanya apakah ada beberapa estimator yang lebih baik daripada OLS dalam beberapa keadaan yang relatif umum?
sumber
Saya tidak tahu apakah Anda setuju dengan Bayes Estimate? Jika ya, maka tergantung pada fungsi Kerugian Anda dapat memperoleh Estimasi Bayes yang berbeda. Teorema oleh Blackwell menyatakan bahwa Estimasi Bayes tidak pernah bias. Argumen teoretik keputusan menyatakan bahwa setiap aturan yang dapat diterima ((yaitu atau setiap aturan lain yang dibandingkan, ada nilai parameter yang risiko aturan saat ini (secara ketat) kurang dari risiko aturan yang menjadi aturannya. dibandingkan)) adalah aturan (umum) Bayes.
Estimator James-Stein adalah kelas lain dari estimator (yang dapat diturunkan dengan metode Bayes tanpa gejala) yang lebih baik daripada OLS dalam banyak kasus.
OLS dapat diterima dalam banyak situasi dan Pengukur James-Stein adalah contohnya. (Juga disebut paradoks Stein).
sumber
Ada kertas ulasan bagus oleh Kay dan Eldar tentang estimasi bias untuk tujuan menemukan estimator dengan kesalahan kuadrat rata-rata minimum.
sumber