Saya tahu untuk masalah reguler, jika kita memiliki penaksir tidak bias reguler terbaik, itu harus penaksir kemungkinan maksimum (MLE). Tetapi secara umum, jika kita memiliki MLE yang tidak bias, apakah itu juga akan menjadi penaksir tidak bias yang terbaik (atau mungkin saya harus menyebutnya UMVUE, asalkan memiliki varian terkecil)?
22
Jawaban:
Menurut pendapat saya, pertanyaan tidak benar-benar koheren dalam maksimalisasi kemungkinan dan unbiasedness tidak akur, jika hanya karena MLE adalah equivariant , yaitu transformasi dari estimator adalah estimator dari transformasi parameter, sementara ketidakberpihakan tidak berdiri di bawah transformasi non-linear. Oleh karena itu, penaksir kemungkinan maksimum hampir tidak pernah tidak memihak, jika "hampir" dipertimbangkan pada kisaran semua parameter yang mungkin.
Namun, ada jawaban yang lebih langsung untuk pertanyaan: ketika mempertimbangkan estimasi varians Normal, , UMVUE dari adalah sedangkan MLE dari adalah Ergo, mereka berbeda. Ini menyiratkan bahwaσ2 σ2
tidak berlaku secara umum.
Catat lebih jauh bahwa, bahkan ketika ada penduga yang tidak bias dari suatu parameter , tidak perlu selalu penaksir varians minimum yang tidak bias terbaik (UNMVUE).θ
sumber
Jika ada statistik yang cukup lengkap, ya .
Bukti:
Jadi MLE yang tidak bias adalah yang terbaik selama statistik yang cukup lengkap ada.
Tetapi sebenarnya hasil ini hampir tidak memiliki kasus aplikasi karena statistik yang cukup lengkap hampir tidak pernah ada. Itu karena statistik yang cukup lengkap ada (pada dasarnya) hanya untuk keluarga eksponensial di mana MLE paling sering bias (kecuali parameter lokasi dari Gaussians).
Jadi jawaban sebenarnya sebenarnya tidak .
sumber
Varians asimptotik MLE adalah UMVUE yaitu mencapai cramer rao batas bawah tetapi varian terbatas mungkin bukan UMVUE untuk memastikan bahwa penaksir UMVUE itu harus cukup dan melengkapi statistik atau fungsi statistik apa pun.
sumber
Singkatnya, estimator adalah UMVUE, jika tidak bias dan fungsi statistik yang lengkap dan memadai. (Lihat Rao-Blackwell dan Scheffe)
sumber