Alasan intuitif di balik penaksir kemungkinan maksimum yang bias

Saya bingung tentang penaksir bias kemungkinan maksimum (ML). Matematika dari seluruh konsep cukup jelas bagi saya, tetapi saya tidak dapat menemukan alasan intuitif di baliknya.

Mengingat dataset tertentu yang memiliki sampel dari distribusi, yang dengan sendirinya merupakan fungsi dari parameter yang ingin kami perkirakan, estimator ML menghasilkan nilai untuk parameter yang paling mungkin menghasilkan dataset tersebut.

Saya tidak dapat secara intuitif memahami estimator ML yang bias dalam arti bahwa: bagaimana mungkin nilai yang paling mungkin untuk parameter memprediksi nilai sebenarnya dari parameter dengan bias terhadap nilai yang salah?

estimator ML menghasilkan nilai untuk parameter yang paling mungkin terjadi dalam dataset.

Dengan asumsi tersebut, estimator ML adalah nilai parameter yang memiliki peluang terbaik untuk menghasilkan set data.

Saya tidak bisa secara intuitif memahami estimator ML yang bias dalam arti bahwa "Bagaimana mungkin nilai yang paling mungkin untuk parameter memprediksi nilai sebenarnya dari parameter dengan bias terhadap nilai yang salah?"

Bias adalah tentang ekspektasi distribusi sampling. "Kemungkinan besar menghasilkan data" bukan tentang ekspektasi distribusi sampel. Mengapa mereka diharapkan untuk pergi bersama?

Apa dasar yang mengejutkan mereka tidak perlu berkorespondensi?

Saya sarankan Anda mempertimbangkan beberapa kasus sederhana MLE dan merenungkan bagaimana perbedaan muncul dalam kasus-kasus tertentu.

Sebagai contoh, perhatikan pengamatan pada seragam pada . Pengamatan terbesar adalah (tentu saja) tidak lebih besar dari parameter, sehingga parameter hanya dapat mengambil nilai setidaknya sebesar pengamatan terbesar.$(0,\theta)$

Ketika Anda mempertimbangkan kemungkinan , itu (jelas) lebih besar semakin dekat adalah dengan pengamatan terbesar. Jadi dimaksimalkan pada pengamatan terbesar; itu jelas perkiraan untuk yang memaksimalkan peluang untuk mendapatkan sampel yang Anda dapatkan:$\theta$$\theta$$\theta$

Tetapi di sisi lain itu harus bias, karena pengamatan terbesar jelas (dengan probabilitas 1) lebih kecil dari nilai sebenarnya dari ; setiap perkiraan lain dari belum dikesampingkan oleh sampel itu sendiri harus lebih besar dari itu, dan harus (cukup jelas dalam kasus ini) lebih kecil kemungkinannya untuk menghasilkan sampel.$\theta$$\theta$

Ekspektasi pengamatan terbesar dari adalah , jadi cara biasa untuk unbias adalah dengan mengambil sebagai estimator dari : , di mana adalah observasi terbesar.$U(0,\theta)$$\frac{n}{n+1}$$\theta$$\hat\theta=\frac{n+1}{n}X_{(n)}$$X_{(n)}$

Ini terletak di sebelah kanan MLE, dan karena itu memiliki kemungkinan lebih rendah.

$\beta^{MLE}$ bukan nilai yang paling mungkin dari . Nilai yang paling mungkin adalah itu sendiri. memaksimalkan probabilitas menggambar sampel yang sebenarnya kami dapatkan.$\beta$$\beta$$\beta^{MLE}$

MLE hanya tidak memihak asimptotik, dan seringkali Anda dapat menyesuaikan estimator agar berperilaku lebih baik dalam sampel terbatas. Sebagai contoh, MLE dari varians dari variabel acak adalah salah satu contoh, di mana mengalikannya dengan mentransformasikannya.$\frac{N}{N-1}$

Inilah intuisi saya.

Bias adalah ukuran akurasi , tetapi ada juga gagasan tentang presisi .

Di dunia yang ideal, kita akan mendapatkan perkiraan, yang tepat dan akurat, yaitu selalu menyentuh mata banteng. Sayangnya, di dunia kita yang tidak sempurna, kita harus menyeimbangkan akurasi dan presisi. Kadang-kadang kita mungkin merasa bahwa kita bisa memberikan sedikit akurasi untuk mendapatkan lebih banyak presisi: kita berdagang sepanjang waktu. Oleh karena itu, fakta bahwa estimator itu bias tidak berarti itu buruk: bisa jadi itu lebih tepat.