Bagaimana estimasi kemungkinan maksimum memiliki perkiraan distribusi normal?

Saya telah membaca tentang MLE sebagai metode untuk menghasilkan distribusi yang sesuai.

Saya menemukan sebuah pernyataan yang mengatakan bahwa perkiraan kemungkinan maksimum "memiliki perkiraan distribusi normal."

Apakah ini berarti bahwa jika saya menerapkan MLE berulang kali pada data saya dan keluarga distribusi yang saya coba cocokkan, model yang saya dapatkan akan didistribusikan secara normal? Bagaimana tepatnya urutan distribusi memiliki distribusi?

Estimator adalah statistik, dan statistik memiliki distribusi sampling (yaitu, kita berbicara tentang situasi di mana Anda terus menggambar sampel dengan ukuran yang sama dan melihat distribusi perkiraan yang Anda dapatkan, satu untuk setiap sampel).

Kutipan mengacu pada distribusi MLE sebagai ukuran sampel mendekati tak terbatas.

Jadi mari kita perhatikan contoh eksplisit, parameter dari distribusi eksponensial (menggunakan parameterisasi skala, bukan parameterisasi laju).

$\hat \mu = \bar x$$n$$\bar X$

Jika kita mengambil sampel berulang, masing-masing ukuran 1, kepadatan hasil dari sampel berarti diberikan di petak kiri atas. Jika kita mengambil sampel berulang, masing-masing ukuran 2, kepadatan hasil dari sampel berarti diberikan di petak kanan atas; pada saat n = 25, di kanan bawah, distribusi rata-rata sampel sudah mulai terlihat jauh lebih normal.

$1/\bar X$$\lambda=1/\mu$

Sekarang pertimbangkan parameter bentuk distribusi gamma dengan rata-rata skala yang diketahui (di sini menggunakan parameterisasi rata-rata & bentuk daripada skala & bentuk).

Estimator tidak berbentuk tertutup dalam kasus ini, dan CLT tidak berlaku untuk itu (sekali lagi, setidaknya tidak secara langsung *), namun demikian argmax dari fungsi kemungkinan adalah MLE. Saat Anda mengambil sampel yang lebih besar dan lebih besar, distribusi pengambilan sampel dari estimasi parameter bentuk akan menjadi lebih normal.

$n$

-

$\hat{\theta}$$\hat{\theta}$

Perhatikan juga bahwa efek yang kita lihat ketika kita melihat sampel kecil (setidaknya dibandingkan dengan tak terhingga, setidaknya) - bahwa perkembangan teratur menuju normalitas di berbagai situasi, seperti yang kita lihat dimotivasi oleh plot di atas - akan menyarankan bahwa jika kami menganggap cdf dari statistik standar, mungkin ada versi sesuatu seperti ketidakseimbangan Berry Esseen berdasarkan pendekatan yang mirip dengan cara menggunakan argumen CLT dengan MLE yang akan memberikan batasan pada seberapa lambat distribusi sampel dapat mendekati normalitas. Saya belum pernah melihat hal seperti itu, tetapi tidak mengejutkan saya menemukan bahwa itu telah dilakukan.