MLE vs kuadrat terkecil dalam distribusi probabilitas pas

18

Kesan yang saya dapat, berdasarkan beberapa makalah, buku, dan artikel yang saya baca, adalah cara yang disarankan untuk menyesuaikan distribusi probabilitas pada set data adalah dengan menggunakan estimasi kemungkinan maksimum (MLE). Namun, sebagai seorang fisikawan, cara yang lebih intuitif adalah dengan menyesuaikan pdf model dengan pdf empiris data menggunakan kuadrat terkecil. Lalu mengapa MLE lebih baik daripada kuadrat terkecil dalam distribusi probabilitas pas? Dapatkah seseorang tolong tunjukkan saya pada makalah / buku ilmiah yang menjawab pertanyaan ini?

Firasat saya adalah karena MLE tidak menganggap model noise dan "noise" di pdf empiris heteroscedastic dan tidak normal.

Christian Alis
sumber

Jawaban:

2

Salah satu cara yang berguna untuk memikirkan hal ini adalah untuk mencatat bahwa ada kasus-kasus di mana kuadrat terkecil dan MLE adalah sama, misalnya memperkirakan parameter di mana elemen acak memiliki distribusi normal. Jadi pada kenyataannya, daripada (seperti yang Anda berspekulasi) bahwa MLE tidak mengasumsikan model kebisingan, apa yang terjadi adalah bahwa ia mengasumsikan ada suara acak, tetapi mengambil pandangan yang lebih canggih tentang bagaimana itu dibentuk daripada mengasumsikannya. memiliki distribusi normal.

Setiap buku teks tentang inferensi statistik akan membahas sifat-sifat MLE yang baik terkait dengan efisiensi dan konsistensi (tetapi tidak selalu bias). MLE juga memiliki sifat baik sebagai normal asimptotik sendiri di bawah serangkaian kondisi yang masuk akal.

Peter Ellis
sumber
apa yang saya maksud dengan "tidak mengasumsikan model noise acak" adalah bahwa ia tidak menganggap noise memiliki beberapa distribusi tertentu misalnya, normal. Bisakah Anda menunjukkan buku yang membahas estimasi parameter dengan memasang PDF menggunakan kuadrat terkecil? Buku-buku yang saya temukan hanya membahas MLE (dan kadang-kadang, metode momen).
Christian Alis
Agar sesuai dengan MLE, Anda masih perlu mengasumsikan distribusi yang pasti, tetapi Anda memiliki pilihan yang lebih luas dari biasanya. Hanya untuk memilih buku pertama yang membahas keduanya, saya memiliki Garthwaite, Jolliffe dan Jones Statistics Inference (buku teks uni tahun kedua yang cukup standar) yang membahas kuadrat terkecil serta metode momen dan metode Chi square minimum sebagai alternatif. untuk MLE.
Peter Ellis