OLS vs kemungkinan maksimum dalam distribusi normal dalam regresi linier

8

Saya menemukan bahwa untuk model regresi linier sederhana, baik OLS dan metode kemungkinan maksimum (dengan asumsi distribusi Normal) memberikan output yang sama (nilai parameter). Dari sini, dapatkah kita mengatakan bahwa OLS juga membuat asumsi implisit tentang distribusi Normal atau sebaliknya? Saya tidak tertarik mengapa keduanya menghasilkan nilai yang sama tetapi yang mana yang membuat asumsi yang kurang ketat tentang data?

Neeraj
sumber

Jawaban:

6

OLS tidak membuat asumsi normalitas untuk kesalahan model. OLS dapat digunakan dengan asumsi distribusi yang berbeda dan estimator akan tetap masuk akal sebagai estimator linier tidak bias varians minimum.

Kemungkinan maksimum (ML) juga dapat mengakomodasi distribusi yang berbeda, tetapi distribusinya harus dipilih terlebih dahulu. Jika distribusi aktual tampaknya berbeda dari distribusi yang diasumsikan, estimator ML tidak akan lagi masuk akal sebagai estimator yang memaksimalkan kepadatan probabilitas gabungan dari data.

Dengan demikian kita dapat mengatakan bahwa dalam aplikasi tertentu ML membuat asumsi yang lebih ketat tentang kesalahan model daripada OLS.

Richard Hardy
sumber
Terima kasih @RihchardHardy ..... bisakah Anda menjelaskan apa artinya, "OLS dapat digunakan dengan asumsi distribusi yang berbeda"? Karena sesuai pengetahuan saya, OLS tidak membuat asumsi tentang data, OLS hanya meminimalkan jumlah kuadrat residu.
Neeraj
Kamu benar. Itu dimaksudkan untuk berarti "Terlepas dari asumsi distribusi apa, jika ada, Anda membuat, OLS akan baik-baik saja".
Richard Hardy
@Terima kasih RichardHardy. Ini berarti kemungkinan maksimum sama baiknya dengan asumsi distribusi. Tetapi apakah itu berarti bahwa untuk model regresi linier, OLS selalu lebih baik daripada ML?
Neeraj
1
Mana yang lebih baik tergantung pada fungsi tujuan Anda (atau fungsi kerugian). 1. Jika Anda ingin memaksimalkan kepadatan probabilitas gabungan kesalahan, kemungkinan maksimum adalah pilihan Anda (tetapi Anda harus memeriksa seberapa baik residual model cocok dengan asumsi distribusi). Juga, kemungkinan maksimum masih dapat berfungsi bahkan jika distribusi kesalahan tidak cocok; kata kunci di sini adalah kemungkinan semu maksimum. 2. Jika Anda ingin meminimalkan jumlah residu kuadrat, pilih OLS.
Richard Hardy
1
Saya pikir ini adalah masalah interpretasi. OLS dan MLE memiliki tujuan yang berbeda. Namun, kebetulan OLS dan MLE sama di bawah distribusi normal. Bisakah ini ditafsirkan sebagai OLS tanpa sadar menggunakan asumsi nomitas? Mungkin, tetapi saya tidak akan mengatakannya demikian. OLS tidak didasarkan pada itu juga tidak memiliki tujuan memaksimalkan kemungkinan. Saya akan menyebutnya kebetulan. Secara umum, Anda dapat mengajukan pertanyaan baru daripada mengajukannya di komentar. Komentar idealnya sangat terkait dengan OP atau jawabannya, sementara diskusi yang lebih luas mungkin pantas untuk pertanyaan dan jawaban baru.
Richard Hardy