Menggunakan MLE vs OLS

13

Kapan lebih baik menggunakan Estimasi Kemungkinan Maksimum alih-alih Kuadrat Terkecil Biasa? Apa kekuatan dan keterbatasan masing-masing? Saya mencoba untuk mengumpulkan pengetahuan praktis tentang di mana harus menggunakan masing-masing dalam situasi umum.

regression maximum-likelihood least-squares pengguna38133
sumber

Jawaban:

1

Seperti yang dijelaskan di sini , OLS hanyalah contoh khusus MLE. Berikut ini adalah pertanyaan terkait erat, dengan derivasi OLS dalam hal MLE.

Distribusi bersyarat sesuai dengan model derau Anda (untuk OLS: Gaussian dan distribusi yang sama untuk semua input). Ada pilihan lain (t-Siswa untuk berurusan dengan outlier, atau membiarkan distribusi noise bergantung pada input )

jpmuc
sumber
(-1) Tidak benar siswa itu tdapat diandalkan untuk berurusan dengan pencilan . Lihat contoh di sini atau bab 2 buku teks ini untuk penjelasan lebih lanjut.
user603
6
OLS adalah metode aproksimasi / estimasi jarak-meminimalkan, sedangkan ML adalah metode maksimalisasi "kemungkinan". OLS tidak memerlukan asumsi stokastik untuk memberikan solusi meminimalkan jaraknya, sementara ML mulai dengan mengasumsikan kepadatan probabilitas gabungan / fungsi massa. Fakta bahwa dalam beberapa keadaan keduanya memberikan solusi yang sama, sama sekali tidak menjadikan keduanya satu contoh khusus dari yang lain.
Alecos Papadopoulos