Mengapa metode Least-Squares dan Maximum-Likelihood tidak setara ketika kesalahan tidak terdistribusi secara normal?

Judul mengatakan itu semua. Saya mengerti bahwa Least-Squares dan Maximum-Likelihood akan memberikan hasil yang sama untuk koefisien regresi jika kesalahan model terdistribusi secara normal. Tetapi, apa yang terjadi jika kesalahan tidak terdistribusi secara normal? Mengapa kedua metode ini tidak lagi setara?

Jawaban singkat

Densitas probabilitas variabel multistarian Gaussian terdistribusi , dengan rata-rata terkait dengan kuadrat euclidean jarak antara mean dan variabel ( ), atau dengan kata lain jumlah kuadrat.$x=(x_1, x_2,...,x_n)$$\mu=(\mu_1,\mu_2,...,\mu_n)$$\vert \mu-x \vert_2^2$

---

Jawaban panjang

Jika Anda mengalikan banyak distribusi Gaussian untuk kesalahan Anda, di mana Anda mengasumsikan penyimpangan yang sama, maka Anda mendapatkan jumlah kuadrat.$n$

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

atau dalam bentuk logaritmik yang nyaman:

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

Jadi mengoptimalkan untuk meminimalkan jumlah kuadrat sama dengan memaksimalkan kemungkinan (log) (mis. Produk dari beberapa distribusi Gaussian, atau distribusi Gaussian multivarian).$\mu$

Ini adalah kotak bersarang dari perbedaan di dalam struktur eksponensial, , yang tidak dimiliki distribusi lain.$(\mu-x)$$exp\left[ (x_i-\mu)^2 \right]$

---

Bandingkan misalnya dengan kasus untuk distribusi Poisson

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

yang memiliki maksimum ketika hal-hal berikut diminimalkan:

$$\sum \mu_j -log(\mu_j) x_{ij}$$

yang merupakan binatang yang berbeda.

---

Selain itu (sejarah)

Sejarah distribusi normal (mengabaikan deMoivre sampai ke distribusi ini sebagai perkiraan untuk distribusi binomial) sebenarnya sebagai penemuan distribusi yang membuat MLE sesuai dengan metode kuadrat terkecil (daripada metode kuadrat terkecil yang menjadi metode yang dapat mengekspresikan MLE dari distribusi normal, pertama datang metode kuadrat terkecil, kedua datang distribusi Gaussian)

Perhatikan bahwa Gauss, menghubungkan 'metode kemungkinan maksimum' dengan 'metode kuadrat terkecil', muncul dengan 'distribusi Gaussian', , sebagai satu-satunya distribusi kesalahan yang mengarahkan kita ke buat hubungan ini antara kedua metode.$e^{-x^2}$

Dari terjemahan Charles Henry Davis (Teori gerakan benda-benda langit yang bergerak di sekitar matahari di bagian kerucut. Terjemahan karya Gauss "Theoria motus," dengan lampiran) ...

Gauss mendefinisikan:

Dengan demikian, probabilitas untuk ditugaskan ke setiap kesalahan akan diekspresikan oleh fungsi yang akan kita tunjukkan dengan .$\Delta$$\Delta$$\psi \Delta$

^{(Italisasi dilakukan oleh saya)}

Dan berlanjut ( dalam bagian 177 hlm. 258 ):

... dari mana dapat disimpulkan bahwa harus kuantitas yang konstan. yang akan kami tunjukkan dengan . Karenanya kita memiliki menunjukkan basis logaritma hiperbolik oleh dan mengasumsikan$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

berakhir (setelah normalisasi dan menyadari ) pada$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

Ditulis oleh StackExchangeStrike

Karena MLE berasal dari asumsi residu yang terdistribusi normal.

Catat itu

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

Tidak memiliki arti probabilistik : cukup temukan yang meminimalkan fungsi kerugian kuadrat. Semuanya deterministik, dan tidak ada komponen acak di sana.$\beta$

Di mana konsep probabilitas dan kemungkinan datang, adalah kita asumsikan

$$y=X\beta + \epsilon$$

Di mana kami mempertimbangkan sebagai variabel acak, dan didistribusikan secara normal.$y$$\epsilon$

Kuadrat terkecil dan kesesuaian kemungkinan (gaussian) maksimum selalu sama. Artinya, mereka diminimalkan oleh set koefisien yang sama.

Mengubah asumsi kesalahan mengubah fungsi kemungkinan Anda (memaksimalkan kemungkinan model sama dengan memaksimalkan kemungkinan istilah kesalahan), dan karenanya fungsi tidak akan lagi diminimalkan oleh set koefisien yang sama.

Jadi dalam prakteknya keduanya sama, tetapi dalam teori, ketika Anda memaksimalkan kemungkinan yang berbeda, Anda akan mendapatkan jawaban yang berbeda dari Least-square

Contoh konkret: Misalkan kita mengambil fungsi kesalahan sederhana p (1) = .9, p (-9) = .10. Jika kita mengambil dua poin, maka LS hanya akan mengambil garis melalui mereka. ML, di sisi lain, akan mengasumsikan bahwa kedua poin adalah satu unit terlalu tinggi, dan dengan demikian akan mengambil garis melalui poin yang bergeser ke bawah pada unit.