Regresi linier: apakah ada distribusi tidak normal yang memberikan identitas OLS dan MLE?

13

Pertanyaan ini terinspirasi dari diskusi panjang dalam komentar di sini: Bagaimana regresi linier menggunakan distribusi normal?

Dalam model regresi linier biasa, untuk kesederhanaan di sini ditulis dengan hanya satu prediktor:

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ mana

x_{i}

$x_i$ dikenal konstanta dan

ϵ_{i}

$\epsilon_i$ adalah istilah kesalahan independen nol-rata. Jika kita selain mengasumsikan distribusi normal untuk kesalahan, maka biasanya kuadrat penduga dan estimator maksimum kemungkinan

β_{0}, β_{1}

$\beta_0, \beta_1$ adalah identik.

Jadi pertanyaan mudah saya: apakah ada distribusi lain untuk istilah kesalahan sedemikian rupa sehingga mle identik dengan estimator squaeres paling biasa? Implikasi yang satu mudah ditunjukkan, yang lain tidak.

regression normal-distribution mathematical-statistics maximum-likelihood least-squares kjetil b halvorsen
sumber

1

(+1) Ini harus menjadi distribusi yang berpusat di sekitar nol, dan tampaknya akan membantu jika itu adalah yang simetris. Beberapa kandidat yang datang ke pikiran, seperti distribusi t-atau Laplace tampaknya tidak melakukan trik seperti MLE, bahkan dalam kasus hanya konstan, tidak tersedia dalam bentuk tertutup atau diberikan oleh median, masing-masing.

Christoph Hanck

lihat juga stats.stackexchange.com/questions/99014/… , sepertinya hanya ada begitu banyak yang bisa ditemukan

Christoph Hanck

Saya yakin jawabannya tidak. Mungkin sulit untuk menulis bukti yang keras.

Gordon Smyth

11

Dalam estimasi kemungkinan maksimum, kami menghitung

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

hubungan terakhir dengan mempertimbangkan struktur linearitas dari persamaan regresi.

Sebagai perbandingan, penaksir OLS memenuhi

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

Untuk mendapatkan ekspresi aljabar identik untuk koefisien kemiringan, kita harus memiliki kerapatan untuk istilah kesalahan sehingga

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

Ini adalah persamaan diferensial dari bentuk $y' = \pm\; xy$ yang punya solusi

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

Setiap fungsi yang memiliki kernel ini dan terintegrasi ke kesatuan atas domain yang sesuai, akan membuat MLE dan OLS untuk koefisien kemiringan identik. Yaitu yang kita cari

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

$g$

Pasti. Tetapi satu hal lagi yang harus dipertimbangkan adalah sebagai berikut: jika seseorang menggunakan tanda tambah dalam eksponen, dan dukungan simetris sekitar nol misalnya, seseorang akan mendapatkan kepadatan yang memiliki minimum unik di tengah, dan dua maksimum lokal di batas-batas dukungan.

Alecos Papadopoulos
sumber

Jawaban bagus (+1), tetapi jika seseorang menggunakan tanda tambah pada fungsi, apakah ini bahkan kepadatan? Akan muncul kemudian bahwa fungsi memiliki integral tak terbatas dan dengan demikian tidak dapat dinormalisasi ke fungsi kepadatan. Jika itu masalahnya, kita hanya memiliki distribusi normal.

Pasang kembali Monica

1

(a, b)

$(a,b)$

Itu benar - saya berasumsi itu.

Pasang kembali Monica

5

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$

f_{0} (y | x)

$f_0(y|x)$

(β_{0}, β_{1})

$(\beta_0,\beta_1)$

$\mathbf{y}$

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$

h (\cdot)

$h(\cdot)$

ϵ_{i}

$\epsilon_i$

Xi'an
sumber

1

Ini tidak terlihat benar bagi saya. Jika Anda menggunakan distribusi simetris bola yang berbeda, bukankah itu mengarah pada minimalisasi fungsi norma yang berbeda dari kuadrat (sehingga tidak menjadi estimasi kuadrat-terkecil)?

Pasang kembali Monica

1

Saya tidak tahu tentang pertanyaan ini sampai @ Xi'an baru saja diperbarui dengan jawaban. Ada solusi yang lebih umum. Distribusi keluarga eksponensial dengan beberapa parameter tetap menghasilkan divergensi Bregman. Untuk distribusi seperti itu artinya adalah minimizer. OLS minimizer juga berarti. Oleh karena itu untuk semua distribusi seperti itu, mereka harus bertepatan ketika fungsional linier dikaitkan dengan parameter rata-rata.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

Cagdas Ozgenc
sumber

Regresi linier: apakah ada distribusi tidak normal yang memberikan identitas OLS dan MLE?

Jawaban: