Regresi linier dengan kesalahan Laplace

Pertimbangkan model regresi linier: mana \ varepsilon _i \ sim \ mathcal L (0, b) , yaitu , Distribusi Laplace dengan 0 mean dan parameter skala b , semuanya saling independen. Pertimbangkan estimasi kemungkinan maksimum untuk parameter yang tidak diketahui \ boldsymbol \ beta : - \ log p (\ mathbf y \ mid \ mathbf X, \ boldsymbol \ beta, b) = n \ log (2b) + \ frac 1b \ sum _ {i = 1} ^ n | \ mathbf x_i \ cdot \ boldsymbol \ beta - y_i | dari mana \ hat {\ boldsymbol \ beta} _ {\ mathrm {ML}} = {\ arg \ min} _ {\ boldsymbol \ beta \ dalam \ mathbb R ^ m} \ jumlah _ {i = 1} ^ n | \ mathbf x_i \ cdot \ boldsymbol \ beta - y_i |

$$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$$ $\varepsilon _i \sim \mathcal L(0, b)$$0$$b$$\boldsymbol \beta$ $$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$$ $$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$$

Bagaimana seseorang dapat menemukan distribusi residu $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ dalam model ini?

Sisa (sebenarnya disebut kesalahan) diasumsikan didistribusikan secara acak dengan distribusi eksponensial ganda (distribusi Laplace). Jika Anda memasang titik data x dan y ini, lakukan secara numerik. Anda pertama-tama menghitung beta-hat_ML untuk poin-poin ini secara keseluruhan menggunakan rumus yang Anda pasang di atas. Ini akan menentukan garis melalui titik-titik. Kemudian kurangi nilai y setiap titik dari nilai y garis pada nilai x itu. Ini adalah sisa untuk titik itu. Residu dari semua poin dapat digunakan untuk membuat histogram yang akan memberi Anda distribusi residu.

Ada artikel matematika yang bagus di dalamnya oleh Yang (2014) .

--Lee