Saya melihat-lihat literatur tentang regularisasi, dan sering melihat paragraf yang menghubungkan L2 regulatization dengan Gaussian sebelumnya, dan L1 dengan Laplace berpusat pada nol.

Saya tahu bagaimana rupa prior ini, tetapi saya tidak mengerti, bagaimana ini diterjemahkan menjadi, misalnya, bobot dalam model linier. Di L1, jika saya mengerti dengan benar, kami mengharapkan solusi yang jarang, yaitu beberapa bobot akan didorong ke nol. Dan di L2 kita mendapatkan bobot kecil tapi bukan bobot nol.

Tetapi mengapa itu terjadi?

Berikan komentar jika saya perlu memberikan informasi lebih lanjut atau memperjelas cara berpikir saya.

Hubungan distribusi Laplace sebelum dengan median (atau norma L1) ditemukan oleh Laplace sendiri, yang menemukan bahwa menggunakan sebelum Anda memperkirakan median daripada rata-rata seperti dengan distribusi Normal (lihat Stingler, 1986 atau Wikipedia ). Ini berarti bahwa regresi dengan distribusi kesalahan Laplace memperkirakan median (seperti misalnya regresi kuantil), sedangkan kesalahan Normal merujuk pada estimasi OLS.

Priors kuat yang Anda tanyakan dijelaskan juga oleh Tibshirani (1996) yang memperhatikan bahwa regresi Lasso yang kuat dalam pengaturan Bayesian setara dengan menggunakan Laplace sebelumnya. Sebelumnya untuk koefisien dipusatkan di sekitar nol (dengan variabel terpusat) dan memiliki ekor yang luas - sehingga sebagian besar koefisien regresi yang diperkirakan menggunakannya akhirnya benar-benar nol. Ini jelas jika Anda melihat dekat pada gambar di bawah ini, distribusi Laplace memiliki puncak di sekitar nol (ada massa distribusi yang lebih besar), sedangkan distribusi normal lebih tersebar di sekitar nol, sehingga nilai-nilai non-nol memiliki massa probabilitas yang lebih besar. Kemungkinan lain untuk prior kuat adalah Cauchy atau distribusi .$t$

Dengan menggunakan prior seperti itu Anda lebih cenderung berakhir dengan banyak koefisien bernilai nol, beberapa berukuran sedang dan beberapa berukuran besar (ekor panjang), sedangkan dengan Normal sebelum Anda mendapatkan lebih banyak koefisien berukuran sedang yang agak tidak persis nol, tetapi juga tidak jauh dari nol.

(sumber gambar Tibshirani, 1996)

---

Stigler, SM (1986). Sejarah Statistik: Pengukuran Ketidakpastian Sebelum 1900. Cambridge, MA: Belknap Press dari Harvard University Press.

Tibshirani, R. (1996). Penyusutan regresi dan seleksi melalui laso. Jurnal Masyarakat Statistik Kerajaan. Seri B (Metodologi), 267-288.

Gelman, A., Jakulin, A., Pittau, GM, dan Su, Y.-S. (2008). Distribusi prior standar yang lemah untuk informasi logistik dan model regresi lainnya. The Annals of Applied Statistics, 2 (4), 1360-1383.

Norton, RM (1984). Distribusi Eksponensial Ganda: Menggunakan Kalkulus untuk Menemukan Pengukur Kemungkinan Maksimum. The American Statistician, 38 (2): 135-136.

Tampilan sering 👀

Di satu sisi, kita dapat menganggap kedua regularisasi sebagai "menyusut bobot" ; L2 meminimalkan norma Euclidean dari bobot, sedangkan L1 meminimalkan norma Manhattan. Mengikuti garis pemikiran ini, kita dapat beralasan bahwa ekuipotensial L1 dan L2 masing-masing berbentuk bola dan berlian, sehingga L1 lebih cenderung mengarah pada solusi yang jarang, seperti yang diilustrasikan dalam Pengenalan Pola Bishop dan Pembelajaran Mesin :

Tampilan Bayesian 👀

Namun, untuk memahami bagaimana prior berhubungan dengan model linier , kita perlu memahami interpretasi Bayes tentang regresi linier biasa . Blogpost Katherine Bailey adalah bacaan yang sangat baik untuk ini. Singkatnya, kami mengasumsikan kesalahan iid yang didistribusikan secara normal dalam model linier kami

$$\mathbf{y} = \mathbf{\theta}^\top\mathbf{X} + \mathbf\epsilon$$

$N$$y_i, i = 1, 2, \ldots, N$$\epsilon_k\sim \mathcal{N}(0,\sigma)$

$\mathbf{y}$

$$\begin{equation} p(\mathbf{y}|\mathbf{X}, \mathbf{\theta}; \mathbf{\epsilon}) = \mathcal{N}(\mathbf{\theta}^\top\mathbf{X}, \mathbf{\sigma}) \end{equation}$$

Ternyata ... Estimator kemungkinan maksimum identik dengan meminimalkan kesalahan kuadrat antara nilai output yang diprediksi dan yang sebenarnya berdasarkan asumsi normalitas untuk kesalahan tersebut.

$$\begin{align*} {\bf \hat{\theta}_{\text{MLE}}} &= \arg\max_{\bf \theta} \log P(y | \theta) \\ &=\underset{\theta}{\arg\min} \sum_{i=1}^n(y_i - \theta^\top{\mathbf{x}_i})^2 \end{align*}$$

Regularisasi sebagai menempatkan prior pada bobot

Jika kita menempatkan non-seragam sebelum pada bobot regresi linier, estimasi probabilitas a posteriori (MAP) maksimum adalah:

$$\begin{equation*} {\bf \hat{\theta}_{\text{MAP}}} = \arg\max_{\bf \theta} \log P(y | \theta) + \log P(\theta) \end{equation*}$$

$P(\theta)$$\theta$

$P(\theta)$$\theta$

Sekarang kami memiliki pandangan lain tentang mengapa menempatkan Laplace di atas bobot lebih cenderung menyebabkan sparsity: karena distribusi Laplace lebih terkonsentrasi di sekitar nol , bobot kami lebih cenderung menjadi nol.