Modifikasi Lasso untuk LARS

12

Saya mencoba memahami bagaimana algoritma Lars dapat dimodifikasi untuk menghasilkan Lasso. Meskipun saya mengerti LARS, saya tidak dapat melihat modifikasi Lasso dari kertas oleh Tibshirani et al. Khususnya saya tidak melihat mengapa kondisi tanda bahwa tanda koordinat non-nol harus setuju dengan tanda korelasi saat ini. Dapatkah seseorang tolong bantu saya dengan ini. Saya kira saya sedang mencari bukti matematika menggunakan kondisi KKT pada masalah norma L-1 asli yaitu Lasso. Terimakasih banyak!

lasso pemula
sumber

Apakah Anda mengacu pada stanford.edu Efron et al / ~ hastie/Papers/LARS/LeastAngle_2002.pdf ? Itu membuktikan hal ini dalam Lemma 8 bagian 5. Atau apakah saya salah memahami pertanyaan Anda?

Peter Ellis

1

Saya juga tidak yakin tentang pertanyaan itu, tetapi sebenarnya, Lasso adalah penyederhanaan Lars: Untuk Lasso, Anda hanya mencari korelasi positif antara fungsi sisa dan basis saat ini, karena hanya korelasi positif yang mengarah ke positif (~ non-negatif) koefisien.

Tn. White

2

Misalkan (ukuran ) menunjukkan satu set input terstandarisasi, (ukuran ) respons terpusat, (ukuran ) bobot regresi dan a -tidak ada koefisien penalti. $X$ $n\times p$ $y$ $n \times 1$ $\beta$ $p \times 1$ $\lambda > 0$ $l_1$

Masalah LASSO kemudian menulis

\begin{aligned} β^{*} & = {argmin}_{β} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \end{aligned}

$\begin{align} \beta^* &= \text{argmin}_{\beta}\ L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \end{align}$

Memecahkan ini untuk semua nilai menghasilkan apa yang disebut jalur regularisasi LASSO . $\lambda > 0$ $\beta^*(\lambda)$

Untuk nilai tetap dari koefisien penalti (yaitu jumlah tetap dari prediktor aktif = langkah tetap dari algoritma LARS), dimungkinkan untuk menunjukkan bahwa memenuhi (cukup tulis kondisi stationaritas KKT seperti dalam hal ini jawaban ) $\lambda^*$ $\beta^*$

λ^{*} = 2 sign (β_{a}^{*}) X_{a}^{T} (y - X β^{*}), \forall a \in A

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T (y - X \beta^*),\ \ \ \forall a \in A$

dengan mewakili sekumpulan prediktor aktif. $A$

Karena harus positif (ini adalah koefisien hukuman), jelas bahwa tanda (bobot bukan nol maka prediktor aktif) harus sama dengan yaitu korelasi dengan sisa regresi saat ini. $\lambda^*$ $\beta_a^*$ $X_a^T (y - X\beta^*) = X_{a}^T r$

Jumlah
sumber

1

@ Mr._White memberikan penjelasan intuitif tentang perbedaan besar antara LARS dan Lasso; satu-satunya poin yang akan saya tambahkan adalah bahwa laso adalah (semacam) seperti pendekatan seleksi mundur, merobohkan suatu istilah pada setiap langkah selama ada istilah untuk yang mana dari mereka ("dinormalisasi" selama ) ada korelasi. LARS menyimpan semuanya di sana - pada dasarnya melakukan laso dalam setiap urutan yang memungkinkan. Itu berarti bahwa dalam laso, setiap iterasi tergantung pada istilah mana yang telah dihapus. $X \times X$

Implementasi Effron menggambarkan perbedaan yang sangat baik: lars . R dalam pkg sumber untuk lars . Perhatikan langkah pembaruan matriks matriks dan mulai dari baris 180, dan menjatuhkan istilah yang . Saya bisa membayangkan beberapa situasi aneh yang muncul dari spasi mana istilahnya tidak seimbang ( dan sangat berkorelasi tetapi tidak dengan yang lain, dengan tetapi tidak dengan yang lain, dll.) Urutan seleksi bisa sangat bias. $X \times X$ $\zeta$ $\zeta_{min} < \zeta_{current}$ $A$ $x_1$ $x_2$ $x_2$ $x_3$

egbutter
sumber

Modifikasi Lasso untuk LARS

Jawaban: