Mengapa “lasso santai” berbeda dari laso standar?

Jika kita mulai dengan satu set data , menerapkan Lasso untuk itu dan mendapatkan solusi β L , kita dapat menerapkan Lasso lagi ke set data ( X S , Y ) , di mana S adalah himpunan bukan-nol indeks β L , untuk mendapatkan solusi, β R L , disebut solusi 'santai LASSO' (koreksi saya jika saya salah!). Solusi β L harus memenuhi kondisi Karush – Kuhn – Tucker (KKT) untuk ( X , Y $(X,Y)$$\beta^L$$(X_S, Y)$$S$$\beta^L$$\beta^{RL}$$\beta^L$$(X,Y)$tetapi, mengingat bentuk kondisi KKT untuk , bukankah ini juga memuaskan? Jika demikian, apa gunanya melakukan LASSO untuk kedua kalinya?$(X_S, Y)$

Pertanyaan ini merupakan tindak lanjut dari: Keuntungan melakukan "laso ganda" atau melakukan laso dua kali?

Dari definisi 1 Meinshausen (2007) , ada dua parameter yang mengendalikan solusi Lasso yang rileks.

Yang pertama, , mengontrol pemilihan variabel, sedangkan yang kedua, ϕ , mengontrol tingkat penyusutan. Ketika ϕ = 1 keduanya Lasso dan santai-Lasso adalah sama (seperti yang Anda katakan!), Tetapi untuk ϕ < 1 Anda mendapatkan solusi dengan koefisien lebih dekat dengan apa yang akan memberikan proyeksi ortogonal pada variabel yang dipilih (jenis soft de-biasing ).$\lambda$$\phi$$\phi= 1$$\phi<1$

Formulasi ini sebenarnya sesuai untuk menyelesaikan dua masalah:

1. $\lambda$
2. $X_S$$X$$\lambda\phi$