Apa arti jalur regularisasi di LASSO atau masalah sparsity terkait?

8

Jika kita memilih nilai parameter yang berbeda λ, kita bisa mendapatkan solusi dengan tingkat sparsity yang berbeda. Apakah ini berarti jalur regularisasi adalah bagaimana memilih koordinat yang bisa mendapatkan konvergensi lebih cepat? Saya agak bingung walaupun saya sering mendengar tentang sparsity. Selain itu, dapatkah Anda memberikan deskripsi sederhana tentang solusi LASSOmasalah yang ada?

pertambangan
sumber

Jawaban:

13

Katakanlah Anda memiliki model p variabel prediktor: x1,x2,xp. Setλ ke nilai awal, dan perkirakan koefisien Anda β1,β2,βp. Koefisien ini dapat dianggap sebagai titik masukp-Dimensi ruang. *

Ulangi prosedur untuk nilai Anda selanjutnya dari λ, dan dapatkan satu set taksiran lagi. Ini membentuk titik lain dipruang -dimensi. Lakukan ini untuk Anda semuaλnilai, dan Anda akan mendapatkan urutan poin tersebut. Urutan ini adalah jalur regularisasi.


* Ada juga istilah intersep β0 jadi semua ini secara teknis terjadi di (p+1)ruang -dimensi, tapi tidak apa-apa. Bagaimanapun, sebagian besar program jaring / laso elastis akan membakukan variabel sebelum memasang model, jadiβ0 akan selalu menjadi 0.

Hong Ooi
sumber
4

Penjelasan grafis dari solusi Lasso dapat ditemukan pada halaman 69-73 dari teks "Elemen Pembelajaran Statistik" (versi online di sini ).

drollix
sumber
1
Terima kasih Pak! Iya! Ini Fig. 3.10adalah jalur regularisasi laso.
pertambangan