Apa kisaran khas dari nilai yang mungkin untuk parameter penyusutan dalam regresi yang dihukum?

16

Dalam laso atau regresi ridge, kita harus menentukan parameter penyusutan, sering disebut dengan atau . Nilai ini sering dipilih melalui validasi silang dengan memeriksa sekelompok nilai yang berbeda pada data pelatihan dan melihat mana yang menghasilkan yang terbaik misalnya pada data uji. Berapa kisaran nilai yang harus diperiksa? Apakah itu ?λαR2(0,1)

rhombidodecahedron
sumber

Jawaban:

5

Anda tidak perlu repot. Dalam sebagian besar paket (seperti glmnet) jika Anda tidak menentukan , paket perangkat lunak menghasilkan urutannya sendiri (yang sering disarankan). Alasan saya menekankan jawaban ini adalah bahwa selama menjalankan LASSO, solver menghasilkan urutan λ , jadi meskipun mungkin berlawanan dengan intuisi, memberikan nilai λ tunggal dapat memperlambat solver secara signifikan (Ketika Anda memberikan parameter yang tepat, solver akan menggunakan menyelesaikan program semi-pasti yang bisa lambat untuk kasus-kasus yang 'sederhana'.)λλλ

λ[0,[λ

Sid
sumber
4
Hai Sid, OP tampaknya menyadari fakta yang Anda sebutkan di posting Anda. Tampaknya juga tidak menjawab pertanyaan. :-)
kardinal