Masalah laso
βlasso=argminβ∥y−Xβ∥22+α∥β∥1
memiliki solusi bentuk tertutup:
βlassoj=sgn(βLSj)(|βLSj|−α)+
jika
X memiliki kolom ortonormal. Ini ditunjukkan di utas ini:
Penurunan solusi bentuk laso tertutup .
Namun saya tidak mengerti mengapa tidak ada solusi formulir tertutup pada umumnya. Menggunakan subdifferensial saya memperoleh yang berikut.
( X adalah n×p Matriks)
f(β)=∥y−Xβ∥22+α∥β∥1
=∑i=1n(yi−Xiβ)2+α∑j=1p|βj|
(
Xi adalah baris ke-
X dari
XX )
=∑i=1ny2i−2∑i=1nyiXiβ+∑i=1nβTXTiXiβ+α∑j=1p|βj|
⇒∂f∂βj=−2∑i=1nyiXij+2∑i=1nX2ijβj+∂∂βj(α|βj|)
=⎧⎩⎨⎪⎪−2∑ni=1yiXij+2∑ni=1X2ijβj+α for βj>0−2∑ni=1yiXij+2∑ni=1X2ijβj−α for βj<0[−2∑ni=1yiXij−α,−2∑ni=1yiXij+α] for βj=0
Dengan
∂f∂βj=0 kita dapatkan
βj=⎧⎩⎨⎪⎪(2(∑ni=1yiXij)−α)/2∑ni=1X2ij(2(∑ni=1yiXij)+α)/2∑ni=1X2ij0for ∑ni=1yiXij>αfor ∑ni=1yiXij<−α for ∑ni=1yiXij∈[−α,α]
Adakah yang melihat kesalahan saya?
Menjawab:
Jika kita menulis masalah dalam bentuk matriks, kita dapat dengan mudah melihat mengapa solusi bentuk tertutup hanya ada dalam kasus ortonormal dengan XTX=I :
f(β)=∥y−Xβ∥22+α∥β∥1
=yTy−2βTXTy+βTXTXβ+α∥β∥1
⇒∇f(β)=−2XTy+2XTXβ+∇(α|β∥1)
(saya telah mengambil banyak langkah sekaligus di sini. Namun, hingga titik ini sepenuhnya analog dengan derivasi dari solusi kuadrat terkecil. Jadi Anda harus dapat menemukan langkah-langkah yang hilang di sana.)
⇒∂f∂βj=−2XTjy+2(XTX)jβ+∂∂βj(α|βj|)
Dengan ∂f∂βj=0 kita dapatkan
2(XTX)jβ=2XTjy−∂∂βj(α|βj|)
⇔2(XTX)jjβj=2XTjy−∂∂βj(α|βj|)−2∑i=1,i≠jp(XTX)jiβi
Kita dapat melihat sekarang bahwa solusi kami untuk satu bergantung pada semua yang lain sehingga tidak jelas bagaimana untuk melanjutkan dari sini. Jika adalah ortonormal, kami memiliki sehingga pasti ada solusi bentuk tertutup dalam kasus ini.βjβi≠jX2(XTX)jβ=2(I)jβ=2βj
Terima kasih kepada Guðmundur Einarsson untuk jawabannya, yang saya uraikan di sini. Saya harap kali ini benar :-)
Jawaban:
Ini biasanya dilakukan dengan regresi sudut terkecil, Anda dapat menemukan makalah di sini .
Maaf tentang kebingungan saya di awal, saya akan melakukan upaya lain untuk ini.
Jadi setelah perluasan fungsi Anda Anda dapatkanf(β)
Kemudian Anda menghitung turunan parsial sehubungan dengan . Perhatian saya adalah dalam perhitungan Anda tentang turunan parsial dari suku terakhir sebelum 1-norma, yaitu suku kuadrat. Mari kita periksa lebih lanjut. Kami memiliki itu:βj
Jadi sekarang masalah Anda tidak disederhanakan dengan mudah, karena Anda memiliki semua koefisien ada di setiap persamaan.β
Ini tidak menjawab pertanyaan Anda tentang mengapa tidak ada solusi bentuk tertutup dari Lasso, saya mungkin menambahkan sesuatu nanti.
sumber