Untuk masalah laso sedemikian rupa sehingga \ | \ beta \ | _1 \ leq t . Saya sering melihat hasil soft-thresholding \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS}} | - \ gamma) ^ + untuk kasus X ortonormal . Dikatakan bahwa solusinya dapat "dengan mudah ditampilkan" menjadi seperti itu, tetapi saya belum pernah melihat solusi yang berhasil. Adakah yang melihat atau mungkin telah melakukan derivasi?
52
Jawaban:
Ini dapat diserang dengan sejumlah cara, termasuk pendekatan yang cukup ekonomis melalui kondisi Karush – Kuhn – Tucker .
Di bawah ini adalah argumen alternatif yang cukup mendasar.
Solusi kuadrat terkecil untuk desain ortogonal
Misalkan terdiri dari kolom ortogonal. Kemudian, solusi kuadrat-terkecil adalahX
Beberapa masalah setara
Melalui formulir Lagrangian, mudah untuk melihat bahwa masalah yang setara dengan yang dipertimbangkan dalam pertanyaan adalah
Memperluas istilah pertama yang kita dapatkan dan karena tidak mengandung dari variabel yang diminati, kita dapat membuangnya dan mempertimbangkan masalah lain yang setara,12yTy−yTXβ+12βTβ yTy
Memperhatikan bahwa , masalah sebelumnya dapat ditulis ulang sebagaiβ^LS=XTy
Fungsi obyektif kami sekarang adalah jumlah tujuan, masing-masing terkait dengan variabel terpisah , sehingga masing-masing dapat diselesaikan secara individual.βi
Seluruhnya sama dengan jumlah bagian-bagiannya
Perbaiki tertentu . Kemudian, kami ingin meminimalkani
Jika , maka kita harus memiliki karena jika tidak kita bisa membalikkan tandanya dan mendapatkan nilai yang lebih rendah untuk fungsi tujuan. Demikian juga jika , maka kita harus memilih .β^LSi>0 βi≥0 β^LSi<0 βi≤0
Kasus 1 : . Karena , dan membedakannya dengan dan menetapkan sama dengan nol , kami mendapatkan dan ini hanya layak jika sisi kanannya tidak negatif, jadi dalam hal ini solusi sebenarnya adalahβ^LSi>0 βi≥0
Kasus 2 : . Ini menyiratkan kita harus memiliki dan karenanya Membedakan sehubungan dengan dan pengaturan sama dengan nol, kita mendapatkan . Tetapi, sekali lagi, untuk memastikan ini layak, kita memerlukan , yang dicapai dengan mengambilβ^LSi≤0 βi≤0
Dalam kedua kasus, kami mendapatkan formulir yang diinginkan, dan kami selesai.
Komentar akhir
Perhatikan bahwa seiring meningkatnya , maka masing-masingtentu berkurang, maka demikian juga . Ketika , kami memulihkan solusi OLS, dan, untuk, kami memperoleh untuk semua .γ |β^lassoi| ∥β^lasso∥1 γ=0 γ>maxi|β^LSi| β^lassoi=0 i
sumber
Asumsikan bahwa kovariat , kolom , juga standar sehingga . Ini hanya untuk kenyamanan nanti: tanpanya, notasi semakin berat karena hanya diagonal. Lebih jauh berasumsi bahwa . Ini adalah asumsi yang diperlukan agar hasilnya bertahan. Tentukan estimator kuadrat terkecil . Kemudian, (bentuk Lagrangian dari) estimator lasoxj X∈Rn×p XTX=I XTX n≥p β^OLS=argminβ∥y−Xβ∥22
Ini adalah derivasi yang melewatkan derivasi terperinci dari operator proksimal yang berhasil dilakukan Cardinal, tetapi, saya harap, mengklarifikasi langkah-langkah utama yang memungkinkan bentuk tertutup.
sumber