Regresi dihukum L1 (alias laso) disajikan dalam dua formulasi. Biarkan dua fungsi objektif menjadi
sumber
Regresi dihukum L1 (alias laso) disajikan dalam dua formulasi. Biarkan dua fungsi objektif menjadi
Kedua formulasi itu sama dalam arti bahwa untuk setiap nilai dalam formulasi pertama, terdapat nilai untuk formulasi kedua sehingga kedua formulasi tersebut memiliki minimalizer sama .
Inilah pembenarannya:
Pertimbangkan formulasi laso: Biarkan minimizer menjadiβ∗dan biarkanb=| | β∗| | 1. Klaim saya adalah bahwa jika Anda menetapkant=bdalam formulasi pertama, maka solusi dari formulasi pertama juga akan menjadiβ∗. Inilah buktinya:
Pertimbangkan formulasi pertama Jika mungkin membiarkan formulasi kedua ini memiliki solusi β sehingga| | ß | | 1<| | β∗| | 1=b(perhatikan tanda kurang dari tanda). Maka mudah untuk melihat bahwaf( β )<f(β
Karena , kondisi kelonggaran komplementer terpenuhi pada titik solusi β ∗ .
Jadi, diberi formulasi lasso dengan , Anda membangun sebuah formulasi dibatasi menggunakan t sama dengan nilai dari l 1 norma solusi laso. Sebaliknya, diberikan formulasi terbatas dengan t , Anda menemukan λ sehingga solusi untuk laso akan sama dengan solusi formulasi dibatasi.
(Jika Anda tahu tentang subgradien, Anda dapat menemukan ini dengan menyelesaikan persamaan X T ( y - X β ∗ ) = λ z ∗ , di mana z ∗ ∈ ∂ | | β ∗ | | 1 )
Saya pikir ide elexhobby untuk bukti ini bagus, tapi saya pikir itu tidak sepenuhnya benar.
Saya menyarankan, sebagai gantinya, bahwa kami melanjutkan sebagai berikut:
Untuk kenyamanan, mari kita masing-masing menunjukkan oleh dan formulasi pertama dan kedua. Mari kita asumsikan bahwa memiliki solusi unik, , dengan . Biarkan punya solusi, . Kemudian, kita memiliki(itu tidak bisa lebih besar karena kendala) dan karena itu . Jika maka bukan solusi untuk , yang bertentangan dengan asumsi kami. JikaP 2 P 2 β * ‖ β * ‖ = b P 1 β ≠ β * ‖ β ‖ ≤ ‖ β * ‖ f ( β ) ≤P1 P2 P2 β∗ ∥β∗∥=b P1 β^≠β∗ ∥β^∥≤∥β∗∥ f ( β ) < f ( β ∗ ) β ∗ P 2 ff(β^)≤f(β∗) f(β^)<f(β∗) β∗ P2 β = β *f(β^)=f(β∗) lalu , karena kami menganggap solusinya unik.β^=β∗
Namun demikian, mungkin Lasso memiliki beberapa solusi. Oleh lemma 1 dari arxiv.org/pdf/1206.0313.pdf kita tahu bahwa semua solusi ini memiliki -norm yang sama (dan tentu saja nilai minimum yang sama). Kami menetapkan norma itu sebagai kendala untuk dan melanjutkan.P 1ℓ1 P1
Mari kita dilambangkan dengan himpunan solusi untuk , dengan . Biarkan memiliki solusi, . Kemudian, kita memiliki dan karena . Jika untuk beberapa (dan karenanya untuk semuanya) maka , yang bertentangan dengan asumsi kami. Jika untuk beberapa maka bukan sekumpulan solusi untukP 2 ‖ β ‖ = b ∀ β ∈ S P 1 β ∉ S ‖ β ‖ ≤ ‖ β ‖ ∀ β ∈ S f ( β ) ≤S P2 ∥β∥=b ∀β∈S P1 β^∉S ∥β^∥≤∥β∥∀β∈S f(β^)≤f(β)∀β∈S f(β^)=f(β) β∈S β^∈S β∈SSP2P1SP1P2f(β^)<f(β) β∈S S P2 . Oleh karena itu, setiap solusi untuk ada di , yaitu solusi apa pun untuk juga merupakan solusi untuk . Akan tetap membuktikan bahwa pelengkap juga berlaku.P1 S P1 P2
sumber