Saya telah membaca di sejumlah referensi bahwa estimasi Lasso untuk parameter vektor regresi setara dengan mode posterior di mana distribusi sebelumnya untuk setiap adalah distribusi eksponensial ganda (juga dikenal sebagai distribusi Laplace).B B i
Saya telah mencoba untuk membuktikan ini, dapatkah seseorang menyempurnakan detailnya?
regression
bayesian
lasso
prior
regularization
Musim dingin
sumber
sumber
Jawaban:
Untuk kesederhanaan, mari kita perhatikan pengamatan tunggal dari variabel sehingga Y | μ , σ 2 ∼ N ( μ , σ 2 ) ,Y
Maka densitas gabungan sebanding dengan f ( Y , μ , σ 2 | λ ) ∝ 1Y, μ , σ2
Mengambil log dan membuang istilah yang tidak melibatkan , log f ( Y , μ , σ 2 ) = -μ
Dengan demikian, maksimum (1) akan menjadi taksiran MAP dan memang merupakan masalah Lasso setelah kami menyusun kembaliλ~= λ σ2 .
Ekstensi untuk regresi jelas - ganti dengan dalam kemungkinan Normal, dan tetapkan sebelumnya pada menjadi urutan distribusi independen laplace .X β β ( λ )μ Xβ β ( λ )
sumber
Ini jelas dengan memeriksa kuantitas yang dioptimalkan oleh LASSO.
Ambil prior untuk agar Laplace independen dengan rata-rata nol dan beberapa skala .βsaya τ
Jadi .p ( β|τ) ∝ e- 12 τ∑saya| βsaya|
Model untuk data adalah asumsi regresi biasa .y∼iidN( Xβ, σ2)
Sekarang minus dua kali log dari posterior adalah dari formulir
Biarkan dan kita mendapatkan -posisiλ = σ2/ τ - 2 log
Penaksir MAP untuk meminimalkan hal di atas, yang meminimalkanβ
Jadi penaksir MAP untuk adalah LASSO.β
(Di sini saya memperlakukan sebagai diperbaiki secara efektif tetapi Anda dapat melakukan hal-hal lain dengannya dan masih membuat LASSO keluar.)σ2
Sunting: Itulah yang saya dapatkan untuk menulis jawaban secara offline; Saya tidak melihat jawaban yang baik sudah diposting oleh Andrew. Punyaku benar-benar tidak melakukan apa pun yang belum dilakukannya. Saya akan meninggalkan milik saya untuk saat ini karena memberikan beberapa detail pengembangan dalam hal .β
sumber