Apakah ada interpretasi Bayesian tentang regresi linier dengan regularisasi L1 dan L2 simultan (alias jaring elastis)?

Ini juga diketahui bahwa regresi linier dengan penalti setara dengan menemukan perkiraan MAP diberi Gaussian sebelumnya pada koefisien. Demikian pula, menggunakan penalti setara dengan menggunakan distribusi Laplace sebagai sebelumnya. $l^2$ $l^1$

Tidak jarang menggunakan kombinasi tertimbang dari regularisasi dan . Bisakah kita mengatakan bahwa ini setara dengan beberapa distribusi sebelumnya atas koefisien (secara intuitif, tampaknya memang demikian)? Bisakah kita memberikan distribusi ini bentuk analitik yang bagus (mungkin campuran Gaussian dan Laplacian)? Jika tidak, mengapa tidak? $l^1$ $l^2$

regression bayesian regularization prior elastic-net Michael Curry
sumber

lihat makalah ini: tandfonline.com/doi/abs/10.1198/jasa.2011.tm09241 (Jika ini tidak dijawab dengan baik dalam satu atau dua minggu, saya akan memposting (kurang lebih) ringkasan makalah itu)

user795305

Saya harus menambahkan bahwa setiap frequentist waktu memiliki hukuman

, bayesian dapat menafsirkan bahwa sebagai (mungkin tidak tepat) sebelum

di bawah model gaussian standar.

p e n

$pen$

e^{- p e n}

$e^{-pen}$

user795305

terima kasih, makalah ini dan kutipannya menjawab pertanyaan saya dengan sempurna!

Michael Curry

Bagus! Apakah Anda keberatan menunjukkan kutipan yang Anda maksud? (Saya berencana membaca makalah ini segera dan saya tertarik dengan komentar Anda)

user795305

Oke, keren! Saya pikir penafsiran bayesian mereka mengikat ke komentar kedua saya

user795305

Jawaban:

Komentar Ben mungkin cukup, tetapi saya memberikan beberapa referensi lagi, salah satunya dari sebelum makalah yang dirujuk Ben.

$\beta$

Model Bayesian yang dikoreksi untuk jaring elastis baru-baru ini diusulkan oleh Roy dan Chakraborty (Persamaan 6 mereka). Penulis juga menyajikan sampler Gibbs yang tepat untuk sampel dari distribusi posterior, dan menunjukkan bahwa sampler Gibbs menyatu dengan distribusi stasioner pada tingkat geometris. Karena alasan ini, rujukan-rujukan ini mungkin berguna, sebagai tambahan pada makalah Hans .

Greenparker
sumber

(+1) Jawaban bagus!

user795305

untuk siapa pun di masa depan - makalah-makalah ini layak untuk dilihat, tetapi makalah Hans memberi Anda beberapa sampler Gibbs untuk berbagai distribusi serta representasi hierarkis dari sebelumnya yang dapat diterjemahkan dengan mudah ke Stan.

Michael Curry