Perangkat lunak implementasi yang berbeda tersedia untuk laso . Saya tahu banyak membahas tentang pendekatan bayesian vs pendekatan frequentist di berbagai forum. Pertanyaan saya sangat spesifik untuk laso - Apa perbedaan atau kelebihan dari baysian laso vs laso biasa ?
Berikut adalah dua contoh implementasi dalam paket:
# just example data
set.seed(1233)
X <- scale(matrix(rnorm(30),ncol=3))[,]
set.seed(12333)
Y <- matrix(rnorm(10, X%*%matrix(c(-0.2,0.5,1.5),ncol=1), sd=0.8),ncol=1)
require(monomvn)
## Lasso regression
reg.las <- regress(X, Y, method="lasso")
## Bayesian Lasso regression
reg.blas <- blasso(X, Y)
Jadi kapan saya harus pergi untuk satu atau metode lain? Atau mereka sama?
sumber
"Kuadrat Terkecil" berarti bahwa solusi keseluruhan meminimalkan jumlah kuadrat dari kesalahan yang dibuat dalam hasil setiap persamaan tunggal. Aplikasi yang paling penting adalah dalam pemasangan data. Yang paling cocok dalam arti kuadrat-terkecil meminimalkan jumlah residu kuadrat, residu menjadi perbedaan antara nilai yang diamati dan nilai pas yang disediakan oleh model. linear kuadrat terkecil, tergantung pada apakah residu linier dalam semua yang tidak diketahui.
Regresi linier Bayesian adalah pendekatan regresi linier di mana analisis statistik dilakukan dalam konteks inferensi Bayesian. Ketika model regresi memiliki kesalahan yang memiliki distribusi normal, dan jika bentuk tertentu dari distribusi sebelumnya diasumsikan, hasil eksplisit tersedia untuk distribusi probabilitas posterior dari parameter model.
Salah satu perbedaan utama antara Lasso dan regresi ridge adalah bahwa dalam regresi ridge, karena penalti meningkat, semua parameter dikurangi sementara masih tetap tidak nol, sedangkan di Lasso, peningkatan penalti akan menyebabkan semakin banyak parameter menjadi didorong ke nol.
Makalah ini membandingkan laso biasa dengan lasso Bayesian dan regresi ridge (lihat gambar 1 ).
sumber