Katakanlah saya ingin memperkirakan sejumlah besar parameter, dan saya ingin menghukum beberapa dari mereka karena saya percaya mereka harus memiliki sedikit efek dibandingkan dengan yang lain. Bagaimana cara saya memutuskan skema hukuman apa yang akan digunakan? Kapan regresi ridge lebih tepat? Kapan saya harus menggunakan laso?
regression
lasso
ridge-regression
Larry Wang
sumber
sumber
Jawaban:
Perlu diingat bahwa regresi ridge tidak dapat nol koefisien; dengan demikian, Anda akhirnya memasukkan semua koefisien dalam model, atau tidak satupun dari mereka. Sebaliknya, LASSO melakukan penyusutan parameter dan pemilihan variabel secara otomatis. Jika beberapa kovariat Anda sangat berkorelasi, Anda mungkin ingin melihat Jaring Elastis [3] dan bukan LASSO.
Saya pribadi merekomendasikan menggunakan Non-Negative Garotte (NNG) [1] karena konsisten dalam hal estimasi dan pemilihan variabel [2]. Tidak seperti LASSO dan regresi ridge, NNG membutuhkan estimasi awal yang kemudian menyusut ke arah asalnya. Dalam makalah asli, Breiman merekomendasikan solusi kuadrat-terkecil untuk estimasi awal (namun Anda mungkin ingin memulai pencarian dari solusi regresi ridge dan menggunakan sesuatu seperti GCV untuk memilih parameter penalti).
Dalam hal perangkat lunak yang tersedia, saya telah mengimplementasikan NNG asli di MATLAB (berdasarkan kode FORTRAN asli Breiman). Anda dapat mengunduhnya dari:
http://www.emakalic.org/blog/wp-content/uploads/2010/04/nngarotte.zip
BTW, jika Anda lebih suka solusi Bayesian, lihat [4,5].
Referensi:
[1] Breiman, L. Regresi Subset Yang Lebih Baik Menggunakan Technometrics Nonnegative Garrote, 1995, 37, 373-384
[2] Yuan, M. & Lin, Y. Pada estimator Garrotte non-negatif, Jurnal Royal Statistics Society (Seri B), 2007, 69, 143-161
[3] Zou, H. & Hastie, T. Regularisasi dan pemilihan variabel melalui Jurnal elastis Royal Society Statistik (Seri B), 2005, 67, 301-320
[4] Park, T. & Casella, G. The Bayesian Lasso Journal of American Statistics Association, 2008, 103, 681-686
[5] Kyung, M.; Gill, J.; Ghosh, M. & Casella, G. Penresi Regresi, Kesalahan Standar, dan Bayesian Lassos Bayesian Analysis, 2010, 5, 369-412
sumber
Ridge atau laso adalah bentuk regresi linier yang teratur. Regulatorisasi juga dapat diartikan sebagai sebelumnya dalam metode estimasi a posteriori maksimum. Di bawah interpretasi ini, punggungan dan laso membuat asumsi yang berbeda pada kelas transformasi linear yang mereka simpulkan untuk menghubungkan data input dan output. Di punggungan, koefisien transformasi linear terdistribusi normal dan di laso mereka terdistribusi Laplace. Dalam laso, ini membuatnya lebih mudah untuk koefisien menjadi nol dan karena itu lebih mudah untuk menghilangkan beberapa variabel input Anda karena tidak berkontribusi pada output.
Ada juga beberapa pertimbangan praktis. Punggungan sedikit lebih mudah diimplementasikan dan lebih cepat untuk dihitung, yang mungkin penting tergantung pada jenis data yang Anda miliki.
Jika Anda berdua telah mengimplementasikan, gunakan himpunan bagian dari data Anda untuk menemukan punggungan dan laso dan membandingkan seberapa baik mereka bekerja pada data yang ditinggalkan. Kesalahan harus memberi Anda ide untuk digunakan.
sumber
Secara umum, ketika Anda memiliki banyak efek kecil / menengah, Anda harus menggunakan punggungan. Jika Anda hanya memiliki beberapa variabel dengan efek sedang / besar, lanjutkan dengan laso. Hastie, Tibshirani, Friedman
sumber