Saya mencoba menggunakan model LASSO untuk prediksi, dan saya perlu memperkirakan kesalahan standar. Tentunya seseorang telah menulis paket untuk melakukan ini. Tapi sejauh yang saya bisa lihat, tidak ada paket di CRAN yang melakukan prediksi menggunakan LASSO akan mengembalikan kesalahan standar untuk prediksi tersebut.
Jadi pertanyaan saya adalah: Apakah ada paket atau beberapa kode R yang tersedia untuk menghitung kesalahan standar untuk prediksi LASSO?
r
standard-error
prediction
lasso
Rob Hyndman
sumber
sumber
monomvn
, lihat jawaban saya di bawah ini.Jawaban:
Kyung et al. (2010), "Regresi yang dihukum, kesalahan standar, & Bayesian lassos", Bayesian Analysis, 5 , 2 , menunjukkan bahwa mungkin tidak ada konsensus tentang metode yang secara statistik valid menghitung kesalahan standar untuk prediksi laso. Tibshirani tampaknya setuju (slide 43) bahwa kesalahan standar masih merupakan masalah yang belum terselesaikan.
sumber
Pada catatan terkait, yang mungkin membantu, Tibshirani dan rekannya telah mengusulkan tes signifikansi untuk laso. The kertas tersedia, dan berjudul "A uji signifikansi untuk lasso". Versi gratis dari makalah ini dapat ditemukan di sini
sumber
Jawaban Sandipan Karmakar memberi tahu Anda apa yang harus dilakukan, ini akan membantu Anda tentang "bagaimana":
[...]
sumber
Bayesian LASSO adalah satu-satunya alternatif untuk masalah penghitungan kesalahan standar. Kesalahan standar secara otomatis dihitung dalam Bayesian LASSO ... Anda dapat menerapkan Bayesian LASSO dengan sangat mudah menggunakan skema Sampling Gibbs ...
Maka orang dapat menggunakan Gibbs Sampling untuk mensimulasikan rantai. Lihat Park & Cassella (2008), "The Bayesian Lasso", JASA , 103 , 482 .
Ada tiga kelemahan LASSO yang sering terjadi:
Struktur hierarkis masalah yang ada tidak dapat dikodekan menggunakan model frequentist, yang cukup mudah dalam kerangka Bayesian.
sumber
Untuk menambah jawaban di atas, masalah tampaknya adalah bahwa bahkan bootstrap mungkin tidak cukup karena perkiraan dari model yang dikenakan sanksi bias dan bootstrap hanya akan berbicara dengan varian - mengabaikan bias estimasi. Ini dirangkum dengan baik dalam sketsa untuk paket yang dikenakan sanksi pada halaman 18 .
Namun, jika digunakan untuk prediksi, mengapa diperlukan kesalahan standar dari model? Bisakah Anda tidak memvalidasi silang atau bootstrap dengan tepat dan menghasilkan kesalahan standar di sekitar metrik yang terkait dengan prediksi seperti MSE?
sumber
Ada paket SelectiveInference di R, https://cran.r-project.org/web/packages/selectiveInference/index.html , yang memberikan interval kepercayaan dan nilai p untuk koefisien Anda yang dipasang oleh LASSO, berdasarkan pada makalah berikut :
Stephen Reid, Jerome Friedman, dan Rob Tibshirani (2014). Sebuah studi estimasi varians kesalahan dalam regresi laso. arXiv: 1311.5274
PS: baru sadar bahwa ini menghasilkan perkiraan kesalahan untuk parameter Anda, tidak yakin untuk kesalahan pada prediksi akhir Anda, jika itu yang Anda cari ... saya kira Anda bisa menggunakan "interval prediksi populasi" untuk itu jika Anda suka (dengan resampling parameter sesuai dengan fit berikut distribusi normal multivariat).
sumber