Metode regularisasi untuk model regresi yang menyusutkan koefisien ke nol, membuat beberapa dari mereka sama dengan nol. Dengan demikian laso melakukan pemilihan fitur.
Katakanlah saya ingin memperkirakan sejumlah besar parameter, dan saya ingin menghukum beberapa dari mereka karena saya percaya mereka harus memiliki sedikit efek dibandingkan dengan yang lain. Bagaimana cara saya memutuskan skema hukuman apa yang akan digunakan? Kapan regresi ridge lebih tepat?...
Saya membaca buku-buku tentang regresi linier. Ada beberapa kalimat tentang norma L1 dan L2. Saya tahu mereka, hanya tidak mengerti mengapa norma L1 untuk model jarang. Bisakah seseorang menggunakan memberikan penjelasan
Dalam keadaan apa seseorang harus mempertimbangkan menggunakan metode regularisasi (ridge, laso atau paling tidak sudut regresi) daripada OLS? Dalam hal ini membantu mengarahkan diskusi, minat utama saya adalah meningkatkan akurasi
Saya mencari definisi non-teknis dari laso dan apa yang digunakan untuk
Saya mulai mencoba-coba penggunaan glmnetdengan LASSO Regression di mana hasil yang saya minati menjadi dikotomis. Saya telah membuat bingkai data mock kecil di bawah ini: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84,...
Saya telah membaca Elemen Pembelajaran Statistik , dan saya ingin tahu mengapa Lasso menyediakan pemilihan variabel dan regresi ridge tidak. Kedua metode meminimalkan jumlah residu kuadrat dan memiliki batasan pada nilai yang mungkin dari parameter ββ\beta . Untuk Lasso, batasannya adalah...
Musim liburan telah memberi saya kesempatan untuk meringkuk di samping api dengan The Elements of Statistics Learning . Berasal dari perspektif ekonometrik (sering), saya mengalami kesulitan memahami penggunaan metode penyusutan seperti regresi ridge, laso, dan regresi sudut terkecil (LAR)....
Saya mencoba menggunakan model LASSO untuk prediksi, dan saya perlu memperkirakan kesalahan standar. Tentunya seseorang telah menulis paket untuk melakukan ini. Tapi sejauh yang saya bisa lihat, tidak ada paket di CRAN yang melakukan prediksi menggunakan LASSO akan mengembalikan kesalahan standar...
Dari yang saya tahu, menggunakan laso untuk pemilihan variabel menangani masalah input berkorelasi. Juga, karena ini setara dengan Least Angle Regression, itu tidak lambat secara komputasi. Namun, banyak orang (misalnya orang yang saya kenal melakukan bio-statistik) tampaknya masih mendukung...
Untuk menyelesaikan masalah pemilihan model, sejumlah metode (LASSO, ridge regression, dll.) Akan mengecilkan koefisien variabel prediktor menjadi nol. Saya mencari penjelasan intuitif mengapa ini meningkatkan kemampuan prediksi. Jika efek sebenarnya dari variabel itu sebenarnya sangat besar,...
Untuk masalah laso sedemikian rupa sehingga \ | \ beta \ | _1 \ leq t . Saya sering melihat hasil soft-thresholding \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS}} | - \ gamma) ^ + untuk kasus X ortonormal . Dikatakan bahwa solusinya dapat...
Saya berurusan dengan data linear dengan outlier, beberapa di antaranya berada pada 5 standar deviasi dari garis regresi yang diperkirakan. Saya mencari teknik regresi linier yang mengurangi pengaruh poin-poin ini. Sejauh ini yang saya lakukan adalah memperkirakan garis regresi dengan semua data,...
Saya ingin mencari prediktor untuk variabel dependen kontinu dari 30 variabel independen. Saya menggunakan regresi Lasso seperti yang diterapkan dalam paket glmnet di R. Berikut adalah beberapa kode dummy: # generate a dummy dataset with 30 predictors (10 useful & 20 useless)...
Regresi sudut terkecil dan laso cenderung menghasilkan jalur regularisasi yang sangat mirip (identik kecuali ketika koefisien melintasi nol.) Keduanya cocok secara efisien dengan algoritma yang hampir identik. Adakah alasan praktis untuk lebih menyukai satu metode daripada yang
Maaf jika pertanyaan ini sedikit mendasar. Saya mencari untuk menggunakan pemilihan variabel LASSO untuk model regresi linier berganda di R. Saya memiliki 15 prediktor, salah satunya adalah kategorikal (akankah itu menyebabkan masalah?). Setelah mengatur dan saya menggunakan perintah...
Pada halaman 223 dalam Pengantar Pembelajaran Statistik , penulis merangkum perbedaan antara regresi ridge dan laso. Mereka memberikan contoh (Gambar 6.9) ketika "laso cenderung mengungguli regresi ridge dalam hal bias, varians, dan MSE". Saya mengerti mengapa laso diinginkan: ini menghasilkan...
Saya ingin menggunakan Lasso atau regresi ridge untuk model dengan lebih dari 50.000 variabel. Saya ingin melakukannya menggunakan paket perangkat lunak dalam R. Bagaimana saya bisa memperkirakan parameter penyusutan ( )?λλ\lambda Suntingan: Inilah poin yang ingin saya sampaikan: set.seed...
Saya hanya ingin tahu mengapa biasanya hanya ada regularisasi norma dan . Apakah ada bukti mengapa ini lebih baik?L
Apakah regularisasi jaring elastis selalu lebih disukai daripada Lasso & Ridge karena tampaknya mengatasi kelemahan dari metode ini? Apa intuisi dan apa matematika di balik jaring
Bagaimana metode ridge, LASSO, dan elasticnet regularisasi dibandingkan? Apa kelebihan dan kekurangan masing-masing? Makalah teknis yang baik, atau catatan kuliah akan dihargai juga.