Saya sedang mempelajari LASSO (setidaknya penyusutan absolut dan operator seleksi) sementara itu. Saya melihat bahwa nilai optimal untuk parameter regularisasi dapat dipilih dengan validasi silang. Saya melihat juga dalam regresi ridge dan banyak metode yang menerapkan regularisasi, kita dapat...
Saya sudah punya ide tentang pro dan kontra regresi ridge dan LASSO. Untuk LASSO, istilah penalti L1 akan menghasilkan vektor koefisien jarang, yang dapat dilihat sebagai metode pemilihan fitur. Namun, ada beberapa batasan untuk LASSO. Jika fitur memiliki korelasi tinggi, LASSO hanya akan memilih...
Saya mencoba melakukan pemilihan model pada beberapa kandidat yang menggunakan LASSO dengan hasil yang berkelanjutan. Tujuannya adalah untuk memilih model optimal dengan kinerja prediksi terbaik, yang biasanya dapat dilakukan dengan validasi silang K-fold setelah mendapatkan jalur solusi dari...
Menurut referensi Buku 1 , Buku 2 dan kertas . Telah disebutkan bahwa ada kesetaraan antara regresi yang diatur (Ridge, LASSO dan Elastic Net) dan rumus kendala mereka. Saya juga telah melihat Cross Validated 1 , dan Cross Validated 2 , tetapi saya tidak bisa melihat jawaban yang jelas...
Saya pas model linear dalam R menggunakan glmnet. Model asli (tidak diatur) dipasang menggunakan lmdan tidak memiliki istilah konstan (yaitu dalam bentuk lm(y~0+x1+x2,data)). glmnetmengambil matriks prediktor dan vektor respons. Saya telah membaca glmnetdokumentasi, dan tidak dapat menemukan...
Saya telah ke beberapa pembicaraan statistik baru-baru ini tentang Lasso (regularisasi) dan satu hal yang terus muncul adalah bahwa kita tidak benar-benar mengerti mengapa Lasso bekerja atau mengapa ia bekerja dengan sangat baik. Saya bertanya-tanya apa maksud pernyataan ini. Jelas saya mengerti...
Pemahaman saya tentang regresi LASSO adalah bahwa koefisien regresi dipilih untuk menyelesaikan masalah minimalisasi: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Dalam praktiknya ini dilakukan dengan menggunakan pengali Lagrange,...
Saya mencari jawaban intuitif mengapa model GLM LASSO memilih prediktor spesifik dari kelompok yang sangat berkorelasi, dan mengapa itu melakukannya secara berbeda maka pemilihan fitur subset terbaik. Dari geometri LASSO yang ditunjukkan pada Gambar 2 di Tibshirani 1996, saya dituntun untuk...
Model yang dihukum dapat digunakan untuk memperkirakan model yang jumlah parameternya sama atau bahkan lebih besar dari ukuran sampel. Situasi ini dapat muncul dalam model log-linear dari tabel jarang besar dari data kategorikal atau jumlah. Dalam pengaturan ini, sering juga diinginkan atau...
Saya sedang membaca artikel ini terkait dengan jaring elastis. Mereka mengatakan bahwa mereka menggunakan jaring elastis karena jika kita hanya menggunakan Lasso itu cenderung memilih hanya satu prediktor di antara para prediktor yang sangat berkorelasi. Tapi bukankah ini yang kita inginkan. Maksud...
Saya mendapatkan tiga model tereduksi dari model full asli yang menggunakan seleksi ke depan eliminasi mundur Teknik hukuman L1 (LASSO) Untuk model yang diperoleh dengan menggunakan seleksi maju / eliminasi mundur, saya memperoleh estimasi kesalahan prediksi prediksi yang digunakan CVlmdalam...
Situasi saya: ukuran sampel kecil: 116 variabel hasil biner daftar panjang variabel penjelas: 44 variabel penjelas tidak datang dari atas kepala saya; pilihan mereka didasarkan pada literatur. kebanyakan kasus dalam sampel dan sebagian besar variabel memiliki nilai yang hilang. Pendekatan...
Jika saya memiliki matriks desain , di mana adalah jumlah pengamatan dimensi , apa kompleksitas penyelesaian untuk dengan LASSO, wrt dan ? Saya pikir jawabannya harus merujuk pada bagaimana satu iterasi LASSO skala dengan parameter ini, daripada bagaimana jumlah iterasi (konvergensi) skala, kecuali...
Saya tahu ini akan memperburuk kesimpulan statistik, tetapi saya benar-benar hanya peduli dengan sedekat mungkin dengan model yang akurat. Saya memiliki variabel hasil dikotomis, dengan seperangkat besar prediktor dikotomis. Saya pikir saya ingin mencoba menggunakan LASSO untuk memilih variabel...
Fungsi R cv.glm (library: boot) menghitung perkiraan kesalahan prediksi validasi silang K-fold untuk model linier umum dan mengembalikan delta. Apakah masuk akal untuk menggunakan fungsi ini untuk regresi laso (library: glmnet) dan jika demikian, bagaimana hal itu dapat dilakukan? Pustaka glmnet...
Dalam beberapa jawaban saya telah melihat pengguna CrossValidated menyarankan OP menemukan makalah awal tentang Lasso, Ridge, dan Elastic Net. Untuk anak cucu, apa saja karya mani di Lasso, Ridge, dan Elastic Net?
Bagaimana cara melakukan regresi ridge non-negatif? Laso non-negatif tersedia di scikit-learn, tetapi untuk ridge, saya tidak dapat menegakkan non-negativitas beta, dan memang, saya mendapatkan koefisien negatif. Adakah yang tahu mengapa ini terjadi? Juga, dapatkah saya menerapkan punggungan dalam...
Di kelas pembelajaran mesin saya, kami telah belajar tentang bagaimana regresi LASSO sangat baik dalam melakukan pemilihan fitur, karena menggunakan regularisasi .l1l1l_1 Pertanyaan saya: apakah orang biasanya menggunakan model LASSO hanya untuk melakukan pemilihan fitur (dan kemudian melanjutkan...
Saya bertanya-tanya bagaimana cara pendekatan dengan benar pelatihan dan pengujian model LASSO menggunakan glmnet di R? Secara khusus, saya bertanya-tanya bagaimana cara melakukannya jika kurangnya set data uji eksternal mengharuskan saya gunakan validasi silang (atau pendekatan serupa lainnya)...
[Pertanyaan serupa ditanyakan di sini tanpa jawaban] Saya telah cocok dengan model regresi logistik dengan L1 regularisasi (regresi logistik Lasso) dan saya ingin menguji koefisien yang dipasang untuk signifikansi dan mendapatkan nilai-p mereka. Saya tahu tes Wald (misalnya) adalah pilihan untuk...