Metode regularisasi untuk model regresi yang menggabungkan hukuman laso dan regresi ridge.
Apakah regularisasi jaring elastis selalu lebih disukai daripada Lasso & Ridge karena tampaknya mengatasi kelemahan dari metode ini? Apa intuisi dan apa matematika di balik jaring
Bagaimana metode ridge, LASSO, dan elasticnet regularisasi dibandingkan? Apa kelebihan dan kekurangan masing-masing? Makalah teknis yang baik, atau catatan kuliah akan dihargai juga.
Saya menggunakan fungsi auto.arima () dalam paket perkiraan agar sesuai dengan model ARMAX dengan beragam kovariat. Namun, saya sering memiliki sejumlah besar variabel untuk dipilih dan biasanya berakhir dengan model akhir yang berfungsi dengan subset dari mereka. Saya tidak suka teknik ad-hoc...
Saya ingin menggunakan GLM dan Elastic Net untuk memilih fitur-fitur yang relevan + membangun model regresi linier (yaitu, baik prediksi dan pemahaman, sehingga akan lebih baik dibiarkan dengan parameter yang relatif sedikit). Outputnya kontinu. Ini gen per 50 kasus. Saya telah membaca tentang...
Kertas jaring elastis asli Zou & Hastie (2005) Regularisasi dan pemilihan variabel melalui jaring elastis memperkenalkan fungsi kerugian bersih elastis untuk regresi linier (di sini saya berasumsi semua variabel berpusat dan diskalakan ke varian unit): tetapi menyebutnya "jaring elastis naif"....
Saya mengerti apa peran lambda dalam regresi elastis-bersih. Dan saya bisa mengerti mengapa orang akan memilih lambda.min, nilai lambda yang meminimalkan kesalahan divalidasi silang. Pertanyaan saya adalah Di mana dalam literatur statistik direkomendasikan untuk menggunakan lambda.1se, yaitu nilai...
Beberapa fungsi dan perkiraan penalti dipelajari dengan baik, seperti LASSO ( ) dan Ridge ( ) dan bagaimana ini dibandingkan dalam regresi.L 2L1L1L_1L2L2L_2 Saya telah membaca tentang penalti Bridge, yang merupakan ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma} penalti umum Bandingkan dengan LASSO, yang...
Pengantar: Saya memiliki dataset dengan "p besar, n kecil masalah" klasik. Jumlah sampel yang tersedia n = 150 sedangkan jumlah prediktor yang mungkin p = 400. Hasilnya adalah variabel kontinu. Saya ingin menemukan deskriptor yang paling "penting", yaitu, yang merupakan kandidat terbaik untuk...
Saya melakukan regresi logistik elastis-bersih pada set data perawatan kesehatan menggunakan glmnetpaket dalam R dengan memilih nilai lambda pada kisi dari 0 hingga 1. Kode singkat saya di bawah ini:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){...
Saya semakin tertarik dengan prosedur jaring elastis untuk penyusutan / pemilihan prediktor. Tampaknya sangat kuat. Tetapi dari sudut pandang ilmiah saya tidak tahu apa yang harus dilakukan setelah saya mendapatkan koefisien. Pertanyaan apa yang saya jawab? Ini adalah variabel yang paling...
Pertanyaan Apa yang harus disimpulkan dari plot laso ini (glmnet) menunjukkan jalur solusi untuk estimator laso yang tidak monoton. Artinya, beberapa kopi tumbuh dalam nilai absolut sebelum menyusut. Saya telah menerapkan model ini pada beberapa jenis kumpulan data yang berbeda dan tidak pernah...
Saya memiliki 150 fitur, dan banyak di antaranya sangat berkorelasi satu sama lain. Tujuan saya adalah untuk memprediksi nilai variabel diskrit, yang kisarannya 1-8 . Ukuran sampel saya adalah 550 , dan saya menggunakan validasi silang 10 kali lipat . AFAIK, di antara metode regularisasi (Lasso,...
Saya tahu tentang manfaat regularisasi ketika membangun model prediksi (bias vs varians, mencegah overfitting). Tapi, saya bertanya-tanya apakah itu ide yang baik untuk juga melakukan regularisasi (laso, ridge, elastis net) ketika tujuan utama dari model regresi adalah inferensi pada koefisien...
Saya mencoba mengidentifikasi model terbaik untuk memprediksi harga mobil, menggunakan harga dan fitur yang tersedia di situs iklan baris mobil. Untuk ini saya menggunakan beberapa model dari perpustakaan scikit-belajar dan model jaringan saraf dari pybrain dan neurolab. Pendekatan yang saya...
Ini juga diketahui bahwa regresi linier dengan penalti setara dengan menemukan perkiraan MAP diberi Gaussian sebelumnya pada koefisien. Demikian pula, menggunakan l 1 penalti setara dengan menggunakan distribusi Laplace sebagai sebelumnya.l2l2l^2l1l1l^1 Tidak jarang menggunakan kombinasi...
Apa pro dan kontra dari menggunakan LARS [1] dibandingkan menggunakan penurunan koordinat untuk menyesuaikan regresi linier yang diatur L1? Saya terutama tertarik pada aspek kinerja (masalah saya cenderung ada Ndalam ratusan ribu dan p<20.) Namun, wawasan lainnya juga akan dihargai. sunting:...
Catatan: pertanyaan ini adalah repost, karena pertanyaan saya sebelumnya harus dihapus karena alasan hukum. Sambil membandingkan PROC CAMPURAN dari SAS dengan fungsi lmedari nlmepaket di R, saya menemukan beberapa perbedaan yang agak membingungkan. Lebih khusus lagi, derajat kebebasan dalam...
LASSO dan LASSO adaptif adalah dua hal yang berbeda, bukan? (Bagiku, hukumannya terlihat berbeda, tapi aku hanya memeriksa apakah aku melewatkan sesuatu.) Ketika Anda secara umum berbicara tentang jaring elastis, apakah case khusus LASSO atau LASSO adaptif? Paket glmnet mana yang dilakukan,...
Apakah ada makalah atau buku bagus yang membahas tentang penggunaan penurunan koordinat untuk L1 (laso) dan / atau regularisasi jaring elastis untuk masalah regresi
Adakah yang mencoba memverifikasi apakah pemasangan model Net Elastis dengan ElasticNetdi scikit-learn in Python dan glmnetdi R pada set data yang sama menghasilkan hasil aritmatika yang identik? Saya telah bereksperimen dengan banyak kombinasi parameter (karena dua fungsi berbeda dalam nilai...