Metode regularisasi untuk model regresi yang menyusutkan koefisien ke nol.
Katakanlah saya ingin memperkirakan sejumlah besar parameter, dan saya ingin menghukum beberapa dari mereka karena saya percaya mereka harus memiliki sedikit efek dibandingkan dengan yang lain. Bagaimana cara saya memutuskan skema hukuman apa yang akan digunakan? Kapan regresi ridge lebih tepat?...
Saya membaca buku-buku tentang regresi linier. Ada beberapa kalimat tentang norma L1 dan L2. Saya tahu mereka, hanya tidak mengerti mengapa norma L1 untuk model jarang. Bisakah seseorang menggunakan memberikan penjelasan
Dalam keadaan apa seseorang harus mempertimbangkan menggunakan metode regularisasi (ridge, laso atau paling tidak sudut regresi) daripada OLS? Dalam hal ini membantu mengarahkan diskusi, minat utama saya adalah meningkatkan akurasi
Perkiraan koefisien regresi punggungan adalah nilai yang meminimalkanβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Pertanyaan saya adalah: Jika , maka kita melihat bahwa ekspresi di atas berkurang ke RSS yang biasa. Bagaimana jika ? Saya tidak...
Perhatikan tiga fenomena berikut. Paradoks Stein: diberikan beberapa data dari distribusi normal multivariat dalam Rn,n≥3Rn,n≥3\mathbb R^n, \: n\ge 3 , rata-rata sampel bukan penaksir yang sangat baik dari rata-rata sebenarnya. Seseorang dapat memperoleh estimasi dengan kesalahan kuadrat...
Musim liburan telah memberi saya kesempatan untuk meringkuk di samping api dengan The Elements of Statistics Learning . Berasal dari perspektif ekonometrik (sering), saya mengalami kesulitan memahami penggunaan metode penyusutan seperti regresi ridge, laso, dan regresi sudut terkecil (LAR)....
Saya mengerti bahwa estimasi regresi ridge adalah yang meminimalkan jumlah sisa kuadrat dan penalti pada ukuranββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS}...
Untuk menyelesaikan masalah pemilihan model, sejumlah metode (LASSO, ridge regression, dll.) Akan mengecilkan koefisien variabel prediktor menjadi nol. Saya mencari penjelasan intuitif mengapa ini meningkatkan kemampuan prediksi. Jika efek sebenarnya dari variabel itu sebenarnya sangat besar,...
Saya mengalami beberapa masalah dengan derivasi solusi untuk regresi ridge. Saya tahu solusi regresi tanpa ketentuan regularisasi: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Tetapi setelah menambahkan istilah L2 ke fungsi biaya, mengapa solusinya
Pada halaman 223 dalam Pengantar Pembelajaran Statistik , penulis merangkum perbedaan antara regresi ridge dan laso. Mereka memberikan contoh (Gambar 6.9) ketika "laso cenderung mengungguli regresi ridge dalam hal bias, varians, dan MSE". Saya mengerti mengapa laso diinginkan: ini menghasilkan...
Saya hanya ingin tahu mengapa biasanya hanya ada regularisasi norma dan . Apakah ada bukti mengapa ini lebih baik?L
Ketika menggunakan validasi silang untuk melakukan pemilihan model (seperti misalnya penyetelan hyperparameter) dan untuk menilai kinerja model terbaik, seseorang harus menggunakan validasi silang bersarang . Loop luar adalah untuk menilai kinerja model, dan loop dalam adalah untuk memilih model...
Saya ingin menggunakan Lasso atau regresi ridge untuk model dengan lebih dari 50.000 variabel. Saya ingin melakukannya menggunakan paket perangkat lunak dalam R. Bagaimana saya bisa memperkirakan parameter penyusutan ( )?λλ\lambda Suntingan: Inilah poin yang ingin saya sampaikan: set.seed...
Apakah regularisasi jaring elastis selalu lebih disukai daripada Lasso & Ridge karena tampaknya mengatasi kelemahan dari metode ini? Apa intuisi dan apa matematika di balik jaring
Regularisasi Tikhonov dan regresi ridge adalah istilah yang sering digunakan seolah-olah mereka identik. Apakah mungkin untuk menentukan dengan tepat apa
Saya seorang insinyur pembelajaran perangkat lunak mesin pembelajaran, terutama melalui kursus pembelajaran mesin Andrew Ng . Saat mempelajari regresi linier dengan regularisasi , saya menemukan istilah yang membingungkan: Regresi dengan regularisasi L1 atau regularisasi L2 LASO Regresi...
Bagaimana metode ridge, LASSO, dan elasticnet regularisasi dibandingkan? Apa kelebihan dan kekurangan masing-masing? Makalah teknis yang baik, atau catatan kuliah akan dihargai juga.
Catatan: Saya tahu bahwa L1 memiliki properti pemilihan fitur. Saya mencoba memahami yang mana yang harus dipilih ketika pemilihan fitur sama sekali tidak relevan. Bagaimana cara memutuskan regularisasi (L1 atau L2) mana yang akan digunakan? Apa pro & kontra dari masing-masing regularisasi L1...
Saya menggunakan glmnet untuk menghitung estimasi regresi ridge. Saya mendapatkan beberapa hasil yang membuat saya curiga bahwa glmnet benar-benar melakukan apa yang menurut saya benar. Untuk memeriksa ini saya menulis sebuah skrip R sederhana di mana saya membandingkan hasil regresi ridge yang...
Saya punya beberapa pertanyaan tentang penalti punggungan dalam konteks kuadrat terkecil: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Ekspresi menunjukkan bahwa matriks kovarians X menyusut ke arah matriks diagonal, yang berarti bahwa (dengan asumsi...