Saya ingin mengajukan pertanyaan ini dalam dua bagian. Keduanya berurusan dengan model linier umum, tetapi yang pertama berkaitan dengan pemilihan model dan yang lainnya berkaitan dengan regularisasi. Latar Belakang: Saya menggunakan model GLM (linier, logistik, regresi gamma) untuk prediksi dan...
Saya telah melihat banyak makalah tentang representasi jarang belakangan ini, dan kebanyakan dari mereka menggunakan norma dan melakukan beberapa minimisasi. Pertanyaan saya adalah, apa norma , dan norma campuran? Dan bagaimana mereka relevan dengan regularisasi?ℓ p ℓ p ,
Dalam penginderaan terkompresi, ada jaminan teorema bahwa memiliki solusi jarang yang unik c (Lihat lampiran untuk detail lebih lanjut).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Apakah ada teorema yang serupa untuk laso? Jika...
Saya mencari literatur tentang regresi ridge negatif . Singkatnya, ini adalah generalisasi dari regresi ridge linier menggunakan negatif dalam rumus estimator:Kasus positif memiliki teori yang bagus: sebagai fungsi kerugian, sebagai kendala, seperti Bayes sebelumnya ... tapi saya merasa bingung...
Adakah yang bisa mengarahkan saya ke arah algoritma online (rekursif) untuk Regulasi Tikhonov (kuadrat terkecil yang diatur)? Dalam pengaturan offline, saya akan menghitung β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY menggunakan set data asli saya di mana λλλ ditemukan menggunakan...
Posting ini mengikuti yang ini: Mengapa estimasi ridge menjadi lebih baik daripada OLS dengan menambahkan konstanta pada diagonal? Ini pertanyaan saya: Sejauh yang saya tahu, regularisasi ridge menggunakan -norm (jarak euclidean). Tetapi mengapa kita menggunakan kuadrat dari norma ini? (aplikasi...
Untuk mencegah orang overfitting orang menambahkan istilah regularisasi (sebanding dengan jumlah kuadrat dari parameter model) dengan parameter regularisasi ke fungsi biaya regresi linier. Apakah parameter ini sama dengan pengali lagrange? Jadi, apakah regularisasi sama dengan metode pengali...
Berikut ini adalah contoh kode keras yang menggunakannya: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu',
Saya semakin sering mendengar kata-kata ini ketika saya mempelajari pembelajaran mesin. Faktanya, beberapa orang telah memenangkan medali Fields dengan mengerjakan persamaan persamaan. Jadi, saya kira ini adalah istilah yang membawa dirinya dari fisika statistik / matematika ke pembelajaran mesin....
Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup tahun lalu . Implementasi open-source apa - dalam bahasa apa pun - yang ada...
Dalam memilih parameter regularisasi lambda di Ridge atau Lasso, metode yang disarankan adalah mencoba nilai-nilai lambda yang berbeda, mengukur kesalahan dalam Set Validasi dan akhirnya memilih nilai lambda yang mengembalikan kesalahan terendah. Ini tidak jelas bagi saya jika fungsi f (lambda) =...
Dengan teknik regularisasi saya mengacu pada laso, regresi ridge, jaring elastis dan sejenisnya. Pertimbangkan model prediksi pada data layanan kesehatan yang berisi data demografi dan diagnosis di mana lama rawat inap diramalkan. Untuk beberapa individu ada beberapa pengamatan LOS (yaitu, lebih...
Saya sedang mempelajari LASSO (setidaknya penyusutan absolut dan operator seleksi) sementara itu. Saya melihat bahwa nilai optimal untuk parameter regularisasi dapat dipilih dengan validasi silang. Saya melihat juga dalam regresi ridge dan banyak metode yang menerapkan regularisasi, kita dapat...
Saya sudah punya ide tentang pro dan kontra regresi ridge dan LASSO. Untuk LASSO, istilah penalti L1 akan menghasilkan vektor koefisien jarang, yang dapat dilihat sebagai metode pemilihan fitur. Namun, ada beberapa batasan untuk LASSO. Jika fitur memiliki korelasi tinggi, LASSO hanya akan memilih...
Ini adalah sesuatu yang saya baca di buku Ian Goodfellow, Deep Learning . Dalam konteks jaringan saraf, "hukuman norma parameter L2 umumnya dikenal sebagai pembusukan berat. Strategi regularisasi ini mendorong bobot lebih dekat ke titik asal [...]. Secara umum, kita dapat mengatur parameter agar...
Ada banyak metode untuk melakukan regularisasi - , , dan regularisasi berbasis misalnya. Menurut Friedman Hastie & Tibsharani , pembuat peraturan terbaik tergantung pada masalah: yaitu sifat fungsi target yang sebenarnya, dasar tertentu yang digunakan, rasio sinyal terhadap kebisingan, dan...
Dalam beberapa jawaban saya telah melihat pengguna CrossValidated menyarankan OP menemukan makalah awal tentang Lasso, Ridge, dan Elastic Net. Untuk anak cucu, apa saja karya mani di Lasso, Ridge, dan Elastic Net?
Saya telah ke beberapa pembicaraan statistik baru-baru ini tentang Lasso (regularisasi) dan satu hal yang terus muncul adalah bahwa kita tidak benar-benar mengerti mengapa Lasso bekerja atau mengapa ia bekerja dengan sangat baik. Saya bertanya-tanya apa maksud pernyataan ini. Jelas saya mengerti...
Pemahaman saya tentang regresi LASSO adalah bahwa koefisien regresi dipilih untuk menyelesaikan masalah minimalisasi: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Dalam praktiknya ini dilakukan dengan menggunakan pengali Lagrange,...
Seperti yang dinyatakan judul, saya mencoba mereplikasi hasil dari glmnet linear menggunakan pengoptimal LBFGS dari perpustakaan lbfgs. Pengoptimal ini memungkinkan kita untuk menambahkan istilah regularizer L1 tanpa harus khawatir tentang diferensiabilitas, selama fungsi objektif kami (tanpa...