Dalam laso atau regresi ridge, kita harus menentukan parameter penyusutan, sering disebut dengan atau . Nilai ini sering dipilih melalui validasi silang dengan memeriksa sekelompok nilai yang berbeda pada data pelatihan dan melihat mana yang menghasilkan yang terbaik misalnya pada data uji. Berapa...
Saya telah membaca buku-buku paling populer dalam pembelajaran statistik 1- Unsur-unsur pembelajaran statistik. 2- Pengantar pembelajaran statistik . Keduanya menyebutkan bahwa regresi ridge memiliki dua formula yang setara. Apakah ada bukti matematis yang dapat dimengerti dari hasil ini? Saya...
Dalam "Elemen Pembelajaran Statistik" (edisi ke-2), hal63, penulis memberikan dua formulasi berikut dari masalah regresi ridge: β^r i dge= argminβ{ ¢i = 1N( ysaya- β0- ∑j = 1halxsaya jβj)2+ λ ∑j = 1halβ2j}β^rsayadge=Argminβ{∑saya=1N(ysaya-β0-∑j=1halxsayajβj)2+λ∑j=1halβj2} \hat{\beta}^{ridge} =...
Sudah ada posting di situs ini yang membicarakan masalah yang sama: Mengapa penyusutan berfungsi? Tetapi, meskipun jawabannya populer, saya tidak percaya inti dari pertanyaan itu benar-benar ditanggapi. Cukup jelas bahwa memperkenalkan beberapa bias dalam estimasi membawa pengurangan varians dan...
Saya mengetahui jenis LASSO, ridge, dan elastisitas-net dalam model regresi linier. Pertanyaan: Bisakah estimasi jenis ini (atau sejenisnya) diterapkan pada pemodelan ARIMA (dengan bagian MA yang tidak kosong)? Dalam membangun model ARIMA, tampaknya biasa untuk mempertimbangkan urutan lag...
Saya mencoba melihat apakah akan menggunakan regresi ridge , LASSO , regresi komponen utama (PCR), atau Partial Least Squares (PLS) dalam situasi di mana ada sejumlah besar variabel / fitur ( ) dan jumlah sampel yang lebih kecil ( n < p ), dan tujuan saya adalah prediksi.pppn<pn<pn...
Saya telah mendengar bahwa regresi ridge dapat diturunkan sebagai rata-rata distribusi posterior, jika prior dipilih secara memadai. Apakah intuisi bahwa kendala seperti yang ditetapkan pada koefisien regresi oleh sebelumnya (misalnya distribusi normal standar sekitar 0) adalah identik / ganti...
Dalam regresi ridge, fungsi tujuan harus diminimalkan adalah: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Bisakah ini dioptimalkan menggunakan metode pengali Lagrange? Atau apakah itu diferensiasi
Saat menjalankan regresi ridge, bagaimana Anda menginterpretasikan koefisien yang berakhir lebih besar dari koefisien yang sesuai di bawah kuadrat terkecil (untuk nilai λλ\lambda )? Bukankah regresi ridge seharusnya mengecilkan koefisien secara monoton? Pada catatan terkait, bagaimana seseorang...
Pemahaman umum saya adalah AIC berkaitan dengan pertukaran antara kebaikan model dan kompleksitas model. A IC= 2 k - 2 l n ( L )SEBUAHsayaC=2k-2ln(L)AIC =2k -2ln(L) = jumlah parameter dalam modelkkk = kemungkinanLLL Kriteria informasi Bayesian BIC terkait erat dengan AIC. AIC menghukum jumlah...
Saya belajar tentang regresi ridge dan tahu bahwa regresi ridge cenderung bekerja lebih baik dengan adanya multikolinieritas. Saya bertanya-tanya mengapa ini benar? Entah jawaban intuitif atau matematika akan memuaskan (kedua jenis jawaban akan lebih memuaskan). Juga, saya tahu bahwa selalu dapat...
Saya ingin menghitung AICc dari model regresi ridge. Masalahnya adalah jumlah parameter. Untuk regresi linier, kebanyakan orang menyarankan bahwa jumlah parameter sama dengan jumlah koefisien estimasi ditambah sigma (varian kesalahan). Ketika datang ke regresi ridge saya membaca bahwa jejak...
Saya menggunakan paket 'lars' dalam R dengan kode berikut: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <-...
Saya mencari literatur tentang regresi ridge negatif . Singkatnya, ini adalah generalisasi dari regresi ridge linier menggunakan negatif dalam rumus estimator:Kasus positif memiliki teori yang bagus: sebagai fungsi kerugian, sebagai kendala, seperti Bayes sebelumnya ... tapi saya merasa bingung...
Saya telah membaca bahwa regresi ridge dapat dicapai dengan hanya menambahkan baris data ke matriks data asli, di mana setiap baris dibangun menggunakan 0 untuk variabel dependen dan akar kuadrat dari atau nol untuk variabel independen. Satu baris tambahan kemudian ditambahkan untuk setiap variabel...
Posting ini mengikuti yang ini: Mengapa estimasi ridge menjadi lebih baik daripada OLS dengan menambahkan konstanta pada diagonal? Ini pertanyaan saya: Sejauh yang saya tahu, regularisasi ridge menggunakan -norm (jarak euclidean). Tetapi mengapa kita menggunakan kuadrat dari norma ini? (aplikasi...
Saya menjalankan model regresi baik dengan Lasso dan Ridge (untuk memprediksi variabel hasil diskrit mulai dari 0-5). Sebelum menjalankan model, saya menggunakan SelectKBestmetode scikit-learnuntuk mengurangi set fitur dari 250 menjadi 25 . Tanpa pemilihan fitur awal, Lasso dan Ridge menghasilkan...
Saya menerapkan beberapa data untuk menemukan solusi variabel terbaik dari model regresi menggunakan regresi ridge di R. Saya telah menggunakan lm.ridgedan glmnet(kapan alpha=0), tetapi hasilnya sangat berbeda terutama ketika lambda=0. Itu mengira bahwa kedua penduga parameter memiliki nilai yang...
Misalkan A menjadi matriks variabel independen dan B menjadi matriks dari nilai-nilai dependen. Dalam regresi ridge, kita mendefinisikan parameter sehingga: . Sekarang mari [usv] = svd (A) dan entri diagonal 's'. kita mendefinisikan derajat kebebasan (df) = . Regresi Ridge menyusut koefisien...
Saya sudah punya ide tentang pro dan kontra regresi ridge dan LASSO. Untuk LASSO, istilah penalti L1 akan menghasilkan vektor koefisien jarang, yang dapat dilihat sebagai metode pemilihan fitur. Namun, ada beberapa batasan untuk LASSO. Jika fitur memiliki korelasi tinggi, LASSO hanya akan memilih...