Saya sedang mengerjakan beberapa proyek pemodelan prediktif dewasa ini: mencoba mempelajari suatu model dan membuat prediksi waktu nyata berdasarkan pada model yang saya pelajari secara offline. Saya mulai menggunakan regresi ridge baru-baru ini, karena saya membaca bahwa regularisasi dapat...
Saya menerapkan beberapa data untuk menemukan solusi variabel terbaik dari model regresi menggunakan regresi ridge di R. Saya telah menggunakan lm.ridgedan glmnet(kapan alpha=0), tetapi hasilnya sangat berbeda terutama ketika lambda=0. Itu mengira bahwa kedua penduga parameter memiliki nilai yang...
Saya menjalankan model regresi baik dengan Lasso dan Ridge (untuk memprediksi variabel hasil diskrit mulai dari 0-5). Sebelum menjalankan model, saya menggunakan SelectKBestmetode scikit-learnuntuk mengurangi set fitur dari 250 menjadi 25 . Tanpa pemilihan fitur awal, Lasso dan Ridge menghasilkan...
Regresi Ridge dapat dinyatakan sebagai mana adalah label yang diprediksi , yang mengidentifikasi matriks, obyek kita mencoba untuk menemukan label untuk, dan yang matriks benda sedemikian rupa sehingga: y akudd×dxXn×dnxi=(xi,1,...,Xi,d)∈Rdy^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} +...
Misalkan saya memiliki dua estimator dan yang merupakan estimator konsisten dari parameter yang sama dan sedemikian rupa sehingga dengan dalam arti psd. Dengan demikian, asymptotically lebih efisien daripada . Kedua penaksir ini didasarkan pada fungsi kerugian yang berbeda. β
Saya telah membaca deskripsi regresi ridge dalam Model Statistik Terapan Linier , edisi ke 5 bab 11. Regresi ridge dilakukan pada data lemak tubuh yang tersedia di sini . Buku teks cocok dengan output dalam SAS, di mana koefisien ditransformasikan kembali diberikan dalam model pas sebagai: Y= -...
Dalam beberapa jawaban saya telah melihat pengguna CrossValidated menyarankan OP menemukan makalah awal tentang Lasso, Ridge, dan Elastic Net. Untuk anak cucu, apa saja karya mani di Lasso, Ridge, dan Elastic Net?
Bagaimana cara melakukan regresi ridge non-negatif? Laso non-negatif tersedia di scikit-learn, tetapi untuk ridge, saya tidak dapat menegakkan non-negativitas beta, dan memang, saya mendapatkan koefisien negatif. Adakah yang tahu mengapa ini terjadi? Juga, dapatkah saya menerapkan punggungan dalam...
Saya mengerti bahwa kita dapat menggunakan regularisasi dalam masalah regresi kuadrat terkecil sebagai w∗= argminw[ ( Y - X w )T( y - X w ) + λ ∥ w ∥2]w∗=argminw[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) +...
Saya keliru memahami klaim tentang metode regresi linier yang saya lihat di berbagai tempat. Parameter masalah adalah: Memasukkan: NNN data sampel p+1p+1p+1 jumlah masing-masing terdiri dari "respons" jumlah yiyiy_i dan ppp "prediktor" jumlah xijxijx_{ij} Hasil yang diinginkan adalah "kecocokan...
Saya sedang mengerjakan model biaya prediksi di mana usia pasien (kuantitas bilangan bulat yang diukur dalam tahun) adalah salah satu variabel prediktor. Hubungan nonlinear yang kuat antara usia dan risiko rawat inap jelas: Saya sedang mempertimbangkan penghalusan regresi penghalusan hukuman...
Sebagai lanjutan dari pertanyaan saya sebelumnya , solusi untuk persamaan normal untuk regresi ridge diberikan oleh: β^λ= (XTX+ λ I)- 1XTyβ^λ=(XTX+λI)−1XTy\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty Bisakah Anda menawarkan panduan untuk memilih parameter regularisasi . Selain itu, karena...
Saya baru mengenal ridge regression. Ketika saya menerapkan regresi linear ridge, saya mendapat hasil berikut: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668...
Dalam kuadrat terkecil biasa, regresi vektor target terhadap seperangkat prediktor , matriks topi dihitung sebagaiyyyXXX H=X(XtX)−1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t dan PRESS (prediksi jumlah residu kuadrat) dihitung oleh SSP=∑i(ei1−hii)2SSP=∑i(ei1−hii)2SS_P = \sum_i \left(...
Saya sadar ini adalah praktik umum untuk membakukan fitur untuk ridge dan lasso regression, akan tetapi, apakah lebih praktis untuk menormalkan fitur pada skala (0,1) sebagai alternatif standardisasi z-skor untuk metode regresi ini?
Saya sedang mengerjakan validasi silang dari prediksi data saya dengan 200 subjek dan 1000 variabel. Saya tertarik regresi ridge karena jumlah variabel (saya ingin menggunakan) lebih besar dari jumlah sampel. Jadi saya ingin menggunakan estimator penyusutan. Berikut ini adalah contoh data:...
Ketika , masalah kuadrat terkecil yang memaksakan pembatasan bola pada nilai dapat ditulis sebagai untuk sistem yang ditentukan secara berlebihan. \ | \ cdot \ | _2 adalah norma Euclidean dari suatu vektor.y=Xβ+ey=Xβ+ey = X\beta +
\def\l{|\!|} Diberikan regresi net elastis minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 bagaimana rentang λλ\lambda dapat dipilih untuk validasi silang? Dalam...
Adakah yang tahu cara menghitung interval prediksi untuk regresi ridge? dan apa hubungannya dengan interval prediksi regresi
Saya memiliki dua implementasi berbeda ridgedi MATLAB. Hanya satu x=(A′A+Iλ)−1A′bx=(A′A+Iλ)−1A′b\mathbf x = (\mathbf{A}'\mathbf{A}+\mathbf{I}\lambda)^{-1}\mathbf{A}'\mathbf b (seperti yang terlihat di halaman regresi ridge Wikipedia ), denganII\mathbf{I} menjadi matriks identitas kolom ukuran...