Saya telah memprogram regresi logistik menggunakan algoritma IRLS . Saya ingin menerapkan hukuman LASSO untuk memilih fitur yang tepat secara otomatis. Pada setiap iterasi, berikut ini dipecahkan: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right)
Saya menyesuaikan regresi linier yang teregulasi L1 ke dataset yang sangat besar (dengan n >> p.) Variabel-variabel tersebut diketahui sebelumnya, tetapi pengamatannya tiba dalam potongan-potongan kecil. Saya ingin mempertahankan laso setelah setiap potong. Saya jelas dapat menyesuaikan...
Apakah ada makalah atau buku bagus yang membahas tentang penggunaan penurunan koordinat untuk L1 (laso) dan / atau regularisasi jaring elastis untuk masalah regresi
Saya mencoba memahami bagaimana algoritma Lars dapat dimodifikasi untuk menghasilkan Lasso. Meskipun saya mengerti LARS, saya tidak dapat melihat modifikasi Lasso dari kertas oleh Tibshirani et al. Khususnya saya tidak melihat mengapa kondisi tanda bahwa tanda koordinat non-nol harus setuju dengan...
LASSO dan LASSO adaptif adalah dua hal yang berbeda, bukan? (Bagiku, hukumannya terlihat berbeda, tapi aku hanya memeriksa apakah aku melewatkan sesuatu.) Ketika Anda secara umum berbicara tentang jaring elastis, apakah case khusus LASSO atau LASSO adaptif? Paket glmnet mana yang dilakukan,...
Saya telah membaca di beberapa tempat bahwa R Squared bukan ukuran ideal ketika model cocok menggunakan LASSO. Namun, saya tidak tahu persis mengapa itu terjadi. Selain itu, dapatkah Anda merekomendasikan alternatif
Dalam penginderaan terkompresi, ada jaminan teorema bahwa memiliki solusi jarang yang unik c (Lihat lampiran untuk detail lebih lanjut).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Apakah ada teorema yang serupa untuk laso? Jika...
Saat ini saya sedang mengerjakan pembuatan model prediksi untuk hasil biner pada dataset dengan ~ 300 variabel dan 800 pengamatan. Saya telah membaca banyak di situs ini tentang masalah yang terkait dengan regresi bertahap dan mengapa tidak menggunakannya. Saya telah membaca regresi LASSO dan...
Untuk penelitian saya saat ini, saya menggunakan metode Lasso melalui paket glmnet di R pada variabel dependen binomial. Dalam glmnet lambda optimal ditemukan melalui validasi silang dan model yang dihasilkan dapat dibandingkan dengan berbagai tindakan, misalnya kesalahan klasifikasi atau...
Posting ini mengikuti yang ini: Mengapa estimasi ridge menjadi lebih baik daripada OLS dengan menambahkan konstanta pada diagonal? Ini pertanyaan saya: Sejauh yang saya tahu, regularisasi ridge menggunakan -norm (jarak euclidean). Tetapi mengapa kita menggunakan kuadrat dari norma ini? (aplikasi...
Saya menggunakan "glmnet" untuk regresi laso di GWAS. Beberapa varian dan individu memiliki nilai yang hilang dan tampaknya glmnet tidak dapat menangani nilai yang hilang. Apakah ada solusi untuk ini? atau apakah ada paket lain yang dapat menangani nilai yang hilang dalam regresi laso? Ini skrip...
Zou et al. "Pada" derajat kebebasan "dari laso" (2007) menunjukkan bahwa jumlah koefisien bukan nol adalah perkiraan yang tidak bias dan konsisten untuk derajat kebebasan laso. Sepertinya agak berlawanan dengan intuisi saya. Misalkan kita memiliki model regresi (di mana variabelnya nol...
Saya mencoba untuk meringkas apa yang saya mengerti sejauh ini dalam analisis multivariat yang dihukum dengan set data dimensi tinggi, dan saya masih berjuang melalui mendapatkan definisi yang tepat dari hukuman lunak thresholding vs Lasso (atau ).L1L1L_1 Lebih tepatnya, saya menggunakan regresi...
Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup tahun lalu . Implementasi open-source apa - dalam bahasa apa pun - yang ada...
Ketika saya menentukan lambda saya melalui validasi silang, semua koefisien menjadi nol. Tapi saya punya beberapa petunjuk dari literatur bahwa beberapa prediktor pasti akan mempengaruhi hasilnya. Apakah itu sampah untuk secara sewenang-wenang memilih lambda sehingga hanya ada sesedikit yang...
Setelah membaca Bab 3 dalam Elemen Pembelajaran Statistik (Hastie, Tibshrani & Friedman), saya bertanya-tanya apakah mungkin untuk menerapkan metode penyusutan terkenal yang dikutip pada judul pertanyaan ini diberikan struktur kovarian, yaitu, meminimalkan (mungkin lebih umum) )...
Saya menjalankan model regresi baik dengan Lasso dan Ridge (untuk memprediksi variabel hasil diskrit mulai dari 0-5). Sebelum menjalankan model, saya menggunakan SelectKBestmetode scikit-learnuntuk mengurangi set fitur dari 250 menjadi 25 . Tanpa pemilihan fitur awal, Lasso dan Ridge menghasilkan...
Saya ingin secara manual memperbaiki koefisien tertentu, katakan , lalu koefisien dengan semua prediktor lain, sambil menjaga dalam model.β 1 = 1.0β1= 1.0β1=1.0\beta_1=1.0β1= 1.0β1=1.0\beta_1=1.0 Bagaimana saya bisa mencapai ini menggunakan R? Saya terutama ingin bekerja dengan LASSO ( glmnet)...
Jika β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , dapat ∥β∗∥2‖β∗‖2\|\beta^*\|_2 meningkat saat λλ\lambda meningkat? Saya pikir ini mungkin. Meskipun ∥β∗∥1‖β∗‖1\|\beta^*\|_1 tidak meningkat ketika λλ\lambda meningkat ( bukti...
Saya sedang mempelajari LASSO (setidaknya penyusutan absolut dan operator seleksi) sementara itu. Saya melihat bahwa nilai optimal untuk parameter regularisasi dapat dipilih dengan validasi silang. Saya melihat juga dalam regresi ridge dan banyak metode yang menerapkan regularisasi, kita dapat...