Saya menggunakan paket R yang dihukum untuk mendapatkan estimasi koefisien yang menyusut untuk dataset di mana saya memiliki banyak prediktor dan sedikit pengetahuan tentang yang mana yang penting. Setelah saya memilih parameter tuning L1 dan L2 dan saya puas dengan koefisien saya, apakah ada cara...
Saya punya satu pertanyaan berkenaan dengan kebutuhan untuk menggunakan metode pemilihan fitur (Acak fitur nilai pentingnya hutan atau metode pemilihan fitur Univariat dll) sebelum menjalankan algoritma pembelajaran statistik. Kami tahu untuk menghindari overfitting, kami dapat menerapkan penalti...
Berikut ini adalah plot glmnet dengan alpha default (1, karenanya laso) menggunakan mtcarsset data dalam R dengan mpgsebagai DV dan yang lainnya sebagai variabel prediktor. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Apa yang bisa kita simpulkan dari plot ini mengenai berbagai variabel,...
Saya semakin tertarik dengan prosedur jaring elastis untuk penyusutan / pemilihan prediktor. Tampaknya sangat kuat. Tetapi dari sudut pandang ilmiah saya tidak tahu apa yang harus dilakukan setelah saya mendapatkan koefisien. Pertanyaan apa yang saya jawab? Ini adalah variabel yang paling...
Metode pemilihan variabel algoritmik bertahap cenderung memilih model yang bias kurang lebih setiap perkiraan dalam model regresi ( s dan UK, nilai- p , statistik F , dll.), Dan hampir sama dengan mengecualikan prediktor sejati sebagai termasuk prediktor palsu menurut literatur simulasi yang cukup...
Pertanyaan Apa yang harus disimpulkan dari plot laso ini (glmnet) menunjukkan jalur solusi untuk estimator laso yang tidak monoton. Artinya, beberapa kopi tumbuh dalam nilai absolut sebelum menyusut. Saya telah menerapkan model ini pada beberapa jenis kumpulan data yang berbeda dan tidak pernah...
Dalam skenario regresi LASSO di mana y=Xβ+ϵy=Xβ+ϵy= X \beta + \epsilon , dan perkiraan LASSO diberikan oleh masalah optimisasi berikut minβ||y−Xβ||+τ||β||1minβ||y−Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 Apakah ada asumsi distribusi tentang ϵϵ\epsilon ? Dalam skenario OLS,...
Estimator regresi yang dihukum seperti LASSO dan ridge dikatakan sesuai dengan estimator Bayesian dengan prior tertentu. Saya kira (karena saya tidak tahu cukup tentang statistik Bayesian) bahwa untuk parameter penyetelan tetap, ada beton yang sesuai sebelumnya. Sekarang frequentist akan...
Saya memiliki 150 fitur, dan banyak di antaranya sangat berkorelasi satu sama lain. Tujuan saya adalah untuk memprediksi nilai variabel diskrit, yang kisarannya 1-8 . Ukuran sampel saya adalah 550 , dan saya menggunakan validasi silang 10 kali lipat . AFAIK, di antara metode regularisasi (Lasso,...
Saya menjalankan LASSO yang memiliki beberapa prediktor variabel variabel dan beberapa yang kontinu. Saya punya pertanyaan tentang variabel kategori. Langkah pertama yang saya mengerti adalah memecah mereka masing-masing menjadi boneka, membakukan mereka untuk hukuman yang adil, dan kemudian...
Saya menggunakan Lasso untuk pemilihan fitur dalam pengaturan dimensi yang relatif rendah (n >> p). Setelah memasang model Lasso, saya ingin menggunakan kovariat dengan koefisien bukan nol agar sesuai dengan model tanpa penalti. Saya melakukan ini karena saya ingin perkiraan yang tidak bias...
Diberikan variabel dependen kontinu y dan variabel independen termasuk variabel ordinal X 1 , bagaimana cara memasukkan model linier R? Apakah ada makalah tentang model jenis
Saya tahu tentang manfaat regularisasi ketika membangun model prediksi (bias vs varians, mencegah overfitting). Tapi, saya bertanya-tanya apakah itu ide yang baik untuk juga melakukan regularisasi (laso, ridge, elastis net) ketika tujuan utama dari model regresi adalah inferensi pada koefisien...
http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Jika Anda melihat bagian atas tulisan ini, penulis menyebutkan bahwa norma L2 memiliki solusi yang unik dan norma L1 memiliki banyak solusi. Saya mengerti ini dalam hal regularisasi, tetapi tidak dalam hal...
Dalam laso atau regresi ridge, kita harus menentukan parameter penyusutan, sering disebut dengan atau . Nilai ini sering dipilih melalui validasi silang dengan memeriksa sekelompok nilai yang berbeda pada data pelatihan dan melihat mana yang menghasilkan yang terbaik misalnya pada data uji. Berapa...
Jika kita mulai dengan satu set data , menerapkan Lasso untuk itu dan mendapatkan solusi β L , kita dapat menerapkan Lasso lagi ke set data ( X S , Y ) , di mana S adalah himpunan bukan-nol indeks β L , untuk mendapatkan solusi, β R L , disebut solusi 'santai LASSO' (koreksi saya jika saya salah!)....
Saat menjelaskan regresi LASSO, diagram berlian dan lingkaran sering digunakan. Dikatakan bahwa karena bentuk kendala dalam LASSO adalah berlian, solusi kuadrat terkecil yang diperoleh mungkin menyentuh sudut berlian sedemikian rupa sehingga menyebabkan penyusutan beberapa variabel. Namun, dalam...
Pertimbangkan regresi linier dengan beberapa regularisasi: Misalnya Find yang meminimalkan | | A x - b | | 2 + λ | | x | | 1xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Biasanya, kolom A distandarisasi untuk memiliki rata-rata nol dan norma satuan, sedangkan berpusat untuk...
Saya mencoba membaca tentang penelitian di bidang regresi dimensi tinggi; ketika ppp lebih besar dari nnn , yaitu, p>>np>>np >> n . Sepertinya istilah logp/nlogp/n\log p/n sering muncul dalam hal tingkat konvergensi untuk estimator regresi. Sebagai contoh, di sini , persamaan (17)...
Saya telah bertanya-tanya, mengapa metode pemilihan model LASSO dan LARS begitu populer walaupun pada dasarnya mereka hanyalah variasi dari seleksi langkah-ke depan (dan karenanya menderita ketergantungan jalur)? Demikian pula, mengapa metode General to Specific (GETS) untuk pemilihan model...