Jadi saya ditanya pertanyaan yang mengukur L1 (yaitu, laso) dan L2 (yaitu, regresi ridge) diperkirakan. Jawabannya adalah L1 = median dan L2 = rata-rata. Apakah ada jenis alasan intuitif untuk ini? Atau harus ditentukan secara aljabar? Jika demikian, bagaimana cara saya melakukan
Beberapa fungsi dan perkiraan penalti dipelajari dengan baik, seperti LASSO ( ) dan Ridge ( ) dan bagaimana ini dibandingkan dalam regresi.L 2L1L1L_1L2L2L_2 Saya telah membaca tentang penalti Bridge, yang merupakan ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma} penalti umum Bandingkan dengan LASSO, yang...
Pertimbangkan regresi ridge dengan kendala tambahan mengharuskan y memiliki satuan jumlah kuadrat (ekuivalen, satuan varians); jika diperlukan, orang dapat berasumsi bahwa y memiliki satuan jumlah kuadrat juga:y^y^\hat{\mathbf y}yy\mathbf
Pertimbangkan model standar untuk regresi berganda mana , jadi normalitas, homoscedasticity, dan tidak berkorelasi kesalahan tetap ada.ε ∼ N ( 0 , σ 2 I n )Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2sayan)ε∼N(0,σ2sayan)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Misalkan kita melakukan regresi...
Untuk model linier , istilah susutnya selalu .y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP(β)P(β)P(\beta) Apa alasannya mengapa kami tidak mengecilkan bias (intersep) istilah ? Haruskah kita mengecilkan istilah bias dalam model jaringan
Misalkan saya mencoba untuk memperkirakan sejumlah besar parameter dari beberapa data dimensi tinggi, menggunakan beberapa jenis perkiraan yang diatur. Pembuat peraturan memperkenalkan beberapa bias ke dalam estimasi, tetapi masih bisa menjadi trade-off yang baik karena pengurangan varians harus...
Saya menggunakan paket R yang dihukum untuk mendapatkan estimasi koefisien yang menyusut untuk dataset di mana saya memiliki banyak prediktor dan sedikit pengetahuan tentang yang mana yang penting. Setelah saya memilih parameter tuning L1 dan L2 dan saya puas dengan koefisien saya, apakah ada cara...
Saya telah memahami bagaimana regresi ridge mengecilkan koefisien terhadap nol secara geometris. Selain itu saya tahu bagaimana membuktikannya dalam "Kasus Orthonormal" yang istimewa, tetapi saya bingung bagaimana cara kerjanya dalam kasus umum melalui "Dekomposisi
Saya ingat pernah membaca di suatu tempat di web hubungan antara regresi ridge (dengan regularisasi) dan regresi PCA: saat menggunakan -regregulated regulated dengan hyperparameter , jika , maka regresi tersebut setara dengan menghapus Variabel PC dengan nilai eigen terkecil.ℓ 2 λ λ →...
Saya menggunakan regresi ridge pada data yang sangat multikolinier. Menggunakan OLS saya mendapatkan kesalahan standar besar pada koefisien karena multikolinieritas. Saya tahu regresi ridge adalah cara untuk menangani masalah ini, tetapi dalam semua implementasi regresi ridge yang saya lihat, tidak...
Apa perbedaan antara Regresi Primal , Dual dan Kernel Ridge? Orang-orang menggunakan ketiganya, dan karena notasi yang berbeda yang digunakan setiap orang pada sumber yang berbeda sulit untuk saya ikuti. Jadi bisakah seseorang memberi tahu saya dengan kata-kata sederhana apa perbedaan antara...
Pertanyaan Apa yang harus disimpulkan dari plot laso ini (glmnet) menunjukkan jalur solusi untuk estimator laso yang tidak monoton. Artinya, beberapa kopi tumbuh dalam nilai absolut sebelum menyusut. Saya telah menerapkan model ini pada beberapa jenis kumpulan data yang berbeda dan tidak pernah...
Saya tahu tentang manfaat regularisasi ketika membangun model prediksi (bias vs varians, mencegah overfitting). Tapi, saya bertanya-tanya apakah itu ide yang baik untuk juga melakukan regularisasi (laso, ridge, elastis net) ketika tujuan utama dari model regresi adalah inferensi pada koefisien...
Saya memiliki 150 fitur, dan banyak di antaranya sangat berkorelasi satu sama lain. Tujuan saya adalah untuk memprediksi nilai variabel diskrit, yang kisarannya 1-8 . Ukuran sampel saya adalah 550 , dan saya menggunakan validasi silang 10 kali lipat . AFAIK, di antara metode regularisasi (Lasso,...
Estimator regresi yang dihukum seperti LASSO dan ridge dikatakan sesuai dengan estimator Bayesian dengan prior tertentu. Saya kira (karena saya tidak tahu cukup tentang statistik Bayesian) bahwa untuk parameter penyetelan tetap, ada beton yang sesuai sebelumnya. Sekarang frequentist akan...
Saya menerapkan Ridge Regression dalam modul Python / C, dan saya telah menemukan masalah "kecil" ini. Idenya adalah bahwa saya ingin sampel derajat efektif kebebasan kurang lebih sama spasi (seperti plot pada halaman 65 pada "Elemen statistik Learning" ), yaitu, sampel:
Selama percobaan untuk klasifikasi teks, saya menemukan classifier ridge menghasilkan hasil yang secara konstan berada di atas tes di antara classifier yang lebih umum disebutkan dan diterapkan untuk tugas-tugas penambangan teks, seperti SVM, NB, kNN, dll. Meskipun, saya belum menguraikan tentang...
Pertimbangkan masalah regresi OLS standar\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}: Saya memiliki matriks YY\Y dan XX\X dan saya ingin mencari ββ\B untuk meminimalkan L=∥Y−Xβ∥2.L=‖Y−Xβ‖2.L=\|\Y-\X\B\|^2. Solusinya...
Dalam laso atau regresi ridge, kita harus menentukan parameter penyusutan, sering disebut dengan atau . Nilai ini sering dipilih melalui validasi silang dengan memeriksa sekelompok nilai yang berbeda pada data pelatihan dan melihat mana yang menghasilkan yang terbaik misalnya pada data uji. Berapa...
Ridge perkiraan regresi parameter ββ\boldsymbol \beta dalam model linear y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta oleh β λ = ( X ⊤ X + λ I ) - 1 X ⊤ y , di mana λ adalah parameter regularisasi. Sudah diketahui bahwa sering berkinerja lebih baik daripada regresi OLS (dengan λ = 0 ) ketika ada...