Saya mencoba mencari perkiraan MAP untuk model berdasarkan gradient descent. Sebelumnya saya adalah multivariat Gaussian dengan matriks kovarian yang dikenal. Pada tingkat konseptual, saya pikir saya tahu bagaimana melakukan ini, tetapi saya berharap bantuan dengan detailnya. Secara khusus, jika...
Saya memahami koefisien dari persamaan logistik dapat diartikan sebagai rasio ganjil. Jika istilah regularisasi ditambahkan untuk mengontrol over-fitting, bagaimana hal ini mengubah interpretasi
Jika kita memilih nilai parameter yang berbeda λλ\lambda, kita bisa mendapatkan solusi dengan tingkat sparsity yang berbeda. Apakah ini berarti jalur regularisasi adalah bagaimana memilih koordinat yang bisa mendapatkan konvergensi lebih cepat? Saya agak bingung walaupun saya sering mendengar...
Biasanya dikatakan bahwa prior pada statistik bayesian dapat dianggap sebagai faktor regularisasi karena mereka menghukum solusi di mana sebelumnya menempatkan kepadatan probabilitas rendah. Kemudian, diberikan model sederhana ini yang parameter MLE-nya
Saya mencoba memahami bagaimana regularisasi bekerja dalam hal proyeksi ke a l∗l∗l_* bola, dan proyeksi Euclidean ke simpleks. Saya tidak yakin saya mengerti apa yang kami maksud ketika kami memproyeksikan vektor bobot ke l1l1l_1 atau l2l2l_2 bola. Saya bisa mengerti konsep l1l1l_1program...
Saya bertanya-tanya tentang kehalusan kisi optimal dan apa hubungan antara kehalusan kisi-kisi dan overfitting dalam metode regularisasi seperti LASSO, regresi ridge atau jaring elastis. Misalkan saya ingin mencocokkan model regresi menggunakan LASSO dengan sampel 500 pengamatan (saya tidak...
Saya mundur prediktor kontinu pada lebih dari 60 variabel (baik kontinu dan kategoris) menggunakan LASSO (glmnet). Dalam memeriksa plot jejak variabel, saya perhatikan bahwa seiring bertambahnya log lambda, salah satu variabel kunci memiliki koefisien yang benar-benar meningkat. Kemudian, setelah...
Sifat mendasar dari regresi efek-acak adalah bahwa estimasi intersep acak "menyusut" terhadap rata-rata keseluruhan respons sebagai fungsi dari varian relatif masing-masing estimasi. U^j=ρjy¯j+(1−ρj)y¯U^j=ρjy¯j+(1−ρj)y¯\hat{U}_j = \rho_j \bar{y}_j + (1-\rho_j)\bar{y}
Saya memiliki pengaturan berikut untuk proyek penelitian Keuangan / Pembelajaran Mesin di universitas saya: Saya menerapkan Jaringan Saraf (Jauh) (MLP) dengan struktur berikut di Keras / Theano untuk membedakan saham berkinerja lebih baik (label 1) dari saham berkinerja buruk ( label 0)....
Kita dapat mensimulasikan regresi linier tanpa keacakan, yang berarti kita membuat daripada . Maka jika kita cocok dengan model linier koefisien akan identik dengan "kebenaran dasar". Berikut ini sebuah contoh.y=Xβy=Xβy=X\betay=Xβ+ϵy=Xβ+ϵy=X\beta+\epsilon set.seed(0) n <- 1e5 p <- 3 X <-...
Ketika memikirkan histogram sebagai perkiraan fungsi kerapatan, apakah masuk akal untuk menganggap ukuran nampan sebagai parameter yang membatasi struktur lokal fungsi tersebut? Juga, adakah cara yang lebih baik untuk mengartikulasikan alasan