Makalah ini mengklaim bahwa dalam CART, karena pemisahan biner dilakukan pada kovariat tunggal pada setiap langkah, semua pemisahan bersifat ortogonal dan oleh karena itu interaksi di antara kovariat tidak dipertimbangkan. Namun, banyak referensi yang sangat serius mengklaim, sebaliknya, bahwa...
Saya memiliki kumpulan data dengan variabel kontinu dan variabel target biner (0 dan 1). Saya perlu menentukan variabel kontinu (untuk regresi logistik) sehubungan dengan variabel target dan dengan batasan bahwa frekuensi pengamatan dalam setiap interval harus seimbang. Saya mencoba algoritma...
Dalam Random Forest, masing-masing pohon ditanam secara paralel pada sampel pendamping data yang unik. Karena setiap sampel boostrap diharapkan mengandung sekitar 63% dari pengamatan unik, ini menyisakan sekitar 37% dari pengamatan, yang dapat digunakan untuk menguji pohon. Sekarang, tampaknya...
Saya berurusan dengan masalah yang berkaitan dengan menemukan gradien fungsi Cross entropy loss wrt parameter θθ\theta dimana: CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Dimana, y^i=softmax(θi)y^i=softmax(θi)\hat{y}_{i} = softmax(\theta_i) dan...
Dalam pembelajaran penguatan, kami memiliki fungsi hadiah yang menginformasikan agen seberapa baik tindakan dan negara saat ini dilakukan. Dalam beberapa pengaturan umum fungsi hadiah adalah fungsi dari tiga variabel: Keadaan saat iniSSS Tindakan saat ini pada kondisi saat iniπ(s)=aπ(s)=a\pi(s) =...
Pertanyaan: Apa perbedaan antara pohon regresi yang dikuatkan (BRT) dan model yang dikembangkan secara umum (GBM)? Bisakah mereka digunakan secara bergantian? Apakah satu bentuk khusus dari yang lain? Mengapa Ridgeway menggunakan frasa "Generalized Boosted Regression Models" (GBM), untuk...
Menurut dokumentasi objek StandardScaler di scikit-learn: Misalnya banyak elemen yang digunakan dalam fungsi objektif dari algoritma pembelajaran (seperti kernel RBF dari Support Vector Machines atau L1 dan L2 regularizer model linier) mengasumsikan bahwa semua fitur berpusat di sekitar 0 dan...
Apakah mereka rasional (teoretis, substansial, statistik) untuk memilih pembelajaran mesin atau model bahaya saat memodelkan pelanggan churn (atau lebih umum, kejadian
Jaringan Autoencoder tampaknya jauh lebih rumit daripada jaringan MLP classifier normal. Setelah beberapa upaya menggunakan Lasagne semua yang saya dapatkan dalam output yang direkonstruksi adalah sesuatu yang menyerupai yang terbaik, rata-rata buram dari semua gambar dari database MNIST tanpa...
Saya berpikir untuk menyelesaikan Lasso melalui metode subgradien vanilla. Tapi saya sudah membaca orang menyarankan untuk menggunakan gradien keturunan Proksimal. Adakah yang bisa menyoroti mengapa proksimal GD daripada metode subgradien vanilla digunakan untuk
Saya sedikit bingung dengan formula yang disajikan dalam "Pengantar Pembelajaran Statistik" Hastie. Dalam Bab 6, halaman 212 (pencetakan keenam, tersedia di sini ), dinyatakan bahwa: AIC=RSSnσ^2+2dnAIC=RSSnσ^2+2dnAIC = \frac{RSS}{n\hat\sigma^2} + \frac{2d}{n} Untuk model linier dengan noise...
Saya berasumsi pengaturan umum regresi, yaitu, fungsi kontinu hθ:X→Rnhθ:X→Rnh_\theta:X\to \mathbb R^n dipilih dari keluarga {hθ}θ{hθ}θ\{h_\theta\}_\theta agar sesuai dengan data yang diberikan (xi,yi)∈X×Rn,i=1,…,k(xi,yi)∈X×Rn,i=1,…,k(x_i,y_i)\in X\times \mathbb R^n, i=1,\ldots, k ( XXX dapat berupa...
Setelah membaca banyak makalah pembelajaran yang mendalam, semacam perasaan kasar adalah bahwa ada banyak trik dalam melatih jaringan untuk mendapatkan kinerja yang lebih baik dari biasanya. Dari perspektif aplikasi industri, sangat sulit untuk mengembangkan trik semacam ini kecuali...
Koefisien korelasi Matthews ( ) adalah ukuran untuk mengukur kualitas klasifikasi biner ([Wikipedia] [1]). diberikan untuk klasifikasi biner yang menggunakan true positive ( ), false positive ( ), false negative ( ), dan nilai true negative ( ) seperti yang diberikan di bawah
Menurut "Efficient Backprop" oleh LeCun et al (1998) adalah praktik yang baik untuk menormalkan semua input sehingga mereka berpusat di sekitar 0 dan berada dalam kisaran turunan maksimum kedua. Jadi misalnya kita akan menggunakan [-0,5,0,5] untuk fungsi "Tanh". Ini untuk membantu perkembangan...
Misalkan saya ingin melatih jaringan saraf yang dalam untuk melakukan klasifikasi atau regresi, tetapi saya ingin tahu seberapa yakin prediksi tersebut. Bagaimana saya bisa mencapai ini? Gagasan saya adalah menghitung entropi silang untuk setiap datum pelatihan, berdasarkan kinerja prediksinya...
Saya belajar tentang pembelajaran yang mendalam (khususnya CNN), dan bagaimana hal itu biasanya membutuhkan banyak data untuk mencegah overfitting. Namun, saya juga telah diberitahu bahwa semakin tinggi kapasitas / lebih banyak parameter model, semakin banyak data yang diperlukan untuk mencegah...
Latar belakang: Saya menggunakan pendekatan Q-value Neural Network dalam tugas pembelajaran penguatan saya. Pendekatannya persis sama dengan yang dijelaskan dalam pertanyaan ini , namun pertanyaannya sendiri berbeda. Dalam pendekatan ini jumlah output adalah jumlah tindakan yang bisa kita ambil....
Saya selalu berlangganan kearifan rakyat bahwa mengurangi tingkat pembelajaran dalam gbm (gradient boosted tree model) tidak merusak kinerja sampel dari model. Hari ini, saya tidak begitu yakin. Saya memasang model (meminimalkan jumlah kesalahan kuadrat) ke dataset perumahan boston . Berikut...
Saya tahu bagaimana menerapkan fungsi objektif linear dan peningkatan linear di XGBoost. Pertanyaan konkret saya adalah: ketika algoritme itu cocok dengan residual (atau gradien negatif) apakah ia menggunakan satu fitur pada setiap langkah (yaitu model univariat) atau semua fitur (model...