Penguatan pohon gradien seperti yang diusulkan oleh Friedman menggunakan pohon keputusan dengan Jsimpul terminal (= daun) sebagai pelajar dasar. Ada beberapa cara untuk menumbuhkan pohon dengan Jsimpul-simpul yang tepat misalnya seseorang dapat menumbuhkan pohon tersebut dengan cara pertama yang...
Saya memiliki GLMM formulir: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Ketika saya menggunakan drop1(model, test="Chi"), saya mendapatkan hasil yang berbeda daripada jika saya menggunakan Anova(model, type="III")dari paket mobil atau...
Dalam banyak algoritme pembelajaran mesin, penskalaan fitur (penskalaan variabel, normalisasi) adalah langkah umum yang belum ada. Wikipedia - Penskalaan Fitur - pertanyaan ini hampir selesai. Pertanyaan # 41704 - Bagaimana dan mengapa kerja normalisasi dan penskalaan fitur berfungsi? Saya punya...
Ini hanya contoh yang saya temui beberapa kali, jadi saya tidak punya data sampel. Menjalankan model regresi linier di R: a.lm = lm(Y ~ x1 + x2) x1adalah variabel kontinu. x2bersifat kategorikal dan memiliki tiga nilai, mis. "Rendah", "Sedang" dan "Tinggi". Namun output yang diberikan oleh R akan...
Melakukan penelitian tentang algoritma xgboost saya membaca dokumentasi . Dalam pendekatan ini, pohon diatur menggunakan definisi kompleksitas mana dan adalah parameter, adalah jumlah daun terminal dan adalah skor di setiap daun.Ω(f)=γT+12λ∑j=1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T +...
Saya sedang mengerjakan pekerjaan rumah di Pohon Keputusan, dan salah satu pertanyaan yang harus saya jawab adalah "Mengapa estimator dibangun dari pohon yang bias, dan bagaimana mengantongi membantu mengurangi variansnya?". Sekarang, saya tahu bahwa model overfitted cenderung memiliki bias yang...
Makalah ini mengklaim bahwa dalam CART, karena pemisahan biner dilakukan pada kovariat tunggal pada setiap langkah, semua pemisahan bersifat ortogonal dan oleh karena itu interaksi di antara kovariat tidak dipertimbangkan. Namun, banyak referensi yang sangat serius mengklaim, sebaliknya, bahwa...
Saya telah menggunakan rpart.controluntuk minsplit=2, dan mendapat hasil berikut dari rpart()fungsi. Untuk menghindari kelebihan data, apakah saya perlu menggunakan split 3 atau split 7? Haruskah saya menggunakan split 7? Tolong beritahu saya. Variabel yang sebenarnya digunakan dalam konstruksi...
Saya adalah pendatang baru untuk analisis survival, meskipun saya memiliki beberapa pengetahuan dalam klasifikasi dan regresi. Untuk regresi, kami memiliki statistik MSE dan R square. Tetapi bagaimana kita dapat mengatakan bahwa model survival A lebih unggul daripada model survival B selain...
Hai, saya sedang mempelajari teknik regresi. Data saya memiliki 15 fitur dan 60 juta contoh (tugas regresi). Ketika saya mencoba banyak teknik regresi yang dikenal (gradient boosted tree, Decision tree regression, AdaBoostRegressor dll) regresi linier dilakukan dengan sangat baik. Skor hampir...
Katakanlah kita memiliki sampel dari dua populasi: Adan B. Mari kita asumsikan populasi ini terbuat dari individu dan kami memilih untuk menggambarkan individu dalam hal fitur. Beberapa fitur ini bersifat kategorikal (misalnya apakah mereka mengemudi untuk bekerja?) Dan beberapa bersifat numerik...
Dari apa yang saya mengerti, argumen cp ke rpartfungsi membantu pra-pangkas pohon dengan cara yang sama dengan argumen menitplit atau minbucket. Yang tidak saya mengerti adalah bagaimana nilai CP dihitung. Sebagai contoh df<-data.frame(x=c(1,2,3,3,3,4), y=as.factor(c(TRUE, TRUE, FALSE, TRUE,...
Saya tahu bahwa rpartfungsi R menyimpan data yang diperlukan untuk mengimplementasikan pemisahan multivarian, tetapi saya tidak tahu apakah itu benar-benar melakukan pemisahan multivarian. Saya sudah mencoba merisetnya secara online dengan melihat rpartdokumen, tetapi saya tidak melihat informasi...
Saya datang dengan beberapa posting dan surat-surat yang menyatakan bahwa pemangkasan pohon dalam ansambel "mengantongi" pohon tidak diperlukan (lihat 1 ). Namun, apakah perlu (atau setidaknya dalam beberapa kasus yang diketahui) merusak untuk melakukan pemangkasan (misalnya, dengan sampel OOB)...
Apakah ada metode untuk membangun pohon keputusan yang memperhitungkan prediktor terstruktur / hierarkis / multilevel, yang akan memungkinkan saya untuk memaksakan pengetahuan domain atau kendala pada interaksi
Dalam ESL , Bagian 9.7, ada paragraf yang menyatakan bahwa waktu perhitungan dari perpecahan dalam pertumbuhan pohon klasifikasi (atau regresi) biasanya berskala seperti mana adalah jumlah prediktor dan adalah jumlah sampel.pNlogNpNlogNp N \log NpppNNN Pendekatan naif menghasilkan penskalaan ,...
Apakah lazim memiliki teknik regresi yang berbeda pada daun pohon regresi (misalnya regresi linier)? Saya telah mencarinya selama satu jam terakhir, tetapi yang saya temukan hanyalah implementasi yang memiliki nilai konstan pada daun pohon. Apakah ada alasan mengapa ini tidak
Diketahui bahwa ketika membangun pohon keputusan, kami membagi variabel input secara mendalam dan menemukan pemisahan 'terbaik' dengan pendekatan uji statistik atau pendekatan fungsi Pengotor. Pertanyaan saya adalah ketika kita menggunakan variabel kontinu sebagai variabel input (hanya beberapa...
Dalam Applied Predictive Modelling oleh Kuhn dan Johnson penulis menulis: Akhirnya, pohon-pohon ini menderita bias seleksi: prediktor dengan jumlah nilai berbeda yang lebih tinggi lebih disukai daripada prediktor lebih granular (Loh dan Shih, 1997; Carolin et al., 2007; Loh, 2010). Loh dan Shih...
Pertanyaan saya berkaitan dengan pohon Klasifikasi . Pertimbangkan contoh berikut dari kumpulan data Iris: Saya ingin secara manual memilih prediktor terbaik untuk pemisahan pertama. Menurut algoritma CART, fitur terbaik untuk membuat pemisahan adalah fitur yang memaksimalkan penurunan pengotor...