Pengaturan saya adalah sebagai berikut: Saya mengikuti garis pedoman dalam "Pemodelan Prediktif Terapan". Jadi saya telah memfilter fitur-fitur terkait dan berakhir dengan yang berikut: 4900 titik data di set latihan dan 1600 titik data di set tes. Saya memiliki 26 fitur dan targetnya adalah...
The tingkat belajar parameter ( ) di Gradient Meningkatkan menyusut kontribusi masing-masing model dasar baru -typically sebuah pohon yang dangkal yang ditambahkan dalam seri. Itu terbukti secara dramatis meningkatkan akurasi set tes, yang dapat dimengerti karena dengan langkah-langkah yang lebih...
Dalam buku teks dan ceramah youtube saya belajar banyak tentang model berulang seperti meningkatkan, tapi saya tidak pernah melihat apa pun tentang mendapatkan interval prediksi. Validasi silang digunakan untuk yang berikut: Pemilihan model : Coba model yang berbeda dan pilih yang paling cocok....
Saya telah membaca karya Alexandru Niculescu-Mizil dan Rich Caruana " Memperoleh Kemungkinan yang Dikalibrasi dari Peningkatan " dan diskusi di utas ini . Namun, saya masih mengalami kesulitan memahami dan menerapkan skala logistik atau Platt untuk mengkalibrasi output multi-class saya meningkatkan...
Decision stump adalah pohon keputusan dengan hanya satu split. Ini juga dapat ditulis sebagai fungsi piecewise. Misalnya, anggap adalah vektor, dan adalah komponen pertama , dalam pengaturan regresi, beberapa tunggul keputusan dapatxxxx1x1x_1xxx f(x)={35x1≤2x1>2f(x)={3x1≤25x1>2f(x)=...
Pertanyaan Saya berjuang untuk memahami bagaimana prediksi disimpan dalam interval ketika melakukan klasifikasi biner dengan Gradient Boosting.[0,1][0,1][0,1] Asumsikan kita sedang mengerjakan masalah klasifikasi biner, dan fungsi tujuan kita adalah hilangnya log, , di mana adalah variabel target...
Ada banyak posting blog, video YouTube, dll. Tentang ide mengantongi atau meningkatkan pohon. Pemahaman umum saya adalah bahwa kode pseudo untuk masing-masing adalah: Mengantongi: Ambil N sampel acak x% dari sampel dan y% dari fitur Paskan model Anda (misalnya, pohon keputusan) pada...
Secara umum, dalam masalah klasifikasi di mana tujuannya adalah untuk secara akurat memprediksi keanggotaan kelas out-of-sample, kapan saya harus tidak menggunakan ensemble classifier? Pertanyaan ini terkait erat dengan Mengapa tidak selalu menggunakan pembelajaran ensemble? . Pertanyaan itu...
Dapatkah mesin peningkat gradien Friedman mencapai kinerja yang lebih baik daripada Hutan Acak Breiman ? Jika demikian, dalam kondisi apa atau jenis data apa yang dapat membuat gbm lebih
Saya sedang berurusan dengan masalah klasifikasi biner yang diawasi. Saya ingin menggunakan paket GBM untuk mengklasifikasikan individu sebagai tidak terinfeksi / terinfeksi. Saya memiliki 15 kali lebih tidak terinfeksi daripada orang yang terinfeksi. Saya bertanya-tanya apakah model GBM menderita...
Saya bereksperimen dengan algoritma mesin peningkat gradien melalui caretpaket di R. Menggunakan dataset penerimaan perguruan tinggi kecil, saya menjalankan kode berikut: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ###...
Sebenarnya, saya pikir saya sudah mengerti apa yang bisa ditunjukkan dengan plot ketergantungan sebagian, tetapi menggunakan contoh hipotetis yang sangat sederhana, saya agak bingung. Dalam potongan kode berikut ini saya menghasilkan tiga variabel independen ( a , b , c ) dan satu variabel dependen...
Saya mencoba meningkatkan gradien pada dataset dengan tingkat kejadian sekitar 1% menggunakan penambang Perusahaan, tetapi gagal menghasilkan output apa pun. Pertanyaan saya adalah, karena ini adalah pendekatan berbasis pohon keputusan, apakah itu benar untuk menggunakan meningkatkan gradien dengan...
Untuk meningkatkan algoritma, saya akan mengatakan bahwa mereka berevolusi dengan cukup baik. Pada awal 1995 AdaBoost diperkenalkan, kemudian setelah beberapa waktu itu Gradient Boosting Machine (GBM). Baru-baru ini, sekitar 2015 XGBoost diperkenalkan, yang akurat, menangani overfitting dan telah...
Seperti yang saya pernah mendengar tentang classifier AdaBoost berulang kali disebutkan di tempat kerja, saya ingin mendapatkan perasaan yang lebih baik tentang cara kerjanya dan ketika seseorang mungkin ingin menggunakannya. Saya telah maju dan membaca sejumlah makalah dan tutorial tentang hal itu...
Ada varian peningkatan yang disebut gentleboost . Apa perbedaan lembut dari AdaBoost yang lebih terkenal
Dengan membaca pemodelan statistik yang sangat baik : Dua budaya (Breiman 2001) , kita dapat mengambil semua perbedaan antara model statistik tradisional (misalnya, regresi linier) dan algoritma pembelajaran mesin (misalnya, Bagging, Random Forest, Boosted trees ...). Breiman mengkritik model data...
Tampak bagi saya bahwa ensemble learning AKAN selalu memberikan kinerja prediksi yang lebih baik daripada hanya dengan satu hipotesis pembelajaran. Jadi, mengapa kita tidak menggunakannya sepanjang waktu? Dugaan saya adalah karena mungkin, keterbatasan komputasi? (meski begitu, kami menggunakan...
Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 5 bulan lalu . Apakah ada perpustakaan python yang bagus untuk pelatihan...
Ketika mengkode fitur kategorikal untuk regresi linier, ada aturan: jumlah boneka harus kurang dari jumlah total level (untuk menghindari kolinearitas). Apakah ada aturan yang sama untuk Pohon Keputusan (dikantongi, dikuatkan)? Saya menanyakan hal ini karena praktik standar dalam Python tampaknya...