Sekelompok algoritma yang menggabungkan model prediksi yang lemah ke dalam model prediksi yang kuat. Pendekatan yang paling umum disebut gradient boosting, dan model lemah yang paling umum digunakan adalah pohon klasifikasi / regresi.
Apa persamaan dan perbedaan antara 3 metode ini: Mengantongi, Meningkatkan, Susun? Mana yang terbaik? Dan mengapa? Bisakah Anda memberi saya contoh untuk
Penguatan pohon gradien seperti yang diusulkan oleh Friedman menggunakan pohon keputusan sebagai pelajar dasar. Saya bertanya-tanya apakah kita harus membuat pohon keputusan dasar serumit mungkin (dewasa) atau lebih sederhana? Apakah ada penjelasan untuk pilihannya? Random Forest adalah metode...
Saya memiliki data yang tidak seimbang kelas & saya ingin menyetel hyperparameter dari tress yang ditingkatkan menggunakan xgboost. Pertanyaan Apakah ada yang setara dengan gridsearchcv atau randomsearchcv untuk xgboost? Jika tidak, apa pendekatan yang disarankan untuk menyesuaikan...
Definisi singkat untuk meningkatkan : Bisakah satu set pelajar yang lemah menciptakan pelajar yang kuat? Pelajar yang lemah didefinisikan sebagai penggolong yang hanya sedikit berkorelasi dengan klasifikasi yang benar (ia dapat memberi label contoh yang lebih baik daripada menebak secara...
Saya mencoba memahami perbedaan antara GBM & Adaboost. Inilah yang saya mengerti sejauh ini: Ada keduanya meningkatkan algoritma, yang belajar dari kesalahan model sebelumnya dan akhirnya membuat jumlah model tertimbang. GBM dan Adaboost sangat mirip kecuali untuk fungsi
Saat belajar tentang Peningkatan Gradien, saya belum pernah mendengar tentang kendala mengenai sifat-sifat "classifier lemah" yang digunakan metode untuk membangun dan membuat model ansambel. Namun, saya tidak bisa membayangkan aplikasi GB yang menggunakan regresi linier, dan sebenarnya ketika saya...
Saya telah mengikuti kompetisi Kaggle untuk waktu yang lama dan saya menyadari bahwa banyak strategi kemenangan melibatkan menggunakan setidaknya satu dari "bertiga besar": mengantongi, meningkatkan dan menumpuk. Untuk regresi, daripada berfokus pada membangun satu model regresi terbaik, membangun...
Saya sedang mencari penjelasan tentang betapa pentingnya variabel relatif dihitung dalam Gradient Boosted Trees yang tidak terlalu umum / sederhana seperti: Langkah-langkah didasarkan pada berapa kali variabel dipilih untuk pemisahan, ditimbang oleh peningkatan kuadrat untuk model sebagai hasil...
Ada beberapa implementasi model keluarga GBDT seperti: GBM XGBoost LightGBM Catboost. Apa perbedaan matematika antara implementasi yang berbeda ini? Catboost tampaknya mengungguli implementasi lainnya bahkan dengan hanya menggunakan parameter standarnya sesuai dengan tanda bangku ini , tetapi...
Apa saja pedoman yang berguna untuk parameter pengujian (yaitu kedalaman interaksi, anak kecil, laju sampel, dll.) Menggunakan GBM? Katakanlah saya memiliki 70-100 fitur, populasi 200.000 dan saya berniat menguji kedalaman interaksi 3 dan 4. Jelas saya perlu melakukan beberapa pengujian untuk...
Saya punya pertanyaan tentang parameter kedalaman interaksi dalam gbm di R. Ini mungkin pertanyaan noob, yang saya minta maaf, tetapi bagaimana parameternya, yang saya yakini menunjukkan jumlah terminal terminal dalam sebuah pohon, pada dasarnya menunjukkan X-way interaksi di antara para prediktor?...
Lihat juga pertanyaan serupa di stats.SE . Dalam meningkatkan algoritma seperti AdaBoost dan LPBoost diketahui bahwa pelajar "lemah" yang akan digabungkan hanya harus berkinerja lebih baik daripada kesempatan untuk berguna, dari Wikipedia: Klasifikasi yang digunakannya bisa lemah (yaitu,...
Sebagai contoh, ambil fungsi objektif dari model XGBoost pada iterasi :ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) di mana adalah fungsi kerugian, adalah keluaran pohon ke -...
Apa cara termudah untuk memahami peningkatan? Mengapa itu tidak meningkatkan penggolong yang sangat lemah "hingga tak terbatas"
Saya memiliki beberapa pertanyaan yang berkaitan erat tentang pelajar yang lemah dalam pembelajaran ensemble (misalnya meningkatkan). Ini mungkin terdengar bodoh, tetapi apa manfaat menggunakan yang lemah sebagai lawan dari pelajar yang kuat? (mis. mengapa tidak meningkatkan dengan metode...
Nah baru-baru ini saya bekerja pada belajar algoritma meningkatkan, seperti AdaBoost, meningkatkan gradien, dan saya tahu fakta bahwa yang paling umum digunakan lemah-pelajar adalah pohon. Saya benar-benar ingin tahu apakah ada beberapa contoh sukses baru-baru ini (maksud saya beberapa makalah atau...
Setelah melakukan analisis komponen utama (PCA), saya ingin memproyeksikan vektor baru ke ruang PCA (yaitu menemukan koordinatnya dalam sistem koordinat PCA). Saya telah menghitung PCA dalam bahasa R menggunakan prcomp. Sekarang saya harus bisa mengalikan vektor saya dengan matriks rotasi PCA....
Saya sedang membaca laporan dari solusi memenangkan kompetisi Kaggle ( Klasifikasi Malware ). Laporan ini dapat ditemukan di posting forum ini . Masalahnya adalah masalah klasifikasi (sembilan kelas, metrik adalah kehilangan logaritmik) dengan 10.000 elemen di set kereta, 10.000 elemen di set...
Saya telah membaca berbagai (tampaknya) pernyataan yang bertentangan apakah AdaBoost (atau teknik meningkatkan lainnya) kurang atau lebih cenderung overfitting dibandingkan dengan metode pembelajaran lainnya. Apakah ada alasan bagus untuk memercayai yang satu atau yang lain? Jika itu tergantung,...
Saya mencoba memahami cara kerja XGBoost. Saya sudah mengerti bagaimana gradien meningkatkan kerja pohon di Python sklearn. Yang tidak jelas bagi saya adalah apakah XGBoost bekerja dengan cara yang sama, tetapi lebih cepat, atau jika ada perbedaan mendasar antara itu dan implementasi...