Apa cara termudah untuk memahami peningkatan?
Mengapa itu tidak meningkatkan penggolong yang sangat lemah "hingga tak terbatas" (kesempurnaan)?
Dalam bahasa Inggris yang sederhana: Jika classifier Anda salah mengklasifikasikan beberapa data, latih salinan lainnya terutama pada bagian yang salah klasifikasi dengan harapan akan menemukan sesuatu yang halus. Dan kemudian, seperti biasa, beralih. Di jalan ada beberapa skema pemungutan suara yang memungkinkan untuk menggabungkan semua prediksi pengklasifikasi dengan cara yang masuk akal.
Karena kadang-kadang itu tidak mungkin (kebisingan hanya menyembunyikan sebagian informasi, atau bahkan tidak ada dalam data); di sisi lain, meningkatkan terlalu banyak dapat menyebabkan overfitting.
Meningkatkan mempekerjakan penyusutan melalui parameter laju pembelajaran, yang, ditambah dengan validasi silang k -fold, prediksi "out-of-bag" (OOB) atau set uji independen, menentukan jumlah pohon yang harus disimpan dalam ansambel.
Kami ingin model yang belajar secara lambat, maka ada trade-off dalam hal kompleksitas masing-masing model individu dan jumlah model untuk dimasukkan. Panduan yang saya lihat menyarankan Anda harus menetapkan tingkat pembelajaran serendah mungkin (mengingat waktu komputasi dan persyaratan ruang penyimpanan), sementara kompleksitas setiap pohon harus dipilih berdasarkan apakah interaksi diperbolehkan, dan sampai sejauh mana, semakin kompleks pohon, semakin kompleks interaksi yang dapat diwakili.
k -fold CV (atau prediksi OOB atau set tes independen) digunakan untuk memutuskan kapan model yang dikuatkan sudah mulai overfit. Pada dasarnya inilah yang menghentikan kami meningkatkan ke model yang sempurna, tetapi lebih baik untuk belajar secara perlahan sehingga kami memiliki ansambel besar model yang berkontribusi pada model yang pas.