Ini sebenarnya bermuara pada salah satu teknik "3B": mengantongi, meningkatkan atau memadukan.
Dalam mengantongi, Anda melatih banyak pengklasifikasi pada subset objek yang berbeda dan menggabungkan jawaban dengan rata-rata untuk regresi dan memilih untuk klasifikasi (ada beberapa opsi lain untuk situasi yang lebih kompleks, tapi saya akan melewatkannya). Proporsi / variasi pemilihan dapat diartikan sebagai perkiraan kesalahan karena pengklasifikasi individu biasanya dianggap independen. RF sebenarnya adalah ansambel mengantongi.
Meningkatkan adalah metode keluarga yang lebih luas, namun poin utama mereka adalah bahwa Anda membangun classifier berikutnya pada residual dari yang pertama, cara ini (secara teori) secara bertahap meningkatkan akurasi dengan menyoroti interaksi yang semakin halus. Prediksi biasanya digabungkan dengan menjumlahkannya, seperti menghitung nilai fungsi dalam x dengan menjumlahkan nilai elemen seri Taylor untuk x.
Versi paling populer adalah (Stochastic) Gradient Boosting (dengan dasar matematika yang bagus) dan AdaBoost (terkenal, sebenarnya kasus spesifik GB). Dari perspektif holistik, pohon keputusan adalah pendorong pengelompokan pivot yang sepele.
Blending adalah ide pengklasifikasi bersarang, yaitu menjalankan satu pengklasifikasi pada sistem informasi yang dibuat dari prediksi pengklasifikasi lain. Karena itu, ini adalah metode yang sangat variabel dan tentu saja bukan algoritma yang ditentukan; mungkin memerlukan banyak objek (dalam kebanyakan kasus, "blender" classifier harus dilatih pada seperangkat objek yang tidak digunakan untuk membangun penggolong parsial untuk menghindari pakaian yang memalukan).
Prediksi pengklasifikasi parsial jelas dikombinasikan dengan menggabungkan mereka ke dalam sistem informasi yang diprediksi oleh blender.