Berdasarkan Gradient Boosting Tree vs Random Forest . GBDT dan RF menggunakan strategi berbeda untuk mengatasi bias dan varians.
Pertanyaan saya adalah apakah saya bisa membuat sampel ulang dataset (dengan penggantian) untuk melatih beberapa GBDT dan menggabungkan prediksi mereka sebagai hasil akhir?
Ini sama dengan membangun hutan acak menggunakan GBDT sebagai pelajar dasar
Idenya adalah bahwa, GBDT dapat menyesuaikan dataset (mirip dengan pohon keputusan tumbuh penuh, varians tinggi bias rendah). Saya berharap menggunakan teknik mengantongi juga dapat mengurangi masalah ini dan ingin mendapatkan kinerja yang lebih baik.
Ada saran?
Jawaban:
Ya kamu bisa. Mengantongi sebagai teknik tidak bergantung pada klasifikasi tunggal atau pohon regresi menjadi pembelajar dasar; Anda dapat melakukannya dengan apa pun, meskipun banyak pelajar dasar (mis., regresi linier) memiliki nilai lebih rendah daripada yang lain. The bootstrap menggabungkan artikel di Wikipedia berisi contoh mengantongi smoothers loess data ozon.
Namun, jika Anda melakukannya, Anda hampir pasti tidak ingin menggunakan parameter yang sama dengan GBM tunggal yang sepenuhnya disetel. Sebagian besar titik penyetelan GBM adalah untuk mencegah overfitting; mengantongi mengurangi overfitting melalui mekanisme yang berbeda, jadi jika GBM Anda tidak terlalu banyak berpakaian, mengantongi mungkin juga tidak akan banyak membantu - dan, karena Anda kemungkinan membutuhkan ratusan pohon untuk mengantongi secara efektif, runtime Anda akan naik sebesar faktor beberapa ratus juga. Jadi sekarang Anda memiliki dua masalah - bagaimana menyetel GBM Anda mengingat bahwa itu tertanam di hutan acak (meskipun kemungkinan tidak begitu penting untuk memperbaikinya, mengingat bahwa itu tertanam di hutan acak,) dan masalah runtime.
Setelah menulis semua itu, memang benar bahwa pemikiran tipe bagging dapat diintegrasikan secara menguntungkan dengan GBM, meskipun dengan cara yang berbeda. H20, misalnya, memberikan opsi untuk membuat setiap pohon dari urutan pohon GBM dikembangkan pada sampel acak dari data pelatihan. Sampel ini dilakukan tanpa penggantian, karena pengambilan sampel dengan penggantian dianggap menyebabkan pohon yang dihasilkan menutupi bagian-bagian sampel yang diulang. Pendekatan ini secara eksplisit dimotivasi oleh prosedur Breiman "adaptive bagging", lihat makalah Stochastic Gradient Boost 1999 untuk detail.
sumber