Hutan acak vs Adaboost

10

Dalam bagian 7 dari makalah Hutan Acak (Breiman, 1999), penulis menyatakan dugaan berikut: "Adaboost is a Random Forest".

Adakah yang membuktikan, atau membantah ini? Apa yang telah dilakukan untuk membuktikan atau menyangkal postingan ini tahun 1999?

machine-learning random-forest boosting Alex
sumber
Silakan baca stats.stackexchange.com/questions/77018/... Mungkin Anda akan menemukan jawaban Anda di sana
@ user75008 Terima kasih! Jadi, bagian 7 memberikan dugaan lain, sehingga jika terbukti, menunjukkan bahwa adaboost setara dengan hutan acak. Adakah yang menunjukkan dugaan ini benar?
Alex
@ user75008 Saya membaca tautan Anda, stats.stackexchange.com/questions/77018/... , apakah menurut Anda ini menunjukkan bahwa Adaboost tidak setara dengan Hutan Acak?
Alex

Jawaban:

3

Pertanyaan menarik. Banyak upaya untuk menjelaskan ada peningkatan melalui beberapa taktik yang berbeda telah dilakukan sejak itu.

Saya melakukan pencarian literatur cepat dan makalah yang agak aneh ini tampaknya menjadi yang terbaru tentang masalah ini dan juga mengulas banyak karya perantara oleh Brieman dan yang lainnya:

http://arxiv.org/pdf/1212.1108.pdf

Saya tidak tahu apakah hasil mereka valid tetapi mereka mengklaim telah gagal membuktikan dugaan Brieman tetapi untuk membuktikan versi yang lebih lemah dari itu mengklaim adaboost adalah pengawetan ukuran tetapi tidak selalu ergodik.

Mereka juga menyajikan beberapa bukti empiris bahwa adaboost memang kadang-kadang berlebihan.

Saya pikir itu menyarankan adaboost mungkin terkait dengan hutan acak tetapi tidak sepenuhnya (atau tidak selalu) setara dengan cara dugaan Brieman?

Ryan Bressler
sumber
terima kasih, jadi saya kira ini masih merupakan pertanyaan terbuka, tetapi pernyataan terakhir Anda jelas.
Alex
1
Ya saya pikir itu masih terbuka. Saya juga berpikir bahwa minat telah menurun dalam menganalisis AdaBoost karena mesin peningkat gradien [stokastik] telah menjadi lebih populer. AdaBoost adalah bentuk gradient descent ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ) dan berpikir dalam hal penurunan gradien acak secara acak mungkin lebih intuitif dan lebih praktis daripada kesetaraan yang diajukan Brieman. (Yaitu bahkan jika itu benar, mungkin akan sangat sulit untuk mengambil sampel dari distribusi yang diperlukan dalam praktik.)
Ryan Bressler
Saya baru saja melihat makalah baru ini tentang subjek: arxiv.org/pdf/1504.07676v1.pdf
Ryan Bressler
Sangat menarik jika benar! "Kami menyimpulkan bahwa peningkatan harus digunakan seperti hutan acak: dengan pohon keputusan besar dan tanpa regularisasi langsung atau penghentian dini."
Alex