Algoritma pengantongan apa yang merupakan penerus yang layak untuk Random Forest?

14

Untuk meningkatkan algoritma, saya akan mengatakan bahwa mereka berevolusi dengan cukup baik. Pada awal 1995 AdaBoost diperkenalkan, kemudian setelah beberapa waktu itu Gradient Boosting Machine (GBM). Baru-baru ini, sekitar 2015 XGBoost diperkenalkan, yang akurat, menangani overfitting dan telah menjadi pemenang beberapa kompetisi Kaggle. Pada 2017 LightGBM diperkenalkan oleh Microsoft, ia menawarkan waktu pelatihan yang jauh lebih rendah dibandingkan dengan XGBoost. Selain itu, CatBoost diperkenalkan oleh Yandex untuk menangani fitur-fitur kategorikal.

Random Forest diperkenalkan pada awal 2000-an, tetapi apakah ada penerus yang layak untuk itu? Saya pikir jika algoritma bagging yang lebih baik daripada Random Forest ada (yang dapat dengan mudah diterapkan dalam praktek) itu akan mendapatkan perhatian di tempat-tempat seperti Kaggle. Juga, mengapa meningkatkan menjadi teknik ansambel yang lebih populer, apakah karena Anda dapat membuat lebih sedikit pohon untuk prediksi yang optimal?

random-forest boosting bagging Marius
sumber
1
adaBoost sebenarnya diperkenalkan pada tahun 1995, tetapi itu adalah poin kecil yang tidak mengubah tesis fundamental Anda.
jbowman
3
Sejak hutan acak, kami juga telah melihat pengenalan pohon yang sangat acak , meskipun saya tidak benar-benar mengetahui adanya bukti yang baik bahwa hutan acak ini lebih baik dari konsistensi, sehingga mereka mungkin bukan penerus yang "layak" ...
Jake Westfall
1
BART ( arxiv.org/abs/0806.3286 ) adalah model Bayesian yang berevolusi dari pohon Bayesian CART tunggal dan terinspirasi oleh metode ensemble klasik. Layak dijelajahi.
Zen
meningkatkan menjadi lebih populer karena menangani banyak masalah dengan sukses dengan teknik belajar yang lemah
Refael
Hutan serakah yang diregulasi dapat layak disebutkan (lambat tetapi beberapa hasil bagus) dan hutan acak kuantil untuk efek sampingnya yang dingin.
Michael M

Jawaban:

3

xgboost, catboost dan lightgbm menggunakan beberapa fitur hutan acak (pengambilan sampel acak variabel / pengamatan), jadi saya pikir mereka adalah penerus peningkatan dan RF bersama-sama dan mengambil hal-hal terbaik dari keduanya. ;)

PhilippPro
sumber