Mengapa tidak selalu menggunakan pembelajaran ensemble?

13

Tampak bagi saya bahwa ensemble learning AKAN selalu memberikan kinerja prediksi yang lebih baik daripada hanya dengan satu hipotesis pembelajaran.

Jadi, mengapa kita tidak menggunakannya sepanjang waktu?

Dugaan saya adalah karena mungkin, keterbatasan komputasi? (meski begitu, kami menggunakan prediktor yang lemah, jadi saya tidak tahu).

boosting ensemble bagging jpmuc
sumber
2
Karena ensemble learning tidak selalu memberikan kinerja yang lebih baik. Baik mengantongi dan meningkatkan kerja dalam beberapa kasus tetapi dapat sangat menurunkan kinerja pada yang lain.
Marc Claesen

Jawaban:

12

Secara umum tidak benar bahwa ia akan selalu berkinerja lebih baik. Ada beberapa metode ensemble, masing-masing dengan kelebihan / kelemahannya sendiri. Yang mana yang akan digunakan dan kemudian tergantung pada masalah yang dihadapi.

Misalnya, jika Anda memiliki model dengan varian tinggi (terlalu sesuai dengan data Anda), maka kemungkinan Anda akan mendapat manfaat dari menggunakan bagging. Jika Anda memiliki model yang bias, lebih baik menggabungkannya dengan Boosting. Ada juga berbagai strategi untuk membentuk ansambel. Topiknya terlalu luas untuk membahasnya dalam satu jawaban.

Tetapi poin saya adalah: jika Anda menggunakan metode ensemble yang salah untuk pengaturan Anda, Anda tidak akan melakukan yang lebih baik. Misalnya, menggunakan Bagging dengan model yang bias tidak akan membantu.

Juga, jika Anda perlu bekerja dalam pengaturan probabilistik, metode ansambel mungkin juga tidak berfungsi. Hal ini diketahui bahwa Boosting (dalam bentuk populer yang paling yang seperti AdaBoost) memberikan perkiraan probabilitas miskin. Artinya, jika Anda ingin memiliki model yang memungkinkan Anda untuk alasan tentang data Anda, tidak hanya klasifikasi, Anda mungkin lebih baik dengan model grafis.

jpmuc
sumber
Tunggul keputusan bias, tetapi mereka telah berhasil digunakan dengan mengantongi.
ya, tapi ansambelnya masih bias. Bagaimana jika bias benar-benar masalah? Mengantongi tidak akan membantu memperbaikinya. Bisakah Anda menambahkan referensi ke case yang Anda sebutkan?
jpmuc