Saya telah membaca sedikit tentang meningkatkan algoritma untuk tugas klasifikasi dan Adaboost pada khususnya. Saya memahami bahwa tujuan Adaboost adalah untuk mengambil beberapa "pelajar yang lemah" dan, melalui serangkaian iterasi pada data pelatihan, mendorong pengklasifikasi untuk belajar memprediksi kelas yang modelnya berulang kali membuat kesalahan. Namun, saya bertanya-tanya mengapa begitu banyak bacaan yang saya lakukan menggunakan pohon keputusan sebagai penggolong yang lemah. Apakah ada alasan khusus untuk ini? Apakah ada pengklasifikasi tertentu yang membuat kandidat Adaboost baik atau buruk?
machine-learning
classification
algorithms
boosting
kylerthecreator
sumber
sumber
Jawaban:
Saya membicarakan hal ini sebagai jawaban atas pertanyaan SO terkait . Decision tree secara umum sangat cocok untuk meningkatkan, lebih dari algoritma lainnya. Versi poin / ringkasan adalah:
sumber
Saya tidak punya jawaban buku teks. Namun di sini ada beberapa pemikiran.
Peningkatan dapat dilihat dibandingkan langsung dengan mengantongi. Ini adalah dua pendekatan berbeda dari dilema bias varians tradeoff. Sementara bagging memiliki peserta didik yang lemah, beberapa peserta didik dengan bias rendah dan varians tinggi, dengan rata-rata ansambel bagging mengurangi varians untuk sedikit bias. Meningkatkan di sisi lain bekerja dengan baik dengan pelajar yang lemah berbeda. Pembelajar yang lemah meningkatkan memiliki bias tinggi dan varian rendah. Dengan membangun satu pelajar di atas yang lain, ansambel penambah mencoba mengurangi bias, untuk sedikit variasi.
Sebagai konsekuensinya, jika Anda mempertimbangkan untuk menggunakan bagging dan meningkatkan dengan pohon sebagai pembelajar yang lemah, cara terbaik untuk menggunakannya adalah pohon kecil / pendek dengan boosting dan pohon yang sangat detail dengan bagging. Inilah sebabnya mengapa seringkali prosedur peningkatan menggunakan tunggul keputusan sebagai pembelajar yang lemah, yang merupakan pohon terpendek yang mungkin (kondisi tunggal jika pada dimensi tunggal). Putusan keputusan ini sangat stabil, sehingga memiliki varian yang sangat rendah.
Saya tidak melihat alasan untuk menggunakan pohon dengan prosedur peningkatan. Namun, pohon pendek itu sederhana, mudah diimplementasikan dan mudah dimengerti. Namun, saya pikir bahwa untuk berhasil dengan prosedur peningkatan, pelajar Anda yang lemah harus memiliki varian rendah, harus kaku, dengan sedikit derajat kebebasan. Sebagai contoh saya melihat tidak ada gunanya memiliki sebagai pembelajar yang lemah jaringan saraf.
Selain itu, Anda harus mencatat bahwa untuk beberapa jenis prosedur peningkatan, peningkatan gradien misalnya, Breiman menemukan bahwa jika pelajar yang lemah adalah pohon, beberapa optimasi dalam cara meningkatkan kerja dapat dilakukan. Dengan demikian kami memiliki pohon meningkatkan gradien. Ada eksposur peningkatan yang bagus dalam buku ESTL.
sumber