Kapan seseorang ingin menggunakan AdaBoost?

14

Seperti yang saya pernah mendengar tentang classifier AdaBoost berulang kali disebutkan di tempat kerja, saya ingin mendapatkan perasaan yang lebih baik tentang cara kerjanya dan ketika seseorang mungkin ingin menggunakannya. Saya telah maju dan membaca sejumlah makalah dan tutorial tentang hal itu yang saya temukan di Google, tetapi ada beberapa aspek dari penggolong yang masih sulit saya pahami:

  1. Kebanyakan tutorial yang saya lihat berbicara tentang AdaBoost sebagai menemukan kombinasi tertimbang terbaik dari banyak pengklasifikasi. Ini masuk akal bagi saya. Apa yang tidak masuk akal adalah implementasi (yaitu MALLET) di mana AdaBoost tampaknya hanya menerima satu pelajar yang lemah. Bagaimana ini masuk akal? Jika hanya ada satu classifier yang disediakan untuk AdaBoost, bukankah seharusnya hanya mengembalikan kembali classifier yang sama dengan bobot 1? Bagaimana cara menghasilkan pengklasifikasi baru dari pengklasifikasi pertama?

  2. Kapan seseorang benar-benar ingin menggunakan AdaBoost? Saya telah membaca bahwa itu seharusnya menjadi salah satu pengklasifikasi terbaik di luar kotak, tetapi ketika saya mencoba meningkatkan classifier MaxEnt saya mendapatkan skor-f 70% + dengan, AdaBoost membunuhnya dan memberi saya f- skor sekitar 15% dengan daya ingat sangat tinggi dan presisi sangat rendah. Jadi sekarang saya bingung. Kapan saya ingin menggunakan AdaBoost? Saya mencari jawaban yang lebih intuitif daripada statistik, jika memungkinkan.

machine-learning boosting adaboost YuliaPro
sumber

Jawaban:

11

Adaboost dapat menggunakan beberapa instance dari classifier yang sama dengan parameter yang berbeda. Dengan demikian, pengklasifikasi linier yang sebelumnya dapat digabungkan menjadi pengklasifikasi nonlinear. Atau, seperti kata orang AdaBoost, banyak pelajar yang lemah dapat membuat satu pembelajar yang kuat. Gambar yang bagus dapat ditemukan di sini , di bagian bawah.

Pada dasarnya, ia berjalan seperti halnya dengan algoritma pembelajaran lainnya: pada beberapa dataset berfungsi, pada beberapa tidak. Pasti ada dataset di luar sana, di mana ia unggul. Dan mungkin Anda belum memilih pelajar lemah yang tepat. Apakah Anda mencoba regresi logistik? Apakah Anda memvisualisasikan bagaimana batas keputusan berkembang selama penambahan peserta didik? Mungkin Anda bisa tahu apa yang salah.

bayerj
sumber
(+1). Komentar tambahan: Bahkan parameter pelajar yang lemah tidak berbeda, perilaku (yaitu apa yang mereka prediksi) berubah ketika struktur dataset (seperti yang dilakukan dalam meningkatkan) berubah.
steffen
MaxEnt adalah regresi logistik. Memvisualisasikan bagaimana batas-batas keputusan berevolusi sebenarnya akan sangat berguna. Bagaimana seseorang bisa melakukan itu? Juga, saya masih tidak mengerti bagaimana MasihBoost masih bekerja ketika itu hanya diberikan satu set fitur dan satu tipe classifier (seperti dalam MALLET). Bagi saya, ini tampaknya sepenuhnya kontra-intuitif.
YuliaPro
Cukup plot dataset Anda. Selain itu, plot kisi di mana Anda memilih warna untuk setiap titik bagaimana itu diklasifikasikan oleh sistem Anda. Ini hanya berfungsi untuk 2D, saya kira. Anda masih bisa merencanakan kapak paling penting atau sesuatu. Jika Anda hanya memiliki satu set fitur dan satu classifier, itu berkurang menjadi hanya satu classifier. Saya mendapat kesan, bahwa entropi maksimum adalah paradigma dan bukan penggolong konkret. Bagaimanapun.
bayerj