Apakah teknik meningkatkan menggunakan suara seperti metode ansambel lainnya?

Bisakah kita menggeneralisasi semua metode ansambel dengan menggunakan voting? Apakah metode peningkatan juga menggunakan pemungutan suara untuk memasukkan siswa yang lemah ke dalam model akhir?

Pemahaman saya tentang teknik ini:

• Boosting: Terus menambahkan pelajar yang lemah untuk meningkatkan poin data yang tidak diklasifikasikan dengan benar.
• Teknik ensemble: Menggunakan banyak pelajar untuk memperoleh prediksi yang lebih baik daripada hanya dari satu. Ini dijelaskan dalam wikipedia.

Meningkatkan secara umum dapat dipahami sebagai pemungutan suara (terbobot)

Dalam hal meningkatkan, salah satu penemunya memberikan jawaban positif dalam pengantar untuk AdaBoost (penekanan tambang):

The akhir atau gabungan hipotesis menghitung tanda kombinasi tertimbang hipotesis lemah ini setara dengan mengatakan bahwa dihitung sebagai suara mayoritas tertimbang hipotesis lemah mana masing-masing diberi bobot . (Dalam bab ini, kami menggunakan istilah "hipotesis" dan "penggolong" secara bergantian.)$H$

$$F(x) = \sum_{t=1}^T\alpha_th_t(x)$$ $H$ $h_t$$\alpha_t$

Jadi ya, model akhir yang dikembalikan adalah suara terbobot dari semua peserta didik yang dilatih untuk iterasi itu. Demikian juga, Anda akan menemukan cuplikan ini di Wikipedia tentang meningkatkan secara umum:

Sementara meningkatkan tidak dibatasi secara algoritmik, sebagian besar meningkatkan algoritma terdiri dari iteratif belajar pengklasifikasi lemah sehubungan dengan distribusi dan menambahkannya ke pengklasifikasi kuat akhir. Ketika mereka ditambahkan, mereka biasanya ditimbang dalam beberapa cara yang biasanya terkait dengan keakuratan peserta didik yang lemah.

Perhatikan juga disebutkan di dalamnya bahwa algoritma peningkatan asli menggunakan "mayoritas." Gagasan pemungutan suara cukup kuat didorong untuk meningkatkan: Prinsip panduannya adalah untuk meningkatkan ansambel pada setiap iterasi dengan menambahkan pemilih baru, kemudian memutuskan berapa banyak bobot untuk memberikan setiap suara.

Intuisi yang sama ini membawa contoh peningkatan gradien : Pada setiap iterasi kita menemukan pembelajar baru dipasang pada pseudo-residual, kemudian optimalkan untuk memutuskan berapa banyak bobot untuk memberikan "suara" .$m$$h_m$$\gamma_m$$h_m$

Memperluas ke semua metode ansambel berjalan ke contoh tandingan

Seperti itu, beberapa orang akan menemukan bahwa bahkan gagasan bobot membentangkan metafora pemungutan suara. Saat mempertimbangkan apakah akan memperluas intuisi ini ke semua metode pembelajaran ansambel , pertimbangkan cuplikan ini:

Ensembles menggabungkan beberapa hipotesis untuk membentuk hipotesis (semoga) yang lebih baik. Istilah ensemble biasanya dicadangkan untuk metode yang menghasilkan banyak hipotesis menggunakan pelajar dasar yang sama.

Dan yang satu ini pada contoh metode susun susun :

Stacking (kadang-kadang disebut generalisasi bertumpuk) melibatkan pelatihan algoritma pembelajaran untuk menggabungkan prediksi beberapa algoritma pembelajaran lainnya. Pertama, semua algoritma lainnya dilatih menggunakan data yang tersedia, kemudian algoritma kombinasi dilatih untuk membuat prediksi akhir menggunakan semua prediksi dari algoritma lain sebagai input tambahan. Jika algoritma combiner arbitrer digunakan, maka penumpukan secara teoritis dapat mewakili salah satu teknik ensemble yang dijelaskan dalam artikel ini, meskipun dalam praktiknya, model regresi logistik single-layer sering digunakan sebagai combiner.

Jika Anda mendefinisikan metode ensemble untuk memasukkan metode penumpukan dengan penggabung acak, Anda dapat membuat metode yang, dalam pandangan saya, meregangkan gagasan pemungutan suara di luar batasnya. Sulit untuk melihat bagaimana kumpulan peserta didik yang lemah digabungkan melalui pohon keputusan atau jaringan saraf dapat dilihat sebagai "voting." (Mengesampingkan pertanyaan yang juga sulit tentang kapan metode itu terbukti bermanfaat secara praktis.)

Beberapa pengantar menggambarkan ansambel dan pemungutan suara sebagai identik; Saya tidak cukup akrab dengan literatur terbaru tentang metode ini untuk mengatakan bagaimana istilah-istilah ini secara umum diterapkan baru-baru ini, tetapi saya berharap jawaban ini memberikan gambaran tentang sejauh mana gagasan pemungutan suara meluas.

Boosting berbeda dengan mengantongi (voting). Saya tidak melihat cara menafsirkan peningkatan sebagai "memilih" (lihat edit saya untuk detail tambahan).

• Voting (terutama suara mayoritas) biasanya berarti keputusan gabungan dari pengklasifikasi minggu "terpisah / kurang berkorelasi".

• Dalam meningkatkan, kami membangun satu classifier di atas yang lain. Jadi, mereka bukan "teman sebaya yang terpisah" tetapi yang satu "lebih lemah dari yang lain".

Jawaban saya di sini memberikan peningkatan penguraian oleh iterasi.

Bagaimana cara kerja linear base ramping dalam meningkatkan? Dan bagaimana cara kerjanya di perpustakaan xgboost?

Contohnya adalah mencoba untuk memperkirakan fungsi kuadrat dengan meningkatkan bouncing keputusan.

• Dua plot pertama adalah ground truth dan meningkatkan model setelah banyak iterasi. Mereka adalah plot kontur. Sumbu X dan Y adalah dua fitur dan nilai fungsi diwakili oleh warna.

• Lalu saya menunjukkan 4 iterasi pertama. Anda dapat melihat kami tidak rata-rata / memilih 4 model, tetapi meningkatkan model di setiap iterasi.

Setelah melihat jawaban lain, saya merasa jawaban untuk pertanyaan ini tergantung pada bagaimana kita mendefinisikan "pemilihan". Apakah kita menganggap jumlah tertimbang sebagai suara? Jika ya, maka saya pikir kita masih bisa mengatakan meningkatkan dapat digeneralisasi dengan pemungutan suara.