Apa jaminan teoritis mengantongi

Saya (kurang-lebih) pernah mendengar bahwa:

bagging adalah teknik untuk mengurangi varians dari algoritma prediktor / estimator / pembelajaran.

Namun, saya belum pernah melihat bukti matematis formal dari pernyataan ini. Adakah yang tahu mengapa ini benar secara matematis? Sepertinya fakta yang diterima / diketahui secara luas, sehingga saya akan mengharapkan referensi langsung untuk ini. Saya akan terkejut jika tidak ada. Juga, apakah ada yang tahu apa efeknya terhadap bias ini?

Apakah ada jaminan teoretis lain dari pendekatan mengantongi bahwa ada yang tahu dan berpikir penting dan ingin membagikannya?

Kasus penggunaan utama untuk mengantongi adalah mengurangi varians dari model yang bias rendah dengan menyatukannya. Ini dipelajari secara empiris dalam makalah tengara " Sebuah Perbandingan Empiris Algoritma Klasifikasi Voting: Bagging, Boosting, dan Varian " oleh Bauer dan Kohavi . Biasanya berfungsi seperti yang diiklankan.

Namun, bertentangan dengan kepercayaan populer, mengantongi tidak dijamin untuk mengurangi varians . Penjelasan yang lebih baru dan (menurut saya) yang lebih baik adalah bahwa mengantongi mengurangi pengaruh poin leverage. Leverage poin adalah mereka yang secara tidak proporsional mempengaruhi model yang dihasilkan, seperti outlier dalam regresi kuadrat-terkecil. Jarang tetapi mungkin untuk poin leverage untuk secara positif mempengaruhi model yang dihasilkan, dalam hal ini mengantongi mengurangi kinerja. Lihatlah " Bagging equalizes pengaruh " oleh Grandvalet .

Jadi, untuk akhirnya menjawab pertanyaan Anda: efek mengantongi sangat tergantung pada poin leverage. Beberapa jaminan teoritis ada, kecuali bahwa mengantongi secara linear meningkatkan waktu perhitungan dalam hal ukuran tas! Yang mengatakan, itu masih merupakan teknik yang banyak digunakan dan sangat kuat. Ketika belajar dengan label noise, misalnya, mengantongi dapat menghasilkan pengklasifikasi yang lebih kuat .

Rao dan Tibshirani telah memberikan interpretasi Bayesian dalam " Metode out-of-bootstrap untuk model rata-rata dan seleksi " :

Dalam pengertian ini, distribusi bootstrap mewakili (perkiraan) distribusi posterior nonparametrik, non-informatif untuk parameter kami. Tetapi distribusi bootstrap ini diperoleh tanpa rasa sakit - tanpa harus secara formal menentukan sebelum dan tanpa harus mengambil sampel dari distribusi posterior. Karena itu, kita mungkin menganggap distribusi bootstrap sebagai posterior Bayes orang miskin.