Saya ingin pemikiran Anda tentang perbedaan antara validasi silang dan bootstrap untuk memperkirakan kesalahan prediksi.
Apakah seseorang bekerja lebih baik untuk ukuran dataset kecil atau dataset besar?
Saya ingin pemikiran Anda tentang perbedaan antara validasi silang dan bootstrap untuk memperkirakan kesalahan prediksi.
Apakah seseorang bekerja lebih baik untuk ukuran dataset kecil atau dataset besar?
Itu datang ke varians dan bias (seperti biasa). CV cenderung kurang bias tetapi K-fold CV memiliki varian yang cukup besar. Di sisi lain, bootstrap cenderung mengurangi varians secara drastis tetapi memberikan hasil yang lebih bias (cenderung pesimistis). Metode bootstrap lain telah disesuaikan untuk menangani bias bootstrap (seperti aturan 632 dan 632+).
Dua pendekatan lain adalah "Monte Carlo CV" alias "CV cuti-keluar" yang melakukan banyak pemisahan data secara acak (semacam pelatihan mini dan uji pemisahan). Varians sangat rendah untuk metode ini dan biasnya tidak terlalu buruk jika persentase data dalam hold-out rendah. Juga, CV berulang melakukan K-fold beberapa kali dan rata-rata hasilnya mirip dengan K-fold biasa. Saya paling tidak menyukai hal ini karena menjaga bias yang rendah dan mengurangi varians.
Untuk ukuran sampel yang besar, masalah varians menjadi kurang penting dan bagian komputasi lebih merupakan masalah. Saya masih akan tetap dengan CV berulang untuk ukuran sampel kecil dan besar.
Beberapa penelitian yang relevan di bawah ini (khususnya Kim dan Molinaro).
Bengio, Y., & Grandvalet, Y. (2005). Bias dalam memperkirakan varian dari k-fold cross-validation. Pemodelan statistik dan analisis untuk masalah data yang kompleks, 75-95.
Braga-Neto, UM (2004). Apakah validasi silang valid untuk klasifikasi mikroarray sampel kecil Bioinformatika, 20 (3), 374–380. doi: 10.1093 / bioinformatika / btg419
Efron, B. (1983). Memperkirakan tingkat kesalahan aturan prediksi: peningkatan cross-validation. Jurnal Asosiasi Statistik Amerika, 316–331.
Efron, B., & Tibshirani, R. (1997). Peningkatan pada cross-validation: The. 632+ metode bootstrap. Jurnal Asosiasi Statistik Amerika, 548–560.
Furlanello, C., Merler, S., Chemini, C., & Rizzoli, A. (1997). Aplikasi aturan bootstrap 632+ untuk data ekologis. WIRN 97.
Jiang, W., & Simon, R. (2007). Perbandingan metode bootstrap dan pendekatan bootstrap yang disesuaikan untuk memperkirakan kesalahan prediksi dalam klasifikasi microarray. Statistik dalam Kedokteran, 26 (29), 5320-5334.
Jonathan, P., Krzanowski, W., & McCarthy, W. (2000). Tentang penggunaan validasi silang untuk menilai kinerja dalam prediksi multivarian. Statistik dan Komputasi, 10 (3), 209–229.
Kim, J.-H. (2009). Memperkirakan tingkat kesalahan klasifikasi: Validasi silang berulang, hold-out berulang dan bootstrap. Statistik Komputasi dan Analisis Data, 53 (11), 3735-3745. doi: 10.1016 / j.csda.2009.04.009
Kohavi, R. (1995). Studi validasi silang dan bootstrap untuk estimasi akurasi dan pemilihan model. Konferensi Bersama Internasional tentang Kecerdasan Buatan, 14, 1137-1145.
Martin, J., & Hirschberg, D. (1996). Statistik sampel kecil untuk tingkat kesalahan klasifikasi I: Pengukuran tingkat kesalahan.
Molinaro, AM (2005). Estimasi kesalahan prediksi: perbandingan metode resampling. Bioinformatika, 21 (15), 3301-3307. doi: 10.1093 / bioinformatika / bti499
Sauerbrei, W., & Schumacher1, M. (2000). Bootstrap dan Validasi Lintas untuk Menilai Kompleksitas Model Regresi Berbasis Data. Analisis Data Medis, 26–28.
Tibshirani, RJ, & Tibshirani, R. (2009). Koreksi bias untuk tingkat kesalahan minimum dalam validasi silang. Arxiv preprint arXiv: 0908.2904.
@ Frank Harrell telah melakukan banyak hal untuk pertanyaan ini. Saya tidak tahu referensi spesifik.
Tapi saya lebih suka melihat kedua teknik itu untuk tujuan yang berbeda. Validasi silang adalah alat yang baik ketika memutuskan model - ini membantu Anda menghindari membodohi diri sendiri dengan berpikir bahwa Anda memiliki model yang baik padahal sebenarnya Anda overfitting.
Ketika model Anda diperbaiki, kemudian menggunakan bootstrap lebih masuk akal (setidaknya bagi saya).
Ada pengantar konsep-konsep ini (ditambah tes permutasi) menggunakan R di http://www.burns-stat.com/pages/Tutor/bootstrap_resampling.html
sumber
Pemahaman saya adalah bahwa bootstrap adalah cara untuk mengukur ketidakpastian dalam model Anda sementara validasi silang digunakan untuk pemilihan model dan mengukur akurasi prediksi.
sumber
Satu perbedaan adalah bahwa validasi silang, seperti jackknife, menggunakan semua titik data Anda, sedangkan bootstrap, yang mengubah sampel data Anda secara acak, mungkin tidak mengenai semua titik.
Anda dapat melakukan bootstrap selama yang Anda inginkan, yang berarti sampel ulang yang lebih besar, yang seharusnya membantu sampel yang lebih kecil.
Validasi silang atau rata-rata jackknife akan sama dengan rata-rata sampel, sedangkan rata-rata bootstrap sangat tidak mungkin sama dengan rata-rata sampel.
Karena cross-validation dan jackknife weight semua sampel menunjukkan hal yang sama, mereka harus memiliki interval kepercayaan yang lebih kecil (meskipun mungkin salah) daripada bootstrap.
sumber
Ini adalah dua teknik resampling:
Dalam validasi silang, kami membagi data secara acak menjadi kfold dan ini membantu dalam overfitting, tetapi pendekatan ini memiliki kelemahan. Karena menggunakan sampel acak sehingga beberapa sampel menghasilkan kesalahan besar. Untuk meminimalkan CV memiliki teknik tetapi tidak begitu kuat dengan masalah klasifikasi. Bootstrap membantu dalam hal ini, ia memperbaiki kesalahan dari pemeriksaan sampel sendiri .. untuk detail silakan merujuk ..
https://lagunita.stanford.edu/c4x/HumanitiesScience/StatLearning/asset/cv_boot.pdf
sumber