Baru-baru ini saya menemukan makalah yang mengusulkan menggunakan pengklasifikasi k-NN pada dataset tertentu. Para penulis menggunakan semua sampel data yang tersedia untuk melakukan validasi silang k-fold untuk nilai k yang berbeda dan melaporkan hasil validasi silang dari konfigurasi hyperparameter terbaik.
Sepengetahuan saya, hasil ini bias, dan mereka seharusnya mempertahankan set tes terpisah untuk mendapatkan perkiraan akurasi pada sampel yang tidak digunakan untuk melakukan optimasi hyperparameter.
Apakah saya benar? Dapatkah Anda memberikan beberapa referensi (sebaiknya makalah penelitian) yang menggambarkan penyalahgunaan validasi silang ini?
cross-validation
references
model-selection
model-evaluation
Daniel López
sumber
sumber
Jawaban:
Ya, ada masalah dengan hanya melaporkan hasil CV k-fold. Anda dapat menggunakan misalnya tiga publikasi berikut untuk tujuan Anda (walaupun ada lebih banyak di luar sana, tentu saja) untuk mengarahkan orang ke arah yang benar:
Varma & Simon (2006). "Bias dalam estimasi kesalahan saat menggunakan validasi silang untuk pemilihan model." BMC Bioinformatics , 7: 91
Cawley & Talbot (2010). "Pada Over-fitting dalam Pemilihan Model dan Bias Seleksi Selanjutnya dalam Evaluasi Kinerja." Jurnal Penelitian Pembelajaran Mesin , 11: 2079-2107
Saya pribadi suka itu karena mereka mencoba untuk menyatakan masalah lebih dalam bahasa Inggris daripada di Matematika.
sumber