Saya telah membaca tentang validasi k-fold, dan saya ingin memastikan saya mengerti cara kerjanya.
Saya tahu bahwa untuk metode holdout, data dibagi menjadi tiga set, dan set tes hanya digunakan di bagian paling akhir untuk menilai kinerja model, sedangkan set validasi digunakan untuk menyetel hyperparameters, dll.
Dalam metode k-fold, apakah kita masih memegang set tes untuk akhir, dan hanya menggunakan data yang tersisa untuk pelatihan dan penyetelan hyperparameter, yaitu kita membagi data yang tersisa menjadi k lipatan, dan kemudian menggunakan akurasi rata-rata setelah pelatihan dengan setiap lipatan (atau metrik kinerja apa pun yang kami pilih untuk menyetel hyperparameter kami)? Atau apakah kita tidak menggunakan set tes terpisah sama sekali, dan hanya membagi seluruh dataset menjadi lipatan k (jika demikian, saya menganggap bahwa kita hanya menganggap akurasi rata-rata pada lipatan k sebagai akurasi akhir kita)?
sumber
Jawaban:
Iya nih. Sebagai aturan, set uji tidak boleh digunakan untuk mengubah model Anda (misalnya, hiperparameternya).
Namun, validasi silang kadang-kadang dapat digunakan untuk tujuan selain penyetelan hyperparameter, misalnya menentukan sejauh mana keretakan kereta / uji berdampak pada hasil.
sumber
Secara umum, ya. Pada dasarnya Anda, kita berbicara tentang pengorbanan bias-varians. Jika Anda menggunakan data untuk membangun model Anda (data pelatihan dan validasi) dan Anda mengulanginya di atas parameter yang berbeda dan Anda mencoba untuk memaksimalkan metrik kinerja rata-rata, model Anda mungkin tidak sebagus yang ditunjukkan.
Namun, terutama dalam kumpulan data kecil perpecahan tambahan mungkin menyebabkan set pelatihan yang lebih kecil dan menghasilkan model yang buruk.
sumber
Idealnya, validasi (untuk pemilihan model) dan tes akhir tidak boleh dicampur. Namun, jika nilai k Anda tinggi, atau itu dibiarkan-keluar, menggunakan hasil tes untuk memandu pemilihan model Anda tidak terlalu berbahaya. Dalam skenario ini, jika Anda menulis makalah akademis, jangan lakukan itu (kecuali jika Anda repot-repot menjelaskan) - artinya selalu memiliki set tes terpisah. Jika Anda membangun proyek praktis, boleh saja.
sumber