Saat ini saya menggunakan penghentian awal dalam pekerjaan saya untuk mencegah pemasangan yang berlebihan. Khususnya yang diambil dari Early Stopping But When? .
Saya sekarang ingin membandingkan dengan algoritma klasifikasi lain di mana tampak bahwa 10 kali validasi silang digunakan secara luas.
Namun saya bingung tentang apakah validasi silang adalah metode untuk mencegah pemasangan berlebihan atau memilih parameter yang baik. (atau mungkin ini satu dan sama?). Saya juga bingung apakah metode penghentian awal dan validasi silang dapat digunakan sebagai pengganti satu sama lain atau dalam kombinasi.
Jadi pertanyaannya adalah: apa hubungan antara penghentian dini dan validasi silang?
sumber
Selain dua pendekatan generalisasi yang Anda sebutkan, ada banyak pendekatan lain.
Banyak dari pendekatan ini (termasuk validasi silang dan pendekatan awal Anda) dapat digabungkan bersama untuk memaksimalkan kinerja model pada data yang tidak terlihat (kinerja generalisasi).
Satu catatan tentang pendekatan awal. Untuk jaring saraf, Geoffrey Hinton merekomendasikan untuk menghentikan pelatihan ketika akurasi set tes mencapai maksimum (kerugian set tes, tidak termasuk ketentuan regularisasi, minimal). Satu tambahan "penyesuaian" untuk pendekatan Hinton adalah tidak berhenti jika akurasi test_set lebih baik (kerugian lebih kecil) daripada untuk set pelatihan Anda, bahkan jika akurasi set tes telah berhenti meningkat (test set loss telah berhenti menurun). Ini tidak mungkin memberi Anda lebih dari satu zaman pelatihan, tetapi kadang-kadang itu bisa membantu sedikit, terutama untuk test_sets kecil. Jangan lakukan ini untuk set tes yang sangat kecil (lebih kecil dari set sampel yang representatif, seperti kadang-kadang digunakan dalam pelatihan K-folds dan validasi silang).
sumber
Anda tidak dapat menggunakan penghentian awal dan validasi silang K-fold dalam kombinasi. karena penghentian awal pilih model terbaik dari set validasi, kinerja perlu diverifikasi oleh set tes. tetapi dalam validasi silang K-fold, tidak ada set tes, jika Anda menggunakan penghentian awal untuk memilih model terbaik dari set validasi, dan itu akan diverifikasi lagi dalam set validasi. validasi K-fold cross mendapatkan kinerja rata-rata (diukur dengan akurasi) dari model terbaik, dan tidak ada artinya.
sumber