Misalkan saya melakukan validasi silang K-fold dengan K = 10 lipatan. Akan ada satu matriks kebingungan untuk setiap lipatan. Saat melaporkan hasil, haruskah saya menghitung berapa matriks kebingungan rata-rata, atau hanya menjumlahkan matriks kebingungan?
Jika Anda menguji kinerja model (yaitu tidak mengoptimalkan parameter), umumnya Anda akan menjumlahkan matriks kebingungan. Pikirkan seperti ini, Anda telah membagi data Anda menjadi 10 lipatan berbeda atau set 'tes'. Anda melatih model Anda pada 9/10 lipatan dan menguji lipatan pertama dan mendapatkan matriks kebingungan. Matriks kebingungan ini mewakili klasifikasi 1/10 data. Anda mengulangi analisis lagi dengan set 'tes' berikutnya dan mendapatkan matriks kebingungan lain yang mewakili 1/10 dari data. Menambahkan matriks kebingungan baru ini ke yang pertama sekarang mewakili 20% dari data Anda. Anda melanjutkan sampai Anda telah menjalankan semua lipatan Anda, jumlah semua matriks kebingungan Anda dan matriks kebingungan akhir menunjukkan kinerja model untuk semua data. Anda dapat merata-rata matriks kebingungan tetapi itu tidak benar-benar memberikan informasi tambahan dari matriks kumulatif dan dapat menjadi bias jika lipatan Anda tidak semuanya berukuran sama.
Catatan - ini mengasumsikan pengambilan sampel data Anda tanpa berulang. Saya tidak sepenuhnya yakin apakah ini akan berbeda untuk pengambilan sampel berulang. Akan diperbarui jika saya mempelajari sesuatu atau seseorang merekomendasikan suatu metode.