Saya telah menggunakan validasi k-fold cross berulang dan melaporkan rata-rata (dari metrik evaluasi misalnya, sensitivitas, spesifisitas) dihitung sebagai mean rata-rata di lipatan berbagai jalan validasi silang.
Namun, saya tidak yakin bagaimana saya harus melaporkan varians. Saya telah menemukan banyak pertanyaan di sini membahas validasi silang berulang, namun, tidak ada yang saya sadari secara eksplisit menjawab pertanyaan varians dalam tes validasi silang berulang.
Saya mengerti bahwa total varians disebabkan oleh: 1) ketidakstabilan model dan 2) ukuran sampel yang terbatas.
Tampaknya ada 4 pendekatan berbeda untuk menghitung varians untuk validasi k-fold cross berulang:
1) varians dari taksiran kinerja rata-rata metrik (misalnya, akurasi) di seluruh berjalan validasi silang menjadi estimasi yang valid dari varians?
2) varians yang dikumpulkan dengan menggabungkan varians run-spesifik (yang dihitung di berbagai lipatan uji validasi silang).
3) untuk menyatukan hasil klasifikasi dari lipatan yang berbeda dari validasi silang yang dijalankan dalam vektor besar. Misalnya, jika jumlah data uji di setiap lipatan adalah 10 dan saya memiliki CV 10 kali lipat, vektor yang dihasilkan untuk pengulangan akan berukuran 100. Sekarang, jika saya mengulangi uji validasi silang 10 kali, saya akan memiliki 10 vektor ukuran 100, yang masing-masing berisi hasil klasifikasi dari lintasan CV 10 kali lipat. Sekarang, saya akan menghitung mean dan varians sebagai kasus single run CV.
4) Saya juga telah membaca (persamaan 2 dan 3 in 1 ) bahwa varians adalah jumlah varians eksternal dan varian internal yang diharapkan. Jika saya mengerti dengan benar, varians eksternal adalah varians dari kinerja rata-rata pengulangan-spesifik, dan varians internal adalah varians di lipatan berbeda dari serangkaian validasi silang.
Saya akan sangat menghargai bantuan dan bimbingan Anda tentang varian mana yang paling tepat untuk dilaporkan untuk uji validasi silang berulang.
Terima kasih,
sumber
Jawaban:
1 dan 3 bagi saya tampaknya tidak valid karena mereka tidak memperhitungkan ketergantungan antara proses yang berulang. Dengan kata lain, pengulangan k-fold lebih mirip satu sama lain daripada pengulangan nyata percobaan dengan data independen.
2 tidak memperhitungkan ketergantungan antara lipatan-lipatan dalam proses yang sama.
Saya tidak tahu tentang 4.
Referensi yang berpotensi relevan (dan mengecilkan hati) adalah Bengio & Grandvalet, 2004, "Tidak Ada Penaksir Tidak Bervariasi dari Varians K-Lipat Cross-Validasi"
sumber