Saya sudah melatih dua model (pengklasifikasi biner menggunakan h2o AutoML) dan saya ingin memilih satu untuk digunakan. Saya memiliki hasil sebagai berikut:
model_id auc logloss logloss_train logloss_valid gini_train gini_valid
DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975
DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662
yang auc
dan logloss
kolom metrik cross-validasi (validasi silang hanya menggunakan data training). yang ..._train
dan ..._valid
metrik ditemukan dengan menjalankan metrik pelatihan dan validasi melalui model masing-masing. Saya ingin menggunakan logloss_valid
atau gini_valid
untuk memilih model terbaik.
Model 1 memiliki gini yang lebih baik (yaitu AUC lebih baik) tetapi model dua memiliki logloss yang lebih baik. Pertanyaan saya adalah mana yang harus saya pilih yang menurut saya menimbulkan pertanyaan, apa kelebihan / kekurangan menggunakan salah satu gini (AUC) atau logloss sebagai metrik keputusan.
Jawaban:
Sedangkan AUC dihitung sehubungan dengan klasifikasi biner dengan ambang keputusan yang bervariasi, logloss benar-benar mempertimbangkan "kepastian" klasifikasi.
Oleh karena itu, menurut pemahaman saya, logloss secara konseptual melampaui AUC dan khususnya relevan dalam kasus-kasus dengan data yang tidak seimbang atau dalam kasus biaya kesalahan yang didistribusikan secara tidak merata (misalnya deteksi penyakit mematikan).
Selain jawaban yang sangat mendasar ini, Anda mungkin ingin melihat mengoptimalkan auc vs logloss dalam masalah klasifikasi biner
Sebuah contoh sederhana dari perhitungan logloss dan konsep yang mendasari dibahas dalam pertanyaan baru-baru ini. Fungsi Kehilangan Log di scikit-learn mengembalikan nilai yang berbeda
Selain itu, titik yang sangat bagus telah dibuat dalam stackoverflow
sumber