Mengapa menggunakan Skor Normalisasi Gini alih-alih AUC sebagai evaluasi?

Kompetisi Kaggle Prediksi Pengemudi Aman Porto Seguro menggunakan Skor Normalisasi Gini sebagai metrik evaluasi dan ini membuat saya ingin tahu tentang alasan pilihan ini. Apa keuntungan menggunakan skor gini yang dinormalisasi alih-alih metrik yang paling umum, seperti AUC, untuk evaluasi?

classification auc model-evaluation gini xboard
sumber

Situs web Kaggle dulu memiliki jawaban ini: "Ada area maksimum yang dapat dicapai untuk model" sempurna "karena tidak semua contoh positif terjadi segera. Kami menggunakan koefisien Gini yang dinormalisasi dengan membagi koefisien Gini dari model Anda dengan koefisien Gini model yang sempurna. " tetapi tidak tersedia lagi. webcache.googleusercontent.com/…

Sextus Empiricus

Jadi, gini hanya auc pada skala yang berbeda. Atau apakah auc dan gini diterapkan pada kurva yang berbeda? Itu tidak jelas bagi saya sebagai non-ahli dalam pembelajaran mesin. Pertanyaannya tidak terlalu jelas tentang ini.

Sextus Empiricus

Jawaban:

g saya n saya = 2 \times SEBUAH U C - 1

$gini = 2 \times AUC -1$

Miguel
sumber

Selain itu menggunakan koefisien gini menetapkan kinerja pengelompokan acak ke skor 0 ... normalisasi "meningkatkan" ujung lain dari skala dan membuat skor pengelompokan sempurna sama dengan 1 daripada maksimum yang dapat dicapai. AUC <1. Peningkatan menjadi relatif tergantung pada apakah Anda berpikir skala yang lebih intuitif baik atau tidak. Meskipun melampaui interpretasi yang lebih mudah ini, Anda mungkin berpendapat bahwa itu (normalisasi) juga meningkatkan generalisasi dan perbandingan berbagai set data.

Sextus Empiricus

Mengapa AUC yang dapat dicapai maksimum harus kurang dari 1, juga saya tidak melihat bagaimana pengaturan gini ke 1?

rep_ho

Itu tergantung pada jenis kurva apa yang mereka hitung koefisien gini. Mungkin mereka menggunakan sesuatu yang berbeda dari kurva ROC (yang AUC maks memang akan menjadi 1). Dengan kata-kata di situs web kaggle, masuk akal bahwa maks AUC bukan 1:> "Kami kemudian bergerak dari kiri ke kanan, bertanya," Dalam x paling kiri dari data, berapa banyak tanggapan kumulatif yang telah Anda kumpulkan? "

Sextus Empiricus

contoh: bayesserver.com/docs/charts/lift-chart

Sextus Empiricus