Membandingkan dua model saat kurva ROC saling bersilangan

13

Satu ukuran umum yang digunakan untuk membandingkan dua atau lebih model klasifikasi adalah dengan menggunakan area di bawah kurva ROC (AUC) sebagai cara untuk secara tidak langsung menilai kinerjanya. Dalam hal ini model dengan AUC yang lebih besar biasanya diartikan sebagai berkinerja lebih baik daripada model dengan AUC yang lebih kecil. Tetapi, menurut Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ), ketika kedua kurva saling bersilangan, perbandingan seperti itu tidak lagi berlaku. Kenapa gitu?

Misalnya apa yang bisa dipastikan tentang model A, B dan C berdasarkan kurva ROC dan AUC di bawah?

masukkan deskripsi gambar di sini

machine-learning classification roc auc model-evaluation Edu
sumber

Jawaban:

19

Sebuah ROC kurva visualisasi TPR dan FPR untuk semua kemungkinan ambang .

  • Jika Anda memplot dua kurva ROC 'A' dan 'B' dan mereka tidak saling bersilangan , maka salah satu pengklasifikasi Anda jelas berkinerja lebih baik, karena untuk semua kemungkinan nilai FPR Anda mendapatkan TPR yang lebih tinggi. Jelas area di bawah ROC juga akan lebih besar.

  • Sekarang, jika mereka saling bersilangan , maka ada titik di mana FPR dan TPR sama untuk kedua kurva 'A' dan 'B' . Anda tidak bisa lagi mengatakan bahwa satu kurva ROC berkinerja lebih baik, karena sekarang tergantung pada trade-off yang Anda inginkan. Apakah Anda ingin Presisi tinggi / Recall rendah atau Presisi rendah / high Recall ?

Contoh: Jika satu classifier berkinerja jauh lebih baik pada FPR 0,2, tetapi penting untuk mencapai Recall tinggi , maka itu bekerja dengan baik pada ambang batas yang Anda tidak tertarik.

Tentang kurva ROC dalam grafik Anda: Anda dapat dengan mudah mengatakan bahwa 'A' berkinerja lebih baik, bahkan tanpa mengetahui apa yang ingin Anda capai. Segera setelah kurva ungu melintasi yang lain itu melintasi mereka lagi. Anda kemungkinan besar tidak tertarik pada bagian kecil itu , di mana 'B' dan 'C' tampil sedikit lebih baik .

Dalam grafik berikut ini Anda melihat dua kurva ROC, yang juga saling bersilangan. Di sini, Anda tidak bisa membedakan mana yang lebih baik karena mereka saling melengkapi .

Melintasi kurva ROC

Perhatikan, bahwa pada akhirnya, Anda tertarik untuk memilih satu ambang batas untuk klasifikasi Anda dan AUC hanya memberi Anda perkiraan seberapa baik kinerja suatu model pada umumnya .

Laksan Nathan
sumber
Hanya untuk konfirmasi, dalam contoh saya, jika saya memilih nilai cut-off yang sangat tinggi, di mana presisi besar, model A akan melebihi B dan C dengan margin yang baik?
Edu
Bagaimana Anda tahu di mana presisi itu besar? Ini adalah ROC, bukan kurva Precision-Recall. Untuk Precision Anda memeriksa probabilitas True Positive, mengingat classifier Anda berkata Positive.
Laksan Nathan