Apakah AUC yang baik untuk kurva presisi-recall?

11

Karena saya memiliki dataset yang sangat tidak seimbang (hasil positif 9%), saya memutuskan kurva presisi-recall lebih tepat daripada kurva ROC. Saya memperoleh ukuran ringkasan analog dari area di bawah kurva PR (0,49, jika Anda tertarik) tetapi tidak yakin bagaimana menafsirkannya. Saya pernah mendengar bahwa 0,8 atau di atas adalah AUC yang baik untuk ROC, tetapi apakah cutoff umum akan sama untuk AUC untuk kurva presisi-recall?

classification precision-recall auc pengguna52568
sumber

Jawaban:

12

Tidak ada cut-off ajaib untuk AUC-ROC atau AUC-PR. Lebih tinggi jelas lebih baik, tetapi sepenuhnya tergantung pada aplikasi.

Misalnya, jika Anda berhasil mengidentifikasi investasi yang menguntungkan dengan AUC 0,8 atau, dalam hal apa pun yang dibedakan dari kesempatan, saya akan sangat terkesan dan Anda akan sangat kaya. Di sisi lain, mengklasifikasikan digit tulisan tangan dengan AUC 0,95 masih jauh di bawah keadaan saat ini.

Selain itu, sementara AUC-ROC terbaik yang mungkin dijamin berada di [0,1], ini tidak berlaku untuk kurva presisi-recall karena mungkin ada area ruang PR yang "tidak terjangkau", tergantung pada seberapa condong distribusi kelasnya. (Lihat makalah ini oleh Boyd et al (2012) untuk detailnya).

Matt Krause
sumber
Saya pikir ada bagian AUC yang tidak terjangkau juga. Tapi bisa saja salah.
charles
4
Makalah yang saya tautkan mengatakan, "Perbedaan yang terkait, tetapi sebelumnya tidak dikenali, antara dua jenis kurva adalah bahwa, sementara titik mana pun dalam ruang ROC dapat dicapai, tidak setiap titik dalam ruang PR dapat dicapai." di bagian atas halaman 2. Saya pikir itu karena Anda harus memberi peringkat semua dokumen dalam koleksi Anda untuk P / R, sehingga bahkan sistem yang paling pesimistis akhirnya akan mengambil item yang relevan. Namun untuk ROC, Anda dapat menyebut semua contoh positif "-" dan semua contoh negatif "+", yang akan memberi Anda 100% false positive / 100% false negative rate.
Matt Krause
Terima kasih! Saya seharusnya melihat kertas sebelum berkomentar.
charles
Saya setuju bahwa tidak ada angka ajaib. Namun, pasti ada nilai dalam memahami bahwa 0,95 AUC-ROC, misalnya, berarti Anda pada dasarnya telah memecahkan masalah dan memiliki penggolong yang sangat, sangat baik. Sedangkan AUC 0,6 untuk menemukan investasi yang menguntungkan mungkin, secara tegas, lebih baik daripada acak, tetapi tidak jauh lebih baik. Yang mengatakan, seperti yang Anda sebutkan, itu masih akan dibedakan dari kebetulan, dan mungkin menghasilkan strategi yang bagus untuk Anda.
shiri
0

0,49 tidak bagus, tetapi interpretasinya berbeda dari ROC AUC. Untuk ROC AUC, jika Anda memperoleh 0,49 menggunakan model regresi logistik, saya akan mengatakan Anda melakukan tidak lebih baik daripada acak. Untuk .49 PR AUC, namun mungkin tidak seburuk itu. Saya akan mempertimbangkan melihat presisi individu dan mengingat, mungkin satu atau yang lain adalah apa yang mendorong PR AUC Anda. Ingat akan memberi tahu Anda berapa banyak dari kelas positif 9% yang Anda duga itu benar. Presisi akan memberi tahu Anda berapa banyak yang Anda duga positif. (Positif Salah). 50% recall akan menjadi buruk artinya Anda tidak menebak-nebak banyak kelas yang tidak seimbang, tetapi mungkin presisi 50% tidak buruk. Tergantung pada situasi Anda.

David
sumber
0

Estimator acak akan memiliki PR-AUC 0,09 dalam kasus Anda (9% hasil positif), jadi 0,49 Anda jelas merupakan peningkatan yang substansial.

Jika ini adalah hasil yang baik, hanya dapat dinilai dalam perbandingan dengan algoritma lain, tetapi Anda tidak memberikan detail tentang metode / data yang Anda gunakan.

Selain itu, Anda mungkin ingin menilai bentuk kurva PR Anda. Kurva PR ideal bergerak dari sudut topleft secara horizontal ke sudut kanan atas dan lurus ke bawah ke sudut kanan bawah, menghasilkan PR-AUC 1. Dalam beberapa aplikasi, kurva PR menunjukkan sebaliknya lonjakan yang kuat di awal dengan cepat turun lagi dekat dengan "garis penduga acak" (garis horizontal pada ketelitian 0,09 dalam kasus Anda). Ini akan menunjukkan deteksi yang baik dari hasil positif "kuat", tetapi kinerja buruk pada kandidat yang kurang jelas.

Jika Anda ingin menemukan ambang batas yang baik untuk parameter cutoff algoritme Anda, Anda dapat mempertimbangkan titik pada kurva PR yang paling dekat dengan sudut kanan atas. Atau bahkan lebih baik, pertimbangkan validasi silang jika memungkinkan. Anda mungkin mencapai nilai presisi dan recall untuk parameter cutoff spesifik yang lebih menarik untuk aplikasi Anda daripada nilai PR-AUC. AUC paling menarik ketika membandingkan berbagai algoritma.

Edgar
sumber