Apa perbedaan antara AUC dan skor F1?

14

Skor F1 adalah rata-rata harmonis dari presisi dan daya ingat. Sumbu y dari recall adalah tingkat positif sejati (yang juga recall). Jadi, kadang-kadang pengklasifikasi dapat memiliki daya ingat rendah tetapi AUC sangat tinggi, apa artinya itu?

Apa perbedaan antara AUC dan skor F1?

machine-learning precision-recall auc accuracy RockTheStar
sumber
3
AUC tidak jelas jika Anda tidak menentukan kurva. Apakah maksud Anda area di bawah kurva ROC, area di bawah kurva PR, ...?
Marc Claesen
Area di bawah kurva.
RockTheStar
2
Kurva yang mana ? ROC? PR? Mengangkat?
Marc Claesen
Kurva ROC. Dan skor F1 didapat dari itu.
RockTheStar

Jawaban:

18

Skor F1 berlaku untuk setiap titik tertentu dari kurva ROC. Poin ini dapat mewakili misalnya nilai ambang tertentu dalam classifier biner dan dengan demikian sesuai dengan nilai presisi dan recall tertentu.

Ingat, skor F adalah cara cerdas untuk merepresentasikan daya ingat dan presisi. Agar skor F tinggi, presisi dan daya ingat harus tinggi.

Dengan demikian, kurva ROC untuk berbagai tingkat ambang yang berbeda dan memiliki banyak nilai skor F untuk berbagai titik pada kurva.

Pria London
sumber
3
Aspek yang menarik. Tetapi sejauh yang saya mengerti, skor F1 didasarkan pada Recall dan Precision, sedangkan AUC / ROC terdiri dari Recall dan Specificity. Sepertinya mereka bukan hal yang sama. Saya setuju dengan skor F adalah poin, dan ROC adalah seperangkat poin dengan ambang yang berbeda, tetapi saya tidak berpikir mereka adalah penyebab yang sama karena definisi yang berbeda. Bisakah Anda membantu saya membuatnya lebih jelas. Terima kasih
Catbuilts
8

AUC memiliki dimensi [PRECISION] * [RECALL] dan itu adalah area di bawah kurva ROC. F1 adalah untuk tetap sepasang presisi dan recall. Jadi mereka berbeda. Tetapi ada beberapa koneksi. Lihat ini: http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf

Daniel
sumber