Apakah f-ukur identik dengan akurasi?

11

Saya mengerti bahwa ukuran-f (berdasarkan presisi dan daya ingat) adalah perkiraan seberapa akurat classifier. Juga, f-ukuran lebih disukai daripada akurasi ketika kita memiliki dataset yang tidak seimbang. Saya punya pertanyaan sederhana (yang lebih banyak tentang menggunakan terminologi yang benar daripada tentang teknologi). Saya memiliki dataset yang tidak seimbang dan saya menggunakan ukuran-f dalam percobaan saya. Saya akan menulis makalah yang BUKAN untuk konferensi pembelajaran mesin / data mining. Oleh karena itu, dapatkah saya merujuk pada f-ukur secara sinonim dengan akurasi dalam konteks ini. Misalnya, saya memiliki ukuran-f 0,82, maka dapatkah saya mengatakan bahwa classifier saya mencapai prediksi akurat 82%?

Annamalai N
sumber
Akan lebih baik untuk memperkenalkan ukuran-f jika Anda menggunakannya. Mengganti keduanya tidak benar menurut saya. Dalam kasus Anda, jika keakuratan Anda adalah 99%, Anda akan mencapai 99% prediksi akurat, apa pun ukuran-f Anda, dan itu bisa menyebabkan kesalahan pembaca.
AdrienNK
@AdrienNK: Akurasi 99% tidak menyiratkan 99% prediksi yang benar kecuali frekuensi relatif dari kasus uji adalah sama seperti dalam situasi aplikasi nyata.
cbeleites tidak senang dengan SX
@cbeleites Anda benar, saya tahu, tetapi sering kali test case dikeluarkan dari distribusi yang sama (yah mungkin itu pandangan bias yang saya miliki tentang itu karena saya jarang harus bekerja dengan data yang bukan itu masalahnya)
AdrienNK
@AdrienNK: Saya ahli kimia analitik yang bekerja menuju diagnosa medis. Prevalensi penyakit yang dipertanyakan dapat bervariasi tentang urutan besarnya antara subpopulasi pasien yang berbeda. Lihat misalnya diskusi tentang PPV yang berbeda di paruh kedua artikel ini: nature.com/news/2011/110323/full/471428a.html
cbeleites tidak senang dengan SX
2
Itu bacaan yang menarik, terima kasih telah menyampaikannya kepada saya.
AdrienNK

Jawaban:

13

Pertama-tama, saya menemukan "akurasi" kadang-kadang agak menyesatkan, karena merujuk pada hal-hal yang berbeda:

Istilah akurasi dalam genal untuk mengevaluasi sistem atau metode (saya ahli kimia analitik) mengacu pada bias prediksi, yaitu menjawab pertanyaan seberapa baik prediksi rata-rata.

Seperti yang Anda ketahui, ada banyak ukuran kinerja berbeda yang menjawab berbagai aspek kinerja untuk pengklasifikasi. Salah satunya kebetulan disebut akurasi juga. Jika makalah Anda bukan untuk audiens pembelajaran mesin / klasifikasi, saya sarankan untuk membuat perbedaan ini sangat jelas. Bahkan untuk makna akurasi yang lebih spesifik ini, saya akan sangat eksplisit tentang apa yang saya sebut akurasi karena sekali lagi beberapa cara untuk mengatasi ketidakseimbangan kelas dapat terjadi. Biasanya, ketidakseimbangan kelas diabaikan, yang mengarah ke perhitungan . Namun, Anda juga dapat menggunakan rata-rata sensitivitas dan spesifisitas, yang berarti mengendalikan ketidakseimbangan kelas dengan memberi bobot rata-rata.TP+TNSebuahll cSebuahses

The F-skor sering diperkenalkan sebagai mean harmonik presisi dan recall (atau nilai prediktif positif dan sensitivitas). Untuk pertanyaan Anda, saya pikir sangat membantu untuk menjelaskannya sedikit lebih jauh dan menyederhanakannya:

F=2halrecsayassayaHainrecSebuahllhalrecsayassayaHain+recSebuahll=2TPSebuahll PTPSebuahllTTPSebuahll P+TPSebuahllT=2TP2Sebuahll PSebuahllTTPSebuahll TSebuahll PSebuahllT+TPSebuahll PSebuahll PSebuahllT=2 TP2TPSebuahll T+TPSebuahll P=2 TPSebuahll T+Sebuahll P

Ungkapan terakhir bukanlah sebagian kecil dari apa pun yang dapat saya pikirkan sebagai kelompok kasus uji tertentu. Secara khusus, tumpang tindih (berat) antara kasus TRUE dan POSITIF diharapkan. Ini akan membuat saya tidak menyatakan skor-F sebagai persentase seperti jenis yang menyiratkan proporsi kasus. Sebenarnya, saya pikir saya akan memperingatkan pembaca bahwa F-score tidak memiliki interpretasi seperti itu.

cbeleites tidak senang dengan SX
sumber
F1
0

Jawaban cepat:

Tidak, F-measurerumus tidak terdiri dari TNfaktor, dan itu berguna saat mengambil masalah (doc) .

Dengan demikian, ini ( F-measure) pendekatan yang tepat untuk mengevaluasi dataset yang tidak seimbang atau dalam kasus pengambilan masalah alih-alih accuracydan ROC.

Accuracy = (TP+TN) / (TP+FP+FN+TN)

F1_Score = 2*(Recall * Precision) / (Recall + Precision)
# or
F1_Score = 2*TP / (2*TP + FP + FN)

[ CATATAN ]:

Precision = TP / (TP+FP)

Recall = TP / (TP+FN)
Benyamin Jafari
sumber