Akurasi seimbang vs skor F-1

14

Saya bertanya-tanya apakah ada yang bisa menjelaskan perbedaan antara akurasi yang seimbang

b_acc = (sensitivity + specificity)/2

dan skor f1 yaitu:

f1 = 2*precision*recall/(precision + recall)
unbalanced-classes dvreed77
sumber

Jawaban:

19

Secara matematis, b_acc adalah rata-rata aritmatika dari recall_P dan recall_N dan f1 adalah rata-rata harmonik dari recall_P dan presisi_P.

Baik F1 dan b_acc adalah metrik untuk evaluasi classifier, yang (sampai batas tertentu) menangani ketidakseimbangan kelas. Bergantung yang mana dari dua kelas (N atau P) melebihi yang lainnya, masing-masing metrik mengungguli yang lain.

1) Jika N >> P, f1 lebih baik.

2) Jika P >> N, b_acc lebih baik.

Jelas, jika Anda dapat memberi label-switch, kedua metrik dapat digunakan dalam salah satu dari dua kasus ketidakseimbangan di atas. Jika tidak, maka tergantung pada ketidakseimbangan dalam data pelatihan, Anda dapat memilih metrik yang sesuai.

Shashwat
sumber
1
Terima kasih pak, Apakah Anda memiliki referensi untuk info mengenai pemilihan Fscore vs akurasi yang seimbang dalam hal jumlah kelas positif / negatif?
gin
Saya ingin meminta kedua @ gin untuk info lebih lanjut tentang cara memilih di antara keduanya. Saya punya beberapa data dimana N adalah sekitar 8%. Dengan jawaban di atas, sepertinya saya harus menggunakan Balanced Accuracy. Saya sudah mencari referensi lain tentang pilihan ini (P> N -> b_acc) tetapi belum melihat apa pun.
anguyen1210
Ini tidak masuk akal bagi saya. Akurasi seimbang tidak berubah pada label switching. Bagaimana Anda bisa "membuatnya lebih baik" dengan beralih label jika itu tidak akan berubah?
TC Proctor