Pertimbangkan skenario di mana Anda disediakan dengan Matriks FamousLabel dan PredictedLabel. Saya ingin mengukur kebaikan matriks PredictedLabel terhadap Matriks KnowLabel.
Tetapi tantangannya di sini adalah bahwa DiketahuiLabel Matriks memiliki beberapa baris hanya satu 1 dan beberapa baris lainnya memiliki banyak 1 (contoh tersebut adalah multi label). Contoh Matriks FamousLabel diberikan di bawah ini.
A =[1 0 0 0
0 1 0 0
0 1 1 0
0 0 1 1
0 1 1 1]
Dalam matriks di atas, data instance 1 dan 2 adalah data label tunggal, data instance 3 dan 4 adalah dua data label dan data instance 5 adalah data tiga label.
Sekarang saya memiliki Matriks data PredictedLabel contoh menggunakan algoritma.
Saya ingin mengetahui berbagai ukuran yang dapat digunakan untuk mengukur kebaikan Matriks PredictedLabel terhadap Matriks FamousLabel.
Saya bisa memikirkan perbedaan norma frobeinus di antara mereka sebagai salah satu ukuran. Tapi saya mencari ukuran seperti akurasi
Di sini, bagaimana kita mendefinisikan untuk banyak contoh data?
sumber
Jawaban:
(1) memberikan gambaran yang bagus:
The Wikipedia Halaman n klasifikasi multi-label berisi bagian pada metrik evaluasi juga.
Saya akan menambahkan peringatan bahwa dalam pengaturan multilabel, akurasinya ambigu: mungkin merujuk pada rasio kecocokan yang tepat atau skor Hamming (lihat posting ini ). Sayangnya, banyak makalah yang menggunakan istilah "akurasi".
(1) Sorower, Mohammad S. " Sebuah survei literatur tentang algoritma untuk pembelajaran multi-label. " Oregon State University, Corvallis (2010).
sumber
accuracy
ukuran, bagaimana Anda menangani kasus dengan elegan di mana penyebut|Y + Z| == 0
?Hilangnya Hamming mungkin adalah fungsi kerugian yang paling banyak digunakan dalam klasifikasi multi-label.
Lihatlah Studi Empiris tentang Klasifikasi Multi-label dan Klasifikasi Multi-Label: Tinjauan , keduanya membahas hal ini.
sumber
Correctly Predicted
adalah perpotongan antara set label yang disarankan dan yang diharapkan.Total Instances
adalah gabungan dari set di atas (tidak ada jumlah rangkap).Jadi, berikan satu contoh di mana Anda memprediksi kelas
A, G, E
dan test case telahE, A, H, P
sesuai dengan yang Anda dapatkanAccuracy = Intersection{(A,G,E), (E,A,H,P)} / Union{(A,G,E), (E,A,H,P)} = 2 / 5
sumber