Bagaimana cara memplot kurva ROC dalam klasifikasi multi-kelas?

66

Dengan kata lain, alih-alih memiliki masalah dua kelas saya berurusan dengan 4 kelas dan masih ingin menilai kinerja menggunakan AUC.

Rob Hyndman
sumber
Apakah pengurangan dimensi merupakan opsi?
Shane
2
kami memiliki 4 kelas, tidak terlalu
Weka melakukan ini dengan sempurna, menggunakan strategi melawan semua kelas.

Jawaban:

53

Tampaknya Anda mencari analisis ROC multi-kelas, yang merupakan semacam optimasi multi-objektif yang dibahas dalam tutorial di ICML'04. Seperti dalam beberapa masalah multi-kelas, idenya umumnya untuk melakukan perbandingan berpasangan (satu kelas vs semua kelas lainnya, satu kelas vs kelas lain, lihat (1) atau Elemen Pembelajaran Statistik ), dan ada yang terbaru kertas oleh Landgrebe dan Duin pada topik itu, Mendekati ROC multiclass dengan analisis berpasangan , Pattern Recognition Letters 2007 28: 1747-1758. Sekarang, untuk tujuan visualisasi, saya telah melihat beberapa makalah beberapa waktu lalu, kebanyakan dari mereka memutar volume di bawah permukaan ROC (VUS) atau diagram Cobweb .

Saya tidak tahu, bagaimanapun, jika ada implementasi R dari metode ini, meskipun saya pikir stars()fungsi tersebut dapat digunakan untuk plot sarang laba-laba. Saya baru saja berlari melintasi kotak peralatan Matlab yang tampaknya menawarkan analisis ROC multi-kelas, PRSD Studio .

Makalah lain yang mungkin juga berguna sebagai awal pertama untuk visualisasi / perhitungan:

Referensi:
1. Allwein, EL, Schapire, RE dan Singer, Y. (2000). Mengurangi multi-kelas menjadi biner: Pendekatan pemersatu untuk pengklasifikasi margin. Jurnal Penelitian Pembelajaran Mesin , 1 : 113–141.

chl
sumber
7

Saya baru-baru ini menemukan paket pROC ini di R yang memplot ROC multiclass menggunakan teknik yang ditentukan oleh Hand and Till (2001) . Anda dapat menggunakan fungsi multiclass.roc.

garak
sumber
6

Jawabannya di sini cukup lengkap, tetapi saya masih ingin menambahkan 5 sen saya. Dalam pertanyaan ini Anda dapat menemukan contoh kode R untuk menghasilkan Kurva ROC menggunakan Pendekatan One-Vs-All dan pustaka ROCR R.

Ini adalah alur dari jawaban itu:

Kurva ROC

Alexey Grigorev
sumber
5

Sementara matematika di luar saya artikel ulasan umum ini memiliki beberapa referensi Anda mungkin akan tertarik, dan memiliki deskripsi singkat tentang grafik ROC multi-kelas.

Pengantar analisis ROC oleh Tom Fawcett Pattern Recognition Letters Volume 27, Edisi 8, Juni 2006, Halaman 861-874

Tautan ke pdf sebagaimana disediakan oleh gd047- terima kasih

Andy W
sumber
2
Saya akan mengatakan hal yang sama dengan memberikan tautan lain google.gr/…
George Dontas
1
Dan berikut ini, terkait langsung dengan masalah multi-kelas: Analisis ROC multi-kelas dari perspektif optimisasi multi-tujuan, Pattern Recognition Letters 2006 27 (8): 918-927 ( j.mp/9AMgzq ).
chl
1
Terima kasih atas tautan lain, tampaknya seluruh masalah itu populer, dan arsipnya pada sains langsung dapat ditemukan di sini sciencedirect.com/...
Andy W