Koneksi antara (d-prime) dan AUC (Area Di Bawah Kurva ROC); asumsi yang mendasarinya

13

Dalam pembelajaran mesin, kita dapat menggunakan area di bawah kurva ROC (sering disingkat AUC , atau AUROC) untuk merangkum seberapa baik suatu sistem dapat membedakan antara dua kategori. Dalam teori pendeteksian sinyal seringkali (indeks sensitivitas) digunakan untuk tujuan yang sama. Keduanya terhubung erat, dan saya percaya mereka setara satu sama lain jika asumsi tertentu dipenuhi .d

Perhitungan biasanya disajikan berdasarkan asumsi distribusi normal untuk distribusi sinyal (lihat tautan wikipedia di atas, misalnya). Perhitungan kurva ROC tidak membuat asumsi ini: ini berlaku untuk klasifikasi apa pun yang menghasilkan kriteria keputusan bernilai terus menerus yang dapat di-threshold.d

Wikipedia mengatakan bahwa setara dengan . Ini kelihatannya benar jika asumsi keduanya terpenuhi; tetapi jika asumsinya tidak sama, itu bukan kebenaran universal.d2AUC1

Apakah adil untuk menggambarkan perbedaan dalam asumsi sebagai "AUC membuat lebih sedikit asumsi tentang distribusi yang mendasarinya"? Atau sebenarnya hanya sebagai berlaku secara luas sebagai AUC, tapi itu hanya praktek umum bahwa orang yang menggunakan cenderung menggunakan perhitungan yang mengasumsikan distribusi normal? Adakah perbedaan lain dalam asumsi mendasar yang saya lewatkan?dd

Dan Stowell
sumber

Jawaban:

7

Tidak. Nilai maksimum AUC adalah 1. d 'tidak memiliki maksimum.

Saya percaya bahwa d 'sama dengan qnorm (AUC) * sqrt (2) (ingatan saya tentang buku statistik lama yang tidak dapat saya temukan sekarang tetapi sepertinya memeriksa beberapa data yang saya temukan di web). Di sini qnorm (x) adalah "fungsi kuantil untuk distribusi normal" (R-speak). Artinya, ia mengembalikan nilai distribusi normal yang x proporsi distribusi di bawahnya.

Joel Lachter
sumber
2
Terima kasih, ini kedengarannya benar bagi saya - namun, hanya jika kami menganggap distribusi normal (karena penggunaan qnorm ()). Saya telah memperbaiki kata-kata wikipedia.
Dan Stowell