Hitung kurva ROC untuk data

9

Jadi, saya memiliki 16 percobaan di mana saya mencoba untuk mengotentikasi seseorang dari sifat biometrik menggunakan Hamming Distance. Ambang batas saya diatur ke 3.5. Data saya di bawah dan hanya percobaan 1 yang Benar-Benar Positif:

Trial   Hamming Distance
1   0.34
2   0.37
3   0.34
4   0.29
5   0.55
6   0.47
7   0.47
8   0.32
9   0.39
10  0.45
11  0.42
12  0.37
13  0.66
14  0.39
15  0.44
16  0.39

Titik kebingungan saya adalah bahwa saya benar-benar tidak yakin tentang cara membuat kurva ROC (FPR vs TPR ATAU JAUH vs FRR) dari data ini. Tidak masalah yang mana, tapi saya hanya bingung bagaimana cara menghitungnya. Bantuan apa pun akan dihargai.

mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction rohanbk
sumber
Di sini stats.stackexchange.com/a/105577/49130 Anda dapat menemukan beberapa informasi tambahan tentang cara menggambar kurva ROC
Alexey Grigorev

Jawaban:

7

Saya menyarankan Grafik ROC: Catatan dan Pertimbangan Praktis untuk Peneliti oleh Tom Fawcett, benar-benar bacaan yang sangat bagus. Sejauh yang saya mengerti pertanyaan Anda, Anda akan menemukan semua yang Anda butuhkan dalam makalah ini.

Sunting: Terinspirasi oleh Adam Saya juga ingin merekomendasikan paket-R favorit saya untuk tugas ini: ROCR .

steffen
sumber
Apakah Anda tahu ada paket Matlab bagus yang bisa menyelesaikan pekerjaan?
rohanbk
@rohanbk Maaf, tidak. Sudah lama saya tidak menggunakan matlab.
steffen
Tautan @steffen rusak.
Alleo
@Alleo terima kasih atas pemberitahuannya, tautannya sekarang menunjuk ke citeseer (di mana pdf tersedia) ... ini akan bertahan lebih lama.
steffen
4

Mengapa Anda ingin membuat kurva ROC? Apakah Anda ingin membuat grafik kurva untuk variabel dependen Anda, atau Anda ingin menggunakannya sebagai statistik uji untuk mengukur akurasi prediksi probabilitas Anda (dalam hal ini Anda sedang mencari AUC [area di bawah kurva] ).

Jika Anda terbiasa dengan R, paket verifikasi di R memiliki dua fungsi yang berguna bagi Anda: roc.plot (), yang memungkinkan Anda untuk memplot kurva ROC Anda, dan roc.area () yang memungkinkan Anda menghitung AUC.

Adam
sumber
Apakah Anda tahu ada paket Matlab bagus yang bisa menyelesaikan pekerjaan?
rohanbk