Gambar di bawah ini menunjukkan kurva kontinu dari tingkat positif palsu vs.
Namun, yang saya tidak segera dapatkan adalah bagaimana tarif ini dihitung. Jika suatu metode diterapkan pada dataset, ia memiliki tingkat FP tertentu dan tingkat FN tertentu. Bukankah itu berarti bahwa setiap metode harus memiliki satu titik daripada kurva? Tentu saja ada beberapa cara untuk mengonfigurasi metode, menghasilkan beberapa titik berbeda, tetapi tidak jelas bagi saya bagaimana ada rangkaian tingkat ini atau bagaimana itu dihasilkan.
Jawaban:
Plotnya adalah kurva ROC dan poin (False Positive Rate, True Positive Rate) dihitung untuk ambang yang berbeda. Dengan asumsi Anda memiliki fungsi utilitas yang seragam, nilai ambang batas optimal adalah yang untuk titik terdekat dengan (0, 1).
sumber
Untuk menghasilkan kurva ROC (= Kurva Karakteristik Operasi Penerima):
Asumsikan kita memiliki probabilistik, klasifikasi biner seperti regresi logistik. Sebelum menyajikan kurva ROC, konsep matriks kebingungan harus dipahami. Saat kami membuat prediksi biner, mungkin ada 4 jenis kesalahan:
Untuk mendapatkan matriks kebingungan, kita memeriksa semua prediksi yang dibuat oleh model, dan menghitung berapa kali masing-masing dari keempat jenis kesalahan terjadi:
Dalam contoh ini dari matriks kebingungan, di antara 50 titik data yang diklasifikasikan, 45 diklasifikasikan dengan benar dan 5 diklasifikasi salah.
Karena untuk membandingkan dua model yang berbeda, seringkali lebih mudah untuk memiliki satu metrik daripada beberapa yang lain, kami menghitung dua metrik dari matriks kebingungan, yang nantinya akan kami gabungkan menjadi satu:
Dalam gambar ini, area biru sesuai dengan Area Di Bawah kurva Receiver Operating Characteristic (AUROC). Garis putus-putus dalam diagonal kami menyajikan kurva ROC dari prediktor acak: ia memiliki AUROC 0,5. Prediktor acak biasanya digunakan sebagai dasar untuk melihat apakah model itu berguna.
Jika Anda ingin mendapatkan pengalaman langsung:
sumber
Jawaban Morten dengan benar menjawab pertanyaan dalam judul - angka tersebut memang merupakan kurva ROC. Ini diproduksi dengan memplot urutan tingkat positif palsu (FPR) terhadap tingkat positif sejati yang sesuai.
Namun, saya ingin menjawab pertanyaan yang Anda tanyakan di badan pos Anda.
Banyak metode pembelajaran mesin memiliki parameter yang dapat disesuaikan. Sebagai contoh, output dari regresi logistik adalah probabilitas prediksi keanggotaan kelas. Aturan keputusan untuk mengklasifikasikan semua poin dengan probabilitas yang diprediksi di atas ambang batas untuk satu kelas, dan yang lainnya, dapat membuat rentang pengklasifikasi yang fleksibel, masing-masing dengan statistik TPR dan FPR yang berbeda. Hal yang sama dapat dilakukan dalam kasus hutan acak, di mana orang mempertimbangkan suara pohon, atau SVM, di mana Anda mempertimbangkan jarak yang ditandatangani dari pesawat terbang.
Dalam kasus di mana Anda melakukan validasi silang untuk memperkirakan kinerja out-of-sample, praktik umum adalah dengan menggunakan nilai prediksi (suara, probabilitas, jarak yang ditandatangani) untuk menghasilkan urutan TPR dan FPR. Ini biasanya terlihat seperti fungsi langkah, karena biasanya hanya ada satu titik yang bergerak dari TP ke FN atau FP ke FN, pada setiap nilai prediksi (yaitu semua nilai prediksi out-of-sample unik). Dalam hal ini, sementara ada kontinum opsi untuk menghitung TPR dan FPR, fungsi TPR dan FPR tidak akan kontinu karena hanya ada banyak titik di luar sampel, sehingga kurva yang dihasilkan akan memiliki tampilan seperti langkah .
sumber
Dari Wikipedia:
Anda dapat menganggap kedua sumbu sebagai biaya yang harus dikeluarkan agar classifier biner dapat beroperasi. Idealnya Anda ingin mengeluarkan tingkat positif palsu seminimal mungkin untuk tingkat positif sejati setinggi mungkin. Itu adalah Anda ingin classifier biner untuk memanggil sebagai positif palsu sesedikit mungkin sebanyak positif positif.
Untuk membuatnya konkret, bayangkan sebuah penggolong yang dapat mendeteksi apakah ada penyakit tertentu dengan mengukur jumlah beberapa biomarker. Bayangkan bahwa biomarker memiliki nilai dalam kisaran 0 (tidak ada) hingga 1 (jenuh). Tingkat apa yang memaksimalkan deteksi penyakit? Mungkin itu terjadi bahwa di atas tingkat tertentu biomarker akan mengklasifikasikan beberapa orang memiliki penyakit namun mereka tidak memiliki penyakit. Ini adalah positif palsu. Maka tentu saja ada orang-orang yang akan digolongkan memiliki penyakit ketika mereka memang memiliki penyakit. Ini adalah hal positif yang sebenarnya.
ROC menilai proporsi positif sejati semua positif terhadap proporsi positif palsu dengan memperhitungkan semua nilai ambang batas yang mungkin.
sumber