Apa yang dikatakan kurva ROC kepada Anda bahwa kesimpulan tradisional tidak akan terjadi?

Kapan Anda cenderung menggunakan kurva ROC di atas beberapa tes lain untuk menentukan kemampuan prediksi beberapa pengukuran pada hasil?

Ketika berhadapan dengan hasil yang terpisah (hidup / mati, ada / tidak ada), apa yang membuat kurva ROC lebih atau kurang kuat daripada sesuatu seperti chi-square?

Fungsi ROC (tidak harus berupa kurva) memungkinkan Anda menilai kemampuan diskriminasi yang disediakan oleh model statistik spesifik (terdiri dari variabel prediktor atau serangkaian).

Pertimbangan utama ROC adalah bahwa prediksi model tidak hanya berasal dari kemampuan model untuk membedakan / membuat prediksi berdasarkan bukti yang diberikan oleh variabel prediktor. Juga beroperasi adalah kriteria respons yang menentukan berapa banyak bukti yang diperlukan untuk model untuk memprediksi respons, dan apa hasil dari respons ini. Nilai yang ditetapkan untuk kriteria respons akan sangat mempengaruhi prediksi model, dan pada akhirnya jenis kesalahan yang akan dibuatnya.

Pertimbangkan model generik dengan variabel prediktor dan kriteria respons. Model ini mencoba memprediksi Kehadiran X, dengan merespons Ya atau Tidak. Jadi, Anda memiliki matriks kebingungan berikut:

                                **X present               X absent**
 **Model Predicts X Present**       Hit                   False Alarm

 **Model Predicts X Absent**      Miss                 Correct Rejection

Dalam matriks ini, Anda hanya perlu mempertimbangkan proporsi Hits dan Alarm Palsu (karena yang lain dapat diturunkan dari ini, mengingat bahwa mereka harus beberapa ke 1). Untuk setiap kriteria respons, Anda akan mendapatkan matriks kebingungan yang berbeda. Kesalahan (Kesalahan dan Alarm Palsu) terkait negatif, yang berarti bahwa kriteria respons yang meminimalkan alarm palsu akan memaksimalkan kesalahan dan sebaliknya. Pesannya adalah: tidak ada makan siang gratis.

Jadi, untuk memahami seberapa baik model membedakan kasus / membuat prediksi, terlepas dari kriteria respons yang ditetapkan, Anda memplot angka Hit dan False yang dihasilkan di seluruh rentang kriteria respons yang mungkin.

Apa yang Anda dapatkan dari plot ini adalah fungsi ROC. Area di bawah fungsi menyediakan ukuran yang tidak bias, dan non-parametrik dari kemampuan diskriminasi model. Ukuran ini sangat penting karena bebas dari gangguan yang dapat dihasilkan oleh kriteria respons.

Aspek penting kedua, adalah bahwa dengan menganalisis fungsi, seseorang dapat menentukan kriteria respons apa yang lebih baik untuk tujuan Anda. Apa jenis kesalahan yang ingin Anda hindari, dan apa kesalahan itu OK. Misalnya, pertimbangkan tes HIV: ini adalah tes yang mencari semacam bukti (dalam hal ini antibodi) dan membuat diskriminasi / prediksi berdasarkan perbandingan bukti dengan kriteria respons. Kriteria respons ini biasanya ditetapkan sangat rendah, sehingga Anda meminimalkan Kesalahan. Tentu saja ini akan menghasilkan lebih banyak Alarm Palsu, yang memiliki biaya, tetapi biaya yang dapat diabaikan jika dibandingkan dengan Misses.

Dengan ROC Anda dapat menilai kemampuan diskriminasi beberapa model, terlepas dari kriteria respons, dan juga menetapkan kriteria respons optimal, mengingat kebutuhan dan kendala apa pun yang Anda ukur. Pengujian seperti hi-square tidak dapat membantu sama sekali dalam hal ini karena walaupun pengujian Anda jika prediksi berada pada tingkat peluang, banyak pasangan Alarm Hit-False yang berbeda konsisten dengan tingkat peluang.

Beberapa kerangka kerja, seperti teori deteksi sinyal, menganggap apriori bahwa bukti yang tersedia untuk diskriminasi memiliki distribusi spesifik (misalnya, distribusi normal, atau distribusi gamma). Ketika asumsi-asumsi ini berlaku (atau sangat dekat), beberapa langkah yang sangat bagus tersedia yang membuat hidup Anda lebih mudah.

Saya harap ini membantu menjelaskan Anda tentang kelebihan ROC

Kurva ROC digunakan ketika prediktor kontinu dan hasilnya terpisah, sehingga uji chi-square tidak dapat diterapkan. Faktanya, analisis ROC dalam beberapa hal setara dengan uji Mann-Whitney: area di bawah kurva adalah P (X> Y) yang merupakan jumlah yang diuji oleh uji MW. Namun analisis Mann-Whitney tidak menekankan memilih cutoff, sementara itu adalah poin utama dari analisis ROC. Selain itu, kurva ROC sering digunakan hanya sebagai tampilan visual dari kemampuan prediksi kovariat.

Jawaban terpendek adalah bahwa tes tradisional deteksi sinyal hanya memberi Anda satu titik pada ROC (karakteristik operasi penerima) sementara kurva memungkinkan Anda untuk melihat respons melalui berbagai nilai. Mungkin saja kriteria dan d bergeser saat seseorang bergeser di sepanjang kurva. Ini seperti perbedaan antara uji-t yang dihasilkan dengan memilih dua kelas variabel prediktor dan dua garis regresi yang dihasilkan dengan melihat manipulasi parametrik dari masing-masing variabel prediktor.

Jika Anda tertarik pada referensi lebih lanjut, daftar makalah yang luas tersedia di situs web KH Zou, Penelitian Karakteristik Penerima Karakteristik Operasional (ROC) .

Kurva ROC juga digunakan ketika seseorang tertarik untuk membandingkan kinerja pengklasifikasi yang berbeda, dengan aplikasi luas dalam penelitian biomedis dan bioinformatika.

Dalam banyak hal ROC merupakan pengalihan dari inferensi primer dan alat estimasi untuk model. Saya tidak bisa melihat banyak nilai di sana.