Dicari tinggi dan rendah dan belum dapat menemukan apa AUC, seperti yang terkait dengan prediksi, singkatan atau artinya.
classification
prediction
roc
auc
abbreviation
Astaga
sumber
sumber
auc
tag yang Anda gunakan: stats.stackexchange.com/questions/tagged/aucJawaban:
Singkatan
AUC digunakan sebagian besar waktu untuk berarti AUROC, yang merupakan praktik yang buruk sejak Marc Claesen menunjukkan AUC adalah ambigu (bisa berupa kurva apa pun) sedangkan AUROC tidak.
Menafsirkan AUROC
AUROC memiliki beberapa interpretasi yang setara :
Lebih jauh: Bagaimana mendapatkan interpretasi probabilistik dari AUROC?
Menghitung AUROC
Asumsikan kita memiliki probabilistik, klasifikasi biner seperti regresi logistik.
Sebelum menyajikan kurva ROC (= Kurva Karakteristik Operasi Penerima), konsep matriks kebingungan harus dipahami. Saat kami membuat prediksi biner, mungkin ada 4 jenis hasil:
Untuk mendapatkan matriks kebingungan, kita membahas semua prediksi yang dibuat oleh model, dan menghitung berapa kali masing-masing dari 4 jenis hasil terjadi:
Dalam contoh ini dari matriks kebingungan, di antara 50 titik data yang diklasifikasikan, 45 diklasifikasikan dengan benar dan 5 diklasifikasi salah.
Karena untuk membandingkan dua model yang berbeda, seringkali lebih mudah untuk memiliki satu metrik daripada beberapa yang lain, kami menghitung dua metrik dari matriks kebingungan, yang nantinya akan kami gabungkan menjadi satu:
Untuk menggabungkan FPR dan TPR ke dalam satu metrik tunggal, pertama-tama kita menghitung dua metrik sebelumnya dengan banyak ambang yang berbeda (misalnya ) untuk regresi logistik, lalu plotkan pada satu grafik, dengan nilai-nilai FPR pada absis dan nilai-nilai TPR pada ordinasi. Kurva yang dihasilkan disebut kurva ROC, dan metrik yang kami pertimbangkan adalah AUC dari kurva ini, yang kami sebut AUROC.0.00;0.01,0.02,…,1.00
Gambar berikut menunjukkan AUROC secara grafis:
Dalam gambar ini, area biru sesuai dengan Area Di Bawah kurva Receiver Operating Characteristic (AUROC). Garis putus-putus dalam diagonal kami menyajikan kurva ROC dari prediktor acak: ia memiliki AUROC 0,5. Prediktor acak biasanya digunakan sebagai dasar untuk melihat apakah model itu berguna.
Jika Anda ingin mendapatkan pengalaman langsung:
sumber
Meskipun saya agak terlambat ke pesta, tapi inilah 5 sen saya. @FranckDernoncourt (+1) telah menyebutkan kemungkinan interpretasi AUC ROC, dan favorit saya adalah yang pertama dalam daftar (saya menggunakan kata-kata yang berbeda, tetapi sama):
Pertimbangkan contoh ini (auc = 0.68):
Mari kita coba untuk mensimulasikannya: gambarkan contoh acak positif dan negatif dan kemudian hitung proporsi kasus ketika positif memiliki skor lebih besar daripada negatif
Dan kami mendapat 0,67926. Cukup dekat, bukan?
Omong-omong, di RI biasanya menggunakan paket ROCR untuk menggambar kurva ROC dan menghitung AUC.
sumber
Pertimbangan penting tidak termasuk dalam diskusi ini. Prosedur yang dibahas di atas mengundang ambang batas yang tidak tepat dan memanfaatkan aturan penilaian akurasi (proporsi) yang tidak tepat yang dioptimalkan dengan memilih fitur yang salah dan memberi mereka bobot yang salah.
Dikotomisasi prediksi terus-menerus terbang di hadapan teori keputusan optimal. Kurva ROC tidak memberikan wawasan yang dapat ditindaklanjuti. Mereka menjadi kewajiban tanpa peneliti memeriksa manfaatnya. Mereka memiliki rasio tinta: informasi yang sangat besar.
Keputusan optimal tidak mempertimbangkan "positif" dan "negatif" melainkan estimasi probabilitas hasil. Fungsi utilitas / biaya / kerugian, yang tidak memainkan peran dalam konstruksi ROC sehingga tidak berguna dari ROC, digunakan untuk menerjemahkan estimasi risiko ke keputusan optimal (misalnya, kerugian yang diharapkan terendah).
Tujuan dari model statistik adalah untuk membuat prediksi, dan analis harus sering berhenti di sana karena analis mungkin tidak mengetahui fungsi kerugian. Komponen utama dari prediksi untuk memvalidasi tidak bias (misalnya, menggunakan bootstrap) adalah diskriminasi prediktif (salah satu cara semi-baik untuk mengukur ini adalah probabilitas konkordansi yang terjadi untuk menyamai area di bawah ROC tetapi dapat lebih mudah dipahami jika Anda tidak dapat menggambar ROC) dan kurva kalibrasi. Validasi kalibrasi benar-benar diperlukan jika Anda menggunakan prediksi pada skala absolut.
Lihat bab Kehilangan Informasi dalam Biostatistik untuk Penelitian Biomedis dan bab-bab lain untuk informasi lebih lanjut.
sumber
AUC adalah singkatan untuk area di bawah kurva . Ini digunakan dalam analisis klasifikasi untuk menentukan model mana yang paling baik memprediksi kelas.
Contoh aplikasinya adalah kurva ROC. Di sini, tingkat positif sejati diplot terhadap tingkat positif palsu. Contohnya di bawah ini. Semakin dekat AUC untuk sebuah model, semakin baik 1. Jadi model dengan AUC yang lebih tinggi lebih disukai daripada model dengan AUC yang lebih rendah.
Harap dicatat, ada juga metode lain selain kurva ROC tetapi mereka juga terkait dengan tingkat positif dan positif palsu yang benar, misalnya presisi-recall, F1-Score atau kurva Lorenz.
sumber
Jawaban di forum ini sangat bagus dan saya sering datang ke sini untuk referensi. Namun, satu hal selalu hilang. Dari jawaban @ Frank, kita melihat interpretasi AUC sebagai probabilitas bahwa sampel positif akan memiliki skor lebih tinggi daripada sampel negatif. Pada saat yang sama, cara untuk menghitungnya adalah dengan memplot TPR dan FPR sebagai ambang, diubah dan menghitung area di bawah kurva itu. Tapi, mengapa area ini di bawah kurva sama dengan probabilitas ini? @ Alexy menunjukkan melalui simulasi bahwa mereka sudah dekat, tetapi bisakah kita mendapatkan hubungan ini secara matematis? Mari kita asumsikan sebagai berikut:τ
Perhatikan bahwa TPR (recall) diberikan oleh: dan FPR (fallout) diberikan menjadi: .P(A>τ) P(B>τ)
Sekarang, kita plot TPR pada sumbu y dan FPR pada sumbu x, menggambar kurva untuk berbagai dan menghitung area di bawah kurva ini ( ).τ AUC
Kita mendapatkan:
Sekarang, sini hanyax FPR
Tapi kita tahu dari invers transformasi hukum bahwa untuk setiap variabel acak , jika maka . Ini mengikuti sejak mengambil variabel acak dan menerapkan CDF sendiri untuk itu mengarah ke seragam.X FX(Y)∼U Y∼X
Menggunakan fakta ini dalam persamaan (2) memberi kita:τ(x)∼B
Mengganti ini menjadi persamaan (1) kita dapatkan:
Dengan kata lain, area di bawah kurva adalah probabilitas bahwa sampel positif acak akan memiliki skor lebih tinggi daripada sampel negatif acak.
sumber