Apa AUC berdiri dan apa itu?
Dicari tinggi dan rendah dan belum dapat menemukan apa AUC, seperti yang terkait dengan prediksi, singkatan atau
228
AUC adalah singkatan dari Area Di Bawah Kurva dan biasanya merujuk ke area di bawah kurva karakteristik operator penerima (ROC).
Dicari tinggi dan rendah dan belum dapat menemukan apa AUC, seperti yang terkait dengan prediksi, singkatan atau
Saya tertarik menghitung area di bawah kurva (AUC), atau c-statistik, dengan tangan untuk model regresi logistik biner. Misalnya, dalam dataset validasi, saya memiliki nilai sebenarnya untuk variabel dependen, retensi (1 = dipertahankan; 0 = tidak dipertahankan), serta status retensi yang...
Kriteria Informasi Akaike (AIC) dan statistik-c (area di bawah kurva ROC) adalah dua ukuran model yang cocok untuk regresi logistik. Saya mengalami kesulitan menjelaskan apa yang sedang terjadi ketika hasil dari kedua langkah tersebut tidak konsisten. Saya kira mereka mengukur aspek fit model yang...
Saya memiliki dua pengklasifikasi A: jaringan Bayesian yang naif B: tree (terhubung sendiri) jaringan Bayesian Dalam hal akurasi dan langkah-langkah lain, A melakukan relatif lebih buruk daripada B. Namun, ketika saya menggunakan paket R ROCR dan AUC untuk melakukan analisis ROC, ternyata AUC...
Apakah Average Precision (AP) area di bawah Precision-Recall Curve (AUC dari PR-curve)? EDIT: berikut adalah beberapa komentar tentang perbedaan dalam PR AUC dan AP. AUC diperoleh dengan interpolasi trapesium dari presisi. Metrik alternatif dan biasanya hampir setara adalah Average Precision...
Dalam diskusi: bagaimana membuat kurva roc untuk klasifikasi biner , saya pikir kebingungannya adalah "binary classifier" (yang mana setiap classifier yang memisahkan 2 kelas) adalah untuk Yang yang disebut "discrete classifier" (yang menghasilkan keluaran diskrit 0/1 seperti SVM) dan bukan...
Gambar di bawah ini menunjukkan kurva kontinu dari tingkat positif palsu vs. Namun, yang saya tidak segera dapatkan adalah bagaimana tarif ini dihitung. Jika suatu metode diterapkan pada dataset, ia memiliki tingkat FP tertentu dan tingkat FN tertentu. Bukankah itu berarti bahwa setiap metode...
Pembukaan Ini posting yang panjang. Jika Anda membaca ulang ini, harap perhatikan bahwa saya telah merevisi bagian pertanyaan, meskipun materi latar belakangnya tetap sama. Selain itu, saya percaya bahwa saya telah menemukan solusi untuk masalah ini. Solusi itu muncul di bagian bawah pos. Terima...
Saya menggunakan classifier yang mengembalikan probabilitas. Untuk menghitung AUC, saya menggunakan paket-pROC. Probabilitas keluaran dari classifier adalah: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsmenunjukkan...
Saya membuat kurva ROC untuk sistem diagnostik. Area di bawah kurva kemudian non-parametrik diperkirakan menjadi AUC = 0,89. Ketika saya mencoba menghitung akurasi pada pengaturan ambang optimal (titik terdekat dengan titik (0, 1)), saya mendapatkan akurasi sistem diagnostik menjadi 0,8, yang...
Bisakah nilai AUC-ROC antara 0-0,5? Apakah model pernah menampilkan nilai antara 0 dan
Saya memiliki beberapa keraguan tentang ukuran kinerja yang digunakan, area di bawah kurva ROC (TPR sebagai fungsi FPR) atau area di bawah kurva recall-presisi (presisi sebagai fungsi recall). Data saya tidak seimbang, yaitu jumlah instance negatif jauh lebih besar daripada instance positif. Saya...
Saya bereksperimen dengan algoritma mesin peningkat gradien melalui caretpaket di R. Menggunakan dataset penerimaan perguruan tinggi kecil, saya menjalankan kode berikut: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ###...
Saya mencoba menggunakan fungsi ' density ' di R untuk melakukan estimasi kepadatan kernel. Saya mengalami beberapa kesulitan menafsirkan hasil dan membandingkan berbagai dataset karena tampaknya area di bawah kurva belum tentu 1. Untuk setiap fungsi kepadatan probabilitas (pdf) , kita perlu...
Skor F1 adalah rata-rata harmonis dari presisi dan daya ingat. Sumbu y dari recall adalah tingkat positif sejati (yang juga recall). Jadi, kadang-kadang pengklasifikasi dapat memiliki daya ingat rendah tetapi AUC sangat tinggi, apa artinya itu? Apa perbedaan antara AUC dan skor
Mengapa area di bawah kurva ROC kemungkinan bahwa classifier akan memberi peringkat instance "positif" yang dipilih secara acak (dari prediksi yang diambil) lebih tinggi daripada yang "secara acak" yang dipilih secara acak (dari kelas positif asli)? Bagaimana seseorang membuktikan pernyataan ini...
Saya sudah melatih dua model (pengklasifikasi biner menggunakan h2o AutoML) dan saya ingin memilih satu untuk digunakan. Saya memiliki hasil sebagai berikut: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932...
Kompetisi Kaggle Prediksi Pengemudi Aman Porto Seguro menggunakan Skor Normalisasi Gini sebagai metrik evaluasi dan ini membuat saya ingin tahu tentang alasan pilihan ini. Apa keuntungan menggunakan skor gini yang dinormalisasi alih-alih metrik yang paling umum, seperti AUC, untuk...
Saya memiliki satu set uji 100 kasus dan dua pengklasifikasi. Saya menghasilkan prediksi dan menghitung ROC AUC, sensitivitas dan spesifisitas untuk kedua pengklasifikasi. Pertanyaan 1: Bagaimana saya bisa menghitung nilai-p untuk memeriksa apakah satu secara signifikan lebih baik daripada yang...
Dalam pembelajaran mesin, kita dapat menggunakan area di bawah kurva ROC (sering disingkat AUC , atau AUROC) untuk merangkum seberapa baik suatu sistem dapat membedakan antara dua kategori. Dalam teori pendeteksian sinyal seringkali (indeks sensitivitas) digunakan untuk tujuan yang sama. Keduanya...