Aturan penilaian yang tepat adalah aturan yang dimaksimalkan oleh model 'benar' dan itu tidak memungkinkan 'lindung nilai' atau bermain game sistem (sengaja melaporkan hasil yang berbeda seperti keyakinan sejati model untuk meningkatkan skor). Skor penghalang adalah tepat, akurasi (proporsi...
Bisakah nilai AUC-ROC antara 0-0,5? Apakah model pernah menampilkan nilai antara 0 dan
Apa keuntungan dari kurva ROC? Sebagai contoh, saya mengklasifikasikan beberapa gambar yang merupakan masalah klasifikasi biner. Saya mengekstraksi sekitar 500 fitur dan menerapkan algoritma pemilihan fitur untuk memilih satu set fitur kemudian saya menerapkan SVM untuk klasifikasi. Dalam hal ini,...
Saya berencana untuk menggunakan validasi silang 10 kali lipat bertingkat yang diulang (sekitar 10 kali) pada sekitar 10.000 kasus menggunakan algoritma pembelajaran mesin. Setiap kali repetisi akan dilakukan dengan seed acak berbeda. Dalam proses ini saya membuat 10 contoh estimasi probabilitas...
Saya sedang mempelajari kursus pembelajaran mesin dan slide kuliah berisi informasi apa yang saya temukan bertentangan dengan buku yang direkomendasikan. Masalahnya adalah sebagai berikut: ada tiga pengklasifikasi: classifier A memberikan kinerja yang lebih baik di kisaran ambang yang lebih...
Suppose I have constructed a prediction model for the occurrence of a particular disease in one dataset (the model building dataset) and now want to check how well the model works in a new dataset (the validation dataset). For a model built with logistic regression, I would calculate the predicted...
Saya bereksperimen dengan algoritma mesin peningkat gradien melalui caretpaket di R. Menggunakan dataset penerimaan perguruan tinggi kecil, saya menjalankan kode berikut: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ###...
Saya mencoba memahami cara menghitung titik potong optimal untuk kurva ROC (nilai di mana sensitivitas dan spesifisitas dimaksimalkan). Saya menggunakan dataset aSAHdari paket pROC. The outcomevariabel dapat dijelaskan oleh dua variabel independen: s100bdan ndka. Menggunakan sintaks Epipaket, saya...
Saya memiliki satu set uji 100 kasus dan dua pengklasifikasi. Saya menghasilkan prediksi dan menghitung ROC AUC, sensitivitas dan spesifisitas untuk kedua pengklasifikasi. Pertanyaan 1: Bagaimana saya bisa menghitung nilai-p untuk memeriksa apakah satu secara signifikan lebih baik daripada yang...
Saya menerapkan regresi logistik pada data saya di SAS dan di sini adalah kurva ROC dan tabel klasifikasi. Saya nyaman dengan angka-angka di tabel klasifikasi, tetapi tidak yakin apa yang ditunjukkan oleh kurva roc dan area di bawahnya. Penjelasan apa pun akan sangat
Mengapa area di bawah kurva ROC kemungkinan bahwa classifier akan memberi peringkat instance "positif" yang dipilih secara acak (dari prediksi yang diambil) lebih tinggi daripada yang "secara acak" yang dipilih secara acak (dari kelas positif asli)? Bagaimana seseorang membuktikan pernyataan ini...
Biasanya dalam regresi logistik, kami cocok dengan model dan mendapatkan beberapa prediksi pada set pelatihan. Kami kemudian melakukan validasi silang pada prediksi pelatihan tersebut (seperti di sini ) dan memutuskan nilai ambang batas optimal berdasarkan pada sesuatu seperti kurva ROC. Mengapa...
kami dulu membuat kurva GINI menggunakan lift yang dibuat dengan bantuan persentase baik dan buruk untuk pemodelan scorecard. Tetapi apa yang telah saya pelajari bahwa kurva ROC dibuat menggunakan matriks Confusion dengan kekhususan (1- True Negative) sebagai sumbu x dan sensitivitas (true positif)...
Dalam pembelajaran mesin, kita dapat menggunakan area di bawah kurva ROC (sering disingkat AUC , atau AUROC) untuk merangkum seberapa baik suatu sistem dapat membedakan antara dua kategori. Dalam teori pendeteksian sinyal seringkali (indeks sensitivitas) digunakan untuk tujuan yang sama. Keduanya...
Saya telah mendapatkan model regresi logistik (via train) untuk respons biner, dan saya telah mendapatkan matriks kebingungan logistik via confusionMatrixin caret. Ini memberi saya matriks kebingungan model logistik, meskipun saya tidak yakin apa ambang batas yang digunakan untuk mendapatkannya....
Biasanya kita tidak bisa menggambar kurva ROC untuk pengklasifikasi diskrit seperti pohon keputusan. Apakah saya benar? Apakah ada cara untuk menggambar kurva ROC untuk
Saya menemukan koefisien Dice untuk kesamaan volume ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefisien ) dan akurasi ( https://en.wikipedia.org/wiki/Accuracy_and_precision) ). Tampak bagi saya bahwa kedua ukuran ini sama. Adakah
Satu ukuran umum yang digunakan untuk membandingkan dua atau lebih model klasifikasi adalah dengan menggunakan area di bawah kurva ROC (AUC) sebagai cara untuk secara tidak langsung menilai kinerjanya. Dalam hal ini model dengan AUC yang lebih besar biasanya diartikan sebagai berkinerja lebih baik...
Saya telah mengerjakan model logistik dan saya mengalami kesulitan mengevaluasi hasilnya. Model saya adalah logit binomial. Variabel penjelas saya adalah: variabel kategori dengan 15 level, variabel dikotomis, dan 2 variabel kontinu. N saya besar> 8000. Saya mencoba memodelkan keputusan...
Saya menjalankan classifier biner saat ini. Ketika saya memplot kurva ROC saya mendapatkan tumpangan yang baik di awal kemudian ia mengubah arah dan melintasi diagonal kemudian tentu saja kembali, membuat kurva bentuk S seperti miring. Apa yang bisa menjadi interpretasi / penjelasan untuk efek...