AUC dalam regresi logistik ordinal

Saya menggunakan 2 jenis regresi logistik - satu adalah tipe sederhana, untuk klasifikasi biner, dan yang lainnya adalah regresi logistik ordinal. Untuk menghitung akurasi yang pertama, saya menggunakan validasi silang, di mana saya menghitung AUC untuk setiap lipatan dan kemudian menghitung rata-rata AUC. Bagaimana saya bisa melakukannya untuk regresi logistik ordinal? Saya telah mendengar tentang ROC umum untuk prediktor multi-kelas, tetapi saya tidak yakin bagaimana cara menghitungnya.

Terima kasih!

logistic cross-validation roc auc ordered-logit Noam Peled
sumber

bukan AUC tetapi terkait: pada kurva ingat-kembali mikro / makro di stats.stackexchange.com/questions/21551/…

Yevgeny

Jawaban:

Saya hanya suka area di bawah kurva ROC ( -index) karena kebetulan probabilitas konkordansi. adalah blok bangunan koefisien korelasi peringkat. Sebagai contoh, Somers . Untuk ordinal , adalah ukuran yang sangat baik dari diskriminasi prediktif, dan paket R menyediakan cara mudah untuk mendapatkan estimasi bootstrap overfitting-koreksi . Anda dapat melakukan backsolve untuk -index umum (generalisasi AUROC). Ada alasan untuk tidak mempertimbangkan setiap tingkat secara terpisah karena ini tidak mengeksploitasi sifat ordinal dari . $c$ $c$ $D_{xy} = 2\times (c - \frac{1}{2})$ $Y$ $D_{xy}$ rms $D_{xy}$ $c$ $Y$ $Y$

Dalam rmsada dua fungsi untuk regresi ordinal: lrmdan orm, yang terakhir menangani terus menerus dan menyediakan lebih banyak keluarga distribusi (fungsi tautan) daripada peluang proporsional. $Y$

Frank Harrell
sumber

Masalah utamanya adalah bagaimana rms menghitung digunakan dalam Sommer's ?

c - i n d e x

$c-index$

D_{x y}

$D_{xy}$

Chamberlain Foncha

Ini dieja Somer . The umum -index hanya dihitung dengan backsolving persamaan saya tercantum di atas. Di dalam, semua kombinasi pengamatan yang mungkin yang memiliki nilai berbeda diperiksa, dan fraksi dari pasangan tersebut yang prediksinya dalam urutan yang sama adalah perkiraan probabilitas konkordansi. Saya salah menuliskan satu hal: Fungsi ini menggunakan Spearman alih-alih .

c

$c$

Y

$Y$ orm

ρ

$\rho$

D_{x y}

$D_{xy}$

Frank Harrell

Terima kasih atas koreksi ejaannya. Dalam regresi ordinal akan jauh lebih menarik tidak hanya untuk melihat urutan berpasangan seperti yang dilakukan dalam fungsi orm yang Anda sebutkan, tetapi juga melihat urutan konsisten (dengan operator ternary atau lebih tinggi) tergantung pada jumlah kelas yang Anda miliki. Singkatnya apa yang saya katakan adalah: dengan regresi logistik kumulatif yang dipasang misalnya, urutan kelas diurus dalam model. Ukuran prediktif juga harus tidak dapat melakukan perbandingan berpasangan tetapi perbandingan bentuk $ P (pred_1 <pred_2 <pred_3 | obs_1 <obs_2 <o

P (p r e d_{1} < p r e d_{2} | o b s_{1} < o b s_{2})

$P(pred_1<pred_2|obs_1<obs_2)$

Chamberlain Foncha

Tidak tahu tentang langkah-langkah seperti itu. Reaksi pertama saya adalah bahwa mereka menetapkan bar tinggi untuk rintangan.

Frank Harrell

AUC untuk regresi ordinal adalah sesuatu yang rumit. Anda mungkin ingin menghitung AUC untuk setiap kelas dengan membuat boneka untuk mengambil nilai 1 untuk kelas yang Anda hitung AUC dan 0 untuk sisa kelas lainnya. Jika Anda memiliki 4 kelas maka Anda akan membuat 4 AUC dan plot mereka pada grafik yang sama. Masalah utama dengan metode ini adalah kenyataan bahwa metode ini menghukum kesalahan klasifikasi dengan setara. Jauh lebih intuitif mengklasifikasikan kelas 1 ke kelas 3 harus menjadi yang terburuk dari kesalahan klasifikasi kelas 1 ke kelas 2.

Chamberlain Foncha
sumber