Signifikansi statistik (nilai-p) untuk membandingkan dua pengklasifikasi sehubungan dengan (rata-rata) ROC AUC, sensitivitas dan spesifisitas

Saya memiliki satu set uji 100 kasus dan dua pengklasifikasi.

Saya menghasilkan prediksi dan menghitung ROC AUC, sensitivitas dan spesifisitas untuk kedua pengklasifikasi.

Pertanyaan 1: Bagaimana saya bisa menghitung nilai-p untuk memeriksa apakah satu secara signifikan lebih baik daripada yang lain sehubungan dengan semua skor (ROC AUC, sensitivitas, spesifisitas)?

Sekarang, untuk set uji yang sama dari 100 kasus, saya memiliki tugas fitur yang berbeda dan independen untuk setiap kasus. Ini karena fitur saya tetap tetapi subjektif dan disediakan oleh beberapa (5) subjek.

Jadi, saya mengevaluasi dua pengklasifikasi saya lagi untuk 5 "versi" dari set pengujian saya dan memperoleh 5 ROC AUCs, 5 sensitivitas dan 5 spesifisitas untuk kedua pengklasifikasi. Kemudian, saya menghitung rata-rata setiap ukuran kinerja untuk 5 subjek (rata-rata ROC AUC, sensitivitas rata-rata dan spesifisitas rata-rata) untuk kedua pengklasifikasi.

Pertanyaan 2: Bagaimana saya bisa menghitung nilai-p untuk memeriksa apakah ada yang secara signifikan lebih baik daripada yang lain sehubungan dengan skor rata-rata (rata-rata ROC AUC, sensitivitas rata-rata, spesifisitas rata-rata)?

Jawaban dengan beberapa contoh python (lebih disukai) atau kode MatLab lebih dari diterima.

machine-learning statistical-significance roc auc sensitivity-specificity kostek
sumber

Lakukan perbandingan langsung antara presisi, akurasi, AuC untuk mendapatkan klasifikasi terbaik di antara keduanya. Nilai P tidak masuk akal di sini. Nilai p digunakan dalam konteks evaluasi jika model melakukan lebih baik daripada penugasan acak / 50-50 (sebagai uji hipotesis nol / alternatif)

Nishad

Pertama, saya tidak setuju bahwa perbandingan dua ukuran kinerja menggunakan nilai-p tidak masuk akal di sini. Saya melihat bahwa satu classifier memiliki AUC 0,80 dan yang lainnya 0,85. Hipotesis nol saya adalah bahwa tidak ada perbedaan dalam kinerja kedua iklan baris. Saya ingin tahu apakah perbedaannya signifikan secara statistik.

kostek

Kedua, saya tidak membuat 5 versi model saya. Saya memiliki dua model yang dilatih pada set pelatihan terpisah dan sekarang saya mengevaluasinya pada 5 "versi" yang berbeda dari set tes saya. Saya memiliki kinerja rata-rata untuk kedua pengklasifikasi (misalnya 0,81 AUC dan 0,84 AUC) dan ingin memeriksa apakah perbedaannya signifikan secara statistik.

kostek

Saya tidak akan mengatakan bahwa apa yang saya lakukan dekat dengan validasi silang. Dalam kasus saya, nilai fitur tergantung pada subjek yang menyediakannya. Saya tahu bahwa AUC dapat digunakan untuk membandingkan model, tetapi saya ingin tahu apakah, dalam pengaturan saya, hasil perbandingan saya secara statistik signifikan. Saya yakin itu bisa dilakukan dan masuk akal untuk melakukannya. Pertanyaan saya adalah bagaimana melakukannya.

kostek

Saya tidak yakin apa yang dicapai oleh Nishad, Anda dapat dan harus menggunakan uji hipotesis untuk menentukan apakah model Anda berbeda secara signifikan satu sama lain. Penyimpangan standar metrik Anda memang ada, dan semakin kecil dengan bertambahnya ukuran sampel (semua hal lain dianggap sama). Perbedaan AUC antara 0,8 dan 0,9 mungkin tidak signifikan jika Anda hanya memiliki 10 sampel, tetapi mungkin sangat signifikan jika Anda memiliki 10 juta sampel. Saya gagal melihat hubungan apa pun untuk validasi silang. Akan memberi suara rendah pada komentar jika saya bisa.

Nuklir Wang

Jawaban:

Wojtek J. Krzanowski dan David J. Hand Kurva ROC untuk Data Berkelanjutan (2009) adalah referensi yang bagus untuk semua hal yang terkait dengan kurva ROC. Ia mengumpulkan sejumlah hasil dalam basis literatur yang sangat luas, yang sering menggunakan terminologi berbeda untuk membahas topik yang sama.

Selain itu, buku ini menawarkan komentar dan perbandingan metode alternatif yang telah diturunkan untuk memperkirakan jumlah yang sama, dan menunjukkan bahwa beberapa metode membuat asumsi yang mungkin tidak dapat dipertahankan dalam konteks tertentu. Ini adalah salah satu konteksnya; jawaban lain melaporkan metode Hanley & McNeil, yang mengasumsikan model binormal untuk distribusi skor, yang mungkin tidak sesuai dalam kasus di mana distribusi skor kelas tidak (mendekati) normal. Asumsi skor yang didistribusikan secara normal tampaknya sangat tidak sesuai dalam konteks pembelajaran mesin modern , model umum yang umum seperti xgboost cenderung menghasilkan skor dengan distribusi "bathtub" untuk tugas-tugas klasifikasi (yaitu, distribusi dengan kepadatan tinggi pada ekstrem dekat 0 dan 1). ).

Pertanyaan 1 - AUC

Bagian 6.3 membahas perbandingan ROC AUC untuk dua kurva ROC (hal. 113-114). Secara khusus, pemahaman saya adalah bahwa kedua model ini berkorelasi, sehingga informasi tentang bagaimana menghitung sangat penting di sini; jika tidak, statistik pengujian Anda akan menjadi bias karena tidak memperhitungkan kontribusi korelasi. $r$

Untuk kasus kurva ROC tidak berkorelasi tidak didasarkan pada asumsi distribusi parametrik, statistik untuk tets dan interval kepercayaan membandingkan AUC dapat langsung berdasarkan estimasi dan dari nilai-nilai AUC, dan perkiraan standar deviasi mereka dan , seperti yang diberikan pada bagian 3.5.1: $\widehat{\text{AUC}}_1$ $\widehat{\text{AUC}}_2$ $S_1$ $S_2$

$Z = \frac{{\hat{AUC}}_{1} - {\hat{AUC}}_{2}}{\sqrt{S_{1}^{2} + S_{2}^{2}}}$ $Z = \frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2}}$
Untuk memperluas pengujian tersebut ke kasus di mana data yang sama digunakan untuk kedua pengklasifikasi, kita perlu memperhitungkan korelasi antara perkiraan AUC:
$z = \frac{{\hat{AUC}}_{1} - {\hat{AUC}}_{2}}{\sqrt{S_{1}^{2} + S_{2}^{2} - r S_{1} S_{2}}}$ $z=\frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2 - rS_1S_2}}$
di mana adalah estimasi korelasi ini. Hanley dan McNeil (1983) membuat ekstensi seperti itu, mendasarkan analisis mereka pada kasus binormal, tetapi hanya memberikan tabel yang menunjukkan bagaimana menghitung estimasi koefisien korelasi dari korelasi dari dua pengklasifikasi dalam kelas P, dan korelasi dari dari dua pengklasifikasi dalam kelas n, mengatakan bahwa derivasi matematika yang tersedia atas permintaan. Berbagai penulis lain (misalnya Zou, 2001) telah mengembangkan tes berdasarkan model binormal, dengan asumsi bahwa transformasi yang tepat dapat ditemukan yang secara bersamaan akan mengubah distribusi skor kelas P dan N menjadi normal. $r$ $r$ $r_P$ $r_n$

DeLong et al (1988) mengambil keuntungan dari identitas antara AUC dan statistik uji Mann-Whitney, bersama dengan hasil dari teori -statistics umum karena Sen (1960), untuk memperoleh perkiraan korelasi antara AUCs yang tidak bergantung pada asumsi binormal. Bahkan, DeLong et al (1988) mempresentasikan hasil berikut untuk perbandingan antara pengklasifikasi. $U$ $k\ge 2$

Dalam Bagian 3.5.1, kami menunjukkan bahwa area di bawah kurva ROC empiris sama dengan statistik Mann-Whitney , dan diberikan oleh $U$

manaadalah skor untuk objek kelasdanadalah skor untuk objek kelasdalam sampel. Misalkan kita memilikipengklasifikasi, menghasilkan skor
$\hat{A U C} = \frac{1}{n_{N} n_{P}} \sum_{i = 1}^{n_{N}} \sum_{j = 1}^{n_{P}} [I (s_{P_{j}} > s_{N_{i}}) + \frac{1}{2} I (s_{P_{j}} = s_{N_{i}})]$ $\widehat{AUC}=\frac{1}{n_N n_P} \sum_{i=1}^{n_N} \sum_{j=1}^{n_P} \left[ I(s_{P_j} > s_{N_i}) + \frac{1}{2}I(s_{P_j} = s_{N_i}) \right]$ $s_{P_i}, i = 1, \dots,n_P$ $P$ $s_{N_j}, j = 1, \dots,n_N$ $N$ $k$ dan [Saya memperbaiki kesalahan pengindeksan di bagian ini - Sycorax], dan . Menetapkan $s^r_{N_j}, j=1\dots n_N$ $s_{P_i}^r, j = 1, \dots,n_P$ $\widehat{AUC}_r, r = 1, \dots, k$
dan
$V_{10}^{r} = \frac{1}{n_{N}} \sum_{j = 1}^{n_{N}} [I (s_{P_{i}}^{r} > s_{N_{j}}^{r}) + \frac{1}{2} I (s_{P_{i}}^{r} = s_{N_{j}}^{r})], i = 1, \dots, n_{P}$ $V^r_{10}=\frac{1}{n_N}\sum_{j=1}^{n_N} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , i=1,\dots,n_P$ $V_{01}^{r} = \frac{1}{n_{P}} \sum_{i = 1}^{n_{P}} [I (s_{P_{i}}^{r} > s_{N_{j}}^{r}) + \frac{1}{2} I (s_{P_{i}}^{r} = s_{N_{j}}^{r})], j = 1, \dots, n_{N}$ $V^r_{01} = \frac{1}{n_P}\sum_{i=1}^{n_P} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , j=1,\dots,n_N$
selanjutnya, menentukan matriks dengan th unsur $k \times k$ $\mathbf{W}_{10}$ $(r,s)$ danmatriksdenganelemen
$w_{10}^{r, s} = \frac{1}{n_{P} - 1} \sum_{i = 1}^{n_{P}} [V_{10}^{r} (s_{P_{i}}) - {\hat{A U C}}_{r}] [V_{10}^{s} (s_{P_{i}}) - {\hat{A U C}}_{s}]$ $w_{10}^{r,s} = \frac{1}{n_P - 1}\sum_{i=1}^{n_P} \left[ V_{10}^r(s_{P_i}) - \widehat{AUC}_r \right] \left[ V_{10}^s(s_{P_i}) - \widehat{AUC}_s \right]$ $k \times k$ $\mathbf{W}_{01}$ $(r,s)$ Kemudian matriks kovarians terestimasi untuk vektor $w_{01}^{r, s} = \frac{1}{n_{N} - 1} \sum_{i = 1}^{n_{N}} [V_{01}^{r} (s_{N_{i}}) - {\hat{A U C}}_{r}] [V_{01}^{s} (s_{N_{i}}) - {\hat{A U C}}_{s}]$ $w_{01}^{r,s} = \frac{1}{n_N - 1}\sum_{i=1}^{n_N} \left[ V_{01}^r(s_{N_i}) - \widehat{AUC}_r \right] \left[ V_{01}^s(s_{N_i}) - \widehat{AUC}_s \right]$ dari estimasi area di bawah kurva adalah $(\widehat{AUC}_1, \dots, \widehat{AUC}_k)$ dengan elemen. Ini adalah generalisasi dari hasil untuk estimasi varians dari AUC terestimasi tunggal, juga diberikan dalam bagian 3.5.1. Dalam kasus dua pengklasifikasi, korelasi estiamtedantara AUCs diperkirakan demikian diberikan oleh $W = \frac{1}{n_{P}} W_{10} + \frac{1}{n_{N}} W_{01}$ $\mathbf{W} = \frac{1}{n_P}\mathbf{W}_{10} + \frac{1}{n_N}\mathbf{W}_{01}$ $w^{r,s}$ $r$ yang dapat digunakan dalamdiatas. $\frac{w^{1,2}}{\sqrt{w^{1,1}w^{2,2}}}$ $z$

Karena jawaban lain memberikan ekspresi Hanley dan McNeil untuk penaksir varian AUC, di sini saya akan mereproduksi penaksir DeLong dari hal. 68:

Pendekatan alternatif karena DeLong et al (1988) dan dicontohkan oleh Pepe (2003) mungkin memberikan perkiraan yang lebih sederhana, dan yang memperkenalkan konsep ekstra berguna dari nilai penempatan. Nilai penempatan skor dengan mengacu pada populasi yang ditentukan adalah fungsi survivor populasi pada . Ini nilai penempatan untuk dalam populasi N adalah dan untuk dalam populasi P adalah . Estimasi empiris dari nilai penempatan diberikan oleh proporsi yang jelas. Dengan demikian nilai penempatan pengamatan $s$ $s$ $s$ $1 - F(s)$ $s$ $1 - G(s)$ dalam populasi P dinotasikan , adalah proporsi nilai sampel dari P yang melebihi , danadalah varian dari nilai penempatan masing-masing pengamatan dari N sehubungan dengan populasi P. .. $s_{N_i}$ $s^P_{N_i}$ $s_{N_i}$ $\text{var}(s_{P_i}^N)$

Estimasi DeLong et al (1988) tentang varians diberikan dalam hal varians ini: $\widehat{AUC}$
$s^{2} (\hat{A U C}) = \frac{1}{n_{P}} var (s_{P_{i}}^{N}) + \frac{1}{n_{N}} var (s_{N_{i}}^{P})$ $s^2(\widehat{AUC}) = \frac{1}{n_P} \text{var}\left(s_{P_i}^N\right) + \frac{1}{n_N}\text{var}\left(s_{N_i}^P\right)$

$F$ $G$ $F$ $G$

$Z$ $z$

Ini adalah garis besar tingkat tinggi yang disederhanakan tentang cara kerja pengujian hipotesis:

Pengujian, dalam kata-kata Anda, "apakah satu classifier secara signifikan lebih baik daripada yang lain" dapat diulangi sebagai pengujian hipotesis nol bahwa kedua model memiliki AUC yang secara statistik sama dengan hipotesis alternatif bahwa statistik tidak sama.
Ini adalah tes dua sisi.
Kami menolak hipotesis nol jika statistik pengujian berada di wilayah kritis dari distribusi referensi, yang merupakan distribusi normal standar dalam kasus ini.
$\alpha$ $z > 1.96$ $z < -1.96$ $\alpha/2$ $1 - \alpha/2$

Pertanyaan 1 - Sensitivitas dan Spesifisitas

$t$

\begin{aligned} sensitivity = t p & = P (s_{P} > t) \\ 1 - specificity = f p & = P (s_{N} > t) \end{aligned}

$\begin{align} \text{sensitivity} = tp &= \mathbb{P}(s_P > t) \\ 1 - \text{specificity} = fp &= \mathbb{P}(s_N > t) \end{align}$

Poin utama adalah mengembangkan tes yang tepat mengingat bahwa dua proporsi sampel akan dikorelasikan (karena Anda telah menerapkan dua model pada data tes yang sama). Ini ditujukan pada hal. 111.

$tp$ $fp$ $t$ $(tp_1 - tp_2) / s_{12}$ $tp_i$ $i$ $s_{12}^2$ $tp_1$ $tp_2$

$tp_1$ $tp_2$

$N$

$tp_1 = tp_2$ $tp_1 \neq tp_2$

\begin{array}{ccc} Model 1 Positive at t & Model 1 Negative at t \\ Model 2 Positive at t & a & b \\ Model 2 Negative at t & c & d \end{array}

$\begin{array}{c|c|c|} & \text{Model 1 Positive at } t & \text{Model 1 Negative at } t \\ \hline \text{Model 2 Positive at } t & a & b \\ \hline \text{Model 2 Negative at } t & c & d \\ \hline \end{array}$

\begin{aligned} a & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} > t) \cdot I (s_{P_{i}}^{2} > t) \\ b & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} \leq t) \cdot I (s_{P_{i}}^{2} > t) \\ c & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} > t) \cdot I (s_{P_{i}}^{2} \leq t) \\ d & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} \leq t) \cdot I (s_{P_{i}}^{2} \leq t) \end{aligned}

$\begin{align} a &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 > t) \\ b &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 > t) \\ c &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 \le t) \\ d &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 \le t) \\ \end{align}$

M = \frac{(b - c)^{2}}{b + c}

$M = \frac{(b-c)^2}{b + c}$

χ_{1}^{2}

$\chi^2_1$

α = 95 %

$\alpha=95\%$

M > 3.841459

$M > 3.841459$

$s^r_{P_i}$ $s^r_{N_j}$

Pertanyaan 2

Tampaknya cukup untuk menggabungkan hasil dengan rata-rata nilai prediksi untuk setiap responden, sehingga untuk setiap model Anda memiliki 1 vektor dari 100 nilai prediksi rata-rata. Kemudian hitung statistik ROC AUC, sensitivitas dan spesifisitas seperti biasa, seolah-olah model aslinya tidak ada. Ini mencerminkan strategi pemodelan yang memperlakukan masing-masing model 5 responden sebagai salah satu "panitia" model, semacam ansambel.

Sycorax berkata Reinstate Monica
sumber

Terima kasih atas jawaban Anda dan referensi yang diberikan. Bagaimana dengan nilai-p untuk sensitivitas dan spesifisitas?

kostek

Untuk Q1, apakah itu berarti bahwa tidak ada perbedaan antara menghitung nilai-p untuk sensitivitas dan spesifisitas dan bahwa keduanya selalu memiliki nilai-p yang sama dan saya hanya membuat tabel kontingensi dan menjalankan tes McNemar di atasnya?

kostek

Tidak, Anda akan melakukan satu tes untuk masing-masing.

Sycorax berkata Reinstate Monica

a, b, c, d

$a,b,c,d$

@ Drey Mereka bukan proporsi; mereka diperhitungkan. Saya membuat ini eksplisit dalam revisi.

Sycorax berkata Reinstate Monica

Biarkan saya menjawab singkat, karena panduan ini menjelaskan lebih banyak dan lebih baik .

$nTP$ $nTN$

$\texttt{SE}_A = \sqrt{\frac{A(1-A) + (nTP-1)(Q_1 - A^2)+(nTN-1)(Q_2 - A^2)}{nTP \cdot nTN}}$

$Q_1 = A / (2 - A)$ $Q_2 = 2A^2 / (1 + A)$

Untuk membandingkan dua AUC, Anda perlu menghitung SE dari keduanya menggunakan:

$\texttt{SE}_{A_1 - A_2} = \sqrt{(SE_{A_1})^2 + (SE_{A_2})^2 - 2r\cdot (SE_{A_1})(SE_{A_2})}$

$r$ $r=0$

$z$

$z = (A_1 - A_2) / SE_{A_1-A_2}$

Dari sana Anda dapat menghitung nilai-p menggunakan kepadatan probabilitas dari distribusi normal standar. Atau cukup gunakan kalkulator ini.

Mudah-mudahan ini menjawab Pertanyaan 1 . - setidaknya bagian yang membandingkan AUC. Sens / Spec sudah dicakup oleh ROC / AUC dalam beberapa cara. Kalau tidak, jawabannya saya pikir terletak pada Pertanyaan 2.

Sedangkan untuk Pertanyaan 2 , Teorema Limit Pusat memberi tahu kami bahwa statistik ringkasan Anda akan mengikuti distribusi normal. Oleh karena itu, saya akan berpikir uji-t sederhana akan cukup (5 ukuran dari satu classifier terhadap 5 langkah dari classifier kedua di mana langkah-langkahnya bisa AUC, sens, spec)

$\texttt{SE}$ $\ldots - 2r \ldots$

Sarang tupai
sumber

Terima kasih atas tautan yang diberikan. Untuk Pertanyaan 1, Jika saya menetapkan A menjadi sensitivitas atau spesifisitas, apakah persamaan untuk SE dan z-Score akan berlaku?

kostek

\hat{p}

$\hat{p}$

Untuk Pertanyaan 1, @Sycorax memberikan jawaban yang komprehensif.

Untuk Pertanyaan 2, sejauh yang saya ketahui, rata-rata prediksi dari subjek tidak benar. Saya memutuskan untuk menggunakan bootstrap untuk menghitung nilai-p dan membandingkan model.

Dalam hal ini, prosedurnya adalah sebagai berikut:

For N iterations:
  sample 5 subjects with replacement
  sample 100 test cases with replacement
  compute mean performance of sampled subjects on sampled cases for model M1
  compute mean performance of sampled subjects on sampled cases for model M2
  take the difference of mean performance between M1 and M2
p-value equals to the proportion of differences smaller or equal than 0

Prosedur ini melakukan uji satu sisi dan mengasumsikan bahwa kinerja rata-rata M1> kinerja rata-rata M2.

Implementasi Python dari bootstrap untuk menghitung nilai-p yang membandingkan banyak pembaca dapat ditemukan di repo GitHub ini: https://github.com/mateuszbuda/ml-stat-util

kostek
sumber