Uji proporsi dan klasifikasi biner

Saya memiliki mesin prototipe yang memproduksi komponen.

Dalam pengujian pertama mesin menghasilkan bagian dan classifier biner memberitahu saya bahwa bagian rusak ( , biasanya dan ) dan bagian baik.$N_1$$d_1$$d_1 < N_1$$d_1/N_1<0.01$$N_1\approx10^4$$N_1-d_1$

Kemudian teknisi membuat beberapa perubahan pada mesin untuk mengurangi jumlah bagian yang rusak.

Dalam pengujian kedua dan selanjutnya, mesin yang dimodifikasi menghasilkan bagian dan klasifikasi biner yang sama (tidak tersentuh) memberi tahu saya bahwa bagian rusak, toh sangat mirip dengan .$N_2$$d_2$$d_2/N_2$$d_1/N_1$

Teknisi ingin mengetahui apakah perubahannya efektif.

Dengan asumsi bahwa pengklasifikasi sempurna (sensitivitasnya adalah 100% dan spesifisitasnya adalah 100%), saya dapat melakukan tes untuk proporsi (dengan R, saya ketik saja prop.test(c(d1,d2),c(N1,N2))).

Tetapi classifiernya tidak sempurna, jadi bagaimana saya bisa memperhitungkan sensitivitas dan spesifisitas, keduanya tidak diketahui, dari classifier untuk menjawab dengan benar teknisi tersebut?

Jadi saya mendapatkan ini dari prinsip pertama, dan dengan demikian saya tidak yakin itu benar. Inilah pikiran saya:

EDIT: Ini tidak benar sebelumnya. Saya telah memperbaruinya.

1. Mari kita biarkan menunjukkan perbedaan yang diharapkan antara jumlah aktual positif sebenarnya dan jumlah keluaran oleh pengelompokan biner yang akan kita panggil . Anda dapat mengukur ini dengan menjalankan penggolong Anda pada set dengan label yang dikenal. Kurangi jumlah positif aktual dari jumlah positif yang dihasilkan oleh pengklasifikasi, dan kemudian bagi dengan untuk mendapatkan .$\alpha$$d_1$$\hat{d_1}$$N$$\alpha$

2. Jadi, estimasi titik untuk rasio aktual dari bagian yang rusak diberikan oleh: . Artinya, jumlah yang diamati bagian cacat, kurang jumlah positif palsu yang diharapkan, ditambah jumlah negatif palsu yang diharapkan.$\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$

3. Demikian pula,$\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. Jadi, sekarang mari kita lakukan tes prop. Dalam uji prop standar, pertama-tama kita menghitung rasio gabungan yang digunakan sebagai nilai nol: . Jadi di sini, kami memasukkan perkiraan titik kami dari dan untuk mendapatkan:$p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$$\hat{\frac{d_1}{N_1}}$$\hat{\frac{d_2}{N_2}}$$p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. Dan kemudian kesalahan standar seperti biasa:$\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. Dan statistik pengujiannya sama:$z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Beberapa pemikiran tentang interpretasi:

• Model dapat menghasilkan nilai imajiner untuk kesalahan standar. Ini akan terjadi ketika , yang akan menjadi kasus ketika jumlah kesalahan yang kami harapkan pengklasifikasi untuk menghasilkan melebihi jumlah yang kami amati. Sebagai contoh, misalkan kita mengharapkan classifier kita untuk menghasilkan rata-rata 5 positif bahkan ketika diberi sampel yang tidak mengandung positif. Jika kita mengamati 4 positif, maka seolah-olah tidak ada sinyal: Hasil kami tidak dapat dibedakan dari kebisingan yang dihasilkan oleh penggolong. Dalam hal ini, saya kira kita seharusnya tidak menolak hipotesis nol.$p < 0$

• Cara lain untuk berpikir tentang hal ini adalah bahwa, jika jumlah bagian yang rusak berada dalam margin of error untuk pengklasifikasi maka tentu saja kita tidak dapat mengatakan apakah ada perbedaan: kita bahkan tidak dapat mengetahui apakah ada bagian yang rusak!

Menggabungkan kesalahan dalam estimasi :$\alpha$

• Saya memikirkan hal ini lagi, dan saya pikir ada beberapa cara Anda bisa melakukan ini, tetapi pada dasarnya Anda ingin mendapatkan perkiraan distribusi . Idealnya Anda akan melakukan pembelian ini dengan mengulangi prosedur Anda untuk mendapatkan estimasi pada sampel data yang representatif yang Anda inginkan untuk menggunakan metode ini. Jika ini tidak memungkinkan, Anda dapat melakukan bootstrap pada satu set data dengan mengambil sampel darinya, meskipun ini tidak ideal kecuali jika single datset Anda mewakili semua set yang Anda pedulikan.$\alpha$$\alpha$

Misalkan kita ingin menghitung interval kepercayaan dengan keyakinan .$h$

• Hitung interval kepercayaan empiris di atas menggunakan distribusi bootstrapped. Masukkan setiap titik akhir ke dalam proses di atas, gunakan itu sebagai estimasi titik (sangat konservatif atau sangat liberal) untuk dan temukan interval kepercayaan untuk estimasi perbedaan proporsi menggunakan uji prop . Misalkan kita mendapatkan interval ( dan sebagai interval untuk nilai lebih rendah dan lebih tinggi . Maka interval (yang berisi kedua interval sebelumnya) harus menjadi (1-jam) * 100% CI untuk perbedaan dalam proporsi ... Saya pikir ...$\frac{h}{2}$$\alpha$$\alpha$ lowl,lowr)(highl,highr)α(highl,lowr$\frac{h}{2}$$low_l, low_r)$$(high_l, high_r)$$\alpha$$(high_l,low_r)$

Catatan: Dalam contoh di atas saya mengasumsikan tes 1 sisi. Anda membagi h dengan 2 untuk memperhitungkan fakta bahwa Anda menguji dua hipotesis independen ( berada dalam interval yang Anda pikirkan dan statistik uji menjadi perbedaan yang signifikan). Jika Anda ingin melakukan tes dua sisi, bagilah dengan 4 sebagai gantinya.$\alpha$