Membandingkan dua hasil akurasi classifier untuk signifikansi statistik dengan uji-t

Saya ingin membandingkan keakuratan dua pengklasifikasi untuk signifikansi statistik. Kedua pengklasifikasi dijalankan pada set data yang sama. Ini membuat saya percaya bahwa saya harus menggunakan uji-t satu sampel dari apa yang telah saya baca .

Sebagai contoh:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

Apakah ini tes yang tepat untuk digunakan? Jika demikian, bagaimana saya menghitung jika perbedaan akurasi antara classifier signifikan?

Atau haruskah saya menggunakan tes lain?

Saya mungkin akan memilih untuk tes McNemar jika Anda hanya melatih pengklasifikasi sekali. David Barber juga menyarankan tes Bayesian yang agak rapi yang tampaknya agak elegan bagi saya, tetapi tidak banyak digunakan (juga disebutkan dalam bukunya ).

Sekadar menambahkan, seperti kata Peter Flom, jawabannya hampir pasti "ya" hanya dengan melihat perbedaan dalam kinerja dan ukuran sampel (saya ambil angka yang dikutip adalah kinerja tes set daripada pelatihan kinerja set).

Kebetulan Japkowicz dan Shah memiliki buku terbaru tentang "Mengevaluasi Algoritma Pembelajaran: Sebuah Perspektif Klasifikasi" , saya belum membacanya, tetapi sepertinya referensi yang berguna untuk masalah seperti ini.

Saya dapat memberitahu Anda, tanpa menjalankan apa pun, bahwa perbedaannya akan sangat signifikan secara statistik. Itu melewati IOTT (tes trauma interokular - itu menyentuh Anda di antara mata).

Namun, jika Anda ingin melakukan tes, Anda bisa melakukannya sebagai tes dua proporsi - ini dapat dilakukan dengan uji-dua sampel.

Anda mungkin ingin memecah "akurasi" menjadi komponen-komponennya, meskipun; sensitivitas dan spesifisitas, atau false-positive dan false-negative. Dalam banyak aplikasi, biaya kesalahan yang berbeda sangat berbeda.

Karena akurasi, dalam hal ini, adalah proporsi sampel yang diklasifikasikan dengan benar, kita dapat menerapkan uji hipotesis mengenai sistem dua proporsi.

Biarkan p 1 dan p 2 menjadi akurasi yang diperoleh dari pengklasifikasi 1 dan 2 masing-masing, dan n adalah jumlah sampel. Jumlah sampel yang diklasifikasikan dengan benar dalam klasifikasi 1 dan 2 masing-masing adalah x 1 dan x 2 .$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

Statistik uji diberikan oleh

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ dimana $\quad\hat p= (x_1+x_2)/2n$

$p_2$$p_1$

• $H_0: p_1 = p_2\quad$ (hipotesis nol yang menyatakan keduanya sama)
• $H_a: p_1 < p_2\quad$ (Hipotesa alternatif yang mengklaim yang lebih baru lebih baik daripada yang sudah ada)

Wilayah penolakan diberikan oleh

$Z < -z_\alpha \quad$$H_0$$H_a$

$z_\alpha$$\alpha$$z_{0.5} = 1.645$$Z < -1.645$$1-\alpha$

Referensi:

1. R. Johnson dan J. Freund, Miller dan Freund's Probability and Statistics for Engineers, 8th Ed. Prentice Hall International, 2011. (Sumber primer)
2. Tes Ringkasan Rumus Hipotesis-Ringkas . (Diadopsi dari [1])