Bagaimana cara menilai signifikansi statistik dari keakuratan classifier?

Saya memiliki output akurasi classifier dalam persentase dan jumlah sampel input. Apakah ada tes yang dapat mengetahui seberapa signifikan hasilnya menurut informasi ini?

Terima kasih

Anda ingin mendefinisikan distribusi akurasi hanya menebak. Mungkin ini seperti $X/n$ mana $X \sim$ binomial ( $n$ , $p$ ) untuk beberapa p yang diketahui $p$(katakanlah 50%).

Kemudian hitung peluang mengamati hasil yang Anda lakukan, jika model nol ini benar. Di R, Anda bisa menggunakan binom.testatau menghitungnya langsung dengan pbinom.

Biasanya Anda ingin membandingkan akurasi bukan dengan "menebak" tetapi dengan beberapa metode alternatif, dalam hal ini Anda dapat menggunakan tes McNemar ; dalam R mcnemar.test,.

Saya tidak melihat di mana pengujian terhadap keacakan lengkap sangat membantu. Penggolong yang hanya bisa mengalahkan tebakan acak murni tidak terlalu berguna. Masalah yang lebih besar adalah penggunaan proporsi yang diklasifikasikan dengan benar sebagai skor akurasi Anda. Ini adalah aturan penilaian tidak terputus yang dapat dengan mudah dimanipulasi karena arbitrer dan tidak sensitif. Salah satu (dari banyak) cara untuk melihat kekurangannya adalah dengan menghitung proporsi yang diklasifikasikan dengan benar jika Anda memiliki model dengan hanya intersep. Ini akan tinggi jika hasilnya tidak mendekati 0,5 dalam prevalensi.

Setelah Anda memilih aturan yang lebih tepat, akan berharga untuk menghitung interval kepercayaan untuk indeks. Signifikansi statistik tidak terlalu bernilai.

Yang pasti Anda dapat komputer interval kepercayaan . Jika adalah akurasi Anda diestimasi pada set uji elemen , itu menyatakan bahwa Jadi Jadi Anda dapat mengatakan bahwa: Misalnya Anda dapat menghitung interval Wilson . $\mbox{acc}$$N$

$$\frac{acc-p}{\sqrt{p(1-p)/N}} \sim \mathcal{N}(0,1)$$ $$P\bigg( \frac{acc-p}{\sqrt{p(1-p)/N}} \in [-z_{\alpha/2},+z_{\alpha/2}]\bigg) \approx 1 - \alpha$$ $$P(p \in [l,u]) \approx 1 - \alpha$$ $$l = \frac{2 \ N \ \mbox{acc} + z_{\alpha/2}^2 - z_{\alpha/2} \sqrt{z_{\alpha/2}^2+4 \ N \ \mbox{acc}-4 \ N \ \mbox{acc}^2}}{2(N+z_{\alpha/2}^2)}$$ $$u = \frac{2 \ N \ \mbox{acc} + z_{\alpha/2}^2 + z_{\alpha/2} \sqrt{z_{\alpha/2}^2+4 \ N \ \mbox{acc}-4 \ N \ \mbox{acc}^2}}{2(N+z_{\alpha/2}^2)}$$

Saya pikir Anda dapat menghitung berapa banyak berbeda kinerja Anda dari satu acak menghitung keuntungan . Keakuratan classifier acak adalah: mana adalah frekuensi empiris dari kelas yang perkirakan pada set tes, dan adalah angka dari berbagai kelas. Rata-rata classifier acak, yang mengklasifikasikan menebak acak kelas mengandalkan probabilitas prior set tes, mengklasifikasikan contoh kelas dengan benar. Di mana adalah jumlah rekaman kelas

$$\mbox{acc}_r = \sum_{i=1}^{c} p_i^2$$ $p_i$$i$$c$$i$$p_i\cdot n_i = \frac{n_i}{N} \cdot n_i$$i$$n_i$$i$di set tes. Jadi Anda mungkin melihat pertanyaan saya. $$\mbox{acc}_r = \frac{p_1 \cdot n_1 + \dots + p_c \cdot n_c}{n_1 + \dots + n_c} = \frac{p_1\cdot n_1}{N} + \dots + \frac{p_c\cdot n_c}{N} = \sum_{i}^{c} p_i^2$$

Keuntungannya adalah:

$$\mbox{gain} = \frac{\mbox{acc}}{\mbox{acc}_r}$$

Saya benar-benar berpikir tes statistik dapat dibuat sketsa. Pembilangnya dapat dilihat sebagai variabel acak normal, , tetapi Anda harus mencari tahu variabel variabel apa yang merupakan penyebut variabel bisa.$\mathcal{N}(\mbox{acc},p(1-p)/N)$$\mbox{acc}_r$

Anda mungkin tertarik dengan makalah-makalah berikut ini:

• Eric W. Noreen, Metode Intensif Komputer untuk Pengujian Hipotesis: Suatu Pengantar, John Wiley & Sons, New York, NY, AS, 1989.
• Alexander Yeh, Tes yang lebih akurat untuk signifikansi statistik perbedaan hasil, dalam: Prosiding Konferensi Internasional ke-18 tentang Linguistik Komputasi, Volume 2, halaman 947-953, 2000.

Saya pikir mereka membahas apa yang Dimitrios Athanasakis bicarakan.

Saya menerapkan satu opsi Yeh dengan cara yang saya mengerti:

http://www.clips.uantwerpen.be/~vincent/software#art

Saya pikir satu hal yang bisa Anda coba adalah tes permutasi. Sederhananya hanya mengubah secara acak pasangan input yang diinginkan input Anda makan ke classifier Anda beberapa kali. Jika gagal mereproduksi sesuatu pada level yang sama lebih dari 100 permutasi yang berbeda dari itu signifikan pada interval 99% dan seterusnya. Ini pada dasarnya adalah proses yang sama yang digunakan untuk mendapatkan nilai-p (yang sesuai dengan probabilitas untuk mendapatkan korelasi linier dari skala yang sama setelah secara acak memasukkan data) dan seterusnya.