Saya baru-baru ini belajar tentang aturan penilaian yang tepat untuk pengklasifikasi probabilistik. Beberapa utas di situs web ini telah menekankan bahwa akurasi adalah aturan penilaian yang tidak tepat dan tidak boleh digunakan untuk mengevaluasi kualitas prediksi yang dihasilkan oleh model probabilistik seperti regresi logistik.

Namun, beberapa makalah akademis yang saya baca telah memberikan kerugian kesalahan klasifikasi sebagai contoh aturan penilaian yang tepat (tidak ketat) dalam pengaturan klasifikasi biner. Penjelasan paling jelas yang dapat saya temukan adalah di makalah ini , di bagian bawah halaman 7. Setahu saya, meminimalkan kehilangan kesalahan klasifikasi sama dengan memaksimalkan akurasi, dan persamaan dalam makalah masuk akal secara intuitif.

Sebagai contoh: menggunakan notasi kertas, jika probabilitas kondisional yang sebenarnya (diberikan beberapa fitur vektor x ) dari kelas yang diminati adalah η = 0,7, setiap perkiraan q > 0,5 akan memiliki kerugian yang diharapkan R (η | q ) = 0,7 (0) + 0,3 (1) = 0,3, dan setiap q 0,5 akan memiliki kerugian yang diharapkan dari 0,7. Fungsi kerugian karenanya akan diminimalkan pada q = η = 0,7 dan akibatnya sesuai; generalisasi ke seluruh jajaran probabilitas dan prakiraan kondisional yang sebenarnya tampaknya cukup mudah dari sana.$\leq$

Dengan asumsi perhitungan dan pernyataan di atas adalah benar, kelemahan dari minimum non-unik dan semua prediksi di atas 0,5 berbagi kerugian minimum yang diharapkan sama jelas. Saya masih melihat tidak ada alasan untuk menggunakan akurasi daripada alternatif tradisional seperti skor log, skor Brier, dll. Namun, apakah benar untuk mengatakan bahwa akurasi adalah aturan penilaian yang tepat ketika mengevaluasi model probabilistik dalam pengaturan biner, atau saya membuat kesalahan - baik dalam pemahaman saya tentang kehilangan kesalahan klasifikasi, atau menyamakannya dengan akurasi?

TL; DR

Akurasi adalah aturan penilaian yang tidak tepat. Jangan gunakan itu.

Versi yang sedikit lebih panjang

Sebenarnya, akurasi bahkan bukan aturan penilaian. Jadi, bertanya apakah itu (benar-benar) layak adalah kesalahan kategori. Yang paling bisa kita katakan adalah bahwa di bawah asumsi tambahan , akurasi konsisten dengan aturan penilaian yang tidak tepat, terputus-putus dan menyesatkan. (Jangan gunakan itu.)

Kebingunganmu

Kebingungan Anda berasal dari fakta bahwa kesalahan klasifikasi kehilangan sesuai dengan kertas yang Anda sebutkan juga bukan aturan penilaian.

Rinciannya: aturan penilaian vs. evaluasi klasifikasi

Mari kita perbaiki terminologi. Kami tertarik pada hasil biner , dan kami memiliki prediksi probabilistik . Kita tahu bahwa , tetapi model kami mungkin atau mungkin tidak tahu itu.q = P ( Y = 1 ) ∈ ( 0 , 1 ) P ( Y = 1 ) = η > 0,5 $y\in\{0,1\}$$\widehat{q} = \widehat{P}(Y=1)\in(0,1)$$P(Y=1)=\eta>0.5$$\widehat{q}$

Sebuah aturan skoring adalah pemetaan yang membutuhkan prediksi probabilistik dan hasil untuk kerugian,$\widehat{q}$$y$

q = η s q = $s$ adalah tepat jika dioptimalkan dengan harapan oleh . ( "Optimized" biasanya berarti "diminimalkan", tapi tanda-tanda beberapa penulis sandal dan mencoba untuk memaksimalkan aturan mencetak gol.) adalah ketat tepat jika dioptimalkan dengan harapan hanya oleh .$\widehat{q}=\eta$$s$$\widehat{q}=\eta$

Kami biasanya akan mengevaluasi pada banyak prediksi dan hasil yang sesuai dan rata-rata untuk memperkirakan ekspektasi ini.$s$$\widehat{q}_i$$y_i$

Sekarang, apa itu akurasi ? Akurasi tidak mengambil prediksi probabilistik sebagai argumen. Dibutuhkan klasifikasi$\widehat{y}\in\{0,1\}$ dan hasil:

Oleh karena itu, akurasi bukan aturan penilaian . Ini adalah evaluasi klasifikasi. (Ini adalah istilah yang baru saya temukan; jangan pergi mencarinya di literatur.)

Sekarang, tentu saja kita dapat mengambil prediksi probabilistik seperti dan mengubahnya menjadi klasifikasi . Tetapi untuk melakukannya, kita perlu asumsi tambahan yang disinggung di atas. Misalnya, sangat umum untuk menggunakan ambang dan mengklasifikasikan:$\widehat{q}$$\widehat{y}$$\theta$

Nilai ambang yang sangat umum adalah . Perhatikan bahwa jika kita menggunakan ambang ini dan kemudian mengevaluasi keakuratan atas banyak prediksi (seperti di atas) dan hasil yang sesuai , maka kita tiba tepat pada hilangnya kesalahan klasifikasi seperti yang Buja et al. Dengan demikian, kerugian kesalahan klasifikasi juga bukan aturan penilaian, tetapi evaluasi klasifikasi.$\theta=0.5$$\widehat{q}_i$$y_i$

Jika kita menggunakan algoritme klasifikasi seperti di atas, kita dapat mengubah evaluasi klasifikasi menjadi aturan penilaian. Intinya adalah bahwa kita membutuhkan asumsi tambahan dari classifier. Dan bahwa kehilangan akurasi atau kesalahan klasifikasi atau penilaian klasifikasi apa pun yang kita pilih dapat bergantung sedikit pada prediksi probabilistik dan lebih pada cara kita mengubah menjadi klasifikasi . Jadi mengoptimalkan evaluasi klasifikasi mungkin mengejar herring merah jika kita benar-benar tertarik untuk mengevaluasi .$\widehat{q}$$\widehat{q}$$\widehat{y}=\widehat{y}(\widehat{q},\theta)$$\widehat{q}$

Sekarang, apa yang tidak tepat tentang asumsi-aturan penilaian-di bawah-tambahan-ini? Tidak ada, dalam kasus ini. , di bawah implisit , akan memaksimalkan akurasi dan meminimalkan kerugian kesalahan klasifikasi atas semua kemungkinan . Jadi dalam hal ini, asumsi penilaian-aturan-di bawah-tambahan-kita adalah tepat.$\widehat{q}=\eta$$\theta =0.5$$\widehat{q}\in(0,1)$

$\widehat{y}$$\widehat{q}$

$\widehat{q}\geq\theta$$\theta=0.5$$\widehat{q}=0.99$$\widehat{q}\geq\theta$$\widehat{q}$$\eta$

$\theta =0.2$$y=1$$y=0$$\widehat{q}$$\widehat{q}=0.25$$\widehat{q}\geq\theta$

Oleh karena itu, kehilangan akurasi atau kesalahan klasifikasi dapat menyesatkan.

Selain itu, akurasi dan kerugian kesalahan klasifikasi yang tidak tepat di bawah asumsi tambahan dalam situasi yang lebih kompleks di mana hasil tidak iid. Frank Harrell, dalam postingan blognya Kerusakan yang Disebabkan oleh Akurasi Klasifikasi dan Aturan Penilaian Akurasi Tidak Tepat yang Tidak Terputus lainnya mengutip contoh dari salah satu bukunya di mana menggunakan akurasi atau kehilangan kesalahan klasifikasi akan menyebabkan model yang salah ditentukan, karena tidak dioptimalkan oleh prediksi kondisional yang tepat kemungkinan.

Masalah lain dengan kehilangan akurasi dan kesalahan klasifikasi adalah bahwa mereka terputus sebagai fungsi dari ambang . Frank Harrell juga membahas hal ini.$\theta$

Informasi lebih lanjut dapat ditemukan di Mengapa akurasi bukan ukuran terbaik untuk menilai model klasifikasi? .

Garis bawah

Jangan gunakan akurasi. Atau kesalahan klasifikasi kehilangan.

Nitpick: "ketat" vs "ketat"

Haruskah kita berbicara tentang aturan penilaian yang tepat "ketat", atau tentang "aturan penilaian yang tepat" yang ketat? "Strict" memodifikasi "proper", bukan "scoring rule". (Ada "aturan penilaian yang tepat" dan "aturan penilaian yang benar-benar tepat", tetapi tidak ada "aturan penilaian yang ketat".) Karena itu, "ketat" harus menjadi kata keterangan, bukan kata sifat, dan "ketat" harus digunakan. Seperti yang lebih umum dalam literatur, misalnya, makalah oleh Tilmann Gneiting.