Saya mencoba membuat detektor objek yang sangat jarang terjadi (dalam gambar), berencana untuk menggunakan classifier biner CNN yang diterapkan pada jendela geser / ukuran. Saya telah membangun pelatihan 1: 1 positif-negatif yang seimbang dan set tes (apakah itu hal yang benar untuk dilakukan dalam kasus seperti itu?), Dan classifier baik-baik saja pada set tes dalam hal akurasi. Sekarang saya ingin mengontrol recall / ketepatan classifier saya jadi, misalnya, itu tidak akan salah melabeli terlalu banyak kejadian kelas mayoritas.
Solusi yang jelas (bagi saya) adalah dengan menggunakan kerugian logistik yang sama yang digunakan sekarang, tetapi kesalahan berat tipe I dan tipe II berbeda dengan mengalikan kehilangan dalam salah satu dari dua kasus pada beberapa konstanta, yang dapat disetel. Apakah tepat?
PS Setelah dipikir-pikir ini setara dengan menimbang beberapa sampel pelatihan lebih banyak daripada yang lain. Hanya menambahkan lebih dari satu kelas akan mencapai hal yang sama menurut saya.
Jawaban:
Membangun set pelatihan seimbang secara artifisial masih bisa diperdebatkan, cukup kontroversial. Jika Anda melakukannya, Anda harus memverifikasi secara empiris bahwa itu benar-benar berfungsi lebih baik daripada membiarkan set pelatihan tidak seimbang. Menyeimbangkan test set secara artifisial hampir tidak pernah merupakan ide yang baik. Set tes harus mewakili titik data baru saat mereka masuk tanpa label. Anda berharap mereka tidak seimbang, jadi Anda perlu tahu apakah model Anda dapat menangani tes-set yang tidak seimbang. (Jika Anda tidak mengharapkan catatan baru tidak seimbang, mengapa semua catatan Anda yang ada tidak seimbang?)
Mengenai metrik kinerja Anda, Anda akan selalu mendapatkan apa yang Anda minta. Jika akurasi bukan yang Anda butuhkan terutama dalam set yang tidak seimbang, karena tidak hanya kelas tetapi juga biaya kesalahan klasifikasi tidak seimbang, maka jangan menggunakannya. Jika Anda telah menggunakan akurasi sebagai metrik dan melakukan semua pemilihan model dan penyetelan hyperparameter dengan selalu mengambil yang dengan akurasi terbaik, Anda mengoptimalkan akurasi.
Saya menganggap kelas minoritas sebagai kelas positif, ini adalah cara konvensional penamaan mereka. Dengan demikian ketepatan dan daya ingat seperti yang dibahas di bawah ini adalah ketepatan dan daya ingat dari kelas minoritas.
sumber
Anda membuat beberapa asumsi. Yang terbaik adalah memikirkan tujuan akhir secara umum, kemudian merumuskan strategi yang memenuhi tujuan itu. Misalnya apakah Anda benar-benar memerlukan klasifikasi pilihan-paksa dan apakah rasio sinyal: noise cukup besar untuk mendukungnya (contoh yang baik: pengenalan suara dan gambar)? Atau sinyal: rasio kebisingan rendah atau Anda tertarik pada kecenderungan ? Untuk yang terakhir, estimasi risiko adalah untuk Anda. Pilihannya adalah kunci dan menentukan metrik akurasi prediksi yang Anda pilih. Untuk pemikiran lebih lanjut tentang ini, lihat http://www.fharrell.com/2017/01/classification-vs-prediction.html dan http://www.fharrell.com/2017/03/damage-caus----classification .html .
Sebagian besar masalah menyangkut pengambilan keputusan , dan keputusan optimal berasal dari estimasi risiko ditambah dengan fungsi kerugian / biaya / utilitas.
Salah satu aspek terbaik dari pendekatan estimasi risiko (probabilitas) adalah bahwa ia menangani zona abu-abu di mana itu akan menjadi kesalahan untuk membuat klasifikasi atau keputusan tanpa memperoleh lebih banyak data. Dan kemudian ada fakta bahwa estimasi probabilitas tidak memerlukan (bahkan tidak memungkinkan) seseorang untuk "menyeimbangkan" hasil dengan memanipulasi sampel secara artifisial.
sumber
sumber