Machine Learning: Haruskah saya menggunakan entropi silang kategoris atau kehilangan entropi silang biner untuk prediksi biner?

Pertama-tama, saya menyadari jika saya perlu melakukan prediksi biner, saya harus membuat setidaknya dua kelas melalui melakukan satu-hot-encoding. Apakah ini benar? Namun, apakah binary cross entropy hanya untuk prediksi dengan hanya satu kelas? Jika saya menggunakan kerugian entropi lintas kategoris yang biasanya ditemukan di sebagian besar perpustakaan (seperti TensorFlow), apakah akan ada perbedaan yang signifikan?

Sebenarnya, apa perbedaan yang pasti antara entropi silang kategoris dan biner? Saya belum pernah melihat implementasi entropi silang biner di TensorFlow jadi saya pikir mungkin yang kategoris bekerja dengan baik.

Kehilangan cross-entropy binomial adalah kasus khusus dari kehilangan cross-entropy multinomial untuk .$m=2$

$$\begin{align} \mathcal{L}(\theta) &= -\frac{1}{n}\sum_{i=1}^n \left[y_i \log(p_i) + (1-y_i) \log(1-p_i)\right] \\ &= -\frac{1}{n}\sum_{i=1}^n\sum_{j=1}^m y_{ij} \log(p_{ij}) \end{align}$$

Di mana mengindeks sampel / observasi dan kelas indeks , dan adalah label sampel (biner untuk LSH, vektor satu-panas pada RHS) dan adalah prediksi untuk sampel.$i$$j$$y$$p_{ij}\in(0,1):\sum_{j} p_{ij} =1\forall i,j$

Binary cross-entropy adalah untuk klasifikasi multi-label, sedangkan cross entropy kategoris adalah untuk klasifikasi multi-kelas di mana setiap contoh milik satu kelas.

Saya pikir ada tiga jenis tugas klasifikasi:

1. Klasifikasi biner: dua kelas eksklusif
2. Klasifikasi multi-kelas: lebih dari dua kelas eksklusif
3. Klasifikasi multi-label: hanya kelas non-eksklusif

Dari ini, bisa kita katakan

• Dalam kasus (1), Anda harus menggunakan entropi silang biner.
• Dalam kasus (2), Anda harus menggunakan entropi lintas kategori.
• Dalam kasus (3), Anda perlu menggunakan entropi silang biner. Anda bisa mempertimbangkan multi-label classifier sebagai multi biner classifier terpisah. Jika Anda memiliki 10 kelas di sini, Anda memiliki 10 classifier biner secara terpisah. Setiap classifier biner dilatih secara independen. Dengan demikian, kami dapat memproduksi multi-label untuk setiap sampel. Jika Anda ingin memastikan setidaknya satu label harus diperoleh, maka Anda dapat memilih satu dengan fungsi kehilangan klasifikasi terendah, atau menggunakan metrik lainnya.

Saya ingin menekankan bahwa klasifikasi multi-kelas tidak mirip dengan klasifikasi multi-label ! Sebaliknya, multi-label classifier meminjam ide dari classifier biner!