Definisi berbeda dari fungsi kehilangan lintas entropi

Saya mulai belajar tentang jaringan saraf dengan tutorial neuralnetworksanddeeplearning dot com. Khususnya di bab ke - 3 ada bagian tentang fungsi cross entropy, dan mendefinisikan cross entropy loss sebagai:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j))$

Namun, membaca pengantar Tensorflow , cross entropy loss didefinisikan sebagai:

(saat menggunakan simbol yang sama seperti di atas)$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j)$

Kemudian mencari di sekitar untuk menemukan apa yang terjadi, saya menemukan satu set catatan: ( https://cs231n.github.io/linear-classify/#softmax-classifier ) yang menggunakan definisi yang sama sekali berbeda dari kehilangan entropi silang, meskipun ini waktu untuk pengklasifikasi softmax daripada untuk jaringan saraf.

Dapatkah seseorang menjelaskan kepada saya apa yang sedang terjadi di sini? Mengapa ada perbedaan btw. apa yang orang mendefinisikan kerugian lintas-entropi sebagai? Apakah hanya ada beberapa prinsip menyeluruh?

Ketiga definisi ini pada dasarnya sama.

$$C = -\frac{1}{n} \sum\limits_x\sum\limits_{j} (y_j \ln a_j).$$

$j=2$

$$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + y_2 \ln a_2)$$ $\sum_ja_j=1$$\sum_jy_j=1$ $$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + (1-y_1) \ln (1-a_1))$$

$y$$y_k$

$$C_x=-\sum\limits_{j} (y_j \ln a_j)=-(0+0+...+y_k\ln a_k)=-\ln a_k.$$

$$C_x=-\ln(a_k)=-\ln\left(\frac{e^{f_k}}{\sum_je^{f_j}}\right).$$

Dalam bab ketiga , persamaan (63) adalah entropi silang yang diterapkan pada banyak sigmoids (yang mungkin tidak berjumlah 1) sedangkan dalam intro Tensoflow cross-entropy dihitung pada lapisan output softmax.

Sebagaimana dijelaskan oleh dontloo kedua formula pada dasarnya setara untuk dua kelas tetapi tidak ketika lebih dari dua kelas dipertimbangkan. Softmax masuk akal untuk multiklass dengan kelas eksklusif ( yaitu ketika hanya ada satu label per sampel, yang memungkinkan pengodean label satu-panas) sementara (banyak) sigmoids dapat digunakan untuk menggambarkan masalah multilabel (yaitu dengan sampel yang mungkin positif untuk beberapa kelas).

Lihat jawaban dontloo lainnya ini juga.