Saya telah mencoba membuat program untuk melatih Neural Networks di komputer saya. Untuk Jaringan yang dimaksud, saya telah memutuskan untuk menggunakan fungsi Cross Entropy Error:
Di mana adalah output target untuk Neuron , dan adalah output dari neuron itu, mencoba untuk memprediksi .
Saya ingin tahu apa untuk sebagian Neuron . Intuisi saya (ditambah pengetahuan saya yang terbatas tentang kalkulus) membuat saya percaya bahwa nilai ini seharusnya .
Namun, ini sepertinya tidak benar. Cross Entropy sering digunakan bersama dengan fungsi softmax, sehingga mana z adalah himpunan input untuk semua neuron dalam lapisan softmax ( lihat di sini ).
Dari file ini , saya kumpulkan bahwa:
Menurut pertanyaan ini : Tapi ini bertentangan dengan tebakan saya sebelumnya tentang . Mengapa?
sumber