Saya melihat fungsi biaya lintas-entropi yang ditemukan dalam tutorial ini :
Apa sebenarnya yang kita simpulkan? Ini tentu saja lebih dari , tetapi dan tidak berubah dengan . Semua adalah input ke dalam . bahkan didefinisikan dalam paragraf di atas persamaan sebagai fungsi dari jumlah semua dan .
Juga, didefinisikan sebagai jumlah input ke neuron khusus ini, benar? Itu disebut sebagai "jumlah item data pelatihan" .
Edit:
Apakah saya benar dalam memikirkan itu
akan menjadi fungsi biaya untuk seluruh jaringan, sedangkan
akan menjadi biaya untuk neuron individu? Bukankah seharusnya jumlahnya melebihi setiap neuron keluaran?
sumber
Tutorialnya sebenarnya cukup eksplisit:
Fungsi biaya neuron tunggal asli yang diberikan dalam tutorial (Persamaan. 57) juga memiliki subskrip di bawah yang seharusnya mengisyaratkan hal ini. Untuk kasus neuron tunggal tidak ada yang lain untuk jumlah lebih selain contoh pelatihan, karena kita sudah menyimpulkan atas semua bobot masukan ketika menghitung :x Σ a
Kemudian dalam tutorial yang sama, Nielsen memberikan ekspresi untuk fungsi biaya untuk jaringan multi-layer, multi-neuron (Persamaan. 63):
Dalam hal ini jumlah berjalan lebih dari contoh pelatihan ( 's) dan neuron individu di lapisan output ( ' s).x j
sumber