Baru-baru ini saya membaca beberapa makalah tentang jaringan saraf Bayesian (BNN) [Neal, 1992] , [Neal, 2012] , yang memberikan kemungkinan hubungan antara input dan output dalam jaringan saraf. Pelatihan seperti jaringan saraf adalah melalui MCMC yang berbeda dari algoritma back-propagation tradisional.
Pertanyaan saya adalah: Apa keuntungan menggunakan jaringan saraf seperti itu? Lebih khusus lagi, dapatkah Anda memberikan beberapa contoh yang lebih sesuai dengan BNN daripada NN?
sumber
Satu keuntungan dari BNN daripada NN adalah bahwa Anda dapat secara otomatis menghitung kesalahan yang terkait dengan prediksi Anda ketika berhadapan dengan data target yang tidak diketahui. Dengan BNN, kita sekarang melakukan inferensi Bayesian. Mari kita tentukan prediksi BNN kita sebagai , di mana adalah fungsi NN, adalah input Anda , adalah parameter NN, dan x, t adalah input dan target pelatihan. Ini harus kompatibel dengan sintaks yang digunakan oleh Neal di tautan yang disediakan oleh @forecaster. Kemudian kita dapat menghitung deviasi standar dari distribusi prediksi posterior, yang akan saya gunakan sebagai akurasi pada prediksi:f¯(x'|x,t)=∫f(x',ω)p(ω|x,t)dω f x′ ω σ(x')=∫[f(x',ω)−f¯(x'|x,t)]2p(ω|x,t)dω−−−−−−−−−−−−−−−−−−−−−−−−−−−√
sumber