Apa kelebihan menggunakan jaringan saraf Bayesian

12

Baru-baru ini saya membaca beberapa makalah tentang jaringan saraf Bayesian (BNN) [Neal, 1992] , [Neal, 2012] , yang memberikan kemungkinan hubungan antara input dan output dalam jaringan saraf. Pelatihan seperti jaringan saraf adalah melalui MCMC yang berbeda dari algoritma back-propagation tradisional.

Pertanyaan saya adalah: Apa keuntungan menggunakan jaringan saraf seperti itu? Lebih khusus lagi, dapatkah Anda memberikan beberapa contoh yang lebih sesuai dengan BNN daripada NN?

fishiwhj
sumber

Jawaban:

9

Jaring saraf Bayesian berguna untuk memecahkan masalah dalam domain di mana data langka, sebagai cara untuk mencegah overfitting. Mereka sering mengalahkan semua metode lain dalam situasi seperti itu. Contoh penerapannya adalah biologi molekuler ( misalnya makalah ini ) dan diagnosis medis (bidang-bidang di mana datanya sering berasal dari pekerjaan cepat yang mahal dan sulit). Sebenarnya, jaring Bayesian bermanfaat secara universal dan dapat memperoleh hasil yang lebih baik untuk sejumlah besar tugas, tetapi mereka sangat sulit untuk skala ke masalah besar.

Denis Tarasov
sumber
2
Bisakah Anda memperluas mengapa jaring Bayesian sulit untuk diukur?
Ellis Valentiner
6

Satu keuntungan dari BNN daripada NN adalah bahwa Anda dapat secara otomatis menghitung kesalahan yang terkait dengan prediksi Anda ketika berhadapan dengan data target yang tidak diketahui. Dengan BNN, kita sekarang melakukan inferensi Bayesian. Mari kita tentukan prediksi BNN kita sebagai , di mana adalah fungsi NN, adalah input Anda , adalah parameter NN, dan x, t adalah input dan target pelatihan. Ini harus kompatibel dengan sintaks yang digunakan oleh Neal di tautan yang disediakan oleh @forecaster. Kemudian kita dapat menghitung deviasi standar dari distribusi prediksi posterior, yang akan saya gunakan sebagai akurasi pada prediksi:f¯(x|x,t)=f(x,ω)p(ω|x,t)dωfxωσ(x)=[f(x,ω)f¯(x|x,t)]2p(ω|x,t)dω

Michelle K
sumber
1
Ini adalah tambahan yang menarik untuk percakapan, tetapi agak pendek menurut standar kami. Bisakah Anda menguraikan sedikit dan mungkin menyertakan referensi?
Sycorax berkata Reinstate Monica
Tentu. Dengan BNN, kita sekarang melakukan inferensi Bayesian. Mari kita mendefinisikan prediksi BNN kita sebagai , di mana f adalah NN fungsi, x 'adalah input Anda, adalah parameter NN, dan adalah input dan target pelatihan. Ini harus kompatibel dengan sintaks yang digunakan oleh Neal di tautan yang disediakan oleh @forecaster. Kemudian kita dapat menghitung deviasi standar dari distribusi prediksi posterior, yang akan saya gunakan sebagai akurasi pada prediksi:ωf¯(x|x,t)=f(x,ω)p(ω|x,t)dωωx,tσ(x)=([f(x,ω)f¯(x|x,t)]2p(ω|x,t)dω)
Michelle K
Harap edit ini ke dalam jawaban Anda.
Sycorax berkata Reinstate Monica