Apa perbedaan antara jaringan saraf dan jaringan kepercayaan yang mendalam?

62

Saya mendapat kesan bahwa ketika orang mengacu pada jaringan 'keyakinan mendalam' bahwa ini pada dasarnya adalah jaringan saraf tetapi sangat besar. Apakah ini benar atau apakah jaringan kepercayaan yang mendalam juga menyiratkan bahwa algoritma itu sendiri berbeda (yaitu, tidak ada umpan balik neural net tetapi mungkin sesuatu dengan loop umpan balik)?

Vincent Warmerdam
sumber

Jawaban:

59

"Jaringan saraf" adalah istilah yang biasanya digunakan untuk merujuk ke jaringan saraf feedforward. Deep Neural Networks adalah feedforward Neural Networks dengan banyak lapisan.

Jaringan kepercayaan yang mendalam tidak sama dengan jaringan saraf yang mendalam.

Seperti yang telah Anda tunjukkan, jaringan kepercayaan yang dalam memiliki koneksi tidak langsung antara beberapa lapisan. Ini berarti bahwa topologi DNN dan DBN berbeda menurut definisi.

Lapisan yang tidak diarahkan dalam DBN disebut Mesin Boltzmann Terbatas. Lapisan-lapisan ini dapat dilatih menggunakan algoritma pembelajaran tanpa pengawasan (Contrastive Divergence) yang sangat cepat (Inilah tautan ! Dengan perincian).

Beberapa komentar lagi:

Solusi yang diperoleh dengan jaringan saraf yang lebih dalam sesuai dengan solusi yang berkinerja lebih buruk daripada solusi yang diperoleh untuk jaringan dengan 1 atau 2 lapisan tersembunyi. Seiring semakin dalamnya arsitektur, semakin sulit untuk mendapatkan generalisasi yang baik menggunakan Deep NN.

Pada tahun 2006, Hinton menemukan bahwa hasil yang jauh lebih baik dapat dicapai dalam arsitektur yang lebih dalam ketika setiap lapisan (RBM) dilatih sebelumnya dengan algoritma pembelajaran tanpa pengawasan (Contrastive Divergence). Kemudian Jaringan dapat dilatih dengan cara yang diawasi menggunakan backpropagation untuk "menyempurnakan" bobot.

David Buchaca
sumber
Apakah perbedaan utama antara fungsi DNN & DBN yang berfungsi DBN di kedua arah, di => di luar untuk pelatihan, di luar => di untuk prediksi?
ZAR
5

" Deep Neural Network adalah umpan-maju, jaringan saraf tiruan yang memiliki lebih dari satu lapisan unit tersembunyi antara input dan outputnya. Setiap unit tersembunyi, , biasanya menggunakan fungsi logistik untuk memetakan total inputnya dari lapisan di bawah , , ke status skalar, yang dikirimkannya ke lapisan di atas.jxjyj (Rujukan (1)) ".

Yang mengatakan, seperti yang disebutkan oleh David: " jaringan kepercayaan yang dalam memiliki koneksi tidak diarahkan antara dua lapisan teratas, seperti dalam RBM ", yang berbeda dengan jaringan saraf umpan maju. Secara umum, masalah utama dalam DNN berkaitan dengan pelatihannya yang pasti lebih melibatkan NN lapisan tunggal. (Saya tidak mengerjakan NNs, kebetulan saya baru saja membaca koran.)

Referensi: 1. Deep Neural Networks untuk Pemodelan Akustik dalam Pengenalan Bicara , oleh Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath ,, dan Brian Kingsbury dalam Majalah Pemrosesan Sinyal IEEE [82] November 2012 ( Tautan ke Kertas Asli dalam MSR )

usεr11852 kata Reinstate Monic
sumber
1
Jaringan PERCAYA yang dalam biasanya merujuk pada jaringan yang dalam dengan pretraining tanpa pengawasan (mesin Boltzmann terbatas yang ditumpuk dilatih dengan perbedaan kontras).
alfa
5
@ user11852 Makalah yang Anda tautkan membuat perbedaan antara jaringan saraf yang dalam dan jaringan kepercayaan yang mendalam. Deep keyakinan jaringan memiliki koneksi tidak langsung antara dua lapisan teratas, seperti dalam RBM.
David J. Harris
0

Senang melihat komentar Alex di sini. Saya telah menjelaskan kepada orang-orang bahwa DL adalah jaringan saraf yang khas. Tidak ada perbedaan dalam skema pembelajaran. JST sebelumnya yang ditulis dalam c (70-an) memiliki opsi untuk mengatur beberapa lapisan tersembunyi. Sebenarnya saya menguji untuk menentukan apakah lebih banyak lapisan tersembunyi meningkatkan akurasi. Jumlah layer tidak membuat DL berbeda dari ANN.

Saya benci istilah penandaan semacam ini. Sekarang kami memiliki begitu banyak pakar DL yang tidak tahu DL sebenarnya ANN. Karena penandaan sangat baik dan kuat, orang percaya bahwa kami banyak maju di bidang Pembelajaran Mesin. Tapi, tidak ada yang baru!

Kihoon Yoon
sumber
4
Sebenarnya ada hal-hal baru. Benar, JST telah dikenal jauh sebelum hype DL. Apa yang kami pelajari baru-baru ini adalah banyak trik yang diperlukan untuk mempelajari jaringan saraf yang begitu dalam. Dengan kekuatan komputasi yang jauh lebih besar, kami juga menemukan bahwa jaringan saraf bagus untuk gambar, audio, dan data lain yang kami miliki kesulitannya membuat fitur kerajinan tangan. Ada lebih banyak tentu saja.
Vladislavs Dovgalecs
1
Jawaban ini tampaknya lebih merupakan komentar tentang masalah yang tidak terkait. Saya tidak melihat penyebutan jaringan kepercayaan mendalam.
beldaz