Mengapa orang tidak menggunakan RBF lebih dalam atau RBF dalam kombinasi dengan MLP?

Jadi ketika melihat Radial Basis Function Neural Networks, saya perhatikan bahwa orang hanya pernah merekomendasikan penggunaan 1 layer tersembunyi, sedangkan dengan multilayer perceptron neural networks lebih banyak layer dianggap lebih baik.

Mengingat bahwa jaringan RBF dapat dilatih dengan versi back propagation apakah ada alasan mengapa jaringan RBF yang lebih dalam tidak akan berfungsi, atau bahwa lapisan RBF tidak dapat digunakan sebagai lapisan kedua dari belakang atau pertama dalam jaringan MLP yang mendalam? (Saya sedang memikirkan lapisan kedua dari belakang sehingga pada dasarnya bisa dilatih tentang fitur yang dipelajari oleh lapisan MLP sebelumnya)

machine-learning neural-networks rbf-network pengguna1646196
sumber

Saya bukan ahli NN, tetapi kesan saya adalah bahwa dengan NN umpan maju, banyak lapisan tersembunyi biasanya tidak menambah banyak.

gung - Reinstate Monica

Itu pada hari-hari awal penelitian NN, namun sekarang lebih banyak lapisan biasanya resep untuk kinerja yang lebih besar (pembelajaran dalam). Saya pikir pendekatan favorit saat ini adalah inisialisasi cerdas, sebanyak mungkin lapisan, regularisasi melalui dropout dan softmax daripada aktivasi sigmoidal untuk menghindari saturasi. (Tapi saya mungkin salah tentang teknik). Saya pikir beberapa orang juga menggunakan pendalaman berulang untuk mendapatkan hasil yang lebih baik. Juga, Google mendapat kemajuan di imageNet pada tahun 2014 dengan jaringan 100 layer.

user1646196

Jawaban:

Masalah mendasarnya adalah bahwa RBF adalah a) terlalu nonlinier, b) tidak melakukan reduksi dimensi.

karena a) RBF selalu dilatih dengan k-means daripada gradient descent.

Saya akan mengklaim bahwa keberhasilan utama dalam Deep NN adalah konvens, di mana salah satu bagian penting adalah pengurangan dimensi: walaupun bekerja dengan katakanlah 128x128x3 = 50.000 input, setiap neuron memiliki bidang reseptif terbatas, dan ada lebih sedikit neuron di setiap lapisan .Dalam lapisan yang diberikan dalam MLP- masing-masing neuron mewakili fitur / dimensi) sehingga Anda terus-menerus mengurangi dimensi (dari lapisan ke lapisan).

Meskipun seseorang dapat membuat matriks kovarians RBF adaptif dan demikian juga pengurangan dimensi, ini membuatnya lebih sulit untuk dilatih.

seanv507
sumber

Saya baru-baru ini membaca sebuah makalah yang mengusulkan algoritma back-propagation untuk melatih jaringan RBF. Mengingat ini dapatkah mereka menjadi manfaat dalam memiliki RBF sebagai lapisan terakhir dalam jaringan yang dalam? Saya kira dalam bentuk ini sisa jaringan yang dalam pada dasarnya akan mendeteksi fitur-fitur yang dapat diklasifikasikan oleh RBF

user1646196

mungkin Anda harus menautkan ke kertas dan kemudian orang dapat memberikan jawaban lebih banyak informasi. Saya tidak melihat manfaat apa pun ... mengingat bahwa RBF terlalu non linier (dan misalnya sigmoids telah digantikan oleh relu karena mereka terlalu gradien lenyap linear ...). Apa yang dilakukan orang adalah berlatih dengan conv net dengan mlp standar di atasnya, lalu membuang mlp dan menggunakan

svm

Makalah ini adalah "Pelatihan jaringan RBF dengan backpropagation selektif" tidak yakin apakah Anda dapat membacanya di sini atau jika ada paywall sciencedirect.com/science/article/pii/S0925231203005411 . Saya tidak sadar bahwa sigmoids telah digantikan oleh relu karena non-linearitas, tetapi mengingat bahwa saya dapat melihat bagaimana peningkatan non-linearitas akan dihindarkan. Saya akan menandai jawaban sebagai diterima :)

user1646196