Tujuan dan menentukan kapan harus menggunakan lapisan tersembunyi

9

Menindaklanjuti pertanyaan ini ...

Saya berusaha mempelajari cara menggunakan dan membuat jaringan saraf untuk penelitian saya, dan satu hal agak kabur dari saya. Saya menyadari bahwa lapisan tersembunyi adalah bagian yang perlu dilakukan, namun saya terjebak pada dua poin yang tidak dijelaskan oleh referensi saya untuk kepuasan saya:

  1. Apa tujuan sebenarnya dari lapisan tersembunyi?
  2. Bagaimana cara menentukan berapa banyak lapisan tersembunyi yang digunakan?

Dari apa yang saya kumpulkan, itu adalah untuk "memodelkan" fungsi dunia nyata, tetapi jika mungkin saya ingin sedikit lebih banyak penjelasan.

ne.neural-evol engkau
sumber
tetapi beberapa waktu saya menghadapi bahwa jika Anda meningkatkan lapisan tersembunyi maka masalah overfitting datang sehingga sangat sulit untuk mengatakan berapa banyak lapisan tersembunyi yang dapat kita gunakan? mungkin itu adalah metode hit dan trial.

Jawaban:

9

Lapisan tersembunyi digunakan untuk meningkatkan ekspresi jaringan. Ini memungkinkan jaringan untuk merepresentasikan model yang lebih kompleks daripada yang mungkin tanpa lapisan tersembunyi.

Memilih jumlah lapisan tersembunyi, atau lebih umum memilih arsitektur jaringan Anda termasuk jumlah unit tersembunyi di lapisan tersembunyi juga, adalah keputusan yang harus didasarkan pada data pelatihan dan validasi silang Anda. Anda harus melatih jaringan dengan jumlah set node (untuk memulai, coba satu lapisan tersembunyi, dengan satu unit per unit input) dan uji model.

Lihat tautan ini untuk bantuan lebih lanjut: http://www.faqs.org/faqs/ai-faq/neural-nets/part3/section-10.html

Neal Tibrewala
sumber
1
tautan itu cukup membantu
the_e
6

Saya berasumsi kita sedang mendiskusikan jaring umpan maju sederhana, yaitu multi-layer perceptrons.

  1. Lapisan tersembunyi diperlukan untuk menangkap dependensi non-linear antara fitur data Anda dan variabel yang Anda coba prediksi. Jika Anda tidak menggunakan lapisan tersembunyi, Anda mungkin juga menggunakan regresi linier (untuk regresi) atau regresi logistik (untuk klasifikasi).
  2. Dengan mencoba berbagai jumlah lapisan tersembunyi dan mengevaluasi seberapa baik mereka bekerja, misalnya dalam pengaturan validasi silang. Umumnya, satu lapisan tersembunyi akan cukup dan kinerja NN dioptimalkan dengan memvariasikan ukuran dan regularisasi.

Perhatikan bahwa dengan lebih dari dua lapisan tersembunyi, Anda berada di tanah pembelajaran yang dalam dan Anda mungkin perlu algoritme khusus untuk melatih jaring Anda. Alasannya adalah bahwa backpropagation vanila menderita masalah "vanishing gradient" di deep jaring: gradien dari fungsi kesalahan mereda di lapisan dekat dengan input, dan lapisan-lapisan itu akan sulit dilatih.

Fred Foo
sumber