Jumlah optimal lapisan dalam jaringan saraf?

13

Bagaimana menentukan jumlah lapisan optimal yang akan dibuat saat menerapkan Jaringan Saraf Tiruan (Feedforward, back propagation atau RNN)?

neural-networks hidden-layers v01d
sumber

Jawaban:

8

Ada teknik yang disebut Pruningdalam jaringan saraf, yang digunakan hanya untuk tujuan yang sama.

Pemangkasan dilakukan pada jumlah lapisan tersembunyi. Prosesnya sangat mirip dengan proses pemangkasan pohon keputusan. Proses pemangkasan dilakukan sebagai berikut:

  • Melatih jaringan yang besar, terhubung erat, dengan algoritma pelatihan standar
  • Periksa jaringan terlatih untuk menilai kepentingan relatif bobot
  • Hapus bobot paling tidak penting
  • melatih ulang jaringan yang sudah dipangkas
  • Ulangi langkah 2-4 hingga puas

Namun, ada beberapa metode yang dioptimalkan untuk memangkas jaring saraf, dan juga merupakan area penelitian yang sangat aktif .

Dawny33
sumber
Pendekatan simetris adalah "pencarian grid" yang umum diterapkan pada arsitektur jaringan. Mulai dari yang kecil (sangat cepat), dan secara otomatis coba arsitektur yang lebih besar. Semua ini hanyalah kekerasan, ...
Eric Platon
@EricPlaton +1 untuk pencarian kisi. Sangat berguna dalam hipertensi ML algos. Tapi, bukankah komputernya sangat intensif?
Dawny33
1
Ya itu mahal. Namun, ketika kita bisa memulai dari yang kecil, tahap pertama bisa berjalan cukup cepat, dan memberikan gagasan yang lebih baik tentang apa yang harus dituju.
Eric Platon
@EricPlaton "Pencarian Grid" akan pantas jawaban terpisah untuk itu sendiri :)
Dawny33
Saya memikirkannya, tetapi kemudian akan ada dua alternatif dan mungkin jawaban yang "sama benar" ... Saya pikir yang terbaik untuk pembaca adalah menyusun jawaban itu menjadi satu.
Eric Platon
0

Anda dapat melihat optimisasi hyperparameter bayesian sebagai metode umum untuk mengoptimalkan kerugian (atau apa pun) sebagai fungsi dari hyperparameter. Tetapi perhatikan bahwa secara umum semakin dalam jaringan Anda semakin baik, jadi mengoptimalkan kehilangan sebagai fungsi dari jumlah lapisan bukanlah hal yang sangat menyenangkan untuk dilakukan.

Pencarian kotak dan sedikit akal sehat (seperti yang dipelajari dengan melihat banyak contoh) harus menjadi taruhan terbaik Anda.

kc sayz 'kc sayz'
sumber