Kemungkinan untuk mendapatkan JST yang lebih baik dengan menghapus beberapa koneksi?

11

Saya bertanya-tanya apakah dalam keadaan tertentu dimungkinkan bagi ANN untuk berkinerja lebih baik jika Anda memangkas beberapa koneksi seperti misalnya:

Membangun satu JST dengan mengambil dua JST berlapis-lapis A dan B secara paralel (input dan output node yang sama) menambahkan beberapa "komunikasi" koneksi antara lapisan tersembunyi dari A dan B?

Bisakah seseorang mendapatkan hasil generalisasi yang lebih baik?

Apakah ini entah bagaimana digunakan dalam praktik atau apakah seseorang selalu hanya menggunakan jaringan yang terhubung sepenuhnya multi-layered?

classification neural-networks SlimJim
sumber

Jawaban:

7

Ya itu mungkin. Beberapa orang telah melihat masalah ini secara terperinci. Berikut ini makalah lama tentang metode untuk melakukannya: Kerusakan otak yang optimal

carlosdc
sumber
Mengapa melepaskan node lebih baik daripada regularisasi? Saya pikir, dengan regularisasi tidak perlu memangkas koneksi - yang "tidak perlu" hanya akan mendapatkan bobot yang sangat kecil dan hanya itu.
andreister
@ dan tuan saya tidak berpikir itu lebih baik daripada regularisasi. Saya pikir ini merupakan alternatif (awal) dari regularisasi. Ini adalah kertas yang sangat tua, regularisasi menjadi mainstream di ML di pertengahan hingga akhir tahun sembilan puluhan.
carlosdc
7

Sebagai aturan praktis, jaringan kecil dan / atau jarang menggeneralisasi lebih baik. Anda dapat membiarkan algoritme pelatihan Anda membuang koneksi yang tidak perlu dalam jaringan ukuran tetap dengan menerapkan beberapa bentuk pembusukan berat, atau Anda dapat menerapkan algoritma yang bertujuan untuk mengoptimalkan arsitektur jaringan / topologi itu sendiri melalui menghapus input yang tidak perlu, node atau koneksi tersembunyi.

Lihatlah referensi ini untuk ide-ide dan titik awal untuk penelitian lebih lanjut, atau lihat ke dalam penggunaan algoritma evolusioner untuk merancang, memangkas dan mengoptimalkan arsitektur.

  1. Castellano, G., Fanelli, AM (2000) 'Pemilihan variabel menggunakan model jaringan saraf', Neurcomputing (31)
  2. Ji C., Psaltis D. (1997) 'Sintesis Jaringan melalui Pertumbuhan dan Peluruhan Berbasis Data', Neural Networks Vol. 10, No. 6, hlm. 1133-1141
  3. Narasimha PL et al (2008) 'Metode pemangkasan tumbuh terintegrasi untuk pelatihan jaringan feedforward', Neurocomputing (71), hlm. 2831-2847
  4. Schuster, A. (2008) 'Arsitektur Jaringan Saraf Tiruan Kuat Robust, International Journal of Computational Intelligence (4: 2), hlm. 98-104
Graham Jones
sumber
Saya benar-benar ingin mendengar lebih banyak tentang "melihat ke dalam penggunaan algoritma evolusioner untuk merancang, memangkas dan mengoptimalkan arsitektur" bagian dari jawabannya. Mungkin saya akan bertanya tentang itu!
Artem Kaznatcheev
6

Dalam kebanyakan kasus, jika Anda menghapus koneksi yang tidak perlu, Anda akan mendapatkan jaringan yang lebih baik. Sangat mudah untuk overtrain (overfit) jaringan --- dalam hal ini akan berkinerja buruk pada dataset validasi.

Memangkas koneksi yang tidak perlu kemungkinan besar akan mengurangi probabilitas overtraining. Silakan lihat: http://en.wikipedia.org/wiki/Overfitting .

jb.
sumber
5

Ya itu mungkin. Kita dapat mempertimbangkan, koneksi antara kesatuan komputasi, jumlah lapisan tersembunyi, menyatukan per lapisan tersembunyi dll sebagai parameter-hiper. Mungkin untuk mengetahui nilai optimal untuk parameter ini dengan melakukan serangkaian percobaan.

Sebagai contoh:

Anda dapat membagi set data Anda sebagai berikut: Pelatihan mengatur 60% data, Validasi silang 20% ​​data, Menguji 20% data,

Kemudian latih NN Anda dengan menggunakan set data pelatihan dan parameter tuning dengan menggunakan set data validasi silang.

Akhirnya, Anda dapat menggunakan kumpulan data pengujian untuk mengevaluasi kinerja NN Anda.

Upul
sumber