Mengadaptasi jaringan saraf

Saya memiliki beberapa kesempatan melatih jaringan saraf (back propagation networks) dengan beberapa set data yang agak rumit (posisi backgammon dan OCR). Ketika melakukan ini, tampaknya banyak pekerjaan yang melibatkan mencoba berbagai konfigurasi jaringan, untuk menemukan konfigurasi yang optimal untuk pembelajaran. Seringkali ada kompromi antara jaring kecil yang lebih cepat digunakan / dipelajari, dan jaring yang lebih besar, yang mampu mewakili lebih banyak pengetahuan.

Lalu saya bertanya-tanya apakah mungkin membuat beberapa jaringan yang cepat dan besar. Saya berpikir bahwa pada jaringan di mana setiap neuron yang tidak terhubung sepenuhnya harus lebih cepat untuk menghitung daripada jaring dengan koneksi penuh pada semua lapisan. Bisa jadi pelatihan yang mendeteksi bahwa input tertentu tidak diperlukan oleh neuron tertentu, dan karena itu menghapus koneksi tersebut. Dengan cara yang sama pelatihan juga bisa melibatkan penambahan neuron baru jika beberapa neuron tampaknya "kelebihan beban".

Apakah ini sesuatu yang telah dicoba dengan sukses? Apakah ada kelas jaringan dengan perilaku semacam ini?

Ini kira-kira masalah terbuka untuk penelitian yang sedang berlangsung dengan berbagai strategi dan heuristik yang dikenal. Kata kuncinya adalah " arsitektur jaringan saraf ". Strategi yang paling dasar adalah untuk beralih melalui berbagai topologi jaringan dan melatih ulang untuk masing-masing. Strategi lain adalah memulai dengan jaringan yang relatif lebih besar dan koneksi prune yang memiliki bobot rendah dan pelatihan ulang dan mencari perbaikan; tahun lalu ini disebut "kerusakan otak" dalam setidaknya satu makalah [2]. Berikut ini beberapa contoh referensi. Ada banyak lainnya. Ada juga kemungkinan menggunakan algoritma GA- like untuk menentukan struktur jaringan [3]. Ini adalah bagian dari abstrak dari [1]:

Penggunaan JST memerlukan beberapa keputusan penting pada bagian pengguna, yang dapat memengaruhi keakuratan klasifikasi yang dihasilkan. Dalam penelitian ini, penentuan struktur jaringan optimal, yang merupakan salah satu atribut terpenting dari suatu jaringan, diselidiki. Struktur jaringan memiliki efek langsung pada waktu pelatihan dan akurasi klasifikasi. Meskipun ada beberapa diskusi dalam literatur tentang dampak struktur jaringan pada kinerja jaringan, tidak ada metode atau pendekatan tertentu untuk menentukan struktur terbaik. Investigasi hubungan antara struktur jaringan dan ketepatan klasifikasi dilaporkan di sini, menggunakan MATLAB tool-kit untuk mengambil keuntungan dari visualisasi ilmiah.

[1] Menentukan Struktur Optimal untuk Jaringan Syaraf Tiruan oleh Taskin Kavzoglu

[2] Kerusakan otak optimal Le Cun, Denker, Solla

[3] Menemukan Arsitektur Jaringan Syaraf Tiruan Optimal Menggunakan Algoritma Genetika Britos et al