Apa penjelasan intuitif dari Echo State Networks?

Saya baru mengenal Recurrent Neural Networks (RNN) dan masih mempelajari konsep-konsepnya. Saya mengerti pada tingkat abstrak bahwa Echo State Network (ESN) dapat (kembali) menghasilkan urutan input, yaitu sinyal, bahkan setelah input telah dihapus. Namun, saya menemukan artikel Scholarpedia terlalu sulit untuk dipahami dan dipahami sepenuhnya.

Dapatkah seseorang tolong jelaskan bagaimana pembelajaran bekerja secara matematis dalam bentuk sesederhana mungkin.

Jaringan Echo State adalah turunan dari konsep yang lebih umum dari Komputasi Waduk . Ide dasar di balik ESN adalah untuk mendapatkan manfaat dari RNN (memproses urutan input yang saling bergantung, yaitu ketergantungan waktu seperti sinyal) tetapi tanpa masalah melatih RNN tradisional seperti masalah gradien hilang .

ESN mencapai ini dengan memiliki reservoir yang relatif besar dari neuron yang jarang terhubung menggunakan fungsi transfer sigmoidal (relatif terhadap ukuran input, sekitar 100-1000 unit). Koneksi di reservoir diberikan satu kali dan benar-benar acak; bobot reservoir tidak dilatih. Neuron input terhubung ke reservoir dan memberi makan aktivasi input ke reservoir - ini juga ditugaskan bobot acak yang tidak terlatih. Satu-satunya bobot yang dilatih adalah bobot output yang menghubungkan reservoir ke neuron output.

Dalam pelatihan, input akan dimasukkan ke reservoir dan output guru akan diterapkan ke unit output. Status reservoir ditangkap dari waktu ke waktu dan disimpan. Setelah semua input pelatihan telah diterapkan, aplikasi sederhana regresi linier dapat digunakan antara status reservoir yang ditangkap dan output target. Bobot output ini kemudian dapat dimasukkan ke dalam jaringan yang ada dan digunakan untuk input baru.

Idenya adalah bahwa koneksi acak jarang di reservoir memungkinkan negara-negara sebelumnya untuk "gema" bahkan setelah mereka lulus, sehingga jika jaringan menerima input baru yang mirip dengan sesuatu yang dilatihnya, dinamika di reservoir akan mulai ikuti lintasan aktivasi yang sesuai untuk input dan dengan cara itu dapat memberikan sinyal yang cocok dengan apa yang dilatihnya, dan jika terlatih dengan baik, ia akan dapat menggeneralisasi dari apa yang telah dilihatnya, mengikuti lintasan aktivasi yang masuk akal diberikan sinyal input yang menggerakkan reservoir.

Keuntungan dari pendekatan ini adalah dalam prosedur pelatihan yang sangat sederhana karena sebagian besar bobot diberikan hanya sekali dan secara acak. Namun mereka mampu menangkap dinamika yang kompleks dari waktu ke waktu dan mampu memodelkan sifat-sifat sistem dinamis. Sejauh ini makalah yang paling bermanfaat yang saya temukan di ESN adalah:

• Tutorial tentang pelatihan RNN oleh Herbert Jaeger (kurator halaman Scholarpedia tentang ESN)

• Panduan Praktis untuk Menerapkan Jaringan Echo State oleh Mantas Lukoševičius

Mereka berdua memiliki penjelasan yang mudah dimengerti untuk mengikuti formalisme dan saran luar biasa untuk membuat implementasi dengan panduan untuk memilih nilai parameter yang sesuai.

UPDATE: The Jauh Belajar buku dari Goodfellow, Bengio, dan Courville memiliki diskusi tingkat tinggi sedikit lebih rinci tapi masih bagus dari Echo Negara Networks. Bagian 10.7 membahas masalah gradien menghilang (dan meledak) dan kesulitan belajar dependensi jangka panjang. Bagian 10.8 adalah semua tentang Jaringan Echo State. Ini secara khusus menjelaskan mengapa sangat penting untuk memilih bobot reservoir yang memiliki nilai radius spektral yang sesuai - ini bekerja bersama-sama dengan unit aktivasi nonlinier untuk mendorong stabilitas sambil tetap menyebarkan informasi melalui waktu.

Belajar dalam ESN bukanlah yang utama dipaksa untuk mengadaptasi bobot, lebih tepatnya masing-masing layer keluaran mempelajari output mana yang dihasilkan untuk keadaan saat ini yang dimiliki jaringan. Keadaan internal didasarkan pada dinamika jaringan dan disebut keadaan reservoir dinamis. Untuk memahami bagaimana kondisi reservoir, kita perlu melihat topologi ESN.

Unit input dihubungkan ke neuron di unit internal (unit reservoir), bobot diinisialisasi secara acak. Unit reservoir terhubung secara acak dan jarang dan juga memiliki bobot acak. Unit output juga terhubung ke semua unit reservoir sehingga menerima status reservoir dan menghasilkan output yang sesuai.

$t$$t$

Sebelum kita dapat menjelaskan bagaimana pelatihan bekerja secara rinci, kita harus menjelaskan dan mendefinisikan beberapa hal:

$T$$t$$W_{fb}$

Definisi variabel:

• $r$
• $o$
• $t$
• $o$
• $T$$t$$o$

Akhirnya bagaimana cara kerja pelatihan secara rinci?

• $t$$M$$t$$r$
• $W_{out}$$M \bullet W_{out} = T -> W_{out} = M \bullet T^{-1}$

Karena belajar sangat cepat, kami dapat mencoba banyak topologi jaringan untuk mendapatkan yang cocok.

Untuk mengukur kinerja ESN:

• $W_{fb}$
• $\left|\left|M \bullet W_{out} – T\right|\right|^2$

Radius Spektral dan ESN

Spec-tral$1$