Apa itu Jaringan Syaraf Berulang?

Anehnya, ini tidak ditanyakan sebelumnya - setidaknya saya tidak menemukan apa pun selain beberapa pertanyaan yang samar-samar terkait.

Jadi, apa itu jaringan syaraf berulang, dan apa keunggulannya dibanding NN biasa?

Jaringan saraf berulang (RNNs) adalah kelas arsitektur jaringan saraf tiruan yang terinspirasi oleh konektivitas siklus neuron di otak. Ini menggunakan loop fungsi berulang untuk menyimpan informasi.

Perbedaan dengan jaringan saraf tradisional menggunakan gambar dari buku ini :

Dan, sebuah RNN:

Perhatikan perbedaannya - koneksi jaringan neural feedforward tidak membentuk siklus. Jika kita mengendurkan kondisi ini, dan memungkinkan koneksi siklis juga, kita memperoleh jaringan saraf berulang (RNNs). Anda dapat melihatnya di lapisan tersembunyi arsitektur.

Sementara perbedaan antara perceptron multilayer dan RNN mungkin tampak sepele, implikasi untuk pembelajaran urutan jauh jangkauannya. MLP hanya dapat memetakan dari input ke vektor output , sedangkan RNN pada prinsipnya dapat memetakan dari seluruh riwayat input sebelumnya ke setiap output . Memang, hasil yang setara dengan teori aproksimasi universal untuk MLP adalah bahwa RNN dengan jumlah unit tersembunyi yang cukup dapat mendekati setiap pemetaan urutan-ke-urutan yang terukur hingga akurasi sewenang-wenang.

Takeaway penting:

Koneksi berulang memungkinkan 'memori' dari input sebelumnya untuk bertahan dalam keadaan internal jaringan, dan dengan demikian mempengaruhi output jaringan.

Berbicara dalam hal keuntungan tidak tepat karena mereka berdua canggih dan sangat baik dalam tugas-tugas tertentu. Kategori tugas yang luas yang menjadi keunggulan RNN adalah:

Pelabelan Sequence

Tujuan dari pelabelan urutan adalah untuk menetapkan urutan label, yang diambil dari alfabet tetap, ke urutan data input.

Contoh: Transkripsi urutan fitur akustik dengan kata-kata yang diucapkan (pengenalan ucapan), atau urutan bingkai video dengan gerakan tangan (pengenalan gerakan).

Beberapa sub-tugas dalam pelabelan berurutan adalah:

Klasifikasi Urutan

Urutan label dibatasi dengan panjang satu. Ini disebut sebagai klasifikasi urutan, karena setiap urutan input ditugaskan ke satu kelas. Contoh dari tugas klasifikasi urutan termasuk identifikasi dari satu karya lisan dan pengakuan dari surat tulisan tangan individu.

Klasifikasi Segmen

Klasifikasi segmen mengacu pada tugas-tugas di mana urutan target terdiri dari beberapa label, tetapi lokasi label - yaitu, posisi segmen input yang digunakan label - diketahui sebelumnya.

Sebuah jaringan saraf berulang (RNN) adalah jaringan saraf tiruan yang mengandung mundur atau diri-koneksi, sebagai lawan hanya memiliki koneksi ke depan, seperti dalam jaringan saraf umpan-maju (FFNN). Kata sifat "berulang" dengan demikian merujuk pada koneksi diri atau mundur ini, yang menciptakan loop dalam jaringan ini.

Sebuah RNN dapat dilatih menggunakan back-propagation through time (BBTT), sedemikian rupa sehingga koneksi mundur atau mandiri ini "menghafal" input yang sebelumnya terlihat. Oleh karena itu, koneksi ini terutama digunakan untuk melacak hubungan temporal antara elemen-elemen dari urutan input, yang membuat RNNs sangat cocok untuk prediksi urutan dan tugas-tugas serupa.

Ada beberapa model RNN: misalnya, RNN dengan unit LSTM atau GRU. LSTM (atau GRU) adalah RNN yang unit tunggal melakukan transformasi yang lebih kompleks daripada unit dalam "RNN polos", yang melakukan transformasi linear dari input diikuti oleh penerapan fungsi non-linear (misalnya ReLU) untuk ini transformasi linear. Secara teori, "plain RNN" sama kuatnya dengan RNN dengan unit LSTM. Dalam praktiknya, mereka menderita masalah "menghilang dan meledak gradien". Oleh karena itu, dalam praktiknya, LSTM (atau unit berulang canggih serupa) digunakan.