Bagaimana jaringan saraf berulang dapat digunakan untuk klasifikasi urutan?

19

RNN dapat digunakan untuk prediksi, atau pemetaan urutan ke urutan. Tetapi bagaimana RNN dapat digunakan untuk klasifikasi? Maksud saya, kami memberikan seluruh label satu urutan.

user64003
sumber
Saya akan mencoba memprediksi istilah berikutnya menggunakan yang sebelumnya. Saya kemudian akan menambahkan jaringan itu ke fungsi basis radial (dari 3 * classlabelcount atau lebih gaussian pdf neuron) yang inputnya merupakan kesalahan prediksi seri dan yang outputnya adalah label kelas. Saya akan memiliki jumlah neuron yang layak di lapisan input - cukup untuk menjelaskan berapa banyak elemen dari urutan diperlukan untuk mengklasifikasikan. Ini hanya pendekatan pribadi saya.
EngrStudent

Jawaban:

13

Seseorang dapat menggunakan RNN untuk memetakan banyak input ke satu input (label), seperti yang digambarkan oleh figur ( sumber ) ini:

masukkan deskripsi gambar di sini

Setiap persegi panjang adalah vektor dan panah mewakili fungsi (mis. Matriks berlipat ganda). Vektor input berwarna merah, vektor output berwarna biru dan hijau memegang status RNN (lebih lanjut tentang ini segera). Dari kiri ke kanan: (1) Mode pemrosesan vanili tanpa RNN, dari input berukuran tetap ke output berukuran tetap (mis. Klasifikasi gambar). (2) Urutan output (mis. Teks gambar mengambil gambar dan menghasilkan kalimat kata-kata). (3) Input urutan (misalnya analisis sentimen di mana kalimat yang diberikan diklasifikasikan sebagai mengekspresikan sentimen positif atau negatif). (4) Urutan input dan output urutan (misalnya Terjemahan Mesin: RNN membaca kalimat dalam bahasa Inggris dan kemudian mengeluarkan kalimat dalam bahasa Prancis). (5) Input dan output urutan yang disinkronkan (misalnya klasifikasi video di mana kami ingin memberi label pada setiap frame video).

Franck Dernoncourt
sumber
4

Dalam kasus RNN sederhana, masukkan seluruh urutan ke jaringan Anda dan kemudian label kelas output pada elemen urutan terakhir (lihat makalah ini dan referensi di sana untuk contoh awal pendekatan ini). Dalam fase pelatihan kita dapat melakukan backpropogate kesalahan waktu dari elemen urutan terakhir ke awal urutan. Secara umum ini tidak berbeda dari masalah pelabelan urutan RNN, di mana kita perlu menetapkan label hanya untuk beberapa elemen dari urutan (atau semua elemen lainnya diberi label sebagai LAINNYA).

Denis Tarasov
sumber
Perawatan harus dilakukan untuk urutan yang lebih lama. Informasi dari awal urutan dapat kewalahan oleh informasi ke bawah urutan.
Vladislavs Dovgalecs