Saya bertanya-tanya bagaimana menafsirkan arsitektur berulang dalam konteks EEG. Secara khusus saya memikirkan ini sebagai CNN Berulang (yang bertentangan dengan arsitektur seperti LSTM), tapi mungkin itu berlaku untuk jenis jaringan berulang lainnya juga
Ketika saya membaca tentang R-CNN, mereka biasanya dijelaskan dalam konteks klasifikasi gambar. Mereka biasanya digambarkan sebagai "belajar seiring waktu" atau "termasuk efek waktu-1 pada input saat ini"
Penjelasan / penjelasan ini menjadi sangat membingungkan ketika bekerja dengan data EEG. Contoh R-CNN yang digunakan pada data EEG dapat ditemukan di sini
Bayangkan saya memiliki contoh pelatihan yang masing-masing terdiri dari array 1x512. Array ini menangkap pembacaan tegangan untuk 1 elektroda pada 512 titik waktu berturut-turut. Jika saya menggunakan ini sebagai input ke CNN Berulang (menggunakan konvolusi 1D), bagian berulang dari model tidak benar-benar menangkap "waktu", bukan? (Seperti yang akan disiratkan oleh deskripsi / penjelasan yang dibahas sebelumnya) Karena dalam konteks ini waktu sudah ditangkap oleh dimensi kedua array
Jadi dengan pengaturan seperti ini, apa yang bagian berulang dari jaringan benar-benar memungkinkan kita untuk memodelkan bahwa CNN biasa tidak bisa (jika tidak waktu)?
Sepertinya saya berulang hanya berarti melakukan konvolusi, menambahkan hasilnya ke input asli, dan berbelit-belit lagi. Ini berulang untuk x jumlah langkah berulang. Apa keuntungan sebenarnya dari proses ini?
Jawaban:
Bagian berulang dari jaringan memungkinkan Anda, secara umum, untuk memodelkan ketergantungan jangka panjang dan pendek. Jadi model Anda dapat memiliki beberapa perasaan negara.
Ini biasanya menguntungkan jika Anda menggunakan jangka waktu. Misalnya, jika Anda memiliki data dari monitor detak jantung dan suka mengklasifikasikan antara istirahat, stres dan pulih. Jika titik data Anda mengatakan detak jantung Anda di 130, itu tergantung pada apakah Anda pulih dari beban tinggi atau sesuatu yang lain.
Sunting: Saya lupa pertanyaan kedua Anda.
Saya bisa memikirkan beberapa jawaban yang mungkin. Dengan memutar bagian berulang Anda semacam memfilternya. Jadi Anda mendapatkan sinyal yang lebih bersih dan kesalahan tidak akan banyak menumpuk. Vanilla rnn menderita meledak gradien hilang, jadi ini bisa menjadi pendekatannya untuk mengatasinya. Selain itu, Anda menanamkan fitur Anda di dalam rcnn, yang dapat mengarahkan, seperti yang ia nyatakan, ke lebih banyak jalur untuk dieksploitasi. Yang membuatnya kurang rentan terhadap overfitting, sehingga lebih digeneralisasikan.
sumber
sumber
Ingatlah bahwa CNN adalah pendeteksi fitur. Output dari lapisan konvolusional adalah matriks yang memberi sinyal di mana fitur tertentu terdeteksi.
Oleh karena itu, CNN berulang adalah jaringan saraf berulang yang mempelajari urutan fitur, di mana fitur tersebut juga dipelajari selama pelatihan.
sumber