Perbedaan antara Time neural networks tertunda dan Recurrent neural networks

Saya ingin menggunakan Jaringan Saraf Tiruan untuk memprediksi seri waktu keuangan. Saya berasal dari latar belakang IT dan memiliki pengetahuan tentang Neural Networks dan saya telah membaca tentang ini:

• TDNN
• RNN

Saya telah mencari paket R untuk mereka dan saya hanya menemukan satu untuk RNN, paket RSNNS yang memiliki implementasi elman dan jordan yang merupakan RNN.

Jadi, apakah Jaringan Neural Berulang berguna untuk digunakan dengan seri waktu (finansial)? Karena mereka (kutipan dari tautan wikipedia di RNN yang dikutip sebelumnya):

Pada setiap langkah waktu, input disebarkan dengan cara umpan maju standar, dan kemudian aturan pembelajaran diterapkan. Koneksi sambungan tetap menghasilkan unit konteks selalu mempertahankan salinan nilai sebelumnya dari unit tersembunyi (karena mereka menyebar melalui koneksi sebelum aturan pembelajaran diterapkan). Dengan demikian jaringan dapat mempertahankan semacam negara, yang memungkinkannya untuk melakukan tugas-tugas seperti prediksi-urutan yang berada di luar kekuatan perceptron multilayer standar.

Bukankah dalam praktiknya sama dengan Time Delay Neural Networks? Jika tidak, apa bedanya dengan Time Delay Neural Networks? Apakah keduanya cocok untuk digunakan dengan Time Series atau yang mana yang lebih cocok?

Terimakasih sebelumnya!

Saya tidak pernah bekerja dengan jaringan berulang, tetapi dari apa yang saya tahu, dalam praktiknya, beberapa RNN dan TDNN dapat digunakan untuk tujuan yang sama yang Anda inginkan: Memprediksi nilai seri waktu. Namun, mereka bekerja berbeda.

Hal ini dimungkinkan dengan TDNN:

• Memprediksi nilai proses
• Temukan hubungan antara dua proses.

Beberapa RNN, seperti NARX juga memungkinkan Anda melakukan itu, dan juga digunakan untuk memprediksi deret waktu keuangan, biasanya lebih baik daripada TDNN.

TDNN lebih mirip jaringan feedforward, karena aspek waktu hanya dimasukkan melalui inputnya, tidak seperti NARX yang juga membutuhkan nilai prediksi / masa depan nyata sebagai input. Karakteristik ini membuat TDNN kurang kuat dari NARX untuk memprediksi nilai, tetapi membutuhkan pemrosesan lebih sedikit dan lebih mudah untuk dilatih.

Jika Anda mencoba mencari hubungan antara suatu proses $X(t)$ dan sebuah proses $Y(t)$, NARX mengharuskan Anda memiliki nilai masa lalu $Y$, sedangkan TDNN tidak.

Saya merekomendasikan membaca Jaringan Neural Simon Haykin: A Comprehensive Foundation (2nd Edition) dan FAQ ini . Ada banyak arsitektur dan variasi jaringan saraf. Terkadang mereka memiliki banyak nama atau tidak ada konsensus tentang klasifikasi mereka.

TDNNs adalah cara sederhana untuk merepresentasikan pemetaan antara nilai masa lalu dan masa kini. Penundaan dalam TDNN tetap konstan selama prosedur pelatihan dan diperkirakan sebelumnya dengan menggunakan coba-coba bersama dengan beberapa heuristik. Namun, hal ini mungkin merupakan kasus bahwa keterlambatan tetap ini tidak menangkap lokasi temporal aktual dari dependensi waktu. Di sisi lain, fitur "memori" dari struktur RNN dapat menangkap informasi ini dengan mempelajari dependensi ini. Masalah dengan RNN adalah bahwa mereka tidak praktis untuk digunakan ketika dilatih dengan teknik tradisional (misalnya Backpropagation melalui waktu) untuk mempelajari ketergantungan jangka panjang. Masalah ini muncul dari apa yang disebut "menghilang / meledak" gradien yang pada dasarnya berarti bahwa ketika kita menyebarkan sinyal kesalahan mundur melalui struktur jaringan, mereka cenderung menghilang atau meledak. Struktur berulang yang lebih maju (misalnya LSTM) memiliki sifat yang mengurangi masalah ini dan dapat mempelajari dependensi jangka panjang dan sangat cocok untuk mempelajari data sekuensial.