Saya baru di bidang pembelajaran mendalam dan bagi saya langkah pertama adalah membaca artikel menarik dari situs deeplearning.net. Dalam makalah tentang pembelajaran yang mendalam, Hinton dan yang lainnya kebanyakan berbicara tentang menerapkannya pada masalah gambar. Dapatkah seseorang mencoba menjawab saya apakah itu dapat diterapkan pada masalah memprediksi nilai deret waktu (keuangan, lalu lintas internet, ...) dan hal-hal penting apa yang harus saya fokuskan jika memungkinkan?
54
Jawaban:
Ada beberapa pekerjaan mengadaptasi metode pembelajaran mendalam untuk data sekuensial. Banyak dari pekerjaan ini berfokus pada pengembangan "modul" yang dapat ditumpuk dengan cara yang analog dengan menumpuk mesin boltzmann terbatas (RBM) atau autoencoder untuk membentuk jaringan saraf yang dalam. Saya akan menyoroti beberapa di bawah ini:
sumber
Ya, pembelajaran yang mendalam dapat diterapkan untuk prediksi deret waktu. Bahkan, sudah dilakukan berkali-kali, misalnya:
Ini sebenarnya bukan "kasus khusus", pembelajaran mendalam sebagian besar tentang metode preprocessing (berdasarkan model generatif), jadi bagi Anda harus fokus pada hal-hal yang persis sama dengan yang Anda fokuskan ketika Anda melakukan pembelajaran mendalam dalam "pengertian tradisional" pada satu tangan, dan hal-hal yang sama yang Anda fokuskan saat melakukan prediksi deret waktu tanpa pembelajaran mendalam.
sumber
Recurrent Neural Networks dianggap sebagai jenis Deep Learning (DL). Saya pikir mereka adalah alat DL paling populer untuk pembelajaran urutan-ke-urutan (1d). Mereka saat ini menjadi dasar pendekatan Neural Machine Translation (NMT) (dipelopori 2014 di LISA (UdeM), Google, dan mungkin beberapa orang lain yang saya tidak ingat).
sumber
Sekuen Pembangkitan Alex Graves dengan Recurrent Neural Networks menggunakan jaringan berulang dan Sel memori jangka pendek untuk memprediksi teks dan melakukan sintesis tulisan tangan.
Andrej Karpathy telah menulis sebuah blog tentang menghasilkan urutan tingkat karakter dari awal. Dia menggunakan RNN dalam tutorialnya.
Untuk lebih banyak contoh, Anda harus melihat- Hochreiter, S., & Schmidhuber, J. (1997). Memori jangka panjang yang panjang. Perhitungan saraf, 9 (8), 1735-1780.
sumber
Mungkin ini akan membantu:
Jika Anda memiliki definisi untuk jendela waktu yang tepat pada data seperti kalimat dalam makalah atau paragraf ini, maka Anda akan baik-baik saja dengan menggunakan LSTM, tetapi saya tidak yakin bagaimana menemukan jendela waktu yang tidak jelas dan lebih sadar konteks. Contoh untuk itu adalah berapa banyak data log yang Anda lihat terkait dan itu bukan sesuatu yang jelas.
sumber