Menggunakan pembelajaran yang mendalam untuk prediksi deret waktu

54

Saya baru di bidang pembelajaran mendalam dan bagi saya langkah pertama adalah membaca artikel menarik dari situs deeplearning.net. Dalam makalah tentang pembelajaran yang mendalam, Hinton dan yang lainnya kebanyakan berbicara tentang menerapkannya pada masalah gambar. Dapatkah seseorang mencoba menjawab saya apakah itu dapat diterapkan pada masalah memprediksi nilai deret waktu (keuangan, lalu lintas internet, ...) dan hal-hal penting apa yang harus saya fokuskan jika memungkinkan?

Vedran
sumber
Apakah Anda memiliki contoh kode matlab untuk menggunakan pembelajaran mendalam untuk perkiraan?
user3209559
Tidak, saya menggunakan contoh kode dari deeplearning.net dan pylearn2 library yang saya modifikasi. Cobalah untuk menemukan contoh kode matlab di halaman ini dan cobalah membuat modifikasi yang diperlukan untuk perkiraan.
Vedran

Jawaban:

28

Ada beberapa pekerjaan mengadaptasi metode pembelajaran mendalam untuk data sekuensial. Banyak dari pekerjaan ini berfokus pada pengembangan "modul" yang dapat ditumpuk dengan cara yang analog dengan menumpuk mesin boltzmann terbatas (RBM) atau autoencoder untuk membentuk jaringan saraf yang dalam. Saya akan menyoroti beberapa di bawah ini:

  • RBM bersyarat : Mungkin salah satu aplikasi pembelajaran dalam yang paling sukses untuk rangkaian waktu. Taylor mengembangkan model seperti RBM yang menambahkan interaksi temporal antara unit yang terlihat dan menerapkannya pada pemodelan data penangkapan gerak. Pada dasarnya Anda berakhir dengan sesuatu seperti sistem dinamika linear dengan beberapa non-linearitas ditambahkan oleh unit tersembunyi.
  • Temporal RBMs : Dalam tesisnya (bagian 3) Ilya Sutskever mengembangkan beberapa model seperti RBM dengan interaksi temporal antar unit. Dia juga menyajikan beberapa hasil menarik yang menunjukkan pelatihan jaringan saraf berulang dengan SGD dapat melakukan juga atau lebih baik daripada metode yang lebih kompleks, seperti algoritma Martens 'Hessian-free, menggunakan inisialisasi yang baik dan persamaan yang sedikit dimodifikasi untuk momentum.
  • Autoencoder Rekursif : Terakhir saya akan menyebutkan karya Richard Socher tentang penggunaan autoencoder rekursif untuk penguraian. Meskipun ini bukan deret waktu, itu pasti terkait.
alto
sumber
1
Ada juga gagasan yang beredar di komunitas pembelajaran mendalam / fitur yang Anda dapat melihat jaringan berulang (sering diterapkan pada data sekuensial) sebagai jaringan yang dalam "di sisinya," di mana semua lapisan berbagi matriks bobot yang sama.
lmjohns3
Bagaimana dengan persyaratan daya komputasi untuk menggunakan pembelajaran yang mendalam? Apakah Python atau Matlab cocok untuk memecahkan masalah pembelajaran mendalam yang berkekuatan industri?
user3269
Pylearn2 menggunakan theano library yang memungkinkan eksekusi pada GPU dengan dukungan CUDA.
Vedran
16

Ya, pembelajaran yang mendalam dapat diterapkan untuk prediksi deret waktu. Bahkan, sudah dilakukan berkali-kali, misalnya:

Ini sebenarnya bukan "kasus khusus", pembelajaran mendalam sebagian besar tentang metode preprocessing (berdasarkan model generatif), jadi bagi Anda harus fokus pada hal-hal yang persis sama dengan yang Anda fokuskan ketika Anda melakukan pembelajaran mendalam dalam "pengertian tradisional" pada satu tangan, dan hal-hal yang sama yang Anda fokuskan saat melakukan prediksi deret waktu tanpa pembelajaran mendalam.

Lejlot
sumber
4

Recurrent Neural Networks dianggap sebagai jenis Deep Learning (DL). Saya pikir mereka adalah alat DL paling populer untuk pembelajaran urutan-ke-urutan (1d). Mereka saat ini menjadi dasar pendekatan Neural Machine Translation (NMT) (dipelopori 2014 di LISA (UdeM), Google, dan mungkin beberapa orang lain yang saya tidak ingat).

capybaralet
sumber
3

Sekuen Pembangkitan Alex Graves dengan Recurrent Neural Networks menggunakan jaringan berulang dan Sel memori jangka pendek untuk memprediksi teks dan melakukan sintesis tulisan tangan.

Andrej Karpathy telah menulis sebuah blog tentang menghasilkan urutan tingkat karakter dari awal. Dia menggunakan RNN dalam tutorialnya.

Untuk lebih banyak contoh, Anda harus melihat- Hochreiter, S., & Schmidhuber, J. (1997). Memori jangka panjang yang panjang. Perhitungan saraf, 9 (8), 1735-1780.

Azrael
sumber
3

Mungkin ini akan membantu:

Jika Anda memiliki definisi untuk jendela waktu yang tepat pada data seperti kalimat dalam makalah atau paragraf ini, maka Anda akan baik-baik saja dengan menggunakan LSTM, tetapi saya tidak yakin bagaimana menemukan jendela waktu yang tidak jelas dan lebih sadar konteks. Contoh untuk itu adalah berapa banyak data log yang Anda lihat terkait dan itu bukan sesuatu yang jelas.

M.Rez
sumber
1
Bisakah Anda mengatakan apa yang ada di koran itu membantu? Ini hal yang menarik
shadowtalker
1
Saya pikir Anda dapat menemukan beberapa makalah lain di sini: cs.stanford.edu/people/ang/?page_id=414
M.Rez
5
terima kasih tapi bukan itu yang saya maksud. Biasanya di sini kami meminta orang-orang menjelaskan bagaimana makalah yang mereka tautkan relevan dengan jawabannya. Ini membantu semua orang, yang mungkin tidak punya waktu untuk melacak dan membaca koran, dan terutama untuk orang-orang yang tidak memiliki langganan basis data perpustakaan yang tidak dapat melewati paywalls
shadowtalker