Jaringan saraf berulang (RNN) adalah kelas jaringan saraf tiruan di mana koneksi antar unit membentuk siklus terarah.
Apa perbedaan antara umpan-maju dan jaringan saraf berulang ? Mengapa Anda menggunakan salah satunya? Apakah topologi jaringan lain ada?
Saya telah mempelajari LSTM untuk sementara waktu. Saya mengerti pada tingkat tinggi bagaimana semuanya bekerja. Namun, akan mengimplementasikannya menggunakan Tensorflow saya perhatikan bahwa BasicLSTMCell memerlukan sejumlah unit (yaitu num_units) parameter. Dari ini penjelasan yang sangat...
Baru-baru ini saya membaca bahwa jaringan saraf berulang dapat mendekati algoritma apa pun. Jadi pertanyaan saya adalah: apa arti tepatnya ini dan dapatkah Anda memberi saya referensi di mana ini
Apa keuntungannya, mengapa seseorang menggunakan banyak LSTM, ditumpuk satu demi satu, dalam jaringan yang dalam? Saya menggunakan LSTM untuk mewakili urutan input sebagai input tunggal. Jadi, begitu saya memiliki representasi tunggal itu — mengapa saya harus melewatinya lagi? Saya bertanya ini...
Mekanisme perhatian telah digunakan dalam berbagai makalah Deep Learning dalam beberapa tahun terakhir. Ilya Sutskever, kepala penelitian di Open AI, dengan antusias memuji mereka: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello di Purdue University telah...
Pertanyaan ini sudah memiliki jawaban di sini : Bagaimana perubahan fungsi biaya menjadi positif? (1 jawaban) Apa yang harus saya lakukan ketika jaringan saraf saya tidak belajar? (5 jawaban) Ditutup bulan lalu . Saya melatih model (Recurrent Neural...
Saya baru-baru ini menjadi tertarik pada LSTM dan saya terkejut mengetahui bahwa bobot dibagi bersama waktu. Saya tahu bahwa jika Anda berbagi bobot lintas waktu, maka urutan waktu input Anda dapat menjadi panjang variabel. Dengan bobot bersama, Anda memiliki lebih sedikit parameter untuk...
Saya mencoba memahami arsitektur Recurrent neural network (RNN) yang berbeda untuk diterapkan pada data deret waktu dan saya agak bingung dengan nama-nama berbeda yang sering digunakan ketika menggambarkan RNN. Apakah struktur memori jangka pendek panjang (LSTM) dan Gated Recurrent Unit (GRU) pada...
RNN dapat digunakan untuk prediksi, atau pemetaan urutan ke urutan. Tetapi bagaimana RNN dapat digunakan untuk klasifikasi? Maksud saya, kami memberikan seluruh label satu
Saya akan melalui blog berikut pada jaringan saraf LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Penulis membentuk kembali vektor input X sebagai [sampel, langkah waktu, fitur] untuk konfigurasi LSTM yang berbeda. Penulis menulis...
Saya ingin melakukan proyek optical character recognition (OCR). Setelah melakukan beberapa penelitian saya menemukan arsitektur yang tampaknya menarik: CNN + RNN + CTC. Saya akrab dengan jaringan saraf berbelit-belit (CNN), dan jaringan saraf berulang (RNN), tetapi apa itu Classification Temporal...
Saya mencoba memahami aplikasi tingkat tinggi RNNs untuk pelabelan urutan melalui (antara lain) makalah Graves 2005 tentang klasifikasi fonem. Untuk meringkas masalah: Kami memiliki satu set pelatihan besar yang terdiri dari (input) file audio dari kalimat tunggal dan (output) waktu mulai berlabel...
Dalam jaringan saraf berulang, Anda biasanya akan maju merambat melalui beberapa langkah waktu, "membuka gulungan" jaringan, dan kemudian kembali merambat melintasi urutan input. Mengapa Anda tidak hanya memperbarui bobot setelah masing-masing langkah dalam urutan? (setara dengan menggunakan...
Masalah input berurutan mana yang paling cocok untuk masing-masing? Apakah dimensi input menentukan mana yang lebih cocok? Apakah masalah yang membutuhkan "memori lebih lama" lebih cocok untuk LSTM RNN, sementara masalah dengan pola input siklus (pasar saham, cuaca) lebih mudah diselesaikan oleh...
RNN sangat baik untuk menangkap ketergantungan waktu dari data sekuensial. Namun, apa yang terjadi ketika elemen urutan tidak sama spasi dalam waktu? Misalnya, input pertama ke sel LSTM terjadi pada hari Senin, lalu tidak ada data dari Selasa hingga Kamis, dan akhirnya input baru untuk...
Saya memiliki pengetahuan dasar tentang bagaimana RNN (dan, khususnya, dengan unit LSTM) bekerja. Saya punya ide gambar arsitektur unit LSTM, yaitu sel dan beberapa gerbang, yang mengatur aliran nilai. Namun, tampaknya, saya belum sepenuhnya memahami bagaimana LSTM memecahkan masalah "gradien...
Gagasan di balik Jaringan Syaraf Berulang (RNN) jelas bagi saya. Saya memahaminya dengan cara berikut: Kami memiliki urutan pengamatan ( ) (atau, dengan kata lain, deret waktu multivarian). Setiap pengamatan tunggal adalah vektor numerik dimensi. Di dalam model-RNN kita mengasumsikan bahwa...
Saya menggunakan Bidirectional RNN untuk mendeteksi peristiwa terjadinya ketidakseimbangan. Kelas positif 100 kali lebih jarang daripada kelas negatif. Meskipun tidak ada penggunaan regularisasi saya bisa mendapatkan akurasi 100% pada set kereta dan 30% pada set validasi. Saya menyalakan...
Saya sedang mengerjakan makalah Cho 2014 yang memperkenalkan arsitektur encoder-decoder untuk pemodelan seq2seq. Dalam makalah, mereka tampaknya menggunakan probabilitas input yang diberikan output (atau kemungkinan negatif-log) sebagai fungsi kerugian untuk input panjang dan output panjang...
Seperti banyak orang lain, saya menemukan sumber daya di sini dan di sini sangat berguna untuk memahami sel-sel LSTM. Saya yakin saya mengerti bagaimana nilai mengalir dan diperbarui, dan saya cukup percaya diri untuk menambahkan "koneksi lubang intip" yang disebutkan, dll. Dalam contoh saya, saya...