Cara terbaik untuk menginisialisasi status LSTM

10

Saya bertanya-tanya apa cara terbaik untuk menginisialisasi keadaan untuk LSTM. Saat ini saya baru saja menginisialisasi ke semua nol. Saya tidak dapat menemukan apa pun secara online tentang cara menginisialisasi. Satu hal yang saya pikirkan untuk dilakukan adalah menjadikan status awal sebagai parameter yang dapat dilatih. Ada saran?

chasep255
sumber
ada kertas di suatu tempat di luar sana, tidak ingat apa itu, di mana mereka melatih keadaan awal dan mendapatkan hasil yang lebih baik. bijak lain saya percaya semua 0s adalah pilihan terbaik Anda
Frobot

Jawaban:

8

Biasanya, Anda akan mengatur status awal ke nol, tetapi jaringan akan belajar untuk beradaptasi dengan keadaan awal itu.

The artikel berikut menunjukkan mempelajari negara tersembunyi awal atau menggunakan random noise.

Pada dasarnya, jika data Anda menyertakan banyak urutan pendek, maka melatih keadaan awal dapat mempercepat pembelajaran.

Atau, jika data Anda menyertakan sejumlah kecil urutan panjang maka mungkin tidak ada cukup data untuk melatih keadaan awal secara efektif. Dalam hal menggunakan keadaan awal yang bising dapat mempercepat pembelajaran. Sebuah ide yang tidak mereka sebutkan adalah mempelajari mean dan std dari generator kebisingan.

Artikel tersebut mencatat bahwa jika Anda memilih untuk mempelajari keadaan awal, maka menambahkan kebisingan tidak terlalu bermanfaat.

jpeg729
sumber
silakan tambahkan referensi lengkap sebagai ganti tautan
Antoine
3
Seperti apa seharusnya referensi itu?
jpeg729
0

Anda dapat menggunakan parameter yang diinisialisasi yang dipelajari menggunakan transfer belajar, tetapi perlu diingat bahwa itu juga dimulai di suatu tempat dari kondisi diinisialisasi yang tidak dipelajari. Pada dasarnya, Anda harus mulai dari titik tertentu, biasanya sekelompok nol, dan kemudian disempurnakan dengan pelatihan. Jadi, jika Anda tidak menggunakan mekanisme pembelajaran transfer, Anda juga harus mulai dari keadaan awal manual, saya yakin mungkin ada karya literatur yang tersedia untuk mengatur keadaan awal secara manual.

Ini adalah penjelasan paling sederhana yang bisa saya berikan. Terima kasih.

Shiv Warsi
sumber