Berapa banyak sel LSTM yang harus saya gunakan?

12

Apakah ada aturan praktis (atau aturan aktual) yang berkaitan dengan jumlah sel LSTM minimum, maksimum, dan "wajar" yang harus saya gunakan? Secara khusus saya berhubungan dengan BasicLSTMCell dari TensorFlow dan num_unitsproperti.

Harap asumsikan bahwa saya memiliki masalah klasifikasi yang ditentukan oleh:

t - number of time steps
n - length of input vector in each time step
m - length of output vector (number of classes)
i - number of training examples

Benarkah, misalnya, bahwa jumlah contoh pelatihan harus lebih besar dari:

4*((n+1)*m + m*m)*c

di mana cjumlah sel? Saya mendasarkan ini pada ini: Bagaimana cara menghitung jumlah parameter dari jaringan LSTM? Seperti yang saya pahami, ini harus memberikan jumlah total parameter, yang harus kurang dari jumlah contoh pelatihan

rnn machine-learning r predictive-modeling random-forest python language-model sentiment-analysis encoding machine-learning deep-learning neural-network dataset caffe classification xgboost multiclass-classification unbalanced-classes time-series descriptive-statistics python r clustering machine-learning python deep-learning tensorflow machine-learning python predictive-modeling probability scikit-learn svm machine-learning python classification gradient-descent regression research python neural-network deep-learning convnet keras python tensorflow machine-learning deep-learning tensorflow python r bigdata visualization rstudio pandas pyspark dataset time-series multilabel-classification machine-learning neural-network ensemble-modeling kaggle machine-learning linear-regression cnn convnet machine-learning tensorflow association-rules machine-learning predictive-modeling training model-selection neural-network keras deep-learning deep-learning convnet image-classification predictive-modeling prediction machine-learning python classification predictive-modeling scikit-learn machine-learning python random-forest sampling training recommender-system books python neural-network nlp deep-learning tensorflow python matlab information-retrieval search search-engine deep-learning convnet keras machine-learning python cross-validation sampling machine-learning Komunitas
sumber
1
Saya akan memeriksa makalah ini yang dengan baik membahas topik membandingkan model deep-learning berurutan serta penyetelan hyperparameter: arxiv.org/pdf/1503.04069.pdf Singkatnya mereka menyarankan yang jelas, yang meningkatkan jumlah blok LSTM per tersembunyi lapisan meningkatkan kinerja tetapi memiliki hasil yang semakin berkurang & meningkatkan waktu pelatihan.
CubeBot88

Jawaban:

4

Jumlah minimum contoh pelatihan adalah apa yang Anda miliki di sana:

4(nm+n2)

Untuk informasi lebih lanjut lihat artikel ini: Lihat tautan ini jika Anda memerlukan bantuan visual: Jumlah parameter dalam model LSTM

Jumlah unit di setiap lapisan tumpukan dapat bervariasi. Misalnya dalam translate.py dari Tensorflow dapat dikonfigurasi ke 1024, 512 atau hampir semua nomor. Kisaran terbaik dapat ditemukan melalui validasi silang. Tapi saya telah melihat jumlah unit 1000 dan 500 di setiap lapisan tumpukan. Saya pribadi sudah menguji dengan angka yang lebih kecil juga.

Ali
sumber