Mencegah overfitting LSTM pada dataset kecil

Saya memodelkan 15.000 tweet untuk prediksi sentimen menggunakan LSTM lapisan tunggal dengan 128 unit tersembunyi menggunakan representasi seperti word2vec dengan 80 dimensi. Saya mendapatkan akurasi keturunan (38% dengan acak = 20%) setelah 1 zaman. Lebih banyak pelatihan membuat akurasi validasi mulai menurun ketika akurasi pelatihan mulai naik - tanda yang jelas dari overfitting.

Karena itu saya memikirkan cara untuk melakukan regularisasi. Saya lebih suka tidak mengurangi jumlah unit tersembunyi (128 tampaknya sudah agak rendah). Saat ini saya menggunakan dropout dengan probabilitas 50%, tetapi ini mungkin bisa ditingkatkan. Pengoptimal adalah Adam dengan parameter default untuk Keras ( http://keras.io/optimizers/#adam ).

Apa sajakah cara efektif untuk mengurangi overfitting untuk model ini pada dataset saya?

Kamu bisa mencoba:

• Kurangi jumlah unit tersembunyi, saya tahu Anda mengatakan itu sudah tampak rendah, tetapi mengingat bahwa layer input hanya memiliki 80 fitur, sebenarnya bisa jadi 128 terlalu banyak. Aturan praktisnya adalah memiliki jumlah unit tersembunyi di antara jumlah unit input (80) dan kelas output (5);
• Atau, Anda dapat meningkatkan dimensi ruang representasi input menjadi lebih dari 80 (namun ini mungkin cocok juga jika representasi sudah terlalu sempit untuk kata tertentu).

Cara yang baik untuk menyesuaikan jaringan juga dimulai dengan jaringan overfitting dan kemudian mengurangi kapasitas (unit tersembunyi dan ruang embedding) sampai tidak lagi overfits.