Ada Jaringan Syaraf Berulang dan Jaringan Syaraf Rekursif. Keduanya biasanya dilambangkan dengan akronim yang sama: RNN. Menurut Wikipedia , NN Berulang sebenarnya adalah NN Rekursif, tapi saya tidak begitu mengerti penjelasannya.
Selain itu, saya sepertinya tidak menemukan yang lebih baik (dengan contoh atau lebih) untuk Pemrosesan Bahasa Alami. Faktanya adalah, meskipun Socher menggunakan NN Rekursif untuk NLP dalam tutorialnya , saya tidak dapat menemukan implementasi yang baik dari jaringan saraf rekursif, dan ketika saya mencari di Google, sebagian besar jawabannya adalah tentang NN Berulang.
Selain itu, apakah ada DNN lain yang berlaku lebih baik untuk NLP, atau tergantung pada tugas NLP? Deep Belief Nets atau Autoencoder bertumpuk? (Sepertinya saya tidak menemukan util khusus untuk ConvNets di NLP, dan sebagian besar implementasinya dengan visi mesin dalam pikiran).
Akhirnya, saya benar-benar lebih suka implementasi DNN untuk C ++ (lebih baik lagi jika memiliki dukungan GPU) atau Scala (lebih baik jika memiliki dukungan Spark) daripada Python atau Matlab / Oktaf.
Saya sudah mencoba Deeplearning4j, tetapi sedang dalam pengembangan konstan dan dokumentasinya agak ketinggalan jaman dan sepertinya saya tidak bisa membuatnya bekerja. Sayang sekali karena memiliki "kotak hitam" seperti cara melakukan sesuatu, sangat mirip scikit-belajar atau Weka, yang adalah apa yang saya inginkan.
sumber
Recurrent Neural Networks (RNN) pada dasarnya terungkap seiring waktu. Ini digunakan untuk input berurutan di mana faktor waktu adalah faktor pembeda utama antara elemen-elemen urutan. Sebagai contoh, berikut adalah jaringan saraf berulang yang digunakan untuk pemodelan bahasa yang telah dibuka dari waktu ke waktu. Pada setiap langkah waktu, selain input pengguna pada langkah waktu itu, ia juga menerima output dari lapisan tersembunyi yang dihitung pada langkah waktu sebelumnya.
Jaringan Syaraf Rekursif lebih seperti jaringan hierarkis di mana sebenarnya tidak ada aspek waktu untuk urutan input tetapi input harus diproses secara hierarkis dengan cara pohon. Berikut adalah contoh bagaimana jaringan saraf rekursif terlihat. Ini menunjukkan cara untuk mempelajari pohon parse kalimat dengan secara rekursif mengambil output dari operasi yang dilakukan pada potongan teks yang lebih kecil.
[ CATATAN ]:
LSTM dan GRU adalah dua tipe RNN yang diperluas dengan gerbang lupa, yang sangat umum di NLP.
Formula Sel-LSTM:
sumber