Berapa banyak parameter yang ada di dalam layer grating recurrent unit (GRU) recurrent neural network (RNN)?

9

Judul mengatakan semuanya - berapa banyak parameter yang bisa dilatih yang ada di lapisan GRU? Pertanyaan semacam ini banyak muncul ketika mencoba membandingkan model dari tipe lapisan RNN yang berbeda, seperti unit memori jangka pendek (LSTM) vs GRU, dalam hal kinerja per-parameter. Karena sejumlah besar parameter yang dapat dilatih secara umum akan meningkatkan kapasitas jaringan untuk belajar, membandingkan model alternatif berdasarkan per-parameter adalah perbandingan apel dengan apel dari efektivitas relatif GRU dan LSTM.

Sycorax berkata Reinstate Monica
sumber

Jawaban:

10

Menurut Rahul Dey dan Fathi M. Salem, " Gerbang-Varian dari Gated Recurrent Unit (GRU) Neural Networks ":

... jumlah total parameter dalam GRU RNN sama dengan 3×(n2+nm+n).

dimana m adalah dimensi input dan nadalah dimensi output. Hal ini disebabkan oleh fakta bahwa ada tiga set operasi yang membutuhkan matriks bobot ukuran ini.

Sycorax berkata Reinstate Monica
sumber