Perbedaan antara `Dense` dan` TimeDistributedDense` dari `Keras`

Saya masih bingung tentang perbedaan antara Densedan TimeDistributedDensedari Kerasmeskipun sudah ada beberapa pertanyaan serupa ditanyakan di sini dan di sini . Orang banyak berdiskusi tetapi tidak ada kesimpulan yang disepakati bersama.

Dan meskipun, di sini , @fchollet menyatakan bahwa:

TimeDistributedDenseberlaku operasi yang sama Dense(terhubung penuh) untuk setiap catatan waktu tensor 3D.

Saya masih membutuhkan ilustrasi terperinci tentang apa sebenarnya perbedaan di antara mereka.

Katakanlah Anda memiliki data deret waktu dengan baris dan kolom yang ingin Anda beri makan ke lapisan dalam Keras. Sebelum Anda memasukkannya ke RNN, Anda harus membentuk kembali data sebelumnya menjadi tensor 3D. Jadi itu menjadi .$N$$700$SimpleRNN(200, return_sequence=True)$N \times 700 \times 1$

^{Gambar diambil dari https://colah.github.io/posts/2015-08-Understanding-LSTMs}

Di RNN, kolom Anda ("700 kolom") adalah garis waktu RNN. Data Anda diproses dari . Setelah memasukkan data ke RNN, sekarang memiliki 700 output yang ke , bukan ke . Ingat bahwa sekarang bentuk data Anda adalah yang merupakan sampel (baris) x timesteps (kolom) x saluran .$t=1 \ to \ 700$$h_1$$h_{700}$$h_1$$h_{200}$$N \times 700 \times 200$

Dan kemudian, ketika Anda menerapkan a TimeDistributedDense, Anda menerapkan Denselayer pada setiap catatan waktu, yang berarti Anda menerapkan Denselayer pada masing-masing , , ..., . Yang berarti: sebenarnya Anda menerapkan operasi yang sepenuhnya terhubung di masing-masing salurannya ("200"), dari hingga . 1 " " hingga 700 " ".$h_1$$h_2$$h_t$$h_1$$h_{700}$$1 \times 1 \times 200$$1 \times 1 \times 200$

Kenapa kita melakukan ini? Karena Anda tidak ingin meratakan output RNN.

Mengapa tidak meratakan output RNN? Karena Anda ingin menjaga setiap nilai stempel waktu terpisah.

Mengapa memisahkan nilai setiap catatan waktu? Karena:

• Anda hanya ingin berinteraksi dengan nilai-nilai di antara timestepnya sendiri
• Anda tidak ingin memiliki interaksi acak antara berbagai waktu dan saluran.