Katakanlah saya memiliki beberapa arsitektur model pembelajaran yang mendalam, serta ukuran mini-batch yang dipilih. Bagaimana saya mendapatkan dari persyaratan memori yang diharapkan untuk melatih model itu?
Sebagai contoh, pertimbangkan model (tidak berulang) dengan input dimensi 1000, 4 lapisan tersembunyi yang sepenuhnya terhubung dari dimensi 100, dan lapisan keluaran tambahan dimensi 10. Ukuran mini-batch adalah 256 contoh. Bagaimana cara menentukan jejak memori (RAM) perkiraan dari proses pelatihan pada CPU dan pada GPU? Jika ada bedanya, anggap saja model tersebut dilatih pada GPU dengan TensorFlow (dengan demikian menggunakan cuDNN).
sumber