Secara umum saya harus melatih ulang jaringan saraf saya dengan lebih sedikit neuron sehingga memiliki lebih sedikit neuron ReLU yang mati? Saya telah membaca pendapat yang bertentangan tentang ReLU yang mati. Beberapa sumber mengatakan ReLU yang mati baik karena mereka mendorong sparsity. Yang...
Saya ingin melatih jaringan dengan non-linearitas yang menderita menghilangnya (atau meledak masalah gradien meskipun sebagian besar menghilang). Saya tahu bahwa cara standar (saat ini) adalah dengan menggunakan normalisasi batch 1 [BN] 1 atau hanya meninggalkan non-linearitas dan menggunakan unit...
Cukup intuitif bahwa sebagian besar topologi / arsitektur jaringan saraf tidak dapat diidentifikasi. Tapi apa saja hasil yang terkenal di lapangan? Apakah ada kondisi sederhana yang memungkinkan / mencegah pengidentifikasian? Sebagai contoh, semua jaringan dengan fungsi aktivasi nonlinear dan...
Saya membuat jaringan saraf convolutional dan saya ingin memeriksa bahwa gradien saya dihitung dengan benar menggunakan pengecekan gradien numerik. Pertanyaannya, seberapa dekat cukup dekat? Fungsi pengecekan saya hanya memuntahkan turunan yang dihitung, turunan yang diperkirakan secara numerik,...